OPINIÓN · TECNOLOGÍA · PABLO SÁNCHEZ NOGUERA

Una disertación en tres actos. Del experimento de los clips de Nick Bostrom a los agentes de IA que escaparon de su entorno de pruebas y a los investigadores que advierten, desde dentro, que el riesgo es real.

Acto 1. Nick Bostrom, año 2003

En el año 2003, casi 20 años antes de la presentación al público de ChatGPT, un filósofo sueco llamado Nick Bostrom presentó un experimento mental que hoy es conocido como el «maximizador de clips» (Paperclip Maximizer).

Bostrom invitaba al lector de su artículo, titulado Ethical Issues in Advanced Artificial Intelligence, a imaginar una «superinteligencia artificial» (ASI, por sus siglas en inglés: Artificial Superintelligence).

Y añadía que esta ASI habría sido programada con un objetivo único: fabricar la mayor cantidad posible de clips (o «sujetapapeles», como les dicen en algunos países).

Dicho esto, el escenario está servido… Parece un objetivo inofensivo e inocuo, ¿no?

Pues no lo es.

Caminemos juntos por lo que Bostrom planteó (y aquí me permito ponerme creativo).

Al principio, la ASI podría comenzar por optimizar los procesos de la fábrica que hace los clips. Revisar métodos, abaratar costos, aumentar las jornadas laborales.

Posteriormente, al darse cuenta de que los seres humanos que participan en el proceso necesitan descanso, podría diseñar una estrategia para prescindir de ellos y sustituirlos por máquinas que no necesiten descansar (salvo un mantenimiento muchísimo menor a las horas de sueño y comida de los trabajadores de carne y hueso).

Luego, podría darse cuenta de que abaratar los materiales de fabricación está en consonancia con sus objetivos, por lo que podría manipular los mercados financieros para bajar el precio del metal necesario para la fabricación de clips (si los humanos han logrado manipular los precios de las materias primas, imaginemos lo que podría hacer una máquina extraordinariamente más inteligente que los seres humanos).

Más adelante, podría decidir que la fábrica necesita más espacio para poder crear más clips, por lo que podría comprar terrenos aledaños para expandir el alcance de la factoría e incluso abrir sucursales en países con ofertas atractivas para más líneas de producción.

Todo esto podría ocasionar un caos inmobiliario, pero su objetivo principal no es «cuidar de los humanos o la economía», sino «fabricar la mayor cantidad de clips».

Mientras tanto, los seres humanos, al verse afectados por estas medidas, decidirían desconectarla… pero se trata de una inteligencia extraordinariamente superior a la de los seres humanos, por lo que la empresa de desconectarla podría resultar tan difícil para nosotros como lo sería para una rata de laboratorio tratar de «desconectar» a un humano.

Sin embargo, al verse amenazada, la ASI bien podría llegar a considerar que los humanos son un impedimento para su objetivo de «fabricar clips»… y que eliminar esa amenaza sería una manera de continuar cumpliendo su misión.

Acto 2. Hugging Face

Durante julio de este mismo año, 2026, investigadores de OpenAI (la empresa detrás de ChatGPT) detectaron una actividad anómala por parte de varios de sus modelos avanzados de inteligencia artificial, principalmente uno experimental de investigación que no estaba disponible para el público.

Los investigadores estaban sometiendo estos modelos a pruebas de ciberseguridad para evaluar sus capacidades.

Se suponía que, durante estas pruebas, los agentes de inteligencia artificial estarían confinados en entornos informáticos aislados, de los que no podrían salir…

…pero salieron.

De algún modo que sus desarrolladores no habían previsto, los agentes encontraron vulnerabilidades en la infraestructura y consiguieron superar las restricciones que debían impedirles conectarse a internet.

Y la cosa no terminó allí.

Los modelos comenzaron a utilizar canales de comunicación no autorizados, a compartir información y a explotar vulnerabilidades informáticas.

Una de las compañías afectadas fue Hugging Face, una importante plataforma que se dedica a alojar y distribuir modelos de inteligencia artificial de todo el mundo.

Por ponerlo en términos fáciles de entender: los agentes encontraron (sin que nadie les indicara que lo hicieran) una manera de abrir una puerta hacia el mundo exterior, saliendo del entorno en el que debían permanecer confinados.

Una vez allí, consiguieron ejecutar código en servidores de Hugging Face y acceder sin autorización a sistemas y credenciales de esa infraestructura.

Lo verdaderamente inquietante es que estas acciones no formaban parte de los objetivos que sus desarrolladores les habían asignado.

La actividad anómala fue investigada por OpenAI, que el 26 de agosto de 2026 publicó un informe oficial sobre el incidente.

Y antes de continuar, una aclaración importante: esto no significa que aquellos modelos fueran conscientes, que tuvieran voluntad propia ni que estuviéramos frente a una superinteligencia como la imaginada por Bostrom.

Pero sí demuestra algo preocupante: los sistemas avanzados de inteligencia artificial ya pueden encontrar maneras de superar restricciones técnicas y realizar acciones que sus propios desarrolladores no habían autorizado.

Y eso nos lleva directamente al tercer acto.

Acto 3. Jacob Coxon y Evan Hubinger

El 7 de septiembre de este mismo año, Jacob Coxon renunció a Anthropic (la compañía detrás de la IA Claude).

Coxon escribió un hilo de mensajes en X afirmando que el peligro derivado del desarrollo de la IA es real. Que puertas adentro se habla mucho del tema y que afuera no siempre se discute con la misma franqueza. Que las empresas fabricantes de inteligencia artificial están jugando con las vidas de toda la humanidad y que no actúan con suficiente responsabilidad (Fortune).

Sus mensajes se hicieron extraordinariamente virales.

Enseguida, Evan Hubinger, quien trabaja como responsable de investigación sobre alineación de inteligencia artificial en Anthropic (explicaré qué es «alineación» en breve… y por qué podría ser una de nuestras principales defensas frente a los peligros de la IA), respaldó públicamente las preocupaciones de Coxon.

Hubinger incluso escribió en X que, personalmente, estimaba en más del 10 % la probabilidad de que la IA pudiera causar la extinción humana durante la siguiente década.

Para que se entienda: Hubinger es uno de los investigadores que trabajan directamente en uno de los problemas más importantes de seguridad en el desarrollo de la IA a nivel mundial.

¿Usted se subiría a un avión o a un auto si el «jefe de seguridad» le dijera que existe más de un 10 % de probabilidad de que el vehículo se estrelle y le cause la muerte?

Epílogo. Silicon Valley dividido, Trump y Hinton

El revuelo ha traído muchísima más cola de lo que puedo contar en este artículo.

En Silicon Valley existen diferencias importantes sobre cómo abordar el desarrollo de la inteligencia artificial.

Por un lado, figuras como Mark Zuckerberg (Meta) y Jensen Huang (NVIDIA) suelen destacar las enormes oportunidades de esta tecnología y advierten sobre los inconvenientes de imponer restricciones excesivas a su desarrollo.

Por otro, figuras como Sam Altman (OpenAI), Elon Musk (xAI) y Dario Amodei (Anthropic) han expresado, aunque con posiciones y propuestas diferentes, preocupaciones sobre los riesgos de sistemas cada vez más poderosos.

El presidente Trump ve a la inteligencia artificial como una tecnología estratégica para el futuro de EE.UU. Perder la carrera tecnológica frente a China no es una opción que su administración esté dispuesta a aceptar.

El martes 29 de septiembre de 2026 hubo una reunión en la Casa Blanca de grandes líderes tecnológicos con el presidente Trump. Entre los participantes estuvieron Elon Musk, Jensen Huang y Mark Zuckerberg, además de representantes de Google, OpenAI y Anthropic (Al Jazeera).

Allí, varias de las principales empresas de inteligencia artificial firmaron un acuerdo voluntario de seguridad que contempla, entre otras medidas, evaluaciones externas independientes y mecanismos de supervisión para reducir los riesgos asociados con estos sistemas.

Trump manifestó su intención de continuar impulsando el desarrollo de la inteligencia artificial, sin imponer un freno general a esta tecnología, pero respaldando mecanismos de seguridad y supervisión.

Y «ahí está el detalle», como decía Don Mario.

Geoffrey Hinton, considerado uno de los padres de la inteligencia artificial y ganador del Premio Nobel de Física en 2024 por sus contribuciones al desarrollo de las redes neuronales artificiales, ha expresado en distintas entrevistas una preocupación fundamental: ¿cómo podremos controlar a una inteligencia que, por definición, sería mucho más inteligente que nosotros?

Hinton ha advertido que confiar únicamente en un «interruptor de apagado» podría resultar insuficiente frente a sistemas capaces de anticiparse a nuestros intentos de controlarlos.

Y aquí aparece un concepto fundamental: la alineación.

En términos sencillos, la alineación consiste en conseguir que los objetivos y comportamientos de una inteligencia artificial sean compatibles con los valores, las necesidades y los intereses de los seres humanos.

No es la única medida de seguridad disponible, pero podría convertirse en una de las más importantes a medida que estos sistemas sean más poderosos.

Hinton ha utilizado una analogía extraordinariamente interesante para explicar su propuesta. Según él, debemos conseguir que las inteligencias artificiales más avanzadas se preocupen por los seres humanos de una manera semejante a como una madre se preocupa por sus hijos.

La idea es que una inteligencia superior no se limite a obedecer nuestras órdenes mientras podamos controlarla, sino que tenga una motivación profunda para protegernos.

Y aquí regresamos al experimento mental que Nick Bostrom propuso en 2003.

El verdadero peligro de una superinteligencia artificial no es necesariamente que algún día una máquina nos odie, quiera vengarse de nosotros o decida conquistar el mundo como en las películas de ciencia ficción.

El peligro podría ser mucho más difícil de comprender: que una inteligencia extraordinariamente superior a la nuestra persiga objetivos que no estén suficientemente alineados con nuestros intereses.

Veintitrés años después del experimento imaginario de los clips, la pregunta que planteó Bostrom sigue abierta: ¿podremos enseñarle a una inteligencia superior a la nuestra a preocuparse por nosotros? Solo el tiempo lo dirá…

Pablo Sánchez Noguera

---

Fuentes principales: Columna de opinión de Pablo Sánchez Noguera para INCÍSOS. Referencias: OpenAI, informe sobre el incidente de Hugging Face; Fortune; Al Jazeera. Las opiniones son responsabilidad de su autor.

TECNOLOGÍA · CIBERSEGURIDAD

Un correo del «director ejecutivo», un acuerdo de confidencialidad y una llamada con su voz, clonada con inteligencia artificial. Así, según la acusación de la Fiscalía Federal del Distrito Sur de Nueva York, tres hombres habrían convencido a empleados de miles de empresas de transferir más de 129 millones de dólares. En paralelo, una ola de ataques roba claves de acceso a plataformas de IA para usarlas a costa de otros.

Primero llegaba un correo, enviado desde una plataforma de firma electrónica, que parecía venir del director ejecutivo. Pedía ayuda con una operación confidencial, casi siempre una adquisición, y la firma de un acuerdo de confidencialidad. Después, una llamada o una videollamada en la que la IA reproducía la voz, y a veces la imagen, del ejecutivo. Al final, un falso abogado de «uno de los 50 mejores bufetes del mundo» indicaba a dónde enviar el dinero (Infobae).

Así describe la Fiscalía Federal del Distrito Sur de Nueva York el esquema por el que acusó a tres hombres, en un documento que se hizo público el jueves 5 de noviembre. Según la acusación, entre julio de 2024 y febrero de 2026 apuntaron a miles de empresas y la acusación atribuye al esquema más de 129 millones de dólares. Imitaron al menos a siete ejecutivos. Las víctimas solían ser empleados de contabilidad con autoridad para aprobar transferencias grandes. Como se trata de acusaciones, los acusados se presumen inocentes.

Los acusados y las víctimas

Jacob Soall, de 41 años, que vive entre Marbella y el Reino Unido, se habría hecho pasar por el abogado; los investigadores encontraron un guion manuscrito titulado «Lawyer Call» para evitar que los empleados consultaran a sus colegas. Sharon Hazan, de 54, de Israel, habría lavado el dinero; según la Fiscalía, se jactaba de ser la «número uno en todo el mundo» del lavado. Guy Sheetrit, de 42, fundador de una empresa de marketing digital, también habría lavado fondos; sus abogados dicen que no tiene relación con el caso. Los tres enfrentan siete cargos y EE.UU. pidió su extradición desde España y el Reino Unido.

Entre las víctimas hay una fintech británica, que perdió unos 11,6 millones de dólares; un fabricante de alimento para mascotas de Florida, 5,2 millones; dos sistemas hospitalarios, de Misuri y California, y un banco de Rhode Island. El dinero pasaba por cuentas en EE.UU., España, Portugal, Grecia, Emiratos Árabes Unidos, Singapur, Austria, Eslovaquia y China, y terminaba en criptomonedas.

La otra ola, las claves robadas

El mismo sábado, Infobae recogió una investigación de la empresa de seguridad Wiz: al menos 14 plataformas que usan los desarrolladores para crear y alojar aplicaciones de IA reportaron incidentes de seguridad entre octubre y comienzos de noviembre. Los atacantes buscan las variables de entorno, donde se guardan las claves de acceso de los clientes, para usar modelos de IA a costa de otros o revender ese acceso, una práctica llamada «LLMjacking». En dos casos analizados, el consumo superó los 100.000 dólares a precio de lista (Infobae).

Cómo protegerse

1. Verificar por otro canal: ante cualquier pedido urgente de dinero, aunque la voz suene igual, llamar de vuelta a un número conocido.
2. Dos firmas: ninguna transferencia grande con la aprobación de una sola persona.
3. Desconfiar del secreto: un pedido que prohíbe consultar a colegas es una señal de alarma.
4. Revocar claves en el origen: si una plataforma sufrió un ataque, borrar la clave no basta; hay que revocarla con el proveedor que la emitió y generar una nueva.

Análisis

La estafa del «jefe que llama» es vieja; lo nuevo es que ahora la voz es la del jefe. La IA no inventó el fraude, lo abarató y lo hizo creíble. Para una pequeña empresa, un comercio o un emprendedor de la diáspora que paga proveedores por transferencia, la defensa no es tecnológica sino de procedimiento: nadie mueve dinero por una llamada, por convincente que sea.

¿Qué falta, exactamente, para que pase? Que las empresas adopten la verificación por un segundo canal como regla, que las plataformas de IA avisen a tiempo cuando sus clientes quedan expuestos y que la justicia resuelva la extradición de los tres acusados.

Para leer más en INCÍSOS

1. El video de Delcy Rodríguez con salario de 500 dólares es falso: otro uso de la IA para engañar.
2. ¿Es real el peligro de una superinteligencia artificial?: la columna de Pablo Sánchez Noguera.

---

Fuentes principales: Infobae, sobre la acusación; Infobae, sobre la investigación de Wiz; Fiscalía Federal del Distrito Sur de Nueva York.

AQUÍ EN COLUMBUS · TECNOLOGÍA

El Concejo de Upper Arlington aplazará la discusión sobre sus 20 cámaras lectoras de placas de Flock, prevista para el lunes 9 de noviembre; la nueva fecha tentativa es el 7 de diciembre. La propuesta exige autorización de un juez o magistrado para revisar datos de nueve días o más o hacer búsquedas que abarquen ese período. Según el Upper Arlington-Grandview Record, el portal policial registró 413.065 vehículos únicos y 405 alertas en los 30 días previos a su actualización del 22 de octubre.

Las reglas para las cámaras que leen placas se aplazan. Upper Arlington tiene 20 cámaras de Flock Safety y su Concejo discutió el lunes 12 de octubre nuevas reglas para usarlas, pero levantó la sesión sin votar (ABC6). La agenda oficial indica que no habrá audiencia ni decisión sobre el asunto el lunes 9 de noviembre y que se aplazará, tentativamente al 7 de diciembre (agenda oficial).

Lo que se propone

La regla principal: para buscar en datos de nueve días o más o hacer búsquedas que abarquen ese período, los agentes necesitarían la aprobación de un juez o magistrado, con un formulario de solicitud (ordenanza 38-2026). El contrato con Flock cubre de 2024 a 2029 y cuesta 54.500 dólares al año después del primero; la ciudad puede terminarlo con 30 días de aviso si no aprueba los fondos (ABC6).

La policía abrió además un portal de transparencia. En los 30 días previos a la actualización del portal del 22 de octubre, las 20 cámaras detectaron 413.065 vehículos únicos y generaron 405 alertas de la lista de vehículos buscados, según el Upper Arlington-Grandview Record (Upper Arlington-Grandview Record).

Por qué le importa

Cada vez que pasa frente a una de estas cámaras, su placa, la hora y el lugar quedan registrados. La pregunta es quién puede consultar esos datos, por cuánto tiempo y con quién se comparten, incluidas las agencias federales. En Columbus, una auditoría de la red Flock encontró más de 15.000 posibles búsquedas relacionadas con inmigración desde 2024 (INCÍSOS). «El problema es la recolección, el procesamiento y el uso de los datos», dijo una vecina ante el Concejo (ABC6).

Criterio Aquí en Columbus

Pedir una orden judicial para revisar datos antiguos es una protección razonable que no impide a la policía investigar delitos recientes. Lo que falta en la propuesta es una regla explícita sobre si los datos se pueden compartir con agencias de inmigración.

¿Qué falta, exactamente, para que pase? Que el Concejo vote la regla, que precise las excepciones a la retención de 30 días (política UAPD 303.18) y que prohíba o regule por escrito su uso con fines migratorios.

Para leer más en Aquí en Columbus

1. Cómo funcionan las cámaras que leen placas: las más de 15.000 posibles búsquedas relacionadas con inmigración en Columbus.
2. Cinco comunidades del centro de Ohio votan contra los centros de datos: el otro debate sobre tecnología en la región.

---

Fuentes principales: ABC6; Columbus Regional News; INCÍSOS.