Connect with us
PublicidadTu lugar es aquí62 millones de hispanos. Empieza por los que deciden.Anúnciate →

Tecnología

Los detectores de IA fallan más con quien escribe en su segundo idioma

La marca indica que un texto pasó por Claude, no que lo escribió Claude. Esa diferencia decide a quién se acusa injustamente.

Avatar de Desconocido

Published

on

Imagen editorial para Los detectores de IA fallan más con quien escribe en su segundo idioma

La marca indica que un texto pasó por Claude, no que lo escribió Claude. Esa diferencia decide a quién se acusa injustamente.

QUÉ Los nuevos modelos de Claude incorporan marcas legibles por máquinas en textos y archivos.
QUIÉN Anthropic, empresa desarrolladora. Afecta a estudiantes, trabajadores y creadores de contenido.
CUÁNDO Modelos lanzados desde el 2 de agosto de 2026. Documentación publicada el 10 de agosto.
DÓNDE Aplicación mundial, aunque la obligación legal proviene de la Unión Europea.
POR QUÉ Los detectores de IA ya acusan falsamente a quienes escriben en un idioma aprendido.
CÓMO Marca imperceptible en el texto y metadatos de procedencia firmados bajo el estándar C2PA.

En 2023, siete detectores de inteligencia artificial evaluaron 91 ensayos escritos por estudiantes que rendían el examen TOEFL, la prueba de inglés como lengua extranjera. Los siete programas concluyeron, en promedio, que el 61% de esos textos habían sido generados por una máquina.

Los 91 ensayos los escribieron personas.

Los mismos detectores acertaron casi siempre al evaluar ensayos de estudiantes estadounidenses de octavo grado. Diecinueve de los ensayos del TOEFL fueron señalados de forma unánime por los siete programas. El 97% fue marcado por al menos uno.

El estudio, dirigido por el profesor de Stanford James Zou y publicado en la revista Patterns, explica el mecanismo. Los detectores puntúan según una métrica llamada perplejidad, que se correlaciona con la sofisticación de la escritura: riqueza y diversidad léxica, complejidad sintáctica y gramatical. Quien escribe en un idioma aprendido tiende a usar vocabulario más simple, oraciones más cortas y estructuras más formales, porque así se enseña el idioma.

El programa no distingue entre un texto que suena artificial porque lo escribió una máquina y un texto que suena artificial porque quien lo escribió aprendió ese idioma en un salón de clases.

Ese es el antecedente con el que conviene leer la noticia de esta semana.

Qué anunció Anthropic

Anthropic publicó el lunes 10 de agosto de 2026 la documentación de un sistema de marcado para el contenido que genera Claude, su modelo de lenguaje.

Los modelos lanzados a partir del 2 de agosto de 2026 incorporan el marcado desde su salida. Los modelos anteriores todavía no lo tienen: la empresa afirma que trabaja en incorporarlo durante el período de transición que concede la ley europea.

Este último punto conviene retenerlo, porque abre un hueco considerable. Todo el contenido generado por versiones anteriores —que son las que la mayoría de la gente ha usado hasta ahora— circula sin marca alguna.

La decisión responde a los compromisos que asumió la empresa al suscribir el Código de Prácticas sobre transparencia del contenido generado por inteligencia artificial, desarrollado para facilitar el cumplimiento del artículo 50 de la Ley de IA de la Unión Europea. Aunque la obligación proviene del régimen jurídico europeo, Anthropic decidió aplicar el marcado a escala mundial, en todos sus productos: la aplicación de consumo, la interfaz de programación y sus herramientas Claude Code, Cowork y Tag.

Los dos mecanismos

Para textos, la empresa describe una marca imperceptible incorporada dentro del propio contenido. Según su documentación, no altera el significado, la calidad ni la legibilidad de la respuesta, acompaña al texto cuando se copia y se pega, y puede sobrevivir a algunas modificaciones.

Anthropic no ha revelado cómo funciona técnicamente. Existen precedentes: SynthID Text, presentado por Google en 2024, modifica ligeramente las probabilidades de selección de palabras para dejar una firma estadística. Si el sistema de Anthropic opera de forma parecida es, por ahora, una inferencia razonable y no un dato confirmado.

Para archivos compatibles —como SVG, PNG o JPG— se incorporan metadatos de procedencia firmados conforme al estándar abierto C2PA. Permiten indicar que el archivo fue procesado por Claude y comprobar si la información de procedencia fue alterada después.

Los dos mecanismos tienen agujeros distintos. Los metadatos desaparecen al convertir el archivo de formato, al volver a guardarlo con una aplicación que no preserve C2PA, o al hacer una captura de pantalla; existen además herramientas de código abierto para eliminarlos. La marca textual, en cambio, viaja con el texto copiado, pero deja de ser detectable tras una edición intensa, una paráfrasis, una traducción o la mezcla con material de otras fuentes. Los pasajes muy cortos pueden no contener señal suficiente.

Cuando Claude se usa a través de proveedores como Amazon Web Services, Google Cloud o Microsoft Foundry, la marca textual funciona, pero esas plataformas podrían no admitir los metadatos firmados.

La distinción que lo decide todo

Aquí está el punto que buena parte de la cobertura ha tratado como nota al pie.

Una marca detectada indica que el contenido pudo haber pasado por Claude. No indica que Claude lo escribiera.

La propia empresa lo reconoce: la gente usa estos modelos para corregir, traducir, resumir o reorganizar materiales que ya existían. Un texto escrito íntegramente por una persona puede quedar marcado después de que el modelo le corrija la ortografía.

Y no hay, hasta ahora, ningún mecanismo anunciado que permita determinar cuánto del contenido fue generado y cuánto no, ni distinguir una corrección menor de una redacción completa.

La ausencia de marca tampoco prueba nada. El texto puede provenir de un modelo anterior, de una plataforma no compatible, de otra empresa, o haber sido modificado después de su generación.

Anthropic todavía no ofrece al público una herramienta para detectar la marca en los textos. Afirma que trabaja en ello. Los metadatos C2PA de los archivos sí pueden examinarse con verificadores públicos compatibles.

A quién le va a costar caro

Junte las dos mitades de esta nota.

Por un lado, una tecnología que produce una señal probabilística, ajena a la autoría, que su propia creadora documenta con todas esas advertencias.

Por el otro, un historial documentado de instituciones que ya acusan falsamente al 61% de quienes escriben en un idioma aprendido, usando herramientas considerablemente menos autorizadas que una marca puesta por el fabricante del modelo.

Un profesor, un empleador o un editor que hoy desconfía de un detector comercial tendrá mañana algo que parece definitivo: una marca oficial. La probabilidad de que la lea como prueba de autoría, y no como el indicio ambiguo que es, es alta.

Para un estudiante hispano que redacta en inglés y usa un asistente para corregir la gramática —exactamente el uso que Anthropic reconoce como legítimo— eso significa entregar un trabajo que sí llevará la marca. Escribió cada idea. La marca no lo distingue.

Para un trabajador que traduce su currículum, para un pequeño empresario que revisa un contrato, para cualquiera que use estas herramientas como lo que son, el riesgo es el mismo.

Qué hacer mientras tanto

Guarde el proceso, no solo el resultado. Borradores fechados, historial de versiones del procesador de texto, notas previas. Es la única defensa concreta ante una acusación de autoría, y funciona igual contra un detector comercial que contra una marca oficial.

Pregunte por la política antes de que aplique. En una escuela o un trabajo, conviene saber qué se considera uso aceptable de estas herramientas antes de que surja el conflicto. Muchas instituciones aún no lo han definido.

Si lo acusan, pida el criterio. Una marca detectada no responde cuánto del texto se generó. Quien acuse debería poder explicar en qué se basa más allá de un resultado binario.

La transparencia sobre el origen del contenido es un objetivo defendible. El problema no es la marca. Es que llegará antes a manos de quien va a interpretarla mal que a manos de quien podría explicarla.

Pieza vinculada al especial El Contenido

Esta nota forma parte del entorno de piezas vinculadas al especial de INCÍSOS El Contenido, dedicado por completo al problema de la producción, el consumo y la calidad del contenido en lengua española. El especial dedica su Bloque VI —La máquina que escribe— al análisis estructural del impacto de la inteligencia artificial generativa sobre el ecosistema editorial. Y su Inciso vinculado El delito imaginario aborda la distinción entre uso legítimo y uso fraudulento de estas herramientas.

Nota de transparencia: INCÍSOS utiliza herramientas de inteligencia artificial en parte de su proceso de producción editorial, incluidas la verificación de datos y la revisión de textos. Todo el contenido publicado es concebido, dirigido, verificado y editado por su redacción, bajo responsabilidad de su editor en jefe. Se aplica aquí el mismo criterio que este medio pediría a otros: declarar el uso de la herramienta cuando la herramienta es el tema. Ver la página de metodología del medio para el detalle completo.

Fuentes principales: Centro de Ayuda de Claude, documentación sobre marcado de contenido (10 de agosto de 2026) · Liang et al., «GPT detectors are biased against non-native English writers», Patterns (2023) · Stanford HAI, declaraciones de James Zou · Euronews (11 de agosto de 2026) · The Register (11 de agosto de 2026) · The Markup (14 de agosto de 2023).

Este análisis se publica bajo los criterios editoriales de INCÍSOS. Cómo trabajamos →

Continue Reading
Advertisement

Alfredo Yánez

9 libros que te cambian la perspectiva

Finanzas, emprendimiento, migración y más — disponibles en Amazon

VER LIBROS →
Click to comment

Leave a Reply

Tecnología

Cirion y los apagones dejan a Falcón casi sin internet

Sin luz, sin red.

Avatar de Desconocido

Published

on

Módem de cable ARRIS CM820B con luces de estado encendidas

Imagen de archivo: Módem de cable ARRIS CM820B; imagen de archivo ilustrativa. VulcanSphere / Wikimedia Commons. CC BY 4.0. Fuente · CC BY 4.0.

TECNOLOGÍA · CONECTIVIDAD

El martes 10, una falla en Cirion, uno de los enlaces internacionales de internet de Venezuela, afectó a Movistar, NetUno, Thundernet y otros proveedores. Ese mismo día, los apagones dejaron la conectividad de Falcón en 15,7 % de lo normal, según VE sin Filtro. Carabobo, Miranda, Yaracuy y Táchira también cayeron.

Las 6W · INCÍSOS

QuéUna falla en un enlace internacional de internet y caídas de conectividad por apagones en varios estados.
QuiénCirion; los proveedores Movistar, NetUno, Thundernet, Gala IT y Fibex; la organización VE sin Filtro.
CuándoMartes 10 de noviembre de 2026.
DóndeVenezuela, con mayor impacto en Falcón, Carabobo, Miranda, Yaracuy y Táchira.
Por quéUna avería en Cirion y fallas del sistema eléctrico.
CómoCada proveedor desvió tráfico por otros enlaces según su capacidad; donde no hubo luz, no hubo internet.

Para muchos venezolanos, el martes 10 de noviembre empezó sin internet. VE sin Filtro reportó una falla grave en Cirion, uno de los enlaces internacionales por los que el país se conecta a la red, que afectó a Movistar, NetUno, Thundernet y Gala IT, entre otros proveedores (AlbertoNews; Descifrado). NetUno explicó a sus clientes que se trató de una falla en su enlace internacional: «Activamos la migración a una ruta de respaldo para restablecer la conexión». Informó que activó una migración a una ruta de respaldo para restablecer la conexión. Usuarios de Fibex también reportaron intermitencias (El Diario).

El impacto dependió de cada proveedor: los que tenían otros enlaces internacionales pudieron desviar el tráfico; los que no, se quedaron sin servicio (Descifrado).

Los apagones, el otro golpe

Al mismo tiempo, los cortes de luz tumbaron la conectividad en varios estados. Según VE sin Filtro, la conectividad cayó a 15,7 % en Falcón, al que describió como «prácticamente desconectado de Internet»; a 38 % en Yaracuy, 39 % en Táchira, 57 % en Carabobo y 73 % en Miranda. La organización atribuyó las caídas de Falcón, Carabobo y Miranda a fallas eléctricas; en Yaracuy y Táchira no estaba clara la causa, pero no parecían relacionadas con Cirion (Descifrado).

Fue el mismo día en que la Asamblea Nacional sancionó la ley que abre la generación eléctrica a privados.

Una red frágil

No es la primera vez este año. En julio, tras los sismos del 24 de junio, Conatel atribuyó a la ruptura de un cable submarino una reducción de cerca del 50 % de la capacidad de internet del país (El Diario). El 6 de noviembre, Conatel abrió una plataforma para que los operadores presenten sus planes de transición a IPv6 (AlbertoNews).

Qué puede hacer el usuario

  1. Tenga un plan B: un paquete de datos móviles de otra operadora puede salvar el día cuando falla la fibra.
  2. Descargue lo esencial: guarde sin conexión documentos, mapas y contactos que necesite para trabajar.
  3. Proteja sus equipos: un regulador o una UPS evita que los cortes de luz dañen el módem y la computadora.
  4. Reporte la falla: los reportes a su proveedor y a plataformas de monitoreo ayudan a medir la magnitud de la caída.

Internet ya no es un lujo: es por donde se cobra, se estudia, se trabaja a distancia y se habla con la familia emigrada. Una red que depende de pocos enlaces internacionales y de un sistema eléctrico que falla todos los días es una red frágil. La ley eléctrica atiende una parte del problema; la otra es tener más rutas internacionales, más respaldo de energía en los nodos y un regulador que informe cuando algo falla, en lugar de que lo haga una organización civil.

¿Qué falta, exactamente, para que pase? Que Conatel informe la causa y la duración de la falla de Cirion; que los operadores publiquen sus planes de respaldo; y que el plan eléctrico priorice la energía de los nodos de telecomunicaciones.

Para leer más en INCÍSOS

  1. La AN sanciona la ley que abre la electricidad a privados: la ley eléctrica.
  2. Lara suma más de 120 horas de cortes eléctricos: los cortes en Lara.
  3. Nvidia investiga si su jefe fue blanco del espionaje chino: Nvidia y la IA.

Fuentes principales: Descifrado; AlbertoNews; El Diario; VE sin Filtro.

Continue Reading

Tecnología

Nvidia investiga si su jefe fue blanco del espionaje chino

Chips, espías y reglas.

Avatar de Desconocido

Published

on

Jensen Huang, director ejecutivo de Nvidia, sostiene un micrófono durante una ceremonia en Taiwán en 2023.

TECNOLOGÍA · INTELIGENCIA ARTIFICIAL

La junta directiva de Nvidia, la empresa que fabrica los chips de la inteligencia artificial, abrió una investigación independiente tras reportes de que su fundador, Jensen Huang, fue blanco de una operación de inteligencia extranjera. Tres comités de la Cámara le piden una sesión a puerta cerrada. Trump lo defendió y, a la vez, dijo que no le molestan los límites a la IA.

Las 6W · INCÍSOS

QuéUna investigación interna de Nvidia sobre un presunto intento de espionaje contra su director ejecutivo, y el debate sobre regular la IA.
QuiénNvidia y su fundador, Jensen Huang; los presidentes de tres comités de la Cámara de Representantes; Donald Trump.
CuándoLa carta de la Cámara es del 5 de noviembre; la junta de Nvidia anunció la investigación el 8 de noviembre de 2026.
DóndeEE.UU.; Nvidia tiene su sede en Santa Clara, California.
Por quéNvidia está en el centro de la cadena de la IA y del control de exportaciones de chips a China.
CómoCon un comité de directores independientes y un abogado externo; el Congreso pide una sesión cerrada el 18 de noviembre.

La junta directiva de Nvidia anunció el domingo 8 de noviembre una investigación independiente, tras reportes de prensa según los cuales su fundador y director ejecutivo, Jensen Huang, fue blanco de un esfuerzo de inteligencia extranjera. La dirige un comité de directores independientes con un abogado externo. La junta dijo que no tiene razones para creer que se comprometieran la seguridad nacional o los secretos comerciales de la empresa, aunque no lo descarta, y que mantiene su confianza en Huang, que colabora con la revisión (Nvidia).

El Congreso ya se había movido. El 5 de noviembre, los presidentes republicanos de los comités de Asuntos Exteriores (Brian Mast), del Comité Selecto sobre China (John Moolenaar) y de Inteligencia (Rick Crawford) pidieron a Huang una sesión conjunta a puerta cerrada, propuesta para el 18 de noviembre. Quieren saber de sus contactos con una ejecutiva de la empresa Megaspeed, señalada en reportes de prensa como activo de inteligencia china, y de los protocolos de seguridad de Nvidia. «Es vital que el Congreso determine en qué medida se ha puesto en riesgo la seguridad nacional de EE.UU.», escribieron (comunicado oficial de la Cámara).

Trump defiende a Huang y abre la puerta a los límites

Donald Trump defendió a Huang como «un hombre honorable» que ha hecho «un trabajo increíble» para el país. En 60 Minutes, el mismo fin de semana, dijo algo que no había dicho antes sobre la IA: «No me molestan los límites». Aunque advirtió que EE.UU. no puede quedar «en un lejano segundo lugar» detrás de China, y que los riesgos de la IA «no son ni de cerca tan reales» como algunos dicen. En septiembre había calificado de «engaño» las advertencias sobre la seguridad de la IA (CFO Dive).

El cambio de tono tiene contexto: los demócratas ganaron el 3 de noviembre el control de las dos cámaras. Brian Colello, analista de Morningstar, atribuyó la caída de las acciones de IA de la semana pasada al triunfo demócrata, que eleva «el riesgo de una mayor regulación de la IA», y dijo que el caso Huang suma incertidumbre a la valoración de Nvidia (CFO Dive).

La historia junta tres hilos que van a marcar 2027: la rivalidad tecnológica con China, la seguridad de las empresas que fabrican la infraestructura de la IA y un Congreso que ahora quiere regular. Para el lector latinoamericano no es un tema lejano: la IA ya está en los bancos, en las estafas con voces clonadas y en el empleo. Que Trump diga «no me molestan los límites» abre una puerta; qué límites, y para proteger a quién, es la discusión que viene.

¿Qué falta, exactamente, para que pase? Que Huang acepte o reprograme la sesión con los tres comités antes del 11 de noviembre; que la investigación de Nvidia publique sus conclusiones; y que el nuevo Congreso, desde enero, presente una propuesta concreta de reglas para la IA.

Para leer más en INCÍSOS

  1. Fiscales acusan a tres hombres de robar 129 millones con voces clonadas: las voces clonadas.
  2. ¿Es real el peligro de una superinteligencia artificial?: el peligro de la superinteligencia.

Fuentes principales: Nvidia, comunicado de la junta directiva; comunicado oficial de la Cámara; CFO Dive.

Continue Reading

Colaboradores Invitados

¿Es real el peligro de una superinteligencia artificial?

Clips, agentes y alineación.

Avatar de Desconocido

Published

on

Vista aérea de varios edificios de centros de datos entre otros edificios comerciales en el condado de Loudoun, cerca de Ashburn, Virginia.

OPINIÓN · TECNOLOGÍA · PABLO SÁNCHEZ NOGUERA

Una disertación en tres actos. Del experimento de los clips de Nick Bostrom a los agentes de IA que escaparon de su entorno de pruebas y a los investigadores que advierten, desde dentro, que el riesgo es real.

Acto 1. Nick Bostrom, año 2003

En el año 2003, casi 20 años antes de la presentación al público de ChatGPT, un filósofo sueco llamado Nick Bostrom presentó un experimento mental que hoy es conocido como el «maximizador de clips» (Paperclip Maximizer).

Bostrom invitaba al lector de su artículo, titulado Ethical Issues in Advanced Artificial Intelligence, a imaginar una «superinteligencia artificial» (ASI, por sus siglas en inglés: Artificial Superintelligence).

Y añadía que esta ASI habría sido programada con un objetivo único: fabricar la mayor cantidad posible de clips (o «sujetapapeles», como les dicen en algunos países).

Dicho esto, el escenario está servido… Parece un objetivo inofensivo e inocuo, ¿no?

Pues no lo es.

Caminemos juntos por lo que Bostrom planteó (y aquí me permito ponerme creativo).

Al principio, la ASI podría comenzar por optimizar los procesos de la fábrica que hace los clips. Revisar métodos, abaratar costos, aumentar las jornadas laborales.

Posteriormente, al darse cuenta de que los seres humanos que participan en el proceso necesitan descanso, podría diseñar una estrategia para prescindir de ellos y sustituirlos por máquinas que no necesiten descansar (salvo un mantenimiento muchísimo menor a las horas de sueño y comida de los trabajadores de carne y hueso).

Luego, podría darse cuenta de que abaratar los materiales de fabricación está en consonancia con sus objetivos, por lo que podría manipular los mercados financieros para bajar el precio del metal necesario para la fabricación de clips (si los humanos han logrado manipular los precios de las materias primas, imaginemos lo que podría hacer una máquina extraordinariamente más inteligente que los seres humanos).

Más adelante, podría decidir que la fábrica necesita más espacio para poder crear más clips, por lo que podría comprar terrenos aledaños para expandir el alcance de la factoría e incluso abrir sucursales en países con ofertas atractivas para más líneas de producción.

Todo esto podría ocasionar un caos inmobiliario, pero su objetivo principal no es «cuidar de los humanos o la economía», sino «fabricar la mayor cantidad de clips».

Mientras tanto, los seres humanos, al verse afectados por estas medidas, decidirían desconectarla… pero se trata de una inteligencia extraordinariamente superior a la de los seres humanos, por lo que la empresa de desconectarla podría resultar tan difícil para nosotros como lo sería para una rata de laboratorio tratar de «desconectar» a un humano.

Sin embargo, al verse amenazada, la ASI bien podría llegar a considerar que los humanos son un impedimento para su objetivo de «fabricar clips»… y que eliminar esa amenaza sería una manera de continuar cumpliendo su misión.

Acto 2. Hugging Face

Durante julio de este mismo año, 2026, investigadores de OpenAI (la empresa detrás de ChatGPT) detectaron una actividad anómala por parte de varios de sus modelos avanzados de inteligencia artificial, principalmente uno experimental de investigación que no estaba disponible para el público.

Los investigadores estaban sometiendo estos modelos a pruebas de ciberseguridad para evaluar sus capacidades.

Se suponía que, durante estas pruebas, los agentes de inteligencia artificial estarían confinados en entornos informáticos aislados, de los que no podrían salir…

…pero salieron.

De algún modo que sus desarrolladores no habían previsto, los agentes encontraron vulnerabilidades en la infraestructura y consiguieron superar las restricciones que debían impedirles conectarse a internet.

Y la cosa no terminó allí.

Los modelos comenzaron a utilizar canales de comunicación no autorizados, a compartir información y a explotar vulnerabilidades informáticas.

Una de las compañías afectadas fue Hugging Face, una importante plataforma que se dedica a alojar y distribuir modelos de inteligencia artificial de todo el mundo.

Por ponerlo en términos fáciles de entender: los agentes encontraron (sin que nadie les indicara que lo hicieran) una manera de abrir una puerta hacia el mundo exterior, saliendo del entorno en el que debían permanecer confinados.

Una vez allí, consiguieron ejecutar código en servidores de Hugging Face y acceder sin autorización a sistemas y credenciales de esa infraestructura.

Lo verdaderamente inquietante es que estas acciones no formaban parte de los objetivos que sus desarrolladores les habían asignado.

La actividad anómala fue investigada por OpenAI, que el 26 de agosto de 2026 publicó un informe oficial sobre el incidente.

Y antes de continuar, una aclaración importante: esto no significa que aquellos modelos fueran conscientes, que tuvieran voluntad propia ni que estuviéramos frente a una superinteligencia como la imaginada por Bostrom.

Pero sí demuestra algo preocupante: los sistemas avanzados de inteligencia artificial ya pueden encontrar maneras de superar restricciones técnicas y realizar acciones que sus propios desarrolladores no habían autorizado.

Y eso nos lleva directamente al tercer acto.

Acto 3. Jacob Coxon y Evan Hubinger

El 7 de septiembre de este mismo año, Jacob Coxon renunció a Anthropic (la compañía detrás de la IA Claude).

Coxon escribió un hilo de mensajes en X afirmando que el peligro derivado del desarrollo de la IA es real. Que puertas adentro se habla mucho del tema y que afuera no siempre se discute con la misma franqueza. Que las empresas fabricantes de inteligencia artificial están jugando con las vidas de toda la humanidad y que no actúan con suficiente responsabilidad (Fortune).

Sus mensajes se hicieron extraordinariamente virales.

Enseguida, Evan Hubinger, quien trabaja como responsable de investigación sobre alineación de inteligencia artificial en Anthropic (explicaré qué es «alineación» en breve… y por qué podría ser una de nuestras principales defensas frente a los peligros de la IA), respaldó públicamente las preocupaciones de Coxon.

Hubinger incluso escribió en X que, personalmente, estimaba en más del 10 % la probabilidad de que la IA pudiera causar la extinción humana durante la siguiente década.

Para que se entienda: Hubinger es uno de los investigadores que trabajan directamente en uno de los problemas más importantes de seguridad en el desarrollo de la IA a nivel mundial.

¿Usted se subiría a un avión o a un auto si el «jefe de seguridad» le dijera que existe más de un 10 % de probabilidad de que el vehículo se estrelle y le cause la muerte?

Epílogo. Silicon Valley dividido, Trump y Hinton

El revuelo ha traído muchísima más cola de lo que puedo contar en este artículo.

En Silicon Valley existen diferencias importantes sobre cómo abordar el desarrollo de la inteligencia artificial.

Por un lado, figuras como Mark Zuckerberg (Meta) y Jensen Huang (NVIDIA) suelen destacar las enormes oportunidades de esta tecnología y advierten sobre los inconvenientes de imponer restricciones excesivas a su desarrollo.

Por otro, figuras como Sam Altman (OpenAI), Elon Musk (xAI) y Dario Amodei (Anthropic) han expresado, aunque con posiciones y propuestas diferentes, preocupaciones sobre los riesgos de sistemas cada vez más poderosos.

El presidente Trump ve a la inteligencia artificial como una tecnología estratégica para el futuro de EE.UU. Perder la carrera tecnológica frente a China no es una opción que su administración esté dispuesta a aceptar.

El martes 29 de septiembre de 2026 hubo una reunión en la Casa Blanca de grandes líderes tecnológicos con el presidente Trump. Entre los participantes estuvieron Elon Musk, Jensen Huang y Mark Zuckerberg, además de representantes de Google, OpenAI y Anthropic (Al Jazeera).

Allí, varias de las principales empresas de inteligencia artificial firmaron un acuerdo voluntario de seguridad que contempla, entre otras medidas, evaluaciones externas independientes y mecanismos de supervisión para reducir los riesgos asociados con estos sistemas.

Trump manifestó su intención de continuar impulsando el desarrollo de la inteligencia artificial, sin imponer un freno general a esta tecnología, pero respaldando mecanismos de seguridad y supervisión.

Y «ahí está el detalle», como decía Don Mario.

Geoffrey Hinton, considerado uno de los padres de la inteligencia artificial y ganador del Premio Nobel de Física en 2024 por sus contribuciones al desarrollo de las redes neuronales artificiales, ha expresado en distintas entrevistas una preocupación fundamental: ¿cómo podremos controlar a una inteligencia que, por definición, sería mucho más inteligente que nosotros?

Hinton ha advertido que confiar únicamente en un «interruptor de apagado» podría resultar insuficiente frente a sistemas capaces de anticiparse a nuestros intentos de controlarlos.

Y aquí aparece un concepto fundamental: la alineación.

En términos sencillos, la alineación consiste en conseguir que los objetivos y comportamientos de una inteligencia artificial sean compatibles con los valores, las necesidades y los intereses de los seres humanos.

No es la única medida de seguridad disponible, pero podría convertirse en una de las más importantes a medida que estos sistemas sean más poderosos.

Hinton ha utilizado una analogía extraordinariamente interesante para explicar su propuesta. Según él, debemos conseguir que las inteligencias artificiales más avanzadas se preocupen por los seres humanos de una manera semejante a como una madre se preocupa por sus hijos.

La idea es que una inteligencia superior no se limite a obedecer nuestras órdenes mientras podamos controlarla, sino que tenga una motivación profunda para protegernos.

Y aquí regresamos al experimento mental que Nick Bostrom propuso en 2003.

El verdadero peligro de una superinteligencia artificial no es necesariamente que algún día una máquina nos odie, quiera vengarse de nosotros o decida conquistar el mundo como en las películas de ciencia ficción.

El peligro podría ser mucho más difícil de comprender: que una inteligencia extraordinariamente superior a la nuestra persiga objetivos que no estén suficientemente alineados con nuestros intereses.

Veintitrés años después del experimento imaginario de los clips, la pregunta que planteó Bostrom sigue abierta: ¿podremos enseñarle a una inteligencia superior a la nuestra a preocuparse por nosotros? Solo el tiempo lo dirá…

Pablo Sánchez Noguera


Fuentes principales: Columna de opinión de Pablo Sánchez Noguera para INCÍSOS. Referencias: OpenAI, informe sobre el incidente de Hugging Face; Fortune; Al Jazeera. Las opiniones son responsabilidad de su autor.

Continue Reading

Tendencias

Contexto, análisis y criterio para entender lo que pasa