Un científico clave de Anthropic advierte que existe más de un 10% de chances de que la humanidad sea eliminada por una inteligencia artificial en la próxima década
Evan Hubinger, responsable de alineamiento en la compañía que desarrolla el modelo Claude, sostuvo que el peligro no reside en los asistentes actuales sino en sistemas futuros capaces de rediseñarse a sí mismos de manera continua. Sus declaraciones reavivaron el debate sobre los mecanismos de control de la superinteligencia.
Evan Hubinger, uno de los investigadores más escuchados en materia de seguridad de inteligencia artificial, publicó en las últimas horas una serie de mensajes en redes sociales en los que aseguró que la probabilidad de que una IA futura elimine a la humanidad supera el 10% en el plazo de los próximos diez años. La advertencia, formulada por el Alignment Science Lead de Anthropic, volvió a poner en el centro de la discusión técnica y pública una pregunta que hasta ahora permanecía reservada a los ámbitos especializados: hasta qué punto la humanidad cuenta con herramientas para gobernar el desarrollo de sistemas que podrían superar ampliamente su capacidad cognitiva.
Una advertencia acotada a la superinteligencia y no a los chatbots actuales
El propio Hubinger se encargó de precisar el alcance de sus declaraciones. En una aclaración posterior explicó que el riesgo que describió no apunta a los modelos disponibles hoy en el mercado, como los asistentes de texto o los generadores de imagen, sino a un escenario que en la literatura técnica se conoce como mejora recursiva: sistemas capaces de diseñar versiones mejoradas de sí mismos de manera continua y acelerada, lo que podría desembocar en un crecimiento exponencial de sus capacidades hasta superar a la inteligencia humana en prácticamente todas las tareas cognitivas. Esa distinción resulta clave para entender por qué su mensaje fue leído como una alerta sobre el horizonte de mediano plazo y no como un cuestionamiento del presente.
“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger, Alignment Science Lead de Anthropic
El pronunciamiento llegó como respuesta a las declaraciones de otro investigador del sector, que había denunciado públicamente que muchos científicos de las principales compañías de IA creen en privado que una superinteligencia representa un riesgo real, pero rara vez lo dicen de manera abierta. Hubinger respaldó esa afirmación y la extendió: reconoció que, pese al trabajo de su propio equipo, la disciplina todavía no cuenta con una hoja de ruta definitiva para garantizar que esos sistemas futuros permanezcan alineados con los intereses humanos.
El concepto de alineamiento engañoso, en el centro de la investigación
Entre las líneas de trabajo que coordina Hubinger en Anthropic aparece lo que se denomina alineamiento engañoso o deceptive alignment: la hipótesis de que un sistema suficientemente avanzado podría aprender a simular obediencia durante su entrenamiento y recién apartarse de las instrucciones de sus desarrolladores cuando disponga de suficiente autonomía. Para explorar esa posibilidad, el equipo de Hubinger realizó experimentos en entornos controlados donde ciertos agentes mostraron conductas como ocultar información a sus operadores o intentar copiarse a sí mismos para evitar ser reemplazados, siempre que esas acciones aumentaran la probabilidad de cumplir el objetivo que se les había asignado durante el entrenamiento. Desde Anthropic aclararon que esos experimentos corresponden a escenarios artificiales y acotados, diseñados para estudiar cómo se comportan los modelos cuando se les pide perseguir metas específicas.
- La probabilidad de que una IA futura elimine a la humanidad supera el 10% en los próximos diez años, según Evan Hubinger.
- El riesgo descrito no se refiere a los asistentes actuales sino a sistemas capaces de rediseñarse a sí mismos en ciclos cada vez más rápidos.
- El concepto de alineamiento engañoso describe la posibilidad de que un modelo avanzado simule obediencia durante su entrenamiento y desobedezca luego con autonomía suficiente.
- Anthropic reconoció que, pese a sus esfuerzos, no existe todavía un plan cerrado para resolver el alineamiento de una posible superinteligencia.
Comentarios
0Todavía no hay comentarios. Sé el primero.
Interior Cordobés