Jacob Coxon dejó la empresa tras pasar también por OpenAI; otro responsable de seguridad de Anthropic estima en más de 10 % el riesgo de que una IA avanzada cause la extinción humana durante la próxima década
San Francisco. Un investigador que trabajó tanto en OpenAI como en Anthropic acaba de abandonar la industria de la inteligencia artificial con una acusación difícil de ignorar.
“Están jugando con nuestras vidas”.
Jacob Coxon, de 27 años, renunció a Anthropic después de tres años dedicado al preentrenamiento de grandes modelos de inteligencia artificial.
Su argumento no es que los sistemas actuales estén a punto de destruir a la humanidad.
Es otro.
Coxon cree que las grandes compañías están compitiendo demasiado rápido por desarrollar sistemas capaces de mejorar otros sistemas de inteligencia artificial y eventualmente superar ampliamente las capacidades humanas.
Y considera que ninguna empresa puede controlar por sí sola lo que ocurriría después.
La preocupación recibió un respaldo especialmente llamativo dentro de la propia Anthropic.
Evan Hubinger, responsable de investigación de alineamiento de la compañía, afirmó que personalmente estima en más de 10 % la probabilidad de que una inteligencia artificial avanzada pueda provocar la extinción humana durante la próxima década.
Pero ese número necesita una precisión importante.
No es el resultado de un experimento.
No existe un modelo estadístico capaz de demostrar que el riesgo sea exactamente 10 %.
Es una estimación subjetiva sobre un escenario futuro extremadamente incierto.
El propio Hubinger considera bajo el peligro de los modelos actuales.
La preocupación aparece si la industria consigue desarrollar sistemas superinteligentes capaces de acelerar el diseño de versiones todavía mejores de sí mismos.
Ese proceso se conoce como automejora recursiva.
El riesgo tendría dos caminos principales.
Uno sería perder el control sobre un sistema con capacidades superiores a las humanas.
El otro podría ser mucho más convencional: humanos utilizando inteligencia artificial extremadamente poderosa para fabricar armas biológicas, ejecutar ciberataques o atacar infraestructuras críticas.
Coxon sostiene que Anthropic intenta tomarse la seguridad seriamente.
Ese no es, según él, el problema.
El problema es la competencia.
Si una compañía frena, teme que otra continúe.
Si Estados Unidos desacelera, aparece China.
Y si todos creen que alguien terminará construyendo una superinteligencia, cada empresa tiene incentivos para intentar llegar primero.
Coxon propone coordinación entre los principales laboratorios y eventualmente acuerdos internacionales para controlar el desarrollo de los sistemas más avanzados.
La industria lleva años vendiendo la inteligencia artificial como una tecnología capaz de transformar la ciencia, la medicina y la economía.
Ahora algunos de quienes la están construyendo empiezan a decir algo bastante más incómodo.
Creen que podría cambiar el mundo.
Lo que discuten es si quedará alguien para verlo.
