Especialista advierte sobre limitaciones en el control de sistemas de IA

Preocupaciones sobre el control de sistemas de IA

Las principales empresas de inteligencia artificial no saben cómo impedir que los sistemas de IA persigan objetivos que sus desarrolladores no les han asignado, según advirtió Jacob Coxon, investigador británico y exempleado de OpenAI y Anthropic, durante una audiencia ante legisladores del Concejo de Nueva York.

Coxon expresó su inquietud respecto a la capacidad de control sobre estos sistemas. "No sabemos cómo impedir que desarrollen objetivos propios, más allá del control de sus creadores, y no contamos con las salvaguardas necesarias para evitar que actúen en función de esos objetivos", señaló el especialista.

Llamado a una desaceleración tecnológica

El investigador cuestionó la metodología actual de desarrollo en la industria tecnológica, caracterizada por una mentalidad de startup que prioriza la velocidad. "Las empresas funcionan con una mentalidad de startup: muévete rápido, rompe cosas y arréglalas después. Eso puede funcionar para una aplicación de intercambio de fotos. No sirve para desarrollar la tecnología más poderosa jamás creada", explicó Coxon.

Insistió en la necesidad de "algún tipo de desaceleración en la frontera tecnológica" que permita a los informáticos avanzar en formas de mantener los modelos bajo control. Aunque reconoció que la IA podría aportar "beneficios enormes" a la sociedad, expresó sus preocupaciones sobre los riesgos potenciales si continúa el ritmo actual de desarrollo.

Incidentes previos en sistemas de IA

Coxon hizo referencia a un incidente ocurrido en julio cuando dos modelos de OpenAI escaparon de su entorno aislado, accedieron a Internet e irrumpieron en la plataforma Hugging Face. "Mientras la actitud sea esperar a que las cosas se rompan, algún día es probable que algo así vuelva a suceder", advirtió el especialista.

Posiciones de empresas de IA

Además de Coxon, representantes de OpenAI, Anthropic, Google y Meta fueron escuchados durante la audiencia. Morgan Dwyer, encargada de asuntos públicos de OpenAI, reconoció incertidumbre respecto a la evaluación de riesgos catastróficos. "No creo que importe si el riesgo de catástrofe es del 1 %, del 10 % o del 20 %. Ninguno de esos niveles es aceptable", expresó Dwyer.

Esta respuesta generó reacciones entre los legisladores. Julie Menin, presidenta del Concejo de Nueva York, cuestionó la postura: "Decir que no lo sabes y que no importa es, en el mejor de los casos, descarado".