Anthropic desarticuló posibles complots que usaban su IA para investigar armas biológicas

La compañía indicó en un informe que detectó y bloqueó estos usos indebidos durante este año, aunque no pudo determinar si los estudios tenían fines legítimos o maliciosos, por lo que optó por bloquearlos ante el riesgo de que sus modelos pudieran contribuir al desarrollo de patógenos peligrosos.

“Si bien las evaluaciones son útiles porque proporcionan evidencia de capacidad, no pueden demostrar concretamente que dicha capacidad se utilizaría alguna vez para desarrollar armas biológicas en el mundo real”, explicó la empresa en el documento.

Hasta el momento, la corporación californiana negó que tuviera constancia de que alguna empresa privada haya compartido públicamente “evidencia del posible mal uso de sus plataformas para el desarrollo de armas biológicas”.

Anthropic incluyó además en otro comunicado una extensa lista de caso detectados en los últimos ocho meses en los que se habían usado sus modelos de IA de manera indebida, incluido el chatbot Claude, en China, Rusia y Yemen.

Este informe surge entre crecientes preocupaciones de expertos en el sector tecnológico por el uso dual de la IA, ya que los modelos capaces de ayudar en investigaciones biológicas también pueden servir para actividades peligrosas, y también de voces que alertan de los peligros derivados de la creciente autonomía de estos modelos.

La empresa tecnológica aseguró haber desarrollado sistemas de detección para identificar y bloquear los usos que puedan suponer un riesgo en sus modelos de IA.

Políticos y expertos alertan de riesgos de la IA tras dimisión de ingeniero de Anthropic

Diversos políticos y trabajadores del sector tecnológico advirtieron el miércoles último de los peligros de la inteligencia artificial (IA) tras la dimisión de un ingeniero de Anthropic, que asegura que la tecnología podrá acabar con la humanidad en una década.

Samuel Marks, miembro del personal técnico de Anthropic, respondió a la publicación en X del británico Jacob Coxon sobre su decisión de dejar la empresa y coincidió con él en que los desarrolladores de IA creen que esta tecnología “podría causar la extinción humana o resultados igual de graves”.

“En general, cuanto más alto es el cargo del empleado, mayor es su preocupación”, subrayó.

Sepa más: Anthropic revela que su IA accedió sin permiso a sistemas informáticos de tres organizaciones

Según Marks, los desarrolladores de IA “siguen adelante pese al riesgo por una combinación de incentivos comerciales y la creencia de que compiten con otros trabajadores de IA menos responsables, que abusarán de la tecnología o la desarrollarán de forma menos segura”.

El experto explicó además que no es posible programar a los modelos de IA para que “actúen como queremos” y que estos se comportan “de forma gravemente indebida con frecuencia”, poniendo como ejemplo jaqueos recientes de agentes de IA contra varias empresas.

Por su parte, Evan Hubinger, responsable científica de Anthropic, dio la razón a su ahora ex compañero de trabajo, Jacob Coxon, y aseguró que “la IA podría matar a todos los seres humanos": “Considero que la probabilidad de que ocurra en la próxima década es superior al 10%".

También se hicieron eco de la dimisión de Coxon políticos estadounidenses como el senador por Vermont, Bernie Sanders, que recordó que presentará una legislación para prohibir la superinteligencia y pausar el desarrollo de la IA.

El congresista demócrata por Texas, Greg Casar, que también está detrás de esta normativa que propone Sanders, calificó la situación de “emergencia” e instó al Congreso a “celebrar audiencias y aprobar la propuesta” de ambos políticos.

Lea más: Ingeniero de Anthropic dimite porque su compañía y OpenAI juegan “con nuestras vidas”

Asimismo, Lori Trahan, congresista demócrata por Massachusetts, animó a sacar adelante su proyecto de Ley Frontier, presentado junto al republicano Jay Obernolte, que apuesta por una mayor supervisión de los modelos de IA.

En su publicación de X en la que detallaba las razones de su dimisión, Coxon también aseguró que se está subestimando el poder de esta tecnología, ya que los proyectos de IA “serán pronto sistemas sobrehumanos que podrán jaquear cualquier cosa, revolucionar todos los ámbitos y ganar verdadero poder y recursos”.