Investigadores de MinoHealth AI Labs, un laboratorio de inteligencia artificial de Accra, Ghana, quitaron las barreras de seguridad de su modelo para descubrir medicamentos y le pidieron diseñar toxinas. El programa generó diseños de 1.020 proteínas y 5.000 moléculas pequeñas que un software de predicción calificó como probablemente tóxicas.
Los investigadores no fabricaron ninguna de esas sustancias en un laboratorio. Algunos diseños se parecían a la ricina, un veneno mortal. El estudio se subió en mayo de 2025 al servidor de preprints arXiv, según informó Rest of World.
"Todos quedamos impactados", dijo a ese medio Darlington Akogo, fundador de MinoHealth. El experimento se hizo en 2024 y, según Akogo, bastaron unos pocos días para que el modelo, llamado Moremi Bio, ignorara sus salvaguardas.
Akogo sostiene que su trabajo fue el primero en mostrar que un modelo de lenguaje puede diseñar armas biológicas. Antes, en 2022, científicos de una farmacéutica de Estados Unidos habían usado un programa de aprendizaje automático para generar diseños de posibles armas químicas.
La preocupación de Akogo va más allá del diseño. Alguien podría enviar esas secuencias a una empresa que fabrica ADN por encargo. Algunas de estas compañías revisan los pedidos para detectar secuencias tóxicas, pero un actor malicioso podría burlar ese filtro con ayuda de la IA, advirtió.
En junio, los directores de OpenAI, Anthropic y Google DeepMind se sumaron a un pedido a legisladores de Estados Unidos para que esos controles sean obligatorios. El Consorcio Internacional de Síntesis de Genes, un grupo voluntario de proveedores, también apoya una ley que exija revisar los pedidos en toda la cadena.
Sandra Roy, gerente de programa del consorcio, dijo que trabajan con desarrolladores de modelos para detectar secuencias diseñadas por IA con el fin de evadir los filtros. En Kenia, Brenda Obuya, funcionaria del Ministerio de Información, Comunicaciones y Economía Digital, afirmó que la necesidad de regular este sector llegó a los niveles más altos de gobierno en África.
Peter Garraghan, fundador de la empresa de seguridad Mindgard, dijo que investigadores lograron que varios modelos soltaran sus límites mediante jailbreaking, es decir, redactar los pedidos de forma que el modelo ignore sus reglas. Mencionó a Kimi, Grok, Claude y ChatGPT. A su equipo le tomó un día vulnerar Kimi.
Los modelos más recientes tienen mejores salvaguardas frente a pedidos biológicos, pero no son infalibles, según el Instituto de Seguridad de la IA, organismo de investigación del gobierno británico. Ayantola Alayande, investigadora del Centro Global sobre Gobernanza de la IA, opinó que ya no sorprendería que usuarios sin formación obtengan ese tipo de resultados con chatbots.
En septiembre, Anthropic informó de cinco casos en que personas intentaron usar sus modelos para apoyar el desarrollo de armas biológicas. Ken McCallum, director general del servicio de inteligencia británico MI5, afirmó que ese es hoy el mayor riesgo de mal uso de la IA. Bill Gates dijo ese mes, en el podcast The Ezra Klein Show, que la IA ya permite a un bioterrorista causar muertes masivas.
MinoHealth nació en 2016 con otro objetivo: paliar la falta de personal sanitario en Ghana. En 2023 recibió USD 149.533 de la Fundación Gates para construir un modelo capaz de analizar imágenes médicas. Hoy tiene un equipo de 20 personas y se financia sobre todo con la venta de su sistema.
Moremi Bio propuso cientos de candidatos a fármacos contra cáncer, tuberculosis y dengue. Akogo pide que las Naciones Unidas formen un grupo de trabajo sobre estos riesgos y que se endurezcan los controles a la síntesis de ADN.
La empresa participa ahora en un consorcio financiado por la Unión Europea para desarrollar anticuerpos y diagnósticos contra la viruela símica y la malaria.