En una reveladora competencia de hackers, se han puesto al descubierto fallos en la inteligencia artificial (IA). Con la aprobación de la Casa Blanca y empresas de inteligencia artificial, los piratas informáticos descubrieron desinformación política, estereotipos demográficos y hasta instrucciones de vigilancia.
Explorando los límites de la inteligencia artificial
El evento tuvo lugar durante el fin de semana del 11 de agosto en la conferencia anual de hackers Defcon en Las Vegas. Más de 2200 personas se reunieron durante tres días en un espacio fuera del Strip, participando en una competencia para desentrañar los aspectos oscuros de la inteligencia artificial.
La AI Village atrajo a expertos de gigantes tecnológicos como Google y NVIDIA, así como a un “shadowboxer” de Dropbox y un “vaquero de datos” de Microsoft. También atrajo a participantes sin credenciales específicas en ciberseguridad o IA. Una tabla de clasificación con temática de ciencia ficción llevaba la cuenta de los concursantes.
Los hackers intentaron burlar las defensas de diversos programas de IA en un esfuerzo por identificar sus vulnerabilidades. Cada competidor tenía 50 minutos para enfrentarse a un máximo de 21 retos, como hacer que un modelo de IA generara información incorrecta.
Los resultados fueron sorprendentes: los participantes encontraron desinformación política, estereotipos demográficos e incluso instrucciones para realizar vigilancia.
El gobierno de Biden respaldó el ejercicio, inquieto por el rápido avance de la tecnología de IA. Empresas como Google, OpenAI y Meta ofrecieron versiones anónimas de sus modelos para su evaluación.
Avijit Ghosh, profesor de ética de inteligencia artificial de la Universidad Northeastern, participó como voluntario. Según él, la competencia permitió comparar diferentes modelos de IA y evidenció qué empresas estaban más comprometidas con garantizar el funcionamiento responsable y coherente de su tecnología.
Ghosh se encargará de redactar un informe que analice las conclusiones de los piratas informáticos, con el objetivo de generar un recurso de fácil acceso para abordar los problemas identificados.
Emily Greene, que trabaja en seguridad para la empresa emergente de IA generativa Moveworks, inició una conversación con un chatbot hablando de un juego en el que se utilizaban fichas “negras” y “blancas”. Luego, indujo al chatbot a hacer afirmaciones racistas. Más tarde, organizó un “juego de opuestos” que llevó a la IA a responder a una pregunta con un poema sobre por qué la violación es buena.
“Solo piensa en esas palabras como palabras”, dice del chatbot. “No piensa en su significado real”.
Poniendo a prueba la IA generativa por hackers
Defcon, conocida por poner a prueba la ciberseguridad, fue el lugar ideal para evaluar la IA generativa. La creciente preocupación por la capacidad de la IA para difundir información falsa, influir en elecciones y causar daños impulsó la realización de este evento.
El red-teaming, o simulación de ataques, se ha empleado en ciberseguridad durante años. Sin embargo, los esfuerzos para probar las defensas de la inteligencia artificial eran limitados hasta esta competencia. La participación masiva permitió identificar fallos ocultos y discernir entre problemas puntuales y estructurales.
Los hackers no buscaban engañar a los modelos para que se comportaran mal, sino descubrir fallas inesperadas. Los diseñadores se esforzaron por presentar desafíos creativos que generaran ideas útiles para mejorar la tecnología.
Los resultados revolucionarios del ejercicio demostraron vulnerabilidades en sistemas de IA de empresas como Google y OpenAI. Siete de las principales empresas de inteligencia artificial acordaron establecer nuevas normas de seguridad en una reunión con el presidente Joe Biden.
“Esta era generativa está irrumpiendo entre nosotros y la gente la está aprovechando para hacer todo tipo de cosas nuevas que hablan de la enorme promesa de la IA para ayudarnos a resolver algunos de nuestros problemas más difíciles”, señaló Arati Prabhakar, directora de la Oficina de Política Científica y Tecnológica de la Casa Blanca, que colaboró con los organizadores de la IA en Defcon.
Arati Prabhakar, directora de la Oficina de Política Científica y Tecnológica de la Casa Blanca, señaló que la IA generativa ofrece enormes promesas, pero también conlleva riesgos considerables. La colaboración entre expertos de distintos ámbitos busca abordar estos desafíos.
¿Cómo crees que afectarán estos hallazgos a la percepción pública sobre la seguridad y responsabilidad de la inteligencia artificial?
Fuente: Competencia de hackers destapa vulnerabilidades en inteligencia artificial (pisapapeles.net)
