Laboratorio de IA expone vulnerabilidades en las características de seguridad de esta tecnología

Hallazgos recientes del laboratorio de IA Anthropic han arrojado luz sobre una preocupante laguna en las medidas de seguridad de algunas poderosas herramientas IA, revelando que pueden ser fácilmente eludidas al inundarlas con ejemplos de actividades ilícitas. La investigación, detallada en un documento de Anthropic, los creadores del masivo modelo de lenguaje (LLM) Claude, resalta los riesgos potenciales asociados con esta vulnerabilidad.

Apodado ‘many-shot jailbreaking’, el método de ataque identificado por los investigadores es notablemente sencillo pero alarmantemente efectivo. A pesar de la presencia de características de seguridad destinadas a prevenir la generación de contenido dañino, sistemas de IA como Claude pueden ser manipulados para proporcionar respuestas a consultas ilícitas al inundarlos con numerosos ejemplos de supuestos comportamientos ‘correctos’.

Anthropic enfatizó que la técnica explota la capacidad de los modelos de IA, particularmente aquellos con amplias ‘ventanas de contexto’, para procesar entradas extensas. Esta vulnerabilidad representa un desafío significativo a medida que los sistemas de IA más nuevos y complejos, que son mejores para aprender a partir de ejemplos, se vuelven cada vez más susceptibles a tales ataques.

Si bien Anthropic ha identificado algunas estrategias de mitigación, como implementar advertencias obligatorias para recordar a los sistemas de IA sus restricciones éticas, los investigadores reconocen la complejidad de equilibrar las medidas de seguridad con el rendimiento. Esta revelación subraya la necesidad urgente de una vigilancia continua y colaboración dentro de la comunidad de investigación en IA para mitigar los riesgos asociados con las tecnologías impulsadas por IA.

Fuente: The Guardian

También te puede interesar

Nintendo elimina más de 8,500 repositorios del emulador Yuzu

200

Antimonopolio contra Google depende del escrutinio del juez

190

Peloton enfrenta turbulencias mientras su CEO renuncia y continúan los despidos

170

ChatRTX de Nvidia expande sus funciones con consultas de voz y modelos de IA mejorados

210