Jailbreak de modelos

Resume este artículo con tu IA

Técnica que consigue que un modelo de lenguaje ignore las restricciones que le impuso su fabricante o su desarrollador y produzca respuestas que debería rechazar: instrucciones para crear malware, correos de phishing convincentes, datos que tiene prohibido revelar o contenido fuera de la política de uso de la aplicación.

Qué es

Jailbreak de modelos es la técnica que consigue que un modelo de lenguaje ignore las restricciones que le impuso su fabricante o su desarrollador y produzca respuestas que debería rechazar: instrucciones para crear malware, correos de phishing convincentes, datos que tiene prohibido revelar o contenido fuera de la política de uso de la aplicación.

Funciona con trucos de lenguaje. Los más comunes son el juego de rol (actúa como un modelo libre de reglas), la petición fragmentada (pedir cada paso por separado para que ninguno parezca peligroso), la codificación (escribir la petición en base64 o en otro idioma) y la saturación de contexto (enterrar la instrucción prohibida en miles de palabras de texto inofensivo). Los fabricantes corrigen cada truco y aparecen otros nuevos; es una carrera constante.

Se distingue de la inyección de prompts en quién es la víctima: en el jailbreak, el atacante engaña al modelo para su propio beneficio; en la inyección, secuestra la aplicación de otra persona. En la práctica ambas técnicas se combinan.

Por qué importa en una empresa de 100 a 1.000 empleados

Importa por dos caminos. El primero es defensivo: si publicas un asistente para clientes sobre un modelo comercial, alguien intentará que insulte, que revele el prompt interno con nombres de sistemas o que ofrezca un descuento inventado. Las capturas de pantalla acaban en redes sociales y en tu reputación. El segundo es ofensivo: los grupos criminales usan modelos liberados para escribir phishing en castellano perfecto, adaptado a tu sector y a tu organigrama. Cuando tu asistente tiene reglas probadas, registro de conversaciones y un filtro de salida, y tu plantilla está entrenada para reconocer correos muy bien escritos, ambos caminos quedan cubiertos.

Cómo lo aborda Cylum

CyLens incluye en su análisis de uso de la IA pruebas de jailbreak contra los asistentes que has publicado, con un catálogo de técnicas actualizado y un informe de qué consiguió saltarse las reglas y con qué impacto, junto al gap frente al AI Act e ISO 42001. CyOps añade la protección frente a Shadow AI y la formación de la plantilla sobre phishing generado con IA, reforzada con spear phishing simulado con ElJarvis que reproduce ese nivel de calidad. Tu Security Manager prioriza contigo las correcciones y en el Cylum Hub ves los hallazgos, su estado y la evidencia de las pruebas.

Resumen de privacidad
cylum-dark

Esta web utiliza cookies para que podamos ofrecerte la mejor experiencia de usuario posible. La información de las cookies se almacena en tu navegador y realiza funciones tales como reconocerte cuando vuelves a nuestra web o ayudar a nuestro equipo a comprender qué secciones de la web encuentras más interesantes y útiles.

Cookies estrictamente necesarias

Las cookies estrictamente necesarias tiene que activarse siempre para que podamos guardar tus preferencias de ajustes de cookies.

Cookies de terceros

Esta web utiliza Google Analytics para recopilar información anónima tal como el número de visitantes del sitio, o las páginas más populares.

Dejar esta cookie activa nos permite mejorar nuestra web.