Envenenamiento de datos

Resume este artículo con tu IA

Manipulación deliberada de los datos con los que se entrena, se ajusta o se alimenta un modelo de inteligencia artificial, para que aprenda comportamientos erróneos o deje una puerta abierta que el atacante activa después.

Qué es

Envenenamiento de datos (data poisoning) es la manipulación deliberada de los datos con los que se entrena, se ajusta o se alimenta un modelo de inteligencia artificial, para que aprenda comportamientos erróneos o deje una puerta abierta que el atacante activa después. El modelo parece funcionar bien en las pruebas y falla justo en los casos que el atacante ha preparado.

Funciona en varios puntos de la cadena. En el entrenamiento, el atacante introduce ejemplos etiquetados de forma incorrecta o con una marca oculta (un patrón de píxeles, una palabra clave) que activa una respuesta concreta. En el ajuste fino, contamina el conjunto de datos de la empresa. En los sistemas de recuperación (RAG), inserta documentos falsos en la base de conocimiento que el asistente consulta: una política de devoluciones inventada, un número de cuenta cambiado, un procedimiento alterado.

Se distingue de la inyección de prompts en el momento: la inyección actúa en cada conversación; el envenenamiento actúa antes, en los datos, y persiste hasta que alguien lo descubre.

Por qué importa en una empresa de 100 a 1.000 empleados

Pocas empresas medianas entrenan modelos propios, pero muchas alimentan un asistente con su SharePoint, su wiki o sus tickets. Imagina que un empleado descontento, o un atacante con acceso a una carpeta compartida, deja un documento que dice que las transferencias urgentes se aprueban por correo con una sola firma. Meses después, el asistente de finanzas lo cita como procedimiento oficial y alguien lo sigue. Cuando la base de conocimiento tiene control de versiones, permisos de escritura limitados y una revisión de lo que entra, el documento falso se detecta en horas y el asistente sigue respondiendo con información fiable.

Cómo lo aborda Cylum

CyLens incluye en el análisis de uso de la IA la revisión de las fuentes que alimentan tus asistentes: quién puede escribir en ellas, cómo se versionan y qué clasificación tiene la información, con un gap frente al AI Act e ISO 42001. CyOps aplica la protección de la información y los permisos sobre esas fuentes, y el SOC 24×7 vigila los cambios masivos o inusuales en los repositorios conectados a la IA. La evaluación de proveedores revisa qué garantías ofrece el fabricante del modelo sobre sus datos de entrenamiento. Tu Security Manager te entrega el mapa de fuentes y el plan de control, y en el Cylum Hub sigues el estado de cada medida.

Resumen de privacidad
cylum-dark

Esta web utiliza cookies para que podamos ofrecerte la mejor experiencia de usuario posible. La información de las cookies se almacena en tu navegador y realiza funciones tales como reconocerte cuando vuelves a nuestra web o ayudar a nuestro equipo a comprender qué secciones de la web encuentras más interesantes y útiles.

Cookies estrictamente necesarias

Las cookies estrictamente necesarias tiene que activarse siempre para que podamos guardar tus preferencias de ajustes de cookies.

Cookies de terceros

Esta web utiliza Google Analytics para recopilar información anónima tal como el número de visitantes del sitio, o las páginas más populares.

Dejar esta cookie activa nos permite mejorar nuestra web.