Llega la nueva generación de ataques de IA mediante inyección de prompts

La ciberdelincuencia en foros clandestinos se acelera con el desarrollo y la comercialización activa de herramientas de inyección indirecta de prompts, diseñadas para atacar aplicaciones y agentes impulsados por IA. Así lo indican los investigadores de amenazas de la compañía de ciberseguridad centrada en personas y agentes Proofpoint.

En estos mercados se anuncian servicios capaces de insertar prompts ocultos en correos electrónicos, archivos PDF, invitaciones de calendario y anuncios maliciosos, con el objetivo de manipular a los agentes. “Estas técnicas todavía se encuentran en una fase emergente, pero demuestran cómo los atacantes se están preparando para la próxima generación de ataques basados en IA”, explican los expertos de seguridad.

El impacto de la IA en el panorama de las amenazas continúa siendo una de las principales preocupaciones de las organizaciones, tanto por la forma en que los ciberdelincuentes emplearán esta tecnología para lanzar sus ataques como por la necesidad de proteger sus propias aplicaciones de IA y agentes inteligentes ya desplegados. Desde Proofpoint siguen observando una adopción generalizada de herramientas asistidas por modelos de lenguaje de gran tamaño (LLM) y de contenido generado por IA dentro de las cadenas de ataque, lo que incrementa la escala, la velocidad y la variabilidad de las campañas maliciosas.

En el caso de la inyección de prompts, aunque se trata de un vector de ataque ampliamente estudiado, la mayoría de las metodologías que podrían adoptar los atacantes siguen siendo hipotéticas. Concretamente, la inyección indirecta de prompts ocurre cuando un LLM procesa información procedente de fuentes externas, como sitios web o archivos, y ese contenido externo puede incluir instrucciones que, al ser interpretadas por el modelo, alteran su comportamiento de forma no prevista o inesperada.

Entre los ejemplos más analizados por la comunidad defensiva destaca el uso de la inyección de prompts en contextos legibles por máquinas, pero invisibles para los usuarios, como ocultar el prompt dentro del código fuente de una página web. También puede incorporarse a archivos adjuntos enviados por correo electrónico que contienen instrucciones dirigidas a un agente encargado de analizar el contenido, o bien insertar elementos ocultos mediante texto blanco sobre fondo blanco dentro del documento. Otra de las herramientas observadas genera invitaciones de calendario con un prompt inyectado en el cuerpo del mensaje, presentado como si fuera el orden del día de una reunión, y, cuando un agente de IA resume el contenido, también procesa el prompt malicioso. Los atacantes además planean ocultar prompts dentro de anuncios maliciosos que se cargan dinámicamente. Así, en el momento en que un agente de IA visita estas páginas, puede analizar su contenido y procesar dichos prompts ocultos.

“La manera en que los ciberdelincuentes podrían atacar aplicaciones de IA generativa y agentes inteligentes se basa todavía en investigaciones y especulaciones sobre posibles tácticas, técnicas y procedimientos, más que en ataques observados de forma generalizada en entornos reales. Sin embargo, entre los investigadores de amenazas, una opinión ampliamente compartida es que solo es cuestión de tiempo antes de que esto cambie; y, por ello, es fundamental que los equipos defensivos no caigan en la complacencia mientras esperan que estas técnicas comiencen a usarse de forma masiva”, concluyen desde Proofpoint.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

TE PUEDE GUSTAR

RECIBE LA NEWSLETTER

*Email: *Nombre apellidos: *Empresa: Cargo: Sector:

 
Please don't insert text in the box below!

ARTÍCULOS MÁS RECIENTES

ESCUCHA NUESTRO PODCAST

SÍGUENOS EN RRSS

MÁS COMENTADOS

Scroll al inicio
Resumen de privacidad

Las cookies y otras tecnologías similares son una parte esencial de cómo funciona nuestra web. El objetivo principal de las cookies es que tu experiencia de navegación sea más cómoda y eficiente y poder mejorar nuestros servicios y la propia web. Aquí podrás obtener toda la información sobre las cookies que utilizamos y podrás activar y/o desactivar las mismas de acuerdo con tus preferencias, salvo aquellas Cookies que son estrictamente necesarias para el funcionamiento de la web de CyberSecurityNews. Ten en cuenta que el bloqueo de algunas cookies puede afectar tu experiencia en la web y el funcionamiento de la misma. Al pulsar “Guardar cambios”, se guardará la selección de cookies que has realizado. Si no has seleccionado ninguna opción, pulsar este botón equivaldrá a rechazar todas las cookies. Para más información puedes visitar nuestra Políticas de Cookies. Podrás cambiar en cualquier momento tus preferencias de cookies pinchando en el enlace “Preferencias de cookies” situado en la parte inferior de nuestra web.