Los puntos ciegos en seguridad de la IA y los LLM: ¿cuáles son los factores de riesgo?

La manera en que las personas trabajan, se comunican e innovan ha cambiado con la irrupción de los grandes modelos de lenguaje (LLM). Esta forma avanzada de inteligencia artificial (IA), ya se conozca como ChatGPT, Gemini o por cualquier otro nombre, cuenta con un enorme poder de transformación que permite flujos de trabajo más rápidos, conocimientos más profundos y herramientas más inteligentes.

Entrenados con enormes volúmenes de datos, los LLM no solo sorprenden generando textos parecidos a los de humanos, sino que además pueden aplicarse a múltiples casos de uso.  “Aunque esta creciente adopción conlleva también una responsabilidad”, asevera Fernando Anaya, country manager de Proofpoint para España y Portugal“Si algo sale mal, las consecuencias pueden ser graves, desde la exposición de datos sensibles, la difusión de contenido perjudicial o engañoso, incumplimientos de normativas e incluso la pérdida de confianza en los sistemas de IA”.

A veces se olvida que los LLM pueden estar equivocados siendo tan convincentes. Además, cuanto más se depende de ellos, más difícil se hace cuestionar lo que dicen. Por eso es fundamental que, en paralelo a la construcción de modelos más inteligentes, se mantenga una visión crítica acerca de lo que pueda pasarse por alto u omitirse a causa de ellos.   

“La ciberseguridad tradicional no se diseñó pensando en los LLM, lo que abre una nueva categoría de vulnerabilidades a las que enfrentarse”, indica Fernando Anaya, de Proofpoint. Lejos de producir resultados predecibles, los LLM generan un lenguaje dinámico y arriesgado que no puede parchearse ni auditarse igual que otros sistemas. Es difícil comprender cómo generan ciertos resultados, puesto que los LLM operan como cajas negras, lo que complica detectar problemas potenciales como la inyección de instrucciones o prompts y el envenenamiento de datos.   

Además del ingenio con los comandos a fin de manipular los LLM, los ciberdelincuentes pueden adivinar con qué datos se ha entrenado un modelo o hacer que se conecten a APIs inseguras o plugins de terceros. Otra táctica maliciosa sería sobrecargar los modelos mediante indicaciones largas y repetitivas, lo que puede ralentizar o bloquear los servicios de IA. No obstante, el phishing de ingeniería social a gran escala es actualmente el método más seguido por los atacantes, ya que los LLM facilitan la creación y distribución de mensajes creíbles que imitan la comunicación legítima para robo de credenciales y brechas de datos.

“Cuando se trata de una tecnología que evoluciona de manera tan rápida y poderosa, el desafío es asimismo único; y las medidas de seguridad deben ser sólidas para garantizar la protección de datos y la normativa vigente”, explica el directivo de Proofpoint. No parece que vaya a ir a menos la tendencia de la IA, a medida que los LLM se integren en herramientas cotidianas para los usuarios como Google Workspace y Microsoft 365, de ahí que la defensa necesite mantenerse al día y adaptarse a ese ritmo con el objetivo de revelar cualquier punto ciego en seguridad. 

Los riesgos relacionados con LLM no son una preocupación futura. Hace un par de años, los ingenieros de Samsung introdujeron el código fuente e información interna de la compañía en ChatGPT para que les ayudara a depurar código y resumir notas. No había una intención maliciosa detrás, simplemente fue parte de una tarea rutinaria. Sin embargo, dado que ChatGPT almacena los datos introducidos por los usuarios para mejorar su rendimiento, hubo temores de que se filtraran secretos comerciales, por lo que, tras el incidente, Samsung restringió el uso de ChatGPT y creó sus propias herramientas de IA para uso interno. También está el caso de DeepSeek AI, la startup china con un modelo de lenguaje potente y más accesible que otros, pero que almacena los datos de los usuarios en servidores a los que puede acceder el Gobierno chino, lo que suscita preocupaciones en torno a la privacidad y la seguridad de esos datos.

En materia de seguridad con LLM, lo primero es limitar los datos compartidos a lo estrictamente necesario y revisar siempre las respuestas para evitar la exposición de información confidencial. Desde el punto de vista técnico, conviene aplicar controles de acceso basados en roles, personalizar las restricciones de seguridad y realizar auditorías y pruebas de penetración periódicas que contemplen de forma específica los riesgos asociados a los LLM.

“Las estrategias tradicionales de seguridad de datos deben evolucionar para incorporar capacidades adaptativas y mecanismos de respuesta inteligentes adaptados al entorno de la IA, que autentiquen a los usuarios, prevengan el acceso no autorizado y evalúen continuamente cada interacción. Siguiendo este proceso, los LLM se ganarán la confianza y podrá mantenerse abierto el camino hacia nuevas ideas e innovaciones”, puntualiza Fernando Anaya.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

TE PUEDE GUSTAR

RECIBE LA NEWSLETTER

*Email: *Nombre apellidos: *Empresa: Cargo: Sector:

 
Please don't insert text in the box below!

ARTÍCULOS MÁS RECIENTES

ESCUCHA NUESTRO PODCAST

SÍGUENOS EN RRSS

MÁS COMENTADOS

Scroll al inicio
Resumen de privacidad

Las cookies y otras tecnologías similares son una parte esencial de cómo funciona nuestra web. El objetivo principal de las cookies es que tu experiencia de navegación sea más cómoda y eficiente y poder mejorar nuestros servicios y la propia web. Aquí podrás obtener toda la información sobre las cookies que utilizamos y podrás activar y/o desactivar las mismas de acuerdo con tus preferencias, salvo aquellas Cookies que son estrictamente necesarias para el funcionamiento de la web de CyberSecurityNews. Ten en cuenta que el bloqueo de algunas cookies puede afectar tu experiencia en la web y el funcionamiento de la misma. Al pulsar “Guardar cambios”, se guardará la selección de cookies que has realizado. Si no has seleccionado ninguna opción, pulsar este botón equivaldrá a rechazar todas las cookies. Para más información puedes visitar nuestra Políticas de Cookies. Podrás cambiar en cualquier momento tus preferencias de cookies pinchando en el enlace “Preferencias de cookies” situado en la parte inferior de nuestra web.