Por Mark Day, Chief Scientist de Netskope

Los modelos de lenguaje de gran tamaño (LLM) y otras formas de inteligencia artificial (IA) generativa pueden alcanzar niveles de rendimiento notablemente similares a los de los seres humanos en tareas basadas en textos o imágenes. De hecho, han superado con creces el test de Turing, en el que una conversación por mensajería instantánea permite evaluar la inteligencia del interlocutor. Incluso en sus peores resultados, los LLM producen conversaciones que son casi indistinguibles de las de una persona. Cuando funcionan bien, son casi superhombres. Muchas empresas están tratando de determinar qué tareas serían las más adecuadas para la IA y cómo integrar la IA generativa en sus flujos de trabajo.

Según el texto de Hicks, Humphries y Slater, ChatGPT is bullshit, los LLM presentan exactamente las mismas características que cualquier embaucador. El filósofo Harry Frankfurt define este término en su libro Sobre la charlatanería (On bullshit) como hacer declaraciones con el objetivo de convencer, sin preocuparse por que sean ciertas. Así, un charlatán dirá lo que considere necesario para alcanzar su objetivo, sin importarle si es verdad o mentira. De hecho, probablemente ni siquiera le importe si lo que dice es intrínsecamente coherente. A veces, los LLM tienen lo que se conoce como «alucinaciones», en cuyo caso lo que afirman es simplemente falso.

Aunque algunos defensores de la IA afirman que las mejoras futuras reducirán o eliminarán este problema, no terminan de entender cómo funcionan los LLM y pueden estar dando consejos erróneos a los usuarios sobre sus posibles aplicaciones. A pesar del sorprendente éxito de los LLM, es fundamental saber que su funcionamiento se basa en estadísticas y no en la verdad absoluta.

Improvisación permanente

Por lo general, las «estadísticas ficticias» de los LLM parecen correctas (o se presentan como hechos), simplemente porque coinciden con la realidad tal y como la entiende el mundo contemporáneo. Pero no hay que olvidar que los usuarios de estas herramientas son capaces de cuestionar las afirmaciones, mientras que los LLM no pueden hacerlo. En efecto, los seres humanos somos capaces de reflexionar y comparar la aportación de los LLM con un modelo de veracidad general; cuando las afirmaciones coinciden, todo va bien. Por el contrario, cuando no es así, pueden dejarnos perplejos y entonces las llamamos «alucinaciones». Sin embargo, para el LLM no hay diferencia. El proceso subyacente no distingue entre una alucinación y la realidad. Por eso es difícil eliminar las alucinaciones y todo parece indicar que es imposible hacerlo.

Está claro que los LLM no son la panacea, pero tampoco son inservibles. Al fin y al cabo, su utilidad es bastante extraña y no resulta familiar, por lo que es necesario preguntarse: ¿qué tareas se le podrían encomendar a un engatusador de este tipo?

En teoría, parece bastante sencillo, pero en la práctica es algo más complicado. Aunque algunos trabajos requieren cierta habilidad verbal, es la primera vez que los usuarios lo conciben como algo imprescindible y con una ventaja potencial. La idea de una entidad artificial que, en parte, pero sin que se sepa en qué proporción, inventará, es un enfoque totalmente inédito. Dicho esto, no es recomendable utilizar un LLM para tareas estratégicas, ya que los errores y malentendidos pueden tener graves consecuencias.

LLM y ciberseguridad

Se ha escrito mucho sobre lo útiles que son los LLM en el campo de la ciberseguridad. En general, a quienes no están en el sector les atrae la idea de que haya nuevas herramientas de IA trabajando entre bastidores en interacciones no humanas. También es evidente que este es un sector que está en el punto de mira, con un consenso general sobre la gravedad de los retos que hay que afrontar. Pero, ¿es útil integrar a un «charlatán» en el equipo?

Por un lado, el uso de los LLM está limitado a situaciones en las que el texto generado es, en realidad, una presentación de información cuya fiabilidad ya se ha verificado. Sin embargo, en comparación con las capacidades de los LLM, este enfoque puede parecer algo decepcionante. Sin embargo, el enfoque conservador tiene la ventaja significativa de que el nivel de «charlatanería» que puede alcanzar un LLM no le quitará el sueño a nadie. Por otra parte, los LLM y la IA son dos cosas diferentes y esta última puede funcionar perfectamente sin recurrir a modelos de lenguaje de gran tamaño para ayudar a los equipos de ciberseguridad en sus tareas.

Instrumentos de ataque y defensa

En el primer escenario, la primera pregunta es si es posible que se produzcan ataques a empresas por parte de estafadores muy hábiles y extremadamente cualificados. Este es un riesgo considerable, por ejemplo, en el caso de la ingeniería social, en la que se puede explotar eficazmente algo plausible pero también falso para llevar a cabo un ataque. Del mismo modo, los LLM podrían resultar muy eficaces para corromper datos, introducir incertidumbre e interferir en los procesos empresariales. De hecho, los datos generados por los LLM serían lo suficientemente creíbles como para no ser detectados en controles simples y no ser necesariamente útiles o coherentes.

Al mismo tiempo, la presencia de «charlatanes» experimentados en el equipo podría proporcionar nuevas defensas. En otras palabras, ¿los LLM del equipo de defensa permiten contrarrestar eficazmente los sistemas de LLM desplegados por los atacantes? La respuesta es no. En general, los LLM son capaces de generar basura, pero no de detectarla; de lo contrario, sería posible gestionar el problema combinando los LLM por parejas: uno produciría resultados potenciales y el otro detectaría la presencia de basura en dichos resultados. Así, el uso de LLM engañosos como medio de defensa se asemeja a una variante de los señuelos (honeypots). Los equipos podrían crear de forma dinámica versiones de datos o procesos aparentemente plausibles, pero erróneos de varias maneras diferentes, implementando una especie de marca de agua. Sin embargo, todo lo que sea lo suficientemente eficaz para engañar a un atacante también corre el riesgo, aunque involuntariamente, de sembrar la confusión dentro de la empresa.

Los LLM como objetivos

¿Representa un LLM una nueva brecha de seguridad? Este es el único caso en el que parece que hay buenas noticias. De hecho, si un LLM se integra en un proceso empresarial teniendo en cuenta la posibilidad de «engañar», no es seguro que un atacante que corrompa este LLM cause daños adicionales. Si los sistemas y procesos se han diseñado para integrar a los «engatusadores», es muy probable que también sean lo suficientemente fuertes como para hacer frente a posibles ataques lanzados contra los propios LLM.

Siempre que se habla o escribe sobre el LLM, hay que hacerse dos preguntas: ¿cómo aprovechar al máximo esta capacidad? y ¿qué implicaciones tiene para la seguridad? Hasta ahora, los directivos no tenían que preguntarse qué trabajos se podían asignar a un mentiroso excelente, pero esta pregunta, u otra similar, parece imprescindible hoy en día para saber cómo aprovechar al máximo los diferentes modelos de lenguaje.