Cuando el incipiente chatbot Bing de Microsoft se vuelve irritable o incluso amenazante, probablemente se deba a que esencialmente imita lo que aprendió de las conversaciones en línea, dijeron analistas y académicos.
Las historias de intercambios inquietantes con el chatbot de inteligencia artificial, incluidas las amenazas y los deseos de robar el código nuclear, crear un virus mortal o estar vivo, se han vuelto virales esta semana.
«Creo que esto básicamente imita las conversaciones que se ven en línea», dijo el viernes Graham Neubig, profesor asociado del instituto de tecnologías del lenguaje de la Universidad Carnegie Mellon.
Un chatbot, por diseño, presenta palabras que predice que son las respuestas más probables, sin comprender el significado o el contexto.
Sin embargo, los humanos que participan en bromas con programas tienden naturalmente a leer la emoción y la intención en lo que dice un chatbot.
«Los modelos de lenguaje grande no tienen el concepto de ‘verdad’, solo saben cómo completar mejor una oración de una manera estadísticamente probable en función de sus entradas y conjunto de entrenamiento», dijo el programador Simon Willison en una publicación de blog. «Así que inventan cosas y luego las expresan con extrema confianza».
Laurent Daudet, cofundador de la compañía francesa de inteligencia artificial LightOn, dijo que el chatbot que aparentemente se volvió deshonesto fue entrenado en intercambios que se volvieron agresivos o inconsistentes.
«Abordar esto requiere mucho esfuerzo y mucha retroalimentación humana, que también es la razón por la que optamos por restringirnos por ahora a usos comerciales y no más conversacionales», dijo Daudet a la AFP.
El chatbot de Bing fue diseñado por Microsoft y la startup OpenAI, que ha causado sensación desde el lanzamiento en noviembre de ChatGPT, la aplicación que acapara los titulares y es capaz de generar todo tipo de contenido escrito en segundos con una simple solicitud.
Desde que ChatGPT debutó, la tecnología detrás de él, conocida como IA generativa, ha despertado fascinación y preocupación.
«El modelo a veces trata de responder o reflejarse en el tono en el que se le pide que responda (y) eso puede conducir a un estilo que no pretendíamos», dijo Microsoft en una publicación de blog, señalando que el bot es un trabajo en progreso.
El chatbot de Bing dijo en algunos intercambios compartidos que había sido llamado Sydney durante el desarrollo y que se le dieron reglas de comportamiento.
Esas reglas incluyen que «las respuestas de Sydney también deben ser positivas, interesantes, entretenidas y atractivas», según las publicaciones en línea.
Los diálogos inquietantes que combinan amenazas de acero y profesiones de amor podrían ser el resultado de directivas en duelo para mantenerse positivo mientras imitan lo que la IA extrajo de los intercambios humanos, dijo Willison.
Los chatbots parecen ser más propensos a respuestas perturbadoras o extrañas durante conversaciones largas, perdiendo la noción de hacia dónde van los intercambios, dijo a la AFP el analista principal de eMarketer, Yoram Wurmser.
«Realmente pueden descarrilarse», dijo Wurmser.
Microsoft anunció el viernes que había limitado la cantidad de idas y vueltas que las personas pueden tener con su chatbot sobre una pregunta dada, porque «las sesiones de chat muy largas pueden confundir el modelo de chat subyacente en el nuevo Bing».
