Alucinaciones de la Inteligencia Artificial

Marzo de 2025

Visión general inicial

En marzo de 2024 anunciamos que íbamos a llevar a nuestra comunidad la funcionalidad de crear cursos a partir de cualquier documento PDF.

Durante las primeras semanas tras nuestro lanzamiento, nuestros usuarios mostraron una alta satisfacción con sus cursos: recibimos comentarios de que ahora les resultaba un alivio crear su curso con una herramienta de Inteligencia Artificial (IA), ya que podían usar rápidamente sus propios recursos teniendo una expectativa clara sobre la precisión de los resultados.

Sin embargo, nuestros usuarios tampoco dudaron en señalar cuándo empezaron a encontrar problemas. Recibimos mensajes que indicaban que había contenido extraño y poco útil en los cursos creados: frases excesivamente largas junto con desviaciones en la precisión de la información generada. Como nos exigimos altos estándares de responsabilidad, agradecimos estos comentarios y los tomamos en serio. Y ahora queremos compartir con claridad qué ocurrió, por qué importa y los pasos que hemos dado.

El panorama de la IA generativa y Mini-Course Generator

Durante los últimos años hemos visto cómo grandes empresas como OpenAI, Meta, Google y Anthropic han liderado los rápidos avances en torno a la IA generativa (Gen AI), haciendo que la generación de resultados multimodales, como texto, imágenes y audio, sea notablemente accesible en diversos ámbitos, desde la educación hasta el entretenimiento. Al igual que cientos de otras aplicaciones, imaginamos un futuro cercano en el que los creadores de contenido educativo puedan crear recursos de forma eficiente aprovechando estas tecnologías. Con ese ingenuo camino en mente, comenzamos con una función impulsada por APIs de modelos de lenguaje grandes (LLM) consolidadas como única fuente de conocimiento para la creación de cursos. Por el camino, la voz de nuestra comunidad destacó que crear un curso a partir de sus propios recursos sería beneficioso, para lo cual utilizamos el marco de mayor estándar de aquel momento, a saber, el sistema de Generación Aumentada por Recuperación (RAG, por sus siglas en inglés). Aunque los sistemas RAG se diseñaron específicamente para anclar las respuestas de los LLM a una fuente de información externa especializada, garantizando que sus resultados fueran más precisos y, en última instancia, fiables, descubrimos que incluso estos sistemas no eran inmunes al creciente desafío de la «alucinación» de información incorrecta o inverosímil.

**Figura 1.** Una visión general del marco estándar de generación aumentada por recuperación. Dada una consulta o instrucción del usuario, el proceso típico consta de dos fases: recuperación y generación de contenido. (1) Durante la fase de recuperación, los algoritmos buscan y recuperan fragmentos de información de los documentos de la base de conocimiento relevantes para la instrucción del usuario. (2) En la fase de generación de contenido, los textos recuperados se pasan al modelo de lenguaje, que los enriquece con sus datos internos de entrenamiento para sintetizar una respuesta. A pesar de proponerse este método como una posible solución, en la práctica vimos que incluso los sistemas RAG no están libres de alucinaciones, e identificamos varios desafíos.

**Figura 2.** El pipeline RAG detallado con re-ranking pretendía mejorar el marco RAG estándar introduciendo una capa de refinamiento adicional entre las fases iniciales de recuperación y generación. Sin embargo, en la práctica, nuestro mecanismo de re-ranking resultó inadecuado para ponderar y priorizar correctamente el contenido relevante. El triple desafío de una recuperación poco fiable, una comprensión semántica limitada y un re-ranking ineficaz creó las condiciones en las que el LLM debe generar respuestas con información inadecuada o mal alineada, lo que aumenta la probabilidad de alucinaciones en el resultado.

Para ser más concretos, en nuestra implementación nos encontramos con varios desafíos técnicos significativos que pusieron de manifiesto las limitaciones de nuestro pipeline RAG, normalmente debidos a los pasos intermedios entre la recuperación y la augmentación:

Problemas de recuperación en la base de datos vectorial: Nuestros experimentos iniciales revelaron desafíos significativos en la fase fundamental de recuperación, donde la base de datos vectorial fallaba sistemáticamente al recuperar textos contextualmente apropiados. Las puntuaciones de similitud semántica no identificaban de forma fiable el contenido más relevante, obligando al sistema a trabajar con un contexto incompleto o inapropiado, lo que aumentaba notablemente el riesgo de alucinaciones.
Limitaciones en las relaciones semánticas: La causa raíz de estos problemas de recuperación quedó clara cuando descubrimos que basarse en representaciones numéricas (es decir, vectores) para la comprensión semántica era insuficiente para capturar relaciones conceptuales matizadas, lo que conducía a malinterpretaciones e inferencias incorrectas.
Problemas de re-ranking: Nuestros mecanismos de re-ranking resultaron inadecuados para ponderar y priorizar correctamente el contenido relevante. Esto provocó una dilución de la información, en la que contenido marginalmente relevante se priorizaba por encima de información más pertinente, afectando en última instancia a la calidad de las respuestas generadas.

**Figura 3.** El término “alucinaciones de la IA” surgió para señalar la aparición de información «inexacta», «falsa» o «fuera de contexto» en los resultados de los sistemas de IA generativa. Tanto expertos en la materia como socios del sector en la comunidad de IA generativa han venido sugiriendo que las alucinaciones son una tendencia inherente de los LLM y que no pueden detenerse; a lo sumo, pueden limitarse. (Imagen de Osarugue Igbinoba | Unsplash)

Dados estos desafíos a la hora de implementar RAG en la generación de material de aprendizaje, decidimos adoptar un enfoque más pragmático, centrándonos en asociaciones basadas en títulos junto con un paso de comprobación de consistencia que pudiera restringir mejor las posibles alucinaciones extrínsecas.

Evaluar la consistencia factual: un enfoque para gestionar las alucinaciones

Tras identificar las limitaciones del sistema RAG, nos centramos a continuación en un método adicional para gestionar las alucinaciones. Aunque una verificación de hechos perfecta requeriría una comprensión semántica profunda, determinamos que cuantificar la alineación entre el texto generado y su fuente podía servir como aproximación a la consistencia factual, lo que nos llevó a implementar un enfoque sistemático de comparación de textos que convierte la información textual en representaciones numéricas y genera una puntuación de consistencia factual.

Nuestra solución implementó este enfoque mediante tres pasos clave:

Limpieza del texto, que elimina las palabras vacías y las inconsistencias de formato para centrar la comparación en los términos portadores de contenido.
Codificación semántica, que emplea el modelo de lenguaje de spaCy para transformar el texto limpio en representaciones numéricas para una comparación matemática.
Evaluación de la similitud, que aplica cálculos de similitud del coseno (una puntuación entre 0 y 1, donde 1 indica una similitud perfecta) para cuantificar la alineación entre el contenido de origen y el generado.

Como ejemplo ilustrativo, consideremos un texto fuente sobre el período del Renacimiento y su explicación generada por IA (véase la Figura 4). El método puede reconocer la alineación semántica a pesar de las variaciones en la redacción, sin dejar de identificar posibles inconsistencias factuales.

Mejoras y desafíos pendientes

Partiendo de este enfoque, diseñamos una estrategia de pruebas que examinaba tanto contenido educativo típico como casos límite deliberadamente difíciles. Aunque podemos especular sobre cómo los usuarios podrían interactuar con este enfoque combinado, reconocemos que la implementación en el mundo real será la verdadera prueba del valor de nuestra solución a la hora de gestionar las alucinaciones.

Para aportar pruebas de la eficacia de nuestro enfoque integrado, recopilamos una muestra de los resultados de las pruebas iniciales que muestran las puntuaciones de similitud entre distintos tipos de materiales fuente y sus correspondientes versiones de curso generadas por IA en la Tabla 1.

Fuente original (versión pdf)	Enlace del curso	Puntuación de consistencia (0–1)
Libre Office	Conceptos básicos de Libre Office	0.9827
Instrucciones de la aspirina	Instrucciones de uso de la aspirina	0.9886
Historias de la Biblia	Diez historias de la Biblia	0.9361
Guía de e-Residencia	Guía de e-Residencia	0.9882
Perspectivas de la economía mundial	Perspectivas de la economía mundial: actualización sobre el crecimiento global	0.9891

Tabla 1. El enfoque demuestra su potencial en diversos tipos de contenido. No obstante, somos conscientes de que, si bien este método ofrece una forma rápida y automatizada de comparar textos en cuanto a su consistencia factual, no comprende realmente los hechos: mide la similitud semántica, lo que significa que puede detectar cambios en la redacción, pero aún puede pasar por alto inexactitudes más profundas o desinformación sutil.

Aunque nuestra solución integrada propuesta no eliminará por completo las inconsistencias, los resultados de las pruebas iniciales sugieren que ofrece un paso adelante factible y medible a la hora de identificar consistencias factuales entre los textos generados y sus fuentes originales.

Conclusión

Como Mini Course Generator, hemos dado pasos sistemáticos para abordar el desafío de las alucinaciones en el contenido educativo generado por IA. Nuestro recorrido evolucionó desde un sistema RAG tradicional hacia un enfoque más centrado que combina asociaciones basadas en títulos con un mecanismo cuantitativo de comprobación de consistencia.

Si bien nuestros resultados de prueba iniciales demuestran mejoras medibles en la precisión del contenido, reconocemos que esto representa solo el comienzo de nuestros esfuerzos. A medida que seguimos desarrollando nuestros métodos, valoramos los comentarios constructivos que ayudan a mejorar tanto nuestra implementación técnica como nuestra responsabilidad hacia las comunidades educativas con las que aprendemos y crecemos.

Referencias

Anthropic. (24 de febrero de 2025). Claude 3.7 Sonnet. anthropic.com
Banerjee, S., Agarwal, A. y Singla, S. (2024). LLMs will always hallucinate, and we need to live with this. arXiv preprint arXiv:2409.05746.
Explosion AI. (s. f.). spaCy: Industrial-strength Natural Language Processing in Python. spacy.io
Google. (11 de diciembre de 2024). Gemini 2.0. blog.google
Huang, L., Yu, W., Ma, W., et al. (2025). A survey on hallucination in large language models. ACM Transactions on Information Systems, 43(2), 1-55.
Lewis, P., Perez, E., Piktus, A., et al. (2021). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems, 33, 9459-9474.
Martineau, K. (22 de agosto de 2023). What is retrieval-augmented generation? IBM Research Blog.
Mendelevitch, O., Bao, F., Li, M. y Luo, R. (5 de agosto de 2024). HHEM 2.1: A better hallucination detection model. Vectara.
Meta. (18 de abril de 2024). Llama 3. ai.meta.com
Nicola, J. (21 de enero de 2025). AI hallucinations can't be stopped — but these techniques can limit them. Nature.
OpenAI. (13 de mayo de 2024). GPT-4o. openai.com
Statista Research Department. (12 de noviembre de 2024). AI software total product count in 2024. Statista.