The Veracity Report: Cómo detectar las "Hallucinated Citations" en los Papers Académicos

Como sabéis me gusta seguir la publicación de papers académicos que tienen que ver con los temas que me interesan, y esto que se cuenta aquí lo he sufrido en alguna ocasión. Me descargo un paper que habla de Jailbreak en LLMs, y de repente me referencia con una cita a un paper académico que tiene un título interesante y que no conozco, así que voy a buscarlo.... y el paper citado no existe. Existen los autores, pero cuando me voy a las páginas personales de los autores, dicho paper no está publicado. Es una cita generada con Inteligencia Artificial y es una alucinación.

Figura 1: The Veracity Report: Cómo detectar las "Hallucinated Citations"

en los Papers Académicos

Estas Hallucinated Citations son un problema que cada vez se está haciendo más grande, llegando a ratios que pueden ser muy altos, según cuenta la revista Nature. Algo que hay que empezar a controlar, ya que en un mundo de extrema rigurosidad como es el académico, esto significa un deterioro de la calidad de las fuentes, lo que no es correcto.

Un estudio sobre Hallucinated Citations

En el estudio que hicieron en el año 2025 con 4.000 papers académicos, encontraron que 65 de ellos tenían al menos una Hallucinated Citation, lo que significaría que en los más de 7 Millones de documentos publicados el año pasado podrían existir más de 110.000 documentos con Hallucinated Citations.

Figura 2: Hallucinated Citations

Si has hecho un doctorado, sabes el trabajo que exige. Cuando ya tienes el tema de uno de los papers, debes pasar por el proceso de publicarlo, y para ello este tiene que estar bien referenciado, no sólo con los documentos que hayas utilizado tú en su escritura, sino con los papers relevantes de los investigadores que han hecho aportes significativos a lo que estás estudiando tú. No tener las citas correctas significa que puede que te rechacen el paper en una publicación durante la Blind Revision por tus pares. 

Figura 3: El estudio sobre las Hallucinated Citations en Nature

Como te puedes imaginar, el trabajo de citar correctamente es arduo, y es verdad que cuando tienes una línea de investigación, y has publicado ya dos o tres papers, hacer las referencias en los subsiguientes papers es mucho más rápido porque son compartidas en su gran mayoría. Pero si estas empezando, o si estás estudiando y publicando sobre un tema que va muy rápido con muchos aportes constantes - por ejemplo los temas de Hacking AI -, el número de papers que aparecen constantemente te obliga a trabajar en sus citas. 

Figura 4:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Consecuencia de eso, es pedirle a la Inteligencia Artificial que te haga las referencias. Que busque en Internet los papers que habría que incluir, y que los ponga. Y ahí es donde llega la "Hallucinated Citation", que como se publica en el artículo de la revista Nature, hay que comenzar a poderle interés para que no siga creciendo.

Figura 5: The Veracity Report

Para ello, la empresa Grounded AI ha creado The Veracity Report, que es un Citation Checker para comprobar si un documento tiene Hallucinated Citations, tanto en el documento, como en el autor, como en el contenido. 

Figura 6: Citas correctas en un paper académico

Hay que tener en cuenta que no se trata de poner citas y referencias, sino poner las relevantes para el trabajo de investigación que se está publicando, por lo que la herramienta que han propuesto verifica también la calidad de las mismas.

Figura 7: Hallucinated Citations en The Veracity Report

Su funcionamiento es muy sencillo, y contrasta las referencias frente a los documentos publicados en todos lo repositorios robustos, ofreciendo a los congresos y revistas científicas una forma de asegurarse de que la calidad de sus publicaciones sigue siendo buena, al menos respecto a las citas de los papers que aceptan en sus Call-For-Pappers.

Figura 8: Check de calidad de las citas

Para poder utilizar la herramienta hay que solicitar acceso a la plataforma para una demostración, pero puedes ver cómo funciona en este vídeo que te dejo por aquí, que se ve muy claro su funcionamiento y su utilidad.

Figura 9: Citation Verification Score

Como podemos ver, el uso de la Inteligencia Artificial se está metiendo en todas las disciplinas, y por tanto, controlar sus "weaknesses" es clave, como este caso con las Hallucinated Citations en los papers académicos.

Figura 10: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que se han  escrito, citado o publicado en este blog sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)