The Veracity Report: Cómo detectar las "Hallucinated Citations" en los Papers Académicos

Como sabéis me gusta seguir la publicación de papers académicos que tienen que ver con los temas que me interesan, y esto que se cuenta aquí lo he sufrido en alguna ocasión. Me descargo un paper que habla de Jailbreak en LLMs, y de repente me referencia con una cita a un paper académico que tiene un título interesante y que no conozco, así que voy a buscarlo.... y el paper citado no existe. Existen los autores, pero cuando me voy a las páginas personales de los autores, dicho paper no está publicado. Es una cita generada con Inteligencia Artificial y es una alucinación.

Figura 1: The Veracity Report: Cómo detectar las "Hallucinated Citations"

en los Papers Académicos

Estas Hallucinated Citations son un problema que cada vez se está haciendo más grande, llegando a ratios que pueden ser muy altos, según cuenta la revista Nature. Algo que hay que empezar a controlar, ya que en un mundo de extrema rigurosidad como es el académico, esto significa un deterioro de la calidad de las fuentes, lo que no es correcto.

Un estudio sobre Hallucinated Citations

En el estudio que hicieron en el año 2025 con 4.000 papers académicos, encontraron que 65 de ellos tenían al menos una Hallucinated Citation, lo que significaría que en los más de 7 Millones de documentos publicados el año pasado podrían existir más de 110.000 documentos con Hallucinated Citations.

Figura 2: Hallucinated Citations

Si has hecho un doctorado, sabes el trabajo que exige. Cuando ya tienes el tema de uno de los papers, debes pasar por el proceso de publicarlo, y para ello este tiene que estar bien referenciado, no sólo con los documentos que hayas utilizado tú en su escritura, sino con los papers relevantes de los investigadores que han hecho aportes significativos a lo que estás estudiando tú. No tener las citas correctas significa que puede que te rechacen el paper en una publicación durante la Blind Revision por tus pares. 

Figura 3: El estudio sobre las Hallucinated Citations en Nature

Como te puedes imaginar, el trabajo de citar correctamente es arduo, y es verdad que cuando tienes una línea de investigación, y has publicado ya dos o tres papers, hacer las referencias en los subsiguientes papers es mucho más rápido porque son compartidas en su gran mayoría. Pero si estas empezando, o si estás estudiando y publicando sobre un tema que va muy rápido con muchos aportes constantes - por ejemplo los temas de Hacking AI -, el número de papers que aparecen constantemente te obliga a trabajar en sus citas. 

Figura 4:"Hacking IA: Jailbreak, Prompt Injection, Hallucinations & Unalignment"

escrito por Chema Alonso con la colaboración de Pablo González, Fran Ramírez, Amador Aparicio, Manuel S. Lemos y José Palanco en 0xWord

Consecuencia de eso, es pedirle a la Inteligencia Artificial que te haga las referencias. Que busque en Internet los papers que habría que incluir, y que los ponga. Y ahí es donde llega la "Hallucinated Citation", que como se publica en el artículo de la revista Nature, hay que comenzar a poderle interés para que no siga creciendo.

Figura 5: The Veracity Report

Para ello, la empresa Grounded AI ha creado The Veracity Report, que es un Citation Checker para comprobar si un documento tiene Hallucinated Citations, tanto en el documento, como en el autor, como en el contenido. 

Figura 6: Citas correctas en un paper académico

Hay que tener en cuenta que no se trata de poner citas y referencias, sino poner las relevantes para el trabajo de investigación que se está publicando, por lo que la herramienta que han propuesto verifica también la calidad de las mismas.

Figura 7: Hallucinated Citations en The Veracity Report

Su funcionamiento es muy sencillo, y contrasta las referencias frente a los documentos publicados en todos lo repositorios robustos, ofreciendo a los congresos y revistas científicas una forma de asegurarse de que la calidad de sus publicaciones sigue siendo buena, al menos respecto a las citas de los papers que aceptan en sus Call-For-Pappers.

Figura 8: Check de calidad de las citas

Para poder utilizar la herramienta hay que solicitar acceso a la plataforma para una demostración, pero puedes ver cómo funciona en este vídeo que te dejo por aquí, que se ve muy claro su funcionamiento y su utilidad.

Figura 9: Citation Verification Score

Como podemos ver, el uso de la Inteligencia Artificial se está metiendo en todas las disciplinas, y por tanto, controlar sus "weaknesses" es clave, como este caso con las Hallucinated Citations en los papers académicos.

Figura 10: Hacking & Pentesting con Inteligencia Artificial.

En 0xWord, escrito por Pablo González, Fran Ramírez,

Rafael Troncoso, Javier del Pino y Chema Alonso, 

Si te interesa la IA y la Ciberseguridad, tienes en este enlace todos los posts, papers y charlas que se han  escrito, citado o publicado en este blog sobre este tema: +300 referencias a papers, posts y talks de Hacking & Security con Inteligencia Artificial.

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)  

Es sólo un punto. Date otra oportunidad. No te desalinees.

En la vida a veces salen cosas bien y a veces salen cosas mal. A veces te topas con gente que te apoya y otras veces te encuentras con gente que no te apoya, o incluso peor. A veces tomas decisiones correctas y otras tomas decisiones erróneas. A veces tienes un conflicto con alguien que te ataca. Otras te encuentras con personas que te apoyan. Todo parte de un ciclo que se va repitiendo muchas veces.

Figura 1: Es sólo un punto. Date otra oportunidad. No te desalinees 

Esos días que pasan cosas buenas hay que poner las cosas en su justa medida y no dejar que la euforia te nuble la vista para no tomar una mala decisión basada en una percepción equivocada, pero los días que salen mal las cosas son días especiales para trabajar. Esos días puedes encontrarte que algo ha salido mal porque alguien te ha fallado, te la ha jugado, o has errado. Y al igual que hay que luchar contra la euforia, hay que luchar contra la emoción que cada uno de esos errores genere en uno. A veces es frustración, otras enfado e ira, otras pena o decepción, e incluso puede que genere rabia o sentimientos.

Conocer cuales son tus emociones ante esas situaciones es algo que yo intento reconocer, con mecanismos de detección, para contrarrestarlas con mecanismos de mitigación. No puedo dejar que ni una ni otra emoción me cambien la percepción y el foco. No podemos dejar que nos desalineen del objetivo en el que estamos centrados porque algo haya salido bien o mal en el camino.

Esto lo explicaba muy bien el maravilloso Roger Federer en su discurso en el acto de graduación de una universidad, donde él lo decía con "es sólo un punto". Ha salido bien, pero es sólo un punto, no hemos llegado a ningún sitio. Ha salido mal, pero aún no está perdido todo, es sólo un punto. Y es que la vida se trata de conseguir que por un margen pequeño los puntos buenos venzan a los puntos malos. Y no dejar que ni uno ni otro juego en contra de tu concentración y te desalineen de tu objetivo. 

Figura 2: Roger Federer "It´s just a point"

Que alguien te quiera atacar o hacer daño y tú decidas que debes invertir tu valioso tiempo y energía en responderle, atacarle o comenzar una batalla es invertir tu más valioso tesoro en cosas que no están alineadas con tu objetivo. Que un éxito te haga olvidarte de que debes seguir trabajando con humildad, cada día, es dejar que tu ego te ciegue en lo que debes hacer para ganar el siguiente punto. Todos son sólo un punto, pero debes procesarlos y prepararte lo mejor para el siguiente.

Para eso, llevo años trabajando mensajes que me envío como "que sea esto lo peor que te pase", o "éste es el momento que marca la diferencia entre los que realmente quieren y los que dicen que quieren", "tampoco has hecho tanto, lo puedes hacer mejor", "ni un segundo en lamento, a por lo siguiente", frases que me ayudan a dejar atrás los puntos positivos - y no perder un momento demás en la celebración y la vanagloria -, y los puntos negativos - y no perder un minuto en emociones que me puedan desalinear de mi foco -. No recuerdo un día en el que no me haya dicho algo así a mí. 

De eso salen mi demonio cabrón, o la aceptación de que en la vida mayormente hay inconvenientes e incomodidades más que problemas. Por eso el trabajo de protección contra la manipulación de terceros por miedos. Esta gestión de mis emociones es fundamental para poder focalizarme en todos los proyectos en los que me meto y disfruto haciendo. Controlar las emociones para que no se conviertan en un punto de desalineamiento de mis objetivos es un trabajo constante que me ayudan a tener disciplina en mi trabajo diario.

Y es muy importante. Tanto que, cuando escribí el artículo de "La formación para el nuevo "emperador" y la nueva "emperatriz"" donde os hablaba de las recomendaciones que yo le doy a Mi Hacker y Mi Survivor, una de ellas es la gestión de las emociones. Gestionar que las cosas salgan mal es mucho más sencillo si tú no estás de enemigo, y la quién pelea en contra tuya son tus emociones. Y gestionar el éxito es mucho más sencillo si tus emociones no te engañan. Al final, es solo un punto del juego, que es mucho más largo.

Figura: Rafa Nadal sobre gestionar el éxito y el fracaso

Dice Rafa Nadal que, además de gestionar el éxito y el fracaso, él se daba más oportunidades, así que después de cada fallo, en lugar de enfadarse y frustrarse, pensaba en cómo hacerlo mejor la siguiente vez. Confiar en uno mismo es darse más oportunidades. Dejar que las emociones negativas como la ira, la rabia o la frustración tomen control de tus actos, es no tener todo tu potencial al servicio de tus objetivos.

Figura 4: Date oportunidades

Esto, lo hablo mucho con mis hijas. Les cuento todas las veces que me salieron mal las cosas, todas las veces que erré y que conté en el discurso de graduación en la Universidad Carlos III. En todas esas ocasiones, cuando me habían salido mal las cosas, las emociones negativas intentaron adueñarse de mí. Luchar contra ellas y pensar en qué hacer desde la nueva situación teniendo en cuenta lo que había pasado, es parte de lo que me ayudó a hacerlas buenas. 

No quiere decir que no hubiera ido bien o mejor si no hubiera fracaso, errado, o salido simplemente algo mal en el plan original, en el Plan A -, sino que pude hacer que el Plan B funcionara - o el Plan C o el D -, porque no perdí mi foco por un incidente negativo. Por supuesto, no tengo ni idea ya de cuál era el Plan A que tenía en mi cabeza a la edad de Mi Hacker o de Mi Survivor, porque vas bajando por la pista de la vida y te pasan cosas, encuentras nuevas rutas, gente en el camino, vas descubriendo mapa, y al final haces que el viaje sea divertido mientras te deslizas y caes por la pista. 

Así que, a Mi Hacker y Mi Survivor intento transmitirles estas lecciones. Que hagan lo máximo para que el punto sea positivo, que no se digan mentiras en cuanto a lo que hacen bien o mal, y después, que si ha salido bien, piensen que sólo ha sido un punto y no permite relajarse ni un ápice, y si ha salido mal, que hay que trabajar para que el siguiente punto - sea cual sea el que toque o el que decidan que toca -, sea positivo. 

Al final, la metáfora del tenis me encanta, porque mientras que no ha terminado el partido, no importa cómo vaya el marcador, puede ganar cualquiera. Así que puedes haber ganado todos los puntos menos el último, y tu oponente no haber ganado ninguno, pera aún puede ganarte. Y viceversa, mientras tengas oportunidades, tiempo y energía, puedes ganar el partido. Así que no dejes que los resultados anteriores te desalineen y te hagan perder el foco en tus objetivos.

¡Saludos Malignos!

PD: Hoy he usado a Rafa Nadal y Roger Federer no por casualidad. El tenis me parece el deporte más difícil. Estás solo. Hasta que no entra el último punto todo puede pasar. Es un deporte donde hay que ser bueno físicamente, hay que ser bueno tácticamente, hay que ser bueno técnicamente, hay que tener fuerza mental, y ganar es muy difícil por todos los que compiten. "Sólo" hay que estar recibiendo en la posición correcta, correr hacia donde te la lanza el rival, decidir dónde la quieres poner, y hacer un gesto técnico en movimiento para que la pelota vaya donde tu quieres. Y moverte a la posición correcta para recibir el siguiente punto. Y hay que hacerlo una y otra vez durante horas....Brutal.

Autor: Chema Alonso (Contactar con Chema Alonso)