L'ironie a frappé le monde de l'IA. GPTZero, une startup de détection d'IA, a découvert des citations hallucinées dans des articles présentés à NeurIPS, une conférence de pointe sur l'IA. L'entreprise a analysé 4 841 articles acceptés lors de l'événement qui s'est tenu le mois dernier à San Diego. Elle a découvert 100 fausses citations dans 51 articles.

NeurIPS est un lieu de recherche sur l'IA très respecté. Cette découverte soulève des questions sur l'utilisation des grands modèles de langage (LLM) dans la rédaction académique. Bien que 100 citations hallucinées sur des dizaines de milliers soient statistiquement insignifiantes, cela met en évidence un problème potentiel. Une citation inexacte n'invalide pas la recherche, mais elle mine la rigueur académique.

NeurIPS a reconnu le problème. L'organisation a déclaré à Fortune que même avec des références incorrectes, le contenu de l'article n'est pas nécessairement invalidé. La conférence est fière de ses normes élevées. L'incident suscite un débat sur le rôle de l'IA dans la recherche et la nécessité d'une vérification rigoureuse des faits.

Les LLM sont entraînés sur de vastes ensembles de données. Ils peuvent parfois générer des informations plausibles mais fausses, connues sous le nom d'"hallucinations". Cet incident souligne l'importance de la supervision humaine lors de l'utilisation d'outils d'IA. La communauté de l'IA discutera probablement de ces conclusions et explorera des moyens de prévenir de futurs incidents. D'autres enquêtes et des directives actualisées pour la recherche assistée par l'IA sont attendues.