Le géant de la technologie OpenAI vante les mérites de son outil de transcription alimenté par l’intelligence artificielle Whisper comme ayant une « robustesse et une précision à l’échelle humaine ». Mais Whisper a un défaut majeur : il est enclin à inventer des morceaux de texte ou même des phrases entières, selon des entretiens avec plus d'une douzaine d'ingénieurs en logiciels, de développeurs et de chercheurs universitaires. Ces experts ont déclaré que certains des textes inventés - connus dans l'industrie sous le nom d'hallucinations - peuvent inclure des commentaires raciaux, des discours violents et même des traitements médicaux imaginaires.

Les experts ont déclaré que de telles fabrications sont problématiques parce que Whisper est utilisé dans un grand nombre d'industries dans le monde entier pour traduire et transcrire des interviews, générer du texte dans des technologies de consommation populaires et créer des sous-titres pour les vidéos. Plus inquiétant, ont-ils dit, est la ruée des centres médicaux vers l'utilisation d'outils basés sur Whisper pour transcrire les consultations des patients avec les médecins, malgré les avertissements d'OpenAI que l'outil ne devrait pas être utilisé dans des « domaines à haut risque. »

Il est difficile de discerner l’ampleur exacte du problème, mais les chercheurs et les ingénieurs ont déclaré qu’ils avaient souvent rencontré les hallucinations de Whisper dans le cadre de leurs travaux. Un chercheur de l'Université du Michigan qui a mené une étude sur les réunions publiques, par exemple, a déclaré avoir trouvé des hallucinations dans 8 transcriptions audio sur 10 qu'il a inspectées, avant de commencer à essayer d'améliorer le modèle.

Un ingénieur en apprentissage automatique a déclaré avoir découvert des hallucinations dans environ la moitié des plus de 100 heures de transcriptions Whisper qu'il a analysées. Un troisième développeur a déclaré avoir trouvé des hallucinations dans presque chacune des 26 000 transcriptions qu'il a créées avec Whisper. Les problèmes persistent même dans des échantillons audio courts et bien enregistrés. Une étude récente menée par des informaticiens a découvert 187 hallucinations dans plus de 13 000 extraits audio clairs qu'ils ont examinés.

Cette tendance conduirait à des dizaines de milliers de transcriptions défectueuses sur des millions d'enregistrements, selon les chercheurs. De telles erreurs pourraient avoir « des conséquences vraiment graves », en particulier dans les milieux hospitaliers, a déclaré Alondra Nelson, qui dirigeait le Bureau de la politique scientifique et technologique de la Maison Blanche pour l'administration Biden jusqu'à l'année dernière. « Personne ne veut d’erreurs de diagnostic », déclare Nelson, professeur à l’Institute for Advanced Study à Princeton, dans le New Jersey.

Whisper est également utilisé pour créer des sous-titres codés pour les sourds et malentendants, une population particulièrement exposée aux transcriptions erronées. C’est parce que les sourds et les malentendants n’ont aucun moyen d’identifier les fabrications qui sont « cachées dans tout ce texte », explique Christian Vogler, sourd et directeur du programme d’accès technologique de l’université Gallaudet.

La prévalence de telles hallucinations a amené des experts, des défenseurs et d'anciens employés d'OpenAI à demander au gouvernement fédéral d'envisager une réglementation sur l'IA. Au minimum, ont-ils dit, OpenAI doit remédier à cette faille.

Un porte-parole d'OpenAI a déclaré que la société étudiait continuellement comment réduire les hallucinations et a apprécié les résultats des chercheurs, ajoutant qu'OpenAI incorporait le feedback dans les mises à jour de modèles.

Alors que la plupart des développeurs supposent que les outils de transcription orthographient mal les mots ou font d'autres erreurs, les ingénieurs et les chercheurs ont déclaré n'avoir jamais vu un autre outil de transcription alimenté par l'IA halluciner autant que Whisper.