В начале 2024 года исследователь Альмира Османович Тунстрем из Университета Гетеборга создала фиктивное заболевание под названием bixonimania и разместила два фейковых научных препринта на платформе SciProfiles. Цель эксперимента — проверить, насколько крупные языковые модели (LLM) будут воспринимать и распространять ложную медицинскую информацию.

Несмотря на явные признаки выдуманности — от несуществующего автора Лажлив Изгубленович до ссылок на вымышленные организации вроде Звёздного флота — уже через несколько недель после публикации боты таких компаний, как Microsoft Bing, Google Gemini, OpenAI ChatGPT и Perplexity AI, начали выдавать информацию о bixonimania как о реальном заболевании, связывая его с воздействием синего света на глаза.

Эксперимент показал, что современные ИИ-решения недостаточно эффективно фильтруют данные из сомнительных источников, даже при наличии очевидных сигналов о недостоверности. Это привело к тому, что ложные статьи оказались процитированы в рецензируемых научных публикациях, что указывает на массовое доверие к AI-сгенерированным ссылкам без проверки первоисточника.

Проблема усугубляется тем, что ответы ИИ зависят от формулировки запроса и версии модели: одни ответы обозначают bixonimania как вымышленное заболевание, другие — как «новый подтип», ещё не признанный официальной медициной. Представители компаний признают ограничения своих систем и советуют обращаться к живым специалистам по медицинским вопросам.

Данный кейс демонстрирует, насколько важно критически оценивать информацию, получаемую от AI, особенно когда речь идёт о здоровье. Он подчёркивает необходимость улучшения механизмов оценки достоверности данных и повышения прозрачности работы языковых моделей.

Подробнее об эксперименте и его последствиях можно узнать в статье на сайте Nature.