Галлюцинация (искусственный интеллект)

У этого термина существуют и другие значения, см. Галлюцинация (значения).

Галлюцинация — уверенная реакция системы искусственного интелекта, не соответствующая исходным данным, на которых проводилось её обучение; вымышленные ответы системы, не имеющие отношения к действительности^[1].

Например, чат-бот, не получив в исходных данных сведений о доходах Tesla, может выбрать случайное число (например, «$13,6 млрд»), которое включит в собственную систему знаний и в дальнейшем будет неоднократно настаивать на этом без каких-либо признаков критического пересмотра^[2].

Широкое внимание к подобного рода эффектам проявилось в 2022 году в связи массовым внедрением больших языковых моделей: пользователи жаловались, что такие боты часто казались «социопатическими» и бессмысленно встраивали правдоподобно звучащие ложные утверждения в ответы^[3][4]; в 2023 году аналитики отнесли галлюцинации к одной из серьёзных проблем технологии больших языковых моделей^[5]; в связи с этим Илон Маск и Стив Возняк обратились с открытым письмом с предложением приостановить развитие программ искусственного интеллекта, их обращение поддержали более тысячи предпринимателей и экспертов в отрасли^[1].

Ряд исследователей считает, что некоторые ответы систем искусственного интеллекта, классифицируемые пользователями как галлюцинации, могут быть объяснены неспособностью пользователей оценить правильность ответа, в качестве примера приводилось точечное изображение, выглядящее для человека как обычное изображение собаки, но на котором программная система обнаруживает фрагменты узора шерсти, характерные только для кошек, ставя высокий приоритет признакам, к которым люди нечувствительны^[6]; эти выводы были оспорены другими исследователями^[7].