Есть одна особенно неприятная особенность современных нейросетей: они могут сказать неправду так, будто абсолютно уверены в своей правоте.
Вы спрашиваете:
«Кто написал эту книгу?»
ИИ называет автора.
Спрашиваете дату — дает дату.
Просите ссылку на исследование — получаетесь аккуратное название статьи, фамилия ученого и даже год публикации.
Проблема обнаруживается позже: такой книги, исследования или ученого вообще не существует.
Это называют «галлюцинацией» искусственного интеллекта. Но само слово немного вводит в заблуждение. Нейросеть ничего не «видит» и не страдает от странных видений. Она просто генерирует наиболее вероятное продолжение ответа — и иногда эта вероятность оказывается совершенно не связана с реальностью.
Именно поэтому главная ошибка пользователя — относиться к ИИ как к поисковой системе, которая достает готовый факт из базы данных.
ИИ работает иначе.
Нейросеть не достает ответ из ящика с фактами
Представим огромную библиотеку.
Вы спрашиваете библиотекаря:
«В какой книге написано, что Наполеон в 1812 году использовал голубей для передачи секретных сообщений?»
Нормальный библиотекарь может сказать:
«Не знаю. Давайте проверим источники».
Языковая модель устроена иначе.
Она обучена на огромном количестве текстов и научилась находить закономерности между словами, понятиями и контекстом.
Условно она оценивает:
какое слово или фраза с наибольшей вероятностью должны появиться дальше?
Поэтому модель может построить очень убедительный ответ даже там, где точного знания у нее нет.
И вот здесь возникает главный парадокс:
чем лучше нейросеть умеет писать убедительные тексты, тем убедительнее могут выглядеть ее ошибки.
Почему она не говорит просто «я не знаю»?
Потому что для языковой модели «не знаю» — не всегда естественный результат.
Она пытается выполнить поставленную задачу.
Если вы спрашиваете:
«Назови три исследования этого ученого о влиянии социальных сетей на память».
Модель может обнаружить знакомую структуру запроса:
ученый → исследования → тема → научная статья → название → год.
Если конкретных данных недостаточно, она способна собрать правдоподобную комбинацию из знакомых ей языковых шаблонов.
Получится предложение, которое выглядит научно.
Но научный стиль еще не означает научную достоверность.
Самая опасная ошибка — выдуманная конкретика
Есть огромная разница между:
«Некоторые исследования показывают влияние социальных сетей на внимание».
И:
«Исследование профессора Джона Смита, опубликованное в 2019 году в Journal of Digital Cognition, доказало снижение концентрации на 37%».
Второй вариант выглядит намного убедительнее.
- Есть фамилия.
- Есть год.
- Есть название журнала.
- Есть конкретный процент.
Именно поэтому такие ошибки особенно опасны.
Чем больше конкретных деталей, тем сильнее возникает ощущение, что информация проверена.
Хотя часть деталей могла быть сгенерирована моделью.
Нейросеть может смешать несколько настоящих фактов
Еще интереснее становится, когда ИИ не придумывает всё с нуля.
Он может взять реальные элементы и соединить их неправильно.
Например:
- существовал настоящий ученый;
- существовала настоящая книга;
- существовало настоящее исследование;
- существовала похожая фамилия.
А затем модель может случайно связать их между собой.
Получается правдоподобная, но ложная конструкция.
Это похоже на ситуацию, когда человек помнит несколько разных историй, но со временем смешивает их в одну.
Только нейросеть делает это не потому, что у нее человеческая память, а потому что генерирует текст на основе статистических закономерностей.
Почему особенно опасны незнакомые темы?
Потому что пользователь часто не способен проверить ответ.
Если вы специалист по строительству и спрашиваете ИИ про бетон, вы можете заметить странность.
А если спрашиваете про редкого исторического персонажа XVII века, которого никогда раньше не изучали, убедительный вымысел легко принять за факт.
Получается опасная комбинация:
низкая известность темы у пользователя + высокая уверенность ответа = высокий риск поверить неправде.
Именно поэтому ответы ИИ нельзя оценивать только по тому, насколько красиво и уверенно они написаны.
«Но ведь ИИ подключен к интернету»
Это уже другая ситуация.
Некоторые современные ИИ-системы могут использовать поиск, документы, базы данных и другие внешние источники.
Это значительно снижает риск некоторых ошибок, но не превращает ИИ в абсолютный источник истины.
Проблема может возникнуть на любом этапе:
- поисковая система нашла плохой источник;
- модель неправильно поняла страницу;
- она перепутала два факта;
- источник устарел;
- ссылка не подтверждает сделанный вывод;
- модель неправильно пересказала исследование.
Поэтому наличие поиска не означает:
«Теперь всё, что сказал ИИ, автоматически проверено».
Почему ИИ иногда придумывает ссылки?
Это один из самых неприятных вариантов.
Вы можете попросить:
«Дай источники, подтверждающие этот факт».
И получить красивый список:
- название исследования;
- автор;
- год;
- научный журнал;
- ссылка.
Но при проверке оказывается, что ссылка ведет не туда или самой публикации не существует.
Почему?
Потому что модель умеет очень хорошо создавать тексты, похожие на библиографические записи.
А вот создание записи, похожей на научную ссылку, и существование реальной научной публикации — совершенно разные вещи.
Поэтому ссылки, которые дал ИИ, особенно важно открывать и проверять.
Как понять, что ответ стоит перепроверить?
Есть несколько тревожных признаков.
Первый — слишком конкретный факт без источника.
Особенно если речь идет о редкой статистике, малоизвестном человеке или необычном событии.
Второй — модель уверенно отвечает на очень узкий вопрос, хотя информации о нем объективно немного.
Третий — появляются красивые названия исследований и организаций, которые вы никогда не слышали.
Четвертый — ответ содержит множество точных цифр, но не объясняет, откуда они взялись.
Пятый — при повторном вопросе формулировка или детали начинают меняться.
Это особенно хороший повод остановиться и проверить информацию.
Самая простая защита — заставить ИИ показать путь к факту
Если информация важна, не спрашивайте только:
«Какой ответ?»
Спросите:
«На каком источнике основан этот факт?»
И затем:
«Приведи первоисточник».
А еще лучше:
«Проверь, действительно ли этот источник подтверждает именно это утверждение».
Последняя формулировка особенно полезна.
Потому что наличие ссылки еще ничего не доказывает.
Статья может существовать, но вообще не говорить того, что утверждает ИИ.
ИИ полезнее всего там, где ошибку легко обнаружить
Нейросеть великолепно помогает:
- структурировать информацию;
- объяснять сложные темы простыми словами;
- придумывать варианты;
- анализировать текст;
- генерировать идеи;
- находить связи;
- помогать с черновиками.
Но чем выше цена ошибки, тем меньше следует полагаться на один ответ.
Если вы выбираете фильм — ошибка почти ничего не стоит.
Если пишете статью — ее можно исправить.
Если принимаете медицинское, юридическое или финансовое решение — уже нужна проверка по надежным источникам и специалистам.
И вот главный парадокс искусственного интеллекта
Мы привыкли думать:
«Если компьютер говорит уверенно, значит он знает».
Но у языковой модели уверенность текста и достоверность факта — разные вещи.
ИИ может написать великолепный ответ.
- Он может быть логичным.
- Грамотным.
- Убедительным.
- Структурированным.
И при этом содержать полностью выдуманную деталь.
Поэтому главный навык работы с ИИ в ближайшие годы — не умение задавать ему красивые промты.
Это умение отличать хороший текст от достоверной информации.
И, пожалуй, именно здесь человек пока остается незаменимым: он должен остановиться и спросить не «насколько убедительно это звучит?», а:
«А откуда мы вообще знаем, что это правда?»