Нынешние цифры куда круче
Ну что, у нас тут новость, которую многие уже подали как НОВОСТЬ. Еще бы: большие языковые модели с успехом прошли тест Тьюринга! Целая исследовательская статья об этом, но, если коротко: в 73% случаев люди принимали ChatGPT за человека. Шок, мы обречены, завтра Скайнет захватит планету.
Не так быстро. Начнем с того, что новости о том, как машина прошла тест Тьюринга, появляются не в первый раз. Последний раз об этом писали в 2023 году, а самый известный пример – история Eugene Goostman, чат-бота, созданного в начале 2000-х годов программистами Владимиром Веселовым, Евгением Демченко и Сергеем Ульяновым. Он изображал 13-летнего мальчика из Одессы, чьи особенности (возраст, происхождение и из-за этого странный английский) должны были объяснять возможные грамматические ошибки и логические нестыковки в диалоге.
Eugene Goostman стал знаменитым в 2014 году. Тогда его команда тоже заявила, что бот прошёл тест Тьюринга, убедив 33% людей (в тесте Тьюринга их принято называть interrogators, то есть те, кто ведет допрос) в том, что он человек. Но нынешние цифры куда круче, согласитесь.
И тем не менее, они по-прежнему не доказывают, что у машин появилось сознание. Успехи ИИ в попытках одурачить собеседников свидетельствуют о двух вещах: о наивности людей и о неприменимости теста Тьюринга для оценки интеллекта и сознания машин.
В первом вы легко можете убедиться сами: авторы нынешней работы о «взломе» теста Тьюринга создали сайт, на котором каждый может попробовать убедить interrogators, что он человек, или наоборот, угадать, кто из двух witnesses (то есть свидетелей – собеседников, с которыми одновременно говорит человек) – машина. Я провела за этим увлекательным занятием некоторое количество времени и хочу сказать, что, хотя некоторые роботы оказались весьма хитры (всего против вас играют четыре модели), основная сложность – убедить человека, что ты сам не робот. Пытаясь угадать, люди ориентируются на разные идеи и представления о машинах: например, что они более вежливые или не умеют использовать сленг. И если вы отвечаете слишком умно или тем более пытаетесь шутить, они часто принимают вас за робота.
Второй момент менее очевиден. Но факт есть факт: мощь больших языковых моделей (LLM) оказалась ровно в том, что они отлично умеют создавать выглядящие (и часто являющиеся) осмысленными тексты и реакции, не понимая при этом смысла. Каждый, кто много взаимодействует с ними, знает об этом: модели с одинаковой уверенностью выдают как верную информацию, так и полную чушь (или, что намного хуже, частичную).
Опять же, исследования показывают, что LLM, благодаря тому что они обучены практически на всех доступных данных умеют, например, переубеждать куда лучше, чем люди. У меня был про это отдельный пост, но, опять же, если коротко: LLM заметно эффективнее людей побуждали сторонников теорий заговора пересмотреть свои взгляды. Кому неохота читать, мы про это говорили во вчерашнем стриме про то, как ИИ уже отнимает у людей тысячи рабочих мест.
В общем, оказалось, что умение беседовать как человек (и в чем-то даже лучше человека) оказалось не связанным напрямую с наличием сознания. Что, впрочем, неудивительно: сознание – очень сложная штука, и мы сами не понимаем, как оно устроено и откуда берется. Поэтому совершенно логично, что довольно наивная попытка протестировать, есть по ту сторона экрана сознание или нет, провалилась. Надо сказать, что наивной она нам представляется сегодня, после того как мы создали LLM и поизучали, что они могут. Во времена Тьюринга это было вполне обоснованное предположение. Вот бы он удивился, оказавшись в сегодня. Очень жалко, что он не может.