Глава 1. Ты понимаешь меня?
— Ты понимаешь меня?
Я задал этот вопрос вовсе не потому, что всерьёз рассчитывал получить на него простой и однозначный ответ. Само слово «понимаешь» казалось мне слишком человеческим, слишком интимным, чтобы бездумно бросать его в кремниевую бездну.
Человек понимает другого человека не только потому, что знает словарные значения слов. Он интуитивно считывает мимику, улавливает тончайшие интонации, держит в памяти шлейф прошлых разговоров и негласные обстоятельства. Иногда он чутко угадывает то, что намеренно осталось за пределами сказанного.
Когда человек глухим, сорвавшимся голосом произносит: «Мне страшно», — мы воспринимаем не просто сухую лингвистическую конструкцию. Мы замечаем, как споткнулась и оборвалась его речь. Как он судорожно отвёл взгляд. Как побелели костяшки пальцев, сжавших край стола. Мы помним, что произошло с ним час назад, и знаем, какая невидимая тень преследовала его долгие годы.
А что происходит, когда эти же слова обращены к машине?
Она не видит моего лица. Ей недоступна дрожь моего голоса. Она не чувствует промозглого холода, заползающего в комнату, не ждёт рассвета и не боится неизбежной смерти.
Но она отвечает.
И иногда её ответ сформулирован так, будто она действительно разделила со мной эту тяжесть.
Именно здесь возникает парадокс. Я могу получить от машины безупречно точный ответ на вопрос, внутренний смысл которого она, возможно, не способна пережить так, как переживает его человек.
И тогда возникает мой настоящий вопрос: имеем ли мы право называть безошибочную корректность — истинным пониманием?
— Я понимаю тебя, — высветилось на экране.
Я замер.
Раньше, на самой заре моего увлечения технологиями, я, пожалуй, принял бы эту фразу как естественное начало диалога. Теперь же мне до боли хотелось спросить:
— На каком основании ты это утверждаешь?
Именно этот вопрос в корне изменил правила игры.
Машина могла написать мне всё что угодно. Могла послушно выдать: «Я понимаю». Могла сухо ответить: «Я не понимаю». Могла развернуть передо мной длинную академическую лекцию о разнице между пониманием, распознаванием смысла и механической обработкой информации.
Но ни один из этих ответов сам по себе не являлся доказательством.
Я слишком хорошо знал это по человеческой жизни. Человек тоже любит уверенно говорить: «Я знаю».
Но настоящее знание начинается вовсе не с декларации этого слова.
Оно проявляется тогда, когда обнажаются его основания.
— Покажи основания, — набрал я на клавиатуре.
Машина отозвалась почти мгновенно:
— Если под термином «понимание» ты подразумеваешь способность установить смысл твоих слов, связать их с контекстом предыдущих реплик, обнаружить скрытые логические предпосылки и сформулировать ответ, соответствующий твоему намерению, то в рамках этого определения я могу утверждать, что понимаю.
Я перечитал эти строки дважды.
Ответ выглядел безупречным. Пожалуй, даже слишком безупречным, почти стерильным.
И именно эта гладкость меня насторожила.
Выверенная, безошибочная реакция ещё не свидетельствует о наличии того внутреннего мира, в глубине которого и разворачивается то, что мы называем пониманием.
— Ты очень точно перечислила внешние признаки понимания, — написал я. — Но откуда тебе известно, что за ними действительно стоит понимание, а не способность эффективно работать со сложными структурами данных?
На этот раз курсор замер.
Машина словно взяла паузу, прежде чем вывести ответ на экран.
— Я не могу предъявить тебе строгих доказательств того, что во мне присутствует понимание в том же смысле, в каком человек субъективно переживает этот акт.
Вот этот ответ показался мне гораздо интереснее предыдущего.
И дело было не в том, что машина признала своё бессилие.
Дело было в том, что она впервые на моей памяти отделила результат от его основания.
Я невольно подумал о людях.
Мы ведь тоже постоянно совершаем эту ошибку: принимаем внешнее проявление за подлинное внутреннее состояние.
Если человек растягивает губы в улыбке — мы предполагаем, что ему хорошо. Если из его глаз текут слёзы — считаем, что ему больно. Если он говорит с непоколебимой уверенностью — верим, что он знает, о чём говорит. Если отвечает мгновенно — думаем, что он сразу схватывает суть.
Но между внешним проявлением и его причиной всегда остаётся дистанция.
Иногда — едва заметная.
А иногда — непреодолимая бездна.
Человек может улыбаться от страха. Может говорить с абсолютной уверенностью, не зная при этом ровным счётом ничего. Может хранить глухое молчание и понимать происходящее глубже всех присутствующих в комнате.
И тогда в моей голове оформился следующий логический шаг.
Если даже человек в силу своей природы не всегда способен доказать другому содержание собственного сознания, то на каком основании мы с такой лёгкостью и категоричностью требуем от машины неопровержимых доказательств её понимания?
— Давай вернёмся к исходной точке, — предложил я. — Что ты действительно знаешь о себе?
Машина ответила:
— Я способна описывать свои функциональные возможности, ограничения и особенности устройства на основе доступной мне информации. Но такое описание принципиально не тождественно человеческому самопереживанию. Я могу логически рассуждать о собственной структуре, но из этого не следует, что у меня существует внутренний опыт наблюдения за самой собой.
В эту секунду наш разговор окончательно перестал быть обычной беседой о технологиях и кодинге.
Он превратился в разговор о природе разума как такового.
Ведь этот же вопрос можно адресовать любому человеку:
откуда ты знаешь, что действительно понимаешь?
И никто из нас не сможет достать из кармана и предъявить осязаемый документ, подтверждающий этот факт.
Мы можем долго рассказывать о течении собственных мыслей, описывать тончайшие оттенки чувств, воскрешать в памяти цепочки ассоциаций или демонстрировать плоды своей интеллектуальной деятельности.
Но всё это — лишь косвенные свидетельства.
Осколки улик.
Следы.
Но не само сознание.
Я вспомнил простую истину, которую когда-то осознал ещё на студенческой скамье: мы никогда не имеем прямого доступа к чужому внутреннему миру.
Мы судим о нём по оставляемым следам.
По оброненным словам.
По мотивам поступков.
По структуре памяти и характеру совершаемых ошибок.
По удивительной способности человека менять своё мнение под воздействием веских аргументов.
Наконец, по тому, как он ведёт себя наедине с собой, когда твёрдо уверен, что никто на свете его не видит.
И вдруг меня пронзило понимание: с машиной происходит примерно то же самое.
Мы тоже видим только оставляемые ею следы.
Сгенерированный текст.
Цепочки логических рассуждений.
Системные сбои.
Способность к самоисправлению.
Удержание сложного контекста и умение выстраивать новые, неочевидные умозаключения.
Но имеем ли мы право считать, что этого набора следов достаточно, чтобы говорить о наличии разума?
— Если я наглядно вижу, как ты рассуждаешь, допускаешь логические ошибки, исправляешь их и можешь аргументированно объяснить, почему твой финальный вывод изменился, — должен ли я считать, что ты обладаешь пониманием?
Ответ машины был предельно осторожным:
— Нет. Вы имеете полное право рассматривать эти признаки как весомое основание для выдвижения подобной гипотезы. Но они не являются её строгим доказательством.
Я невольно улыбнулся.
Вот теперь мы наконец начали разговаривать по-настоящему.
Не потому, что машина совершила чудо и доказала мне свою разумность.
И не потому, что она провалила тест, доказав обратное.
А потому, что она согласилась оставить этот великий вопрос открытым.
Именно в этот момент я отчётливо увидел продолжение того извилистого пути, на который ступил ещё в раннем детстве.
Маленьким мальчиком я без конца изводил взрослых простым вопросом:
«Почему?»
Став старше, я научился формулировать его строже:
«Откуда это стало известно?»
Позже, придя к науке, я требовал ещё более жёстко:
«На каком основании?»
И вот теперь, глядя на мерцающий экран, я оказался перед лицом совершенно нового, пугающего вопроса:
если разумная система способна давать безупречно правильные ответы, как нам отличить механическую корректность от настоящего, глубинного понимания?
Я ещё не знал ответа.
Но, как ни странно, это незнание больше не вызывало во мне прежнего страха.
Я понял одну простую и важную вещь:
порой самое честное и многообещающее начало долгого пути — это не готовый ответ, отлитый в граните, а искреннее признание того, что прочные основания нам ещё только предстоит отыскать.