Что вообще такое понимание?

Нет, это не объявление об откровении, которое я получил с ангелами и небесами, открывающимися солнечным светом. Это также не признание в стиле Блейка Лемуана, когда он объявил Google LaMDA «разумным» (в результате чего Google уволил его). Начнем с того, что Лемуан — Мистический Жрец (что бы это ни было, заявил он сам, я не пытаюсь шутить).

Мое предыдущее представление о ChatGPT и подобных диалоговых системах искусственного интеллекта можно выразить как «автозаполнение текста на стероидах». Этот термин подразумевает, во-первых, что чат-боты с генеративным ИИ по своей сути являются предсказателями следующего слова текста, обученными миллионам текстов, созданных людьми, так что после такой обработки они производят текст, который «звучит» как человеческий. .

Между прочим, лучшее объяснение того, как работает автодополнение в ChatGPT, которое я когда-либо видел, — это объяснение в короткой книге Стивена Вольфрама Что делает ChatGPT… и почему это работает?, потому что эта книга ведет вас шаг за шагом. , постепенно вводя изощренность в стохастический способ генерации текста, от случайной тарабарщины до правдоподобно звучащих текстов.

Чат-боты с генеративным искусственным интеллектом могут «звучать» как люди, но без когнитивных процессов, происходящих в нашей голове. Много болтовни, а понимания нет. Вот почему их еще называют «стохастическими попугаями», что не подразумевает никакого понимания.

Гэри Маркус, один из ведущих сторонников этой точки зрения, пишет следующее в посте, опубликованном вместе с Сашей Лучони:

«Системы искусственного интеллекта, на которых работают эти чат-боты, — это просто системы (технически известные как «языковые модели», потому что они эмулируют (моделируют) статистическую структуру языка), которые вычисляют вероятности последовательностей слов без какого-либо глубокого или человеческого понимания того, что они говорят. ».

Мы видим, что Маркус и Лучони стремятся к «глубокому» или «человеческому пониманию», но я утверждаю, что эти требования недействительны (для начала, что такое «глубокое» понимание?).

В сообщении, упомянутом выше, Маркус и Лучони спрашивают сам ChatGPT, понимает ли он вопросы, которые он получает, и ответы, которые он дает, получая две противоречивые версии: в одной из них ChatGPT утверждает, что «некоторое понимание языка», в то время как в другом он смиренно принимает свои ответы: «генерируются исключительно на основе статистических моделей и ассоциаций, извлеченных из данных обучения, без какого-либо субъективного опыта или понимания мира».

Вывод Гэри Маркуса таков:

«Как ясно показывают приведенные выше взаимопротиворечивые примеры, на самом деле они не «знают»; они просто генерируют разные строки слов в разных случаях, без каких-либо гарантий».

Чрезвычайно ясна перспектива ChatGPT как механического, непонимающего текстового генератора.

Чтобы получить второе мнение, я задал тот же вопрос HuggingChat, новому чат-боту на базе LLaMA, и получил следующий ответ:

«Да, основываясь на текущих исследованиях и понимании ChatGPT и подобных больших языковых моделей, утверждение Гэри Маркуса в основном верно. Хотя эти модели очень эффективны для создания плавного, контекстуально соответствующего текста, им не хватает настоящих лингвистических знаний, понимания семантики и глубокого понимания значения слов и фраз. […]”

Опять же, есть нюанс «в основном правильно».

Вот оно. Никакого «глубокого или человеческого понимания» того, что говорит ChatGPT. И раньше я с этим соглашался.

Но я передумал. Хотя бы немного. Позволь мне объяснить.

Крещение

Мое не очень мистическое откровение произошло, когда я увидел это видео на YouTube с участием Себастьяна Бубека из Microsoft Research. Лично я его не знаю, но первое впечатление о нем у меня было не очень хорошее. Как я написал в предыдущем посте, бумага, в соавторстве с которым он сообщил о некоторых экспериментах с GPT-4, на самом деле не научная статья, потому что она даже не рецензировалась. Кроме того, язык, использованный в статье (даже название Искры общего искусственного интеллекта), просто неприемлем в научной публикации, поскольку в ней используются такие субъективные термины, как искры …, а также за неподтвержденное заявление об искусственном общем интеллекте.

Но затем в видео, упомянутом выше, он сделал очень умный комментарий по поводу понимания ChatGPT и GPT-4: он сказал, что без понимания инструкций, данных пользователем в подсказке, будет невозможно им следовать .

Туше.

С логикой этого аргумента поспорить практически невозможно: есть данные, что ChatGPT большую часть времени следует инструкциям в подсказке (или отказывается им следовать из-за «барьеров»). Мы видели множество примеров того, как ChatGPT выполнял даже возмутительные инструкции, например, бросал товары на полки магазина или готовил яд из обычных ингредиентов.

Но мы видели и другие примеры, демонстрирующие отсутствие глубокого понимания со стороны ChatGPT: в моем посте о чувстве юмора ChatGPT я исследовал его способность (или ее отсутствие) объяснять, почему данная шутка смешна, что можно использовать для проверки его способность к здравому смыслу. Результаты были неоднозначными (иногда он понял шутку, а иногда нет).

Не отставайте от меня здесь, мы почти закончили спор.

Если ChatGPT иногда понимает, а иногда нет, то мы можем измерить уровень его понимания.

Ключевое слово здесь — «мера». Это не «стохастический попугай», произносящий слова по мере их поступления в рот (так сказать), но должна быть какая-то мера понимания, которую мы можем использовать.

Изучив статьи по психологии, я пришел к разнице между «поведенческим пониманием» и «эмпирическим пониманием».

Поведенческое понимание против эмпирического понимания

Различие между «поведенческим пониманием» (ОП) и «эмпирическим пониманием» (ЭП) заключается в том, что ОП относится к действиям субъекта, тогда как ЭП относится к тому, что происходит в уме субъекта. Таким образом, БУ объективен и может быть измерен в тестах; ЕС субъективен и измеряется в анкетах, часто предполагающих искренность со стороны испытуемого.

Ваш ЕС привязан к тому, что вы чувствуете; чувства — это то, что мы, млекопитающие, имеем с самого рождения. Это, ну, опыт, и как таковой, он связан с чувствами.

Различие между BU и EU не мое; в психологии велась основная дискуссия между лагерями бихевиоризма и когнитивизма, причем первый сосредотачивается на наблюдаемом поведении, а второй — на внутренних процессах разума. Когда моя жена изучала конструктивизм в сфере образования, я помню, что бихевиоризм считался редукционистским и по большей части фальшивым. Поляризация была даже территориальной: бихевиоризм популярен в Америке, а когнитивизм — в Европе.

Для целей этого поста я беру «эмпирический» аспект понимания, который связан с чувствами, а не строго когнитивный аспект, связанный с мышлением, потому что процессы внутри человеческого мозга не идентичны или даже очень похожие на те, которые происходят внутри глубокой нейронной сети, которые названы «нейронными» ради аллегории, но не содержат настоящих нейронов и имеют название, взятое из очень концептуальной аналогии.

Итак, ЕС — это то, что мы чувствуем, когда понимаем. Вы знаете, есть своего рода лампочка, которая внезапно загорается и дает нам убедительную подсказку, которую мы, ну, поняли. Мы не можем ожидать, что ЕС возникнет в машине, потому что так не кажется, даже если он делает вид, что делает это.

Но будьте осторожны: чувство понимания может быть иллюзией даже у людей. Я видел многих моих студентов, которые, заявив, что концепция прозрачна, как вода, совершенно не в состоянии применить ее к конкретной проблеме. Я говорю своим ученикам не слишком полагаться на чувство понимания и проверяю его в конкретной ситуации.

Поведенческое понимание, с другой стороны, не является иллюзией — по крайней мере, если рассматривать его в больших количествах. Например, если вы проводите эксперимент, чтобы увидеть, может ли ChatGPT понять, что смешного в заданных шутках, вы начинаете собирать некоторые из них, затем просите ChatGPT объяснить их, а затем подсчитываете, сколько из них восприняла машина. правильно (по оценке одного или нескольких человек). Я неофициально сделал это сам и сообщил об этом в одном из моих предыдущих постов.

То же самое касается задачи следования инструкциям: вы настраиваете набор инструкций, заставляете ChatGPT следовать им, а затем проверяете ответы. Вот и все. Не очень сложно. И это именно то, что Себастьен Бубек назвал доказательством понимания. Он имел в виду, конечно, БУ.

Во многих отчетах – даже если они не являются формально научными статьями, вроде Bubeck et al. one – количественное измерение БУ ChatGPT и подобных LLM. Вот что я даю Бубеку и его сотрудникам: ChatGPT, несомненно, обладает поведенческим пониманием подсказок, а также ответов. Вот где я стою прямо сейчас.

Кстати, я не считаю зазорным никоим образом корректировать свое мнение. Смирение является требованием для критического мышления и научного исследования, и те, кто не готов пересмотреть свои убеждения с учетом фактов, находятся на пути к фундаментализму, если уже не на нем.

Заключительные мысли

Я думаю, что многие из тех, кто отрицает понимание ChatGPT, на самом деле отрицают эмпирическое понимание. Маркус говорит: Там нет, как будто мы ищем какое-то человеческое понимание, которым, конечно же, является ЕС.

Что нас, людей, озадачивает в ChatGPT и подобных системах генеративного ИИ, так это то, что они представляют собой инопланетную форму интеллекта — это не похоже на человеческий разум, как указал Альберто Ромеро. Тем более, когда мы склонны антропоморфизировать чат-ботов, приписывая им человеческие качества, такие как намерения, сознание и чувства, которых просто нет.

Но поведенческое понимание, каким бы ограниченным оно ни казалось с точки зрения настоящего понимания, также может быть чрезвычайно полезным. В частности, вся эта дискуссия о понимании не помешала всей информационной индустрии включить Генеративный ИИ в свои продукты (Adobe Firefly, новый Office Microsoft, Notion AI, визуализация данных на основе чата Akkio и многие другие) или бесчисленное множество новых Генеративного ИИ. стартапы» из нереста. Они не следуют моде, они увидели потенциал генеративного ИИ, и хотя термины BU и EU не популярны, им на это наплевать.

Другой вопрос заключается в том, могут ли поиски ОИИ — святого Грааля ИИ — основываться на понимании поведения. Я так думаю, но AGI будет предметом другого поста.

Будьте в курсе последних новостей и обновлений в области творческого ИИ — следите за публикацией Генеративный ИИ.