Такер Дэйви

По мере того, как искусственный интеллект будет становиться все более совершенным, программисты будут ожидать, что они будут разговаривать с компьютерами так же, как они разговаривают с людьми. Вместо того, чтобы вводить длинный сложный код, мы будем общаться с системами ИИ, используя естественный язык.

С помощью текущей модели под названием «синтез программ» люди могут заставить компьютеры писать для них код, предоставляя им примеры и демонстрации концепций, но эта модель ограничена. С программным синтезом компьютеры — буквалисты: вместо того, чтобы читать между строк и учитывать намерения, они просто делают то, что буквально верно, а то, что буквально верно, не всегда является тем, чего хотят люди.

Например, если вы запросите у компьютера слово, начинающееся с буквы «а», он может просто вернуть «а». Слово «а» буквально удовлетворяет требованиям вашего вопроса, но это не то, что вы хотели. Точно так же, если вы спросите систему ИИ: «Можете ли вы передать соль?» ИИ может просто остаться неподвижным и ответить «Да». Такое поведение, хотя и соответствует требованиям, в конечном счете недопустимо, потому что ИИ не передал вам соли.

Ученый-компьютерщик Стюарт Рассел приводит пример робота-пылесоса, которому кто-то дает указание «собрать как можно больше грязи». Запрограммированный на то, чтобы интерпретировать это буквально и не учитывать намерения, пылесос может найти один участок грязи, поднять его, положить обратно, а затем несколько раз поднять и снова положить — эффективно максимизируя вертикальное перемещение грязи. , который он считает «собирающим как можно больше грязи».

Нетрудно представить ситуации, в которых склонность компьютеров буквально и жестко интерпретировать операторы может стать крайне небезопасной.

Прагматическое мышление: правдивое или полезное

Поскольку системы ИИ берут на себя большую ответственность за финансы, военные операции и распределение ресурсов, мы не можем допустить, чтобы они обанкротили город, бомбили страну-союзницу или пренебрегали бедным регионом, потому что они слишком буквально интерпретируют команды.

Чтобы устранить этот сбой связи, Лонг Оуян работает над «очеловечиванием» программирования, чтобы люди не могли случайно причинить вред из-за того, что сказали компьютеру что-то неточное или ошибочное. Он объясняет: «Поскольку ИИ продолжает развития, мы увидим более продвинутые системы ИИ, которые получают инструкции от людей-операторов — важно, чтобы эти системы понимали, что операторы имеют в виду, а не просто то, что они говорят».

Оуян работал над улучшением синтеза программ посредством изучения прагматических рассуждений — процесса размышлений о том, что кто-то сказал, а также о том, что он или она не сказал. Люди постоянно проводят этот анализ, интерпретируя значение чьих-то слов. Читая между строк, люди узнают, что человек имеет в виду и что ему полезно, а не то, что буквально «правда».

Предположим, студентка спросила профессора, нравится ли ей его статья, и профессор сказал, что ей нравятся «некоторые ее части». Скорее всего, студент предположил бы, что профессору не нравятся другие части его работы. В конце концов, если бы профессору понравилась вся статья, она бы так и сказала.

Это прагматическое рассуждение является здравым смыслом для людей, но программный синтез не может установить связь. В разговоре слово «некоторые» явно означает «не все», но в математической логике «некоторые» просто означают «любую сумму больше нуля». Таким образом, для компьютера, который понимает вещи только в математическом логическом смысле, тот факт, что профессору понравились некоторые части статьи, не исключает возможности того, что ей понравились все части.

Чтобы лучше понять, как системы ИИ могут научиться рассуждать прагматично и избегать этих неверных интерпретаций, Оуян изучает, как люди интерпретируют язык и инструкции других людей.

В одном тесте Оуян дает испытуемому три точки данных — А, ААА и ААААА — и испытуемый должен работать в обратном направлении, чтобы определить правило для последовательности — то есть то, что экспериментатор пытается передать с помощью примеров. В этом случае человек может быстро определить, что все точки данных имеют нечетное количество As, и поэтому правило состоит в том, что точки данных должны иметь нечетное количество As.

Но есть еще кое-что в этом процессе определения вероятности определенных правил. Ученые-когнитивисты моделируют наш мыслительный процесс в таких ситуациях как байесовский вывод — метод объединения новых данных с предыдущими убеждениями, чтобы определить, верна ли гипотеза (или правило).

Как буквальные синтезаторы, компьютеры могут выполнять только ограниченную версию байесовского вывода. Они учитывают, насколько соответствуют примеры гипотетическим правилам, но не учитывают, насколько эти примеры репрезентативны для гипотетических правил. В частности, буквальные синтезаторы могут рассуждать только о примерах, которые не были представлены ограниченным образом. Учитывая набор данных A, AAA и AAAAA, компьютер может логически заключить, что правило состоит в том, что все должно иметь букву A. Это правило буквально согласуется с примерами, но оно не может представить или зафиксировать то, что экспериментатор имел в виду. разум. Субъекты-люди, наоборот, понимают, что экспериментатор намеренно опустил четные примеры AA и AAAA, и соответственно определяют правило.

Изучая, как люди используют байесовский вывод, Оуян работает над улучшением способности компьютеров распознавать получаемую ими информацию — например, утверждение «мне понравились некоторые части вашей статьи» или команду «собрать как можно больше мусора» — был намеренно выбран, чтобы передать что-то, выходящее за рамки буквального значения. Его цель — создать конкретный инструмент — практичный синтезатор, — который люди смогут использовать для более эффективного общения с компьютерами.

Разрыв связи между компьютерами и людьми — одна из центральных проблем безопасности ИИ, и Оуян надеется, что прагматичный синтезатор поможет сократить этот разрыв. Если ИИ смогут более глубоко рассуждать о том, что им говорят люди, они будут более эффективно добиваться нужных нам полезных результатов.

Эта статья является частью серии Будущее жизни о грантах на исследования в области безопасности ИИ, которые финансировались за счет щедрых пожертвований Илона Маска и проекта Open Philanthropy.

Первоначально опубликовано на сайте futureoflife.org 25 августа 2017 года.