Преодоление разрыва: интеграция пластичности Хебба в глубокое обучение с помощью уровней Марра…

Об этом сообщили Кит Мюррей и Мэтью Макманус.

Изучение нейронных цепей привело к значительному прогрессу в нашем понимании процессов обучения и памяти в мозге. Вдохновленные этими выводами, исследователи глубокого обучения стремятся разработать энергоэффективные искусственные нейронные сети (ИНС), которые имитируют основные механизмы нейронных цепей и соперничают по вычислительной мощности с мозгом. Как новая область машинного обучения, глубокое обучение оказалось чрезвычайно успешным в широком диапазоне приложений; однако используемые алгоритмы обучения часто расходятся с наблюдаемыми свойствами нейробиологических систем, что побуждает исследователей исследовать новые подходы, которые устраняют разрыв между принципами глубокого обучения и биологического обучения.

В этой статье мы рассмотрим три различных подхода к включению пластичности Хебба — фундаментальной концепции нейробиологии, связанной с тем, как мозг обучается, — в глубокое обучение: асимметричные связи, распространение равновесия и представления преемников. Чтобы лучше понять эти подходы и их связь как с глубоким обучением, так и с нейронаукой, мы будем использовать уровни анализа Марра, широко распространенную структуру в когнитивной науке и искусственном интеллекте, чтобы критически оценить эффективность каждого подхода.

Хеббовская пластичность

Хеббовская пластичность — это фундаментальный принцип нейронауки, описывающий, как усиливаются или ослабляются синаптические связи между нейронами в зависимости от их коррелированной активности. Его часто резюмируют фразой «Клетки, которые активируются вместе, соединяются вместе». Благодаря своему биологическому реализму пластичность Хебба послужила источником вдохновения для множества биологических правил обучения для обучения ИНС. Преимущества использования биологических правил обучения могут включать энергоэффективность, возможность обучения без учителя и возможность создавать более точные модели активности нейронов.

Математически пластичность Хебба можно представить как:

Здесь Δwij представляет собой изменение синаптического веса между нейроном i и нейроном j. η — скорость обучения, тогда как ai и aj представляют активность нейронов i, постсинаптического нейрона, и j, пресинаптического нейрона (см. рис. 1 для графического описания) (Gerstner et. al 2014). Произведение ai и aj представляет собой корреляцию между активностью двух нейронов, определяющую, будет ли их связь усиливаться или ослабляться. Если ai и aj имеют один и тот же знак, то корреляция положительна, и вес между ними становится сильнее, что называется «прохеббовским». Если ai и aj разного знака, то корреляция отрицательна и вес между ними ослабевает, что называется «антихеббианством».

В то время как пластичность Хебба — это биологический процесс обучения, обратное распространение — это контролируемый алгоритм обучения, который обновляет веса между искусственными нейронами способом, который считается биологически нереалистичным. Обратное распространение широко использовалось в глубоком обучении, что способствовало значительному успеху в этой области (Лекун и др.). Однако биологическая правдоподобность обратного распространения была предметом споров из-за нескольких ключевых различий между алгоритмом и процессами, наблюдаемыми в мозге (Lillicrap et. al.). Некоторые из основных факторов, ставящих под сомнение его биологическую достоверность, включают:

Отдельные прямые и обратные проходы, которые не наблюдаются при непрерывной и динамической нейронной деятельности головного мозга.
Матрицы весов в прямом и обратном проходах симметричны, а синаптические связи в мозге асимметричны.
Вычисление и передача сигналов ошибок и точное распространение градиентов ошибок, которые потребуют тонкой настройки мозга, не наблюдаемой в биологических системах.
Зависимость от контролируемого обучения с помеченными данными, в то время как большая часть обучения в мозгу проходит без учителя или частично под наблюдением.
Использование непрерывных функций активации в отличие от дискретных, разреженных и асинхронных пиковых событий, наблюдаемых в биологических нейронах.
Одновременные и скоординированные обновления всех весов в сети, которые требуют центрального механизма управления, отсутствующего в мозге, где синаптическая пластичность считается локальным процессом.

В этой статье мы исследуем различные усилия по обучению ИНС способами, которые больше напоминают биологические процессы. Эти усилия направлены на устранение некоторых критических замечаний в отношении обратного распространения ошибки и черпают существенное вдохновение из обучения Хебба. В следующем разделе мы представляем структуру, которая облегчает всестороннюю оценку эффективности сочетания современных методов глубокого обучения с принципами обучения Хебба.

Уровни анализа Марра

На протяжении всей этой статьи мы используем уровни анализа Марра, чтобы глубже понять, как авторы различных статей используют пластичность Хебба при обучении ИНС. Представленная Дэвидом Марром в его книге 1982 года «Видение», эта структура получила широкое распространение в когнитивной науке и искусственном интеллекте для изучения обработки информации в сложных системах, таких как человеческий мозг и компьютеры. Структура Марра включает три уровня анализа: вычислительный, алгоритмический и уровень реализации.

Вычислительный уровень фокусируется на общей цели системы и проблеме, которую она призвана решить. Алгоритмический уровень связан с конкретными шагами или процедурами, которые система предпринимает для достижения своих целей. Наконец, уровень реализации касается физической реализации системы, включая аппаратные и программные компоненты.

На примере карманного калькулятора проиллюстрируем три уровня анализа Марра. Вычислительный уровень относится к цели калькулятора выполнять арифметические операции, такие как сложение, вычитание, умножение и деление на числовых входных данных. На алгоритмическом уровне калькуляторы используют специальные процедуры для выполнения арифметических операций над числовыми входными данными, используя такие алгоритмы, как двоичное сложение и умножение, которые включают разбиение чисел на двоичные разряды и выполнение побитовых операций. Уровень реализации относится к физической реализации калькулятора с использованием электронных компонентов, таких как транзисторы, конденсаторы и резисторы.

Интересно, что «Уровни анализа» Марра могут не только описать, как работает калькулятор, но и примерно соответствуют графику разработки калькулятора. Вычислительный уровень, арифметика, восходит к вавилонянам около 2000 г. до н.э. Алгоритмический уровень, двоичные побитовые операции, был впервые предложен Клодом Шенноном в 1938 году. Наконец, уровень реализации, физический карманный калькулятор, появился в 1960-х годах. Это демонстрирует мощь Уровней анализа Марра, поскольку они могут эффективно описывать сложные системы и обеспечивать понимание их создания и развития.

По мере продвижения в этой статье мы будем использовать уровни Марра в качестве основы для изучения способов, которыми различные авторы стремятся повысить биологическую достоверность методов глубокого обучения, интегрируя их с пластичностью Хебба.

Асимметричные соединения

Первый подход, который мы будем оценивать для преодоления разрыва между принципами глубокого обучения и биологического обучения, можно найти в статье Яли Амита «Глубокое обучение с асимметричными связями и обновлениями Хебба». Центральное место в работе Амита занимает разработка алгоритма обновленной случайной обратной связи (URFB), инновационной адаптации алгоритма обратного распространения, предназначенного для устранения критики (2), изложенной в нашем разделе о пластичности Хебба, который нацелен на нереалистичную природу симметричных связей между прямой и обратной связью. проходит. Этот метод переосмысливает традиционную архитектуру многослойного персептрона (MLP).

На рис. 3 показана традиционная MLP, в которой данные передаются по сети вперед за один проход с использованием весов W, а сигналы ошибок передаются в обратном направлении с использованием тех же весов W. Напротив, алгоритм URFB использует отдельный набор весов R для обратного прохода. сигналов ошибки, как показано на рисунке 4. Хотя использование отдельных весов обратной связи R для устранения критики (2) было предложено ранее в алгоритме, называемом фиксированной случайной обратной связью (FRFB) (Lillicrap et. al. 2016), Амит однозначно допускает сигнал ошибки для обновления обоих наборов весов. Напротив, в предыдущих работах сигналы ошибки обновляли только веса W, а не R.

Алгоритм URFB Амита не только добавляет веса обратной связи R, которые можно обновлять, но также модифицирует функцию потерь сети, чтобы сделать сигналы ошибок более похожими на пластичность Хебба. Традиционные модели глубокого обучения для задач классификации обычно используют отрицательную функцию потерь логарифмического правдоподобия для измерения производительности и вычисления сигналов ошибок. Ниже приведена типичная отрицательная функция потерь логарифмического правдоподобия:

Амит утверждает, что, хотя эта функция потерь эффективна для сетей глубокого обучения для изучения задач классификации, она не генерирует сигналы ошибок, подобные Хеббиану. Чтобы решить эту проблему, Амит предлагает новую функцию потерь, вдохновленную функцией потерь шарнира, используемой в обучающих машинах опорных векторов (SVM). Для алгоритма URFB, примененного к задаче бинарной классификации, функция потерь выглядит следующим образом:

Здесь xL — единственная выходная единица ИНС с алгоритмом URFB, а y — единственное целевое значение. Из-за бинарной структуры классификации y равно +1 или -1, в зависимости от класса.

Включение функции max в функцию потерь означает, что, когда выходные данные алгоритма и целевое значение сильно выровнены, функция потерь возвращает 0 и никаких обновлений не производится. Однако, если выходное и целевое значение не выровнены, сигнал градиента рассчитывается следующим образом:

В результате на уровень L-1 подается следующий сигнал ошибки:

Следовательно, правило обновления для весов между слоями L и L-1:

Сделав несколько замен, получим правило обновления алгоритма URFB для бинарной классификации:

В зависимости от знака выхода и цели, это обновление веса можно считать «прохеббовским» или «антихеббовским». Когда они имеют один и тот же знак, обновление является «прохеббовским», увеличивая веса, отвечающие за правильную классификацию. Если они имеют разные знаки, обновление является «антихеббовским» и работает над «разучиванием» весов, ответственных за неправильную классификацию.

Хотя мы обрисовали в общих чертах обоснование включения Амитом пластичности Хебба в URFB для задач бинарной классификации, то же самое обоснование справедливо и для задач многоклассовой классификации. Это демонстрирует успешную интеграцию Амита правил биологического обучения в модель глубокого обучения.

Чтобы оценить эффективность алгоритма URFB, Амит провел несколько экспериментов, сравнивая его с обычным алгоритмом обучения с обратным распространением и ранее упомянутым алгоритмом FRFB (см. сводку результатов на рис. 5). Как правило, алгоритм URFB превосходит алгоритм FRFB и демонстрирует лишь небольшое снижение производительности по сравнению с обратным распространением. Это подчеркивает потенциал алгоритма URFB как многообещающей альтернативы традиционному обратному распространению.

Теперь давайте воспользуемся уровнями анализа Марра, чтобы оценить, как Амит объединяет глубокое обучение и пластичность Хебба. Мы утверждаем, что Амит начинает свою работу на уровне реализации, решив сначала решить проблему симметричных соединений при обратном распространении. Оттуда он поднимается на алгоритмический уровень, чтобы предложить новую функцию потерь, которая может обучать эти новые архитектуры глубокого обучения со случайными связями обратной связи. Именно здесь, на алгоритмическом уровне, Амит включает пластичность Хебба в модель глубокого обучения. Наконец, он поднимается еще на один уровень до уровня вычислений, чтобы показать, что новые архитектуры и функции потерь, вместе образующие алгоритм URFB, могут адекватно выполнять задачи классификации. Мы думаем, что Амит подходит к интеграции глубокого обучения и пластичности Хебба через восходящий подход в рамках Уровней Марра.

Мы оставляем за собой любые нормативные заявления относительно того, следует ли интегрировать глубокое обучение и биологическое обучение с использованием восходящего или нисходящего подхода, до заключения. Тем не менее, мы рекомендуем читателю обратить пристальное внимание на уровень, на котором хеббовская пластичность интегрирована в каждый из подходов, когда мы их исследуем.

Равновесное распространение

Отказавшись от традиционных моделей глубокого обучения, следующий подход фокусируется на предложении нового класса моделей для глубокого обучения, называемых энергетическими моделями (EBM). EBM — это класс моделей нейронных сетей, которые используют функцию энергии для представления стабильности или предпочтительности состояния сети. Эти модели эффективно отражают динамику и ограничения биологических нейронных систем, поскольку они демонстрируют динамику аттракторов, когда система развивается в сторону стабильных состояний или аттракторов, соответствующих локальным минимумам в энергетическом ландшафте. Как правило, энергетические модели нейронов со временем эволюционируют до самого низкого энергетического состояния.

В статье «Равновесное распространение: преодоление разрыва между энергетическими моделями и обратным распространением» авторы Бенджамин Шеллир и Йошуа Бенжио разработали алгоритм равновесного распространения для обучения моделей, основанных на энергии, в попытке предоставить биологически правдоподобную альтернативу обратному распространению. Уникальная особенность алгоритма заключается в том, что он требует только одной вычислительной схемы и одного типа вычислений для обеих фаз обучения, обращаясь к критике (1), как указано в разделе о пластичности Хебба. В результате алгоритм Equilibrium Propagation применим к широкому спектру EBM.

Удельная энергетическая функция, использованная Шеллиром и Бенжио для демонстрации эффективности равновесного распространения, выглядит следующим образом:

Хотя на первый взгляд уравнение кажется сложным, его можно разбить на три простые части. Первый член, относящийся к u², можно рассматривать как штраф L2. Этот штраф смещает энергетическую функцию в сторону более низкой, а значит, более вероятной, если активация нейронов (ui) ближе к 0. Второе слагаемое, относящееся к весу Wij, можно рассматривать как желаемую корреляцию между нейронами i и Дж. Третий термин, относящийся к переменной bi, можно рассматривать как указание желаемого значения для нейрона i. В каком-то смысле третий термин — это предвзятость.

Алгоритм Equilibrium Propagation обучает это уравнение энергии в три этапа: свободная фаза, фаза слабого ограничения и фаза обновления веса. В свободной фазе входы зажаты, а блоки вывода свободны. Состояние, к которому сходится сеть, есть свободная неподвижная точка u0. В слабо зажатой фазе индуцируется новая «внешняя сила», которая подталкивает выходные единицы от их значения свободной фиксированной точки к их цели. Возмущение, возникающее на выходных блоках, распространяется обратно по скрытым слоям сети, реализуя своего рода «обратное распространение ошибок». В конце концов сеть устанавливается в новую фиксированную точку, которую мы называем слабо закрепленной фиксированной точкой и обозначаем uβ. На этапе обновления весов веса сети обновляются с помощью следующего уравнения:

Это уравнение обновления веса сродни обучению по Хеббу в том смысле, что первый член можно рассматривать как прохеббовский, а второй — как антихеббовский. Антихеббовское обновление побуждает сеть отучить предыдущие веса свободно зажатой фазы, а прохеббовское обновление побуждает сеть узнавать текущие веса слабо зажатой фазы.

Чтобы продемонстрировать вычислительные возможности своего EBM и алгоритма обучения, Шеллиер и Бенжио представляют результаты применения алгоритма Equilibrium Propagation к задаче классификации MNIST. Модель демонстрирует выдающуюся производительность обучения, достигая ошибки 0,00%, и эффективность тестирования в диапазоне от 2 до 3%, в зависимости от размера модели (см. рис. 6).

Принимая во внимание EBM и алгоритм Equilibrium Propagation, давайте воспользуемся уровнями анализа Марра для оценки работы Шеллира и Бенджио. Похоже, что авторы привносят биологическую правдоподобность, сосредоточив внимание на уровне реализации. Вместо использования упрощенных моделей нейронов, обычно используемых в традиционных исследованиях глубокого обучения, они делают упор на непрерывные, зависящие от времени EBM в качестве варианта реализации. Впоследствии Шеллиер и Бенжио черпали вдохновение в обучении Хебба для разработки алгоритма Equilibrium Propagation для обучения EBM, который можно рассматривать как продвижение на один уровень в структуре Марра к алгоритмическому уровню. Наконец, они демонстрируют вычислительные возможности EBM и Equilibrium Propagation, применяя их к задаче классификации MNIST, что представляет собой еще одно продвижение уровней Марра к вычислительному уровню. По сути, Шеллиер и Бенжио успешно интегрируют биологию и глубокое обучение, перемещаясь по уровням Марра, причем алгоритмический уровень является наиболее важным, поскольку именно на нем реализована пластичность Хебба.

Преемники Представительства

Алгоритм представления преемника (SR) — это метод, используемый для вычисления значений состояний окружающей среды в области обучения с подкреплением (RL) (Momennejad et. al. 2017). Концепция алгоритма SR включает представление среды, которую исследует агент, например животное, в виде набора состояний. Когда агент переходит из одного состояния в другое, пытаясь получить вознаграждение в окружающей среде, его поведение при переходе между состояниями можно представить как последовательность состояний с вероятностными переходами между ними. В этом контексте матрица вероятности перехода T размера N×N представляет вероятность перехода из одного состояния в другое. В частности, элемент Tji в матрице соответствует вероятности перехода из состояния s (j) в состояние s’ (i): Tji = P(s’ = i | s = j). Основываясь на этом основании, матрица SR может быть определена как:

Здесь γ рассматривается как фактор дисконтирования, при котором шансы перехода в состояние в какой-то момент времени t в будущем уменьшаются.

В контексте вычисления функций значений для RL алгоритм SR особенно полезен, поскольку он позволяет эффективно вычислять значения состояния. Функцию ценности состояния V(s) можно рассчитать как внутреннее произведение матрицы SR M и вектора вознаграждения R:

Благодаря предварительному вычислению матрицы SR функции ценности для различных функций вознаграждения могут быть вычислены быстро и легко, что выгодно при работе с динамическими структурами вознаграждения или несколькими задачами в одной и той же среде.

Вдохновленный обучением с подкреплением, алгоритм SR был связан с активностью гиппокампа, описывая его как прогностическую карту, которая объединяет вероятные состояния, которые посетит животное, с учетом его текущего состояния (Momennejad et. al 2017). Эта структура не только поддерживает навигационную память, но также реляционное мышление и принятие решений в соответствии с наблюдаемыми различиями в представлениях гиппокампа в различных задачах.

Связь между SR, нейронными сетями и гиппокампом исследуется Ching Fang et. al в своей работе под названием «Правила нейронного обучения для создания гибких прогнозов и вычисления представления преемника» (Fang et al 2023). Авторы специально стремились исследовать, как архитектура рекуррентной нейронной сети (RNN) может изучать и вычислять SR только с помощью правила обучения, вдохновленного биологией. Цель состоит в том, чтобы вычислить SR, используя RNN с матрицей вероятности перехода T, закодированной в ее синаптических весах. Вход в сеть представляет собой текущее состояние животного, при этом SR вычисляется внутри сети и считывается слоем выходных нейронов, предсказывая предстоящие состояния для нижестоящих систем.

Входные данные (ϕ) моделируются как однократное кодирование текущего состояния животного, а RNN используется для вычисления SR с T, закодированным в синаптических весах. Стационарная активность сети в ответ на ввод ϕ извлекает строку матрицы SR. Динамика RNN определяется с помощью классических уравнений тарифной сети:

Эквивалентность между матрицей SR, M, и стационарной активностью RNN устанавливается, когда матрица синаптических весов J равна транспонированной матрице вероятности перехода T. В этом случае RNN может точно вычислить SR, учитывая эффективное вычисление функций ценности в задачах обучения с подкреплением.

Чтобы RNN аппроксимировала транспонирование матрицы вероятности перехода T, авторы вывели правило обучения, основанное на биологической основе. Правило обучения связывает последовательные состояния и нормализует синаптические веса для формирования действительного распределения вероятностей. Производное правило обучения:

Как и в работе Шеллира и Бенжио, первый термин в этом правиле обучения — это «прохеббовское» обновление между нейронами i и j. Второй термин — это «антихеббовское» обновление между нейроном j и каждым другим нейроном в RNN. Авторы отмечают, что второй термин можно рассматривать как синаптическую депотенциацию, но мы воздержимся от дальнейших объяснений того, что такое синаптическая депотенциация.

Авторы подтвердили, что архитектура RNN и правило обучения, основанное на биологическом опыте, сходятся в представлении преемника при моделировании движения RNN по круговой дорожке (рис. 7).

Связь между алгоритмом SR, архитектурой RNN и гиппокампом предполагает, что структура SR может объяснить вычислительную функцию гиппокампа. В этом контексте активность гиппокампа представляет опыт животного как траекторию через определенное пространство состояний, предсказывая будущие переживания путем интеграции вероятных предстоящих состояний. Это обеспечивает биологически правдоподобный механизм обучения, связывающий концепции машинного обучения с биологическими нейронными системами.

Оценивая работу Фэнга и их соавторов через Уровни Марра, мы полагаем, что они спускаются по уровням, а не восходят, как это видно в работах Амита, Шеллира и Бенжио. На вычислительном уровне эти авторы стремились исследовать, как гиппокамп может играть роль в вычислении значений состояний окружающей среды, используемых в рамках RL. На алгоритмическом уровне они рассматривали гиппокамп как место действия алгоритма представления преемника, алгоритма, у которого есть веские основания для его использования при расчете значений состояний окружающей среды. На уровне реализации они реализовали алгоритм представления преемника в виде рекуррентной нейронной сети (RNN) с биологическим правилом обучения, специально разработанным для изучения представления преемника.

Таким образом, работа Fang et al. спускается по уровням Марра. Это наиболее очевидно при изучении того, как пластичность Хебба интегрируется в их модель глубокого обучения. Их использование пластичности Хебба основано на стремлении модели глубокого обучения изучить конкретный алгоритм, а не на использовании пластичности Хебба, основанной на конкретном выборе реализации, как это видно в работах Амита, Шеллира и Бенджио.

Заключение

В этой статье мы обсудили три различных подхода к включению биологического реализма, в частности пластичности Хебба, в модели глубокого обучения: асимметричные связи, равновесное распространение и представления преемников. Для каждого из этих подходов мы сформулировали их в рамках Уровней анализа Марра и сосредоточили внимание на том, восходят ли эти подходы или опускаются по уровням Марра (обратитесь к рисунку 8 для краткого обзора).

Мы хотели бы завершить эту статью, отстаивая подход «сверху вниз» к интеграции правил биологического обучения с глубоким обучением, примером чего является подход «представления преемников». Хотя подходы асимметричных соединений и равновесного распространения впечатляют с технической точки зрения, они интегрируют пластичность Хебба на алгоритмическом уровне, который основан на выборе, сделанном на уровне реализации. В контексте биологии это ошибочно с точки зрения эволюции. Биологические механизмы развиваются под эволюционным давлением. В «Уровнях Марра» можно представить себе эволюционный уровень, который находится выше уровня вычислений. Эволюционное давление формирует вычислительные требования, которые определяют алгоритмические подходы, имеющие биологическую реализацию.

Чтобы использовать преимущества биологической эффективности и мощности, сообщество глубокого обучения должно использовать нисходящий процесс, присущий биологии. При разработке моделей глубокого обучения, основанных на биологическом подходе, следует руководствоваться конкретным выбором с точки зрения вычислений, как показано в подходе «Представления преемников». Исследователи могут определить, правильно ли они прошли уровни Марра, если правило биологического обучения расположено на уровне реализации, как в подходе преемственных представлений, а не на уровне алгоритма, как в подходах асимметричных связей и равновесного распространения.

В заключение, интеграция биологически правдоподобных принципов обучения с моделями глубокого обучения предлагает многообещающее направление исследований, которое может привести к созданию более мощных алгоритмов, которые эффективно используют весь потенциал биологических систем. Как мы неоднократно утверждали, исследователи должны отдавать приоритет нисходящему подходу при интеграции биологии и глубокого обучения, сосредоточив внимание на нисходящем уровне анализа Марра. Принимая эту нисходящую перспективу, исследователи могут гарантировать, что бесценные идеи и эффективность биологических процессов будут эффективно внедрены в глубокое обучение, что приведет к разработке новых эффективных моделей, которые продвигают современное состояние искусственного интеллекта.

Спасибо за прочтение!

Создано в рамках курса MIT Tissue vs. Silicon in ML, весна 2023 г.