Префронтальнокорковая базальноганглиевая рабочая память

Префронтальнокорковая базальноганглиевая рабочая память (PBWM) — это алгоритм, моделирующий рабочую память в префронтальной коре и базальных ганглиях^[1].

По функциональности его можно сравнить с долгой краткосрочной памятью (LSTM), но он имеет более понятное биологическое обоснование^[2].

Он использует модель первичного значения изученного значения (PVLV) для обучения системы обновления рабочей памяти префронтальной коры, основанной на биологии префронтальной коры и базальных ганглиев^[3].

Аннотация

Долгое время считалось, что префронтальная кора отвечает как за рабочую память (удержание информации в активном состоянии для обработки), так и за «исполнительные» функции (принятие решений о том, как манипулировать рабочей памятью и выполнять обработку). Хотя было разработано много вычислительных моделей рабочей памяти, механистическая основа исполнительной функции остается неуловимой.

PBWM — это вычислительная модель префронтальной коры для контроля как себя, так и других областей мозга стратегическим, соответствующим задаче образом. Эти механизмы обучения основаны на подкорковых структурах среднего мозга, базальных ганглиев и миндалины, которые вместе образуют архитектуру актор/критик.

Модель

Структура

В слоях префронтальной коры и полосатого тела существует несколько отдельных полос (групп единиц). Каждая полоса может обновляться независимо, так что эта система может помнить несколько разных вещей одновременно, каждая со своей «политикой обновления» того, когда память обновляется и поддерживается.

Компоненты системы

Сенсорный вход и моторный выход

Сенсорный вход подключен к задней коре, которая соединена с моторным выходом. Сенсорный вход также связан с системой PVLV.

Задняя кора

Задняя кора образует скрытые слои отображения ввода/вывода. PFC связана с задней корой для контекстуализации этого отображения ввода/вывода.

PFC

PFC (для выходного управления) имеет локалистическое взаимно-однозначное представление входных единиц для каждой полосы. Таким образом, можно посмотреть на эти представления PFC и непосредственно увидеть, что поддерживает сеть.

Полосатое тело

Это система динамического управления, представляющая единицы полосатого тела базальных ганглиев:

• Единицы с четным индексом представляют «Go»
• Единицы с нечетным индексом представляют «NoGo»
• Единицы Go вызывают обновление PFC
• Единицы NoGo заставляют PFC поддерживать существующее представление памяти

PVLV

Все эти слои являются частью системы PVLV. Система PVLV контролирует дофаминергическую модуляцию базальных ганглиев (BG). Таким образом, BG/PVLV образуют архитектуру актор-критик, где система PVLV учится, когда обновляться.

SNrThal

SNrThal представляет собой черную субстанцию pars reticulata (SNr) и связанную с ней область таламуса, которые:

• Производят конкуренцию между единицами Go/NoGo
• Опосредуют конкуренцию с помощью динамики k-winners-take-all
• Активируют соответствующую единицу при большей активности Go

VTA и SNc

Вентральная область покрышки (VTA) и черная субстанция pars compacta (SNc) являются частью дофаминового слоя. Этот слой моделирует нейроны среднего мозга, вырабатывающие дофамин.

См. также

• State-action-reward-state-action
• Sammon Mapping
• Constructing skill trees