Импульсная нейронная сеть (ИмНС, англ.Pulsed neural networks, PNN) или Спайковая нейронная сеть (СНН, англ.Spiking neural network, SNN) — третье поколение искусственных нейронных сетей (ИНС)[1], которое отличается от бинарных (первое поколение) и частотных/скоростных (второе поколение) ИНС тем, что в нем нейроны обмениваются короткими (у биологических нейронов — около 1—2 мс) импульсами одинаковой амплитуды (у биологических нейронов — около 100 мВ).
Является самой реалистичной, с точки зрения физиологии, моделью ИНС[2][3][4].
Истоки
Первая научная модель импульсной нейронной сети была предложена Аланом Ходжкином и Эндрю Хаксли в 1952 году. Эта модель описывала как потенциалы действия возникают и распространяются. Импульсы, однако, как правило, не передаются непосредственно между нейронами. Связь требует обмена химическими веществами, которые называются нейротрансмиттерами, в синаптической щели[5].
С точки зрения теории информации, проблема заключается в отсутствии модели, которая бы объясняла, как кодируется информация и декодируются серии последовательностей импульсов, то есть потенциалы действия. Для нейробиологии всё еще открытым является вопрос: нейроны связываются с помощью частотного или временного кодирования[6]? С помощью временного кодирования один импульсный нейрон может заменять сотни скрытых элементов частотной нейронной сети[1].
Современные исследования
В настоящее время существует два направления исследования ИмНС[2]:
создание компьютерных моделей, точно повторяющих модели функционирования нейронов реального мозга, благодаря чему станет возможным как объяснение механизмов его работы, так и диагностика/лечение заболеваний и травм ЦНС;
создание компьютерных моделей, абстрактно повторяющих модели функционирования нейронов реального мозга, что позволит использовать все преимущества реального мозга, таких как помехозащищенность и энергоэффективность, при анализе больших объемов данных.
Принцип работы
Сеть получает на входы серию импульсов и выдаёт импульсы на выходе. В каждое мгновение каждый нейрон имеет некоторое значение (аналог электрического потенциала у биологических нейронов) и, если это значение превышает пороговое, то нейрон посылает одиночный импульс, после чего его собственное значение падает до уровня ниже среднего значения (аналог процесса реабилитации у биологических нейронов, так называемый рефрактерный период) на 2-30 мс. При выведении из состояния равновесия потенциал нейрона начинает плавно стремиться к среднему значению. Существует всего два параметра весовых связей импульсного нейрона — время задержки и величина веса[7].
В частотных ИНС используется сигнал, который принимает значение, зависящее от частоты порождения импульсов определенной группой нейронов (веса нейронов, собственно, и являются формой представления этой частоты)[3]. Тем не менее, средняя частота импульсов в последовательности является довольно плохим вариантом представления информации, так как различные виды стимуляции могут приводить к одинаковой средней частоте импульсов[9].
Для избавления от этого недостатка в импульсных ИНС используются следующие виды представления информации[3][8][10][4]:
фазовый (временной) — информация о сигнале задается точным (или в пределах некоторого окна) положением импульсов во времени (относительно какого-либо общего опорного ритма головного мозга);
синхронный (позиционный/пространственный/популяционный) — информация о сигнале задается синхронной активностью различных групп нейронов, и, как следствие, синхронным (или в пределах некоторого окна) появлением импульсов на определенных выходах сети (например, реагирующие на высокие и низкие частоты слуховые рецепторы улитки уха находятся в разных зонах);
время до появления первого импульса — информация о сигнале задается временем появления первого импульса на каком-либо выходе;
порядковый — информация о сигнале задается порядком получения импульсов на выходах сети;
интервальный (задержковый) — информация о сигнале задается расстоянием между импульсами, получаемыми на выходах сети;
резонансный — информация о сигнале задается плотной последовательностью импульсов (очередью), приводящей к возникновению резонанса (одиночные импульсы затухают и не вносят никакого вклада в передачу информации).
Помимо этого, существуют виды представления информации, являющиеся смешанной формой нескольких простых видов представления информации, например:
пространственно-временной — информация задается не только определенной последовательностью импульсов во времени, но они еще и должны исходить от определенной группы нейронов;
популяционно-частотный — информация задается повышением частоты порождения импульсов определенной группой нейронов.
Устройство
Архитектуры ИмНС можно разделить на следующие группы[8]:
Нейросеть прямого распространения[англ.] (НПР) — данные передаются строго в одном направлении: от входов к выходам, обратные связи отсутствуют, а обработка может проходить по множеству слоев;
Рекуррентная нейронная сеть (РНС) — отдельные нейроны/популяции нейронов взаимодействуют друг с другом, то есть имеется обратная связь. ИНС такого вида обладают собственной динамикой и высокой вычислительной способностью;
Смешанная нейронная сеть[англ.] — внутри ИНС некоторые популяции нейронов относятся к виду НПР, а некоторые — к РНС. Взаимодействие между популяциями может быть как однонаправленным, так и взаимным.
Синхронное возбуждение цепи[англ.] — представляет собой многослойную цепь, в которой импульсная активность может распространяться в виде синхронной волны передачи пачек импульсов от одной популяции к последующей;
Резервуарные вычисления[англ.] — резервуарная ИНС состоит из резервуара, исполненного по рекуррентному виду, и выходных нейронов.
Методы обучения
Методы обучения ИмНС делятся на три группы[10][8][11]:
Импульсный метод актера и критика (англ.Spiking actor-critic);
Обучение с подкреплением с помощью размеренно-поощряющей модели STDP (англ.RL through reward-modulated STDP).
Преимущества
Импульсные ИНС имеют ряд преимуществ над нейросетями предыдущих поколений[12]:
ИмНС являются динамическими, а значит отлично подходят для работы с динамическими процессами (распознавание речи и динамических изображений)[2];
ИмНС обладают многозадачностью, ведь входные данные обрабатываются в нейронной сети с обратными связями, а разные группы считывающих нейронов могут быть обучены на решение разных задач;
ИмНС способны осуществлять распознавание с предвидением (то есть не обязательно обладать полной информацией об объекте или знать результат процесса);
ИмНС просто обучать, так как достаточно обучить только выходные считывающие нейроны;
ИмНС имеют повышенную продуктивность обработки информации и помехоустойчивость, так как используют временно́е представление информации;
ИмНС требует меньшего числа нейронов, так как каждый нейрон импульсной нейронной сети заменяет два нейрона (возбуждающий и тормозящий) классической ИНС;
ИмНС имеют высокую скорость работы и большой потенциал распараллеливания, так как для передачи импульса необходимо отправить 1 бит, а не непрерывную величину, как в частотных ИНС[13];
Программное обеспечение, которое используется, в основном, для имитации импульсных нейронных сетей и используемые биологами для изучения их работы, свойств и характеристик. Позволяет моделировать с высоким уровнем детализации и точности, но требуют большого времени моделирования.
Программное обеспечение, которое может использоваться для решения реальных, а не теоретических задач. Моделирование в них проходит очень быстро, но не позволяет моделировать сложные, то есть биологически реалистичные, модели нейронов.
SpikeNET.
Программное обеспечение, которое работает достаточно эффективно для того, чтобы моделирование проходило быстро, иногда даже в режиме реального времени, но, в то же время, оно способно использовать нейронные модели, которые подробно описаны и биологически правдоподобным. Все это очень удобно для задач обработки информации.
Зрительные и слуховые нейропротезы, использующие последовательности импульсов для подачи сигналов в зрительную кору, и возвращающие больным возможность ориентироваться в пространстве, существуют уже сейчас, а работа над механическими двигательными протезами активно ведется. Также, импульсные последовательности могут подаваться в мозг через вживленные в него электроды и, тем самым, устранять симптомы болезни Паркинсона, дистонии, хронических болей, МДП и шизофрении[2].
Робототехника
Brain Corporation из Сан-Диего разрабатывает роботов, использующих ИмНС, а SyNAPSE создает нейроморфические системы и процессоры[2][8].
Компьютерное зрение
Существуют перспективы применения ИмНС в компьютерном зрении (автоматическом анализе видеоинформации). Цифровой нейрочип IBM TrueNorth включает в себя миллион программируемых нейронов и 256 миллионов программируемых синапсов, что позволяет симулировать работу нейронов зрительной коры. Данный нейрочип состоит из 4096 ядер, содержит 5.4 миллиарда транзисторов, но при этом обладает серьезной энергоэффективностью — всего лишь 70 милливатт[2].
Gerstner, Wulfram and Kistler, Werner M.Spiking Neuron Models: Single Neurons, Populations, Plasticity.— Cambridge, U.K.: Cambridge university press, 2002.
Hodgkin, Alan L; Huxley., Andrew F.A quantitative description of membrane current and its application to conduction and excitation in nerve(англ.)// The Journal of physiology[англ.]: journal.— 1952.— Vol. 117.— P. 500—544.
Колесницкий О. К., Бокоцей И. В., Яремчук С. С.Аппаратная реализация элементов импульсных нейронных сетей с использованием биспин-приборов, Часть 1//XII Всероссийская научно-техническая конференция «Нейроинформатика».— Москва: МИФИ, 2010.— С.122—127.
Синявский Олег Юрьевич.Обучение спайковых нейронных сетей на основе минимизации их энтропийных характеристик в задачах анализа, запоминания и адаптивной обработки пространственно-временной информации.— Москва, 2011.
Roadmap p.11 «Given the complexities and conceptual issues of consciousness we will not examine criteria 6abc, but mainly examine achieving criteria 1‐5.»
Wikiwand in your browser!
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.