Нейрокомпьютерные системы

сделать простой задачу разработки компьютера, повторяющего способности человека к распоз­наванию. Ничто не может быть более далеким от истины. Сходство и различия образов, являющиеся очевидными для человека, пока ставят в тупик даже наиболее сложные компьютерные системы распознавания. Таким образом, бесчисленное количество важных приложений, в которых компьютеры могут заменить людей в опасных, скучных или неприятных работах, остаются за пределами их текущих возможностей. Компьютерное распознавание образов является больше искусством; наука ограничена наличием нескольких мето­дик, имеющих относительно небольшое использование на практике. Инженер, конструирующий типовую систему рас­познавания образов, обычно начинает с распознавания печатного текста. Эти методы часто являются неадекват­ными задаче, и старания разработчиков быстро сводятся к разработке алгоритмов, узко специфичных для данной задачи. Обычно целью конструирования систем распознавания образов является оптимизация ее функционирования над выборочным набором образов. Очень часто разработчик завершает эту задачу нахождением нового, приблизительно похожего образа, что приводит к неудачному завершению алгоритмов. Этот процесс может продолжаться неопреде­ленно долго, никогда не приводя к устойчивому решению, достаточному для повторения процесса восприятия челове­ка, оценивающего качество функционирования системы.

К счастью, мы имеем существующее доказательство того, что задача может быть решена: это система воспри­ятия человека. Учитывая ограниченность успехов, достиг­нутых в результате стремления к собственным изобретени­ям, кажется вполне логичным вернуться к биологическим моделям и попытаться определить, каким образом они функционируют так хорошо. Очевидно, что это трудно сделать по нескольким причинам. Во-первых, сверхвысокая сложность человеческого мозга затрудняет понимание принципов его функционирования. Трудно понять общие принципы функционирования и взаимодействия его прибли­зительно 1011 нейронов и 1014 синаптических связей. Кроме того, существует множество проблем при проведении экспериментальных исследований. Микроскопические иссле­дования требуют тщательно подготовленных образцов (за­морозка, срезы, окраска) для получения маленького дву­мерного взгляда на большую трехмерную структуру. Техни­ка микропроб позволяет провести исследования внутренней электрохимии узлов, однако трудно контролировать одно­временно большое количество узлов и наблюдать их вза­имодействие. Наконец, этические соображения запрещают многие важные эксперименты, которые могут быть выполне­ны только на людях. Большое значение имели эксперименты над животными, однако животные не обладают способностя­ми человека описывать свои впечатления. Несмотря на эти ограничения, многое было изучено благодаря блестяще задуманным экспериментам. Например, в [1] описан эксперимент, в котором котята выращивались в визуальном окружении, состоящем только из горизон­тальных черных и белых полос. Известно, что определен­ные области коры чувствительны к углу ориентации, по­этому у этих котов не развились нейроны, чувствительные к вертикальным полосам. Этот результат наводит на мысль, что мозг млекопитающих не является полностью «предустановленным» даже на примитивном уровне распоз­навания ориентации линий. Напротив, он постоянно само­организуется, основываясь на опыте.

На микроскопическом уровне обнаружено, что нейроны обладают как возбуждающими, так и тормозящими синапса­ми. Первые стремятся к возбуждению нейрона; последние подавляют его возбуждение (см. приложение А). Это наво­дит на мысль, что мозг адаптируется либо изменением воздействия этих синапсов, либо созданием или разруше­нием синапсов в результате воздействия окружающей сре­ды. Данное предположение остается пока гипотезой с ограниченным физиологическим подтверждением. Однако исследования, проведенные в рамках этой гипотезы, при­вели к созданию цифровых моделей, некоторые из которых показывают замечательные способности к адаптивному распознаванию образов.

КОГНИТРОН

Основываясь на текущих знаниях анатомии и физиоло­гии мозга, в работе [2] разработан когнитрон, гипотети­ческая модель системы восприятия человека. Компьютерные модели, исследованные в [2], продемонстрировали впечат­ляющие способности адаптивного распознавания образов, побуждая физиологов исследовать соответствующие меха­низмы мозга. Это взаимно усиливающее взаимодействие между искусственными нейронными сетями, физиологией и психологией может оказаться средством, посредством которого будет со временем достигнуто понимание меха­низмов мозга.

Структура

Когнитрон конструируется в виде слоев нейронов, соединенных синапсами. Как показано на рис. 10.1, предсинаптический нейрон в одном слое связан с постсинаптическим нейроном в следующем слое. Имеются два типа нейронов: возбуждающие узлы, которые стремятся вызвать возбуждение постсинаптического узла, и тормозящие узлы, которые тормозят это возбуждение. Возбуждение нейрона определяется взвешенной суммой его возбуждающих и тор­мозящих входов, однако в действительности механизм является более сложным, чем простое суммирование.

Рис. 10.1. Пресинаптические и постсинаптические нейроны.


На рис. 10.2 показано, что каждый нейрон связан только с нейронами в соседней области, называемой областью связи. Это ограничение области связи согласу­ется с анатомией зрительной коры, в которой редко со­единяются между собой нейроны, располагающиеся друг от друга на расстоянии более одного миллиметра. В рассмат­риваемой модели нейроны упорядочены в виде слоев со связями от одного слоя к следующему. Это также анало­гично послойной структуре зрительной коры и других частей головного мозга.


Обучение

Так как когнитрон реализован в виде многослойной сети, возникают сложные проблемы обучения, связанные с выбранной структурой. Автор отверг управляемое обуче­ние, как биологически неправдоподобное, используя вза­мен этого обучение без учителя. Получая обучающий набор входных образов, сеть самоорганизуется посредством изменения силы синаптических связей. При этом отсутст­вуют предварительно определенные выходные образы, пред­ставляющие требуемую реакцию сети, однако сеть самонас­траивается с целью распознавания входных образов с замечательной точностью. Алгоритм обучения когнитрона является концептуаль­но привлекательным. В заданной области слоя обучается только наиболее сильно возбужденный нейрон. Автор срав­нивает это с «элитным обучением», при котором обучаются только «умные» элементы. Те нейроны, которые уже хорошо обучены, что выражается силой их возбуждения, получат приращение силы своих синапсов с целью дальнейшего усиления своего возбуждения. На рис. 10.3 показано, что области связи соседних узлов значительно перекрываются. Это расточительное дублирование функций оправдывается взаимной конкурен­цией между ближайшими узлами. Даже если узлы в началь­ный момент имеют абсолютно идентичный выход, небольшие отклонения всегда имеют место; один из узлов всегда будет иметь более сильную реакцию на входной образ, чем соседние. Его сильное возбуждение будет оказывать сдер­живающее воздействие на возбуждение соседних узлов, и только его синапсы будут усиливаться; синапсы соседних узлов останутся неизменными.

Возбуждающий нейрон.

Грубо говоря, выход возбужда­ющего нейрона в когнитроне определяется отношением его возбуждающих входов к тормозящим входам. Эта необычная функция имеет важные преимущества, как практические, так и теоретические.


Суммарный возбуждающий вход в нейрон Е является взвешенной суммой входов от возбуждающих нейронов в предшествующем слое. Аналогично суммарный тормозящий вход / является взвешенной суммой входов от всех тормо­зящих нейронов. В символьном виде

где аi - вес i-го возбуждающего синапса, иi - выход i -го возбуждающего нейрона, bj - вес j-го тормозящего синапса, v. - выход j-го тормозящего нейрона. Заметим, что веса имеют только положительные значения. Выход нейрона затем вычисляется следующим образом:

NET = [(1 + E)/(l + I)]-l,

OUT=NET при NET>=0,

OUT=0 при NET < 0.

Предполагая, что NET имеет положительное значение, это можно записать следующим образом:

OUT = (E - I)/(1 + I).

Когда тормозящий вход мал ( I << 1), OUT может быть аппроксимировано как OUT = Е – I , что соответствует выражению для обычного линейного порогового элемента (с нулевым порогом). Алгоритм обучения когнитрона позволяет весам си­напсов возрастать без ограничений. Благодаря отсутствию механизма уменьшения весов они просто возрастают в процессе обучения. В обычных линейных пороговых элемен­тах это привело бы к произвольно большому выходу эле­мента. В когнитроне большие возбуждающие и тормозящие входы результируются в ограничивающей формуле вида:

OUT = (E / I) - 1, если Е>>1 и I >>1.

В данном случае OUT определяется отношением возбужда­ющих входов к тормозящим входам, а не их разностью. Таким образом, величина OUT ограничивается, если оба входа возрастают в одном и том же диапазоне X. Предпо­ложив, что это так, Е и I можно выразить следующим образом:

Е = рХ, I = qX, p,q - константы, и после некоторых преобразований OUT = [(р - q)/2q]{1 + th[log(pq)/2]}.

Эта функция возрастает по закону Вебера-Фехнера, который часто используется в нейрофизиологии для аппрокси­мации нелинейных соотношений входа/выхода сенсорных нейронов. При использовании этого соотношения нейрон когнитрона в точности эмулирует реакцию биологических нейронов. Это делает его как мощным вычислительным элементом, так и точной моделью для физиологического моделирования.

Тормозящие нейроны.

В когнитроне слой состоит из возбуждающих и тормозящих узлов. Как показано на рис. 10.4, нейрон слоя 2 имеет область связи, для кото­рой он имеет синаптические соединения с набором выходов нейронов в слое 1. Аналогично в слое 1 существует тор­мозящий нейрон, имеющий ту же область связи. Синапти­ческие веса тормозящих узлов не изменяются в процессе обучения; их веса заранее установлены таким образом, что сумма весов в любом из тормозящих нейронов равна единице. В соответствии с этими ограничениями, выход тормозящего узла INHIB является взвешенной суммой его входов, которые в данном случае представляют собой среднее арифметическое выходов возбуждающих нейронов, к которым он подсоединен. Таким образом,


где =1, сi - возбуждающий вес i.

Процедура обучения. Как объяснялось ранее, веса возбуждающих нейронов изменяются только тогда, когда нейрон возбужден сильнее, чем любой из узлов в области конкуренции. Если это так, изменение в процессе обуче­ния любого из его весов может быть определено следующим образом:

ai=qcjuj

где сj- тормозящий вес связи нейрона j в слое 1 с тор­мозящим нейроном i, иj - выход нейрона j в слое 1, аi - возбуждающий вес i, q - нормирующий коэффициент обуче­ния. Изменение тормозящих весов нейрона i в слое 2 пропорционально отношению взвешенной суммы возбуждающих входов к удвоенному тормозящему входу. Вычисления про­водятся по формуле

Когда возбужденных нейронов в области конкуренции нет, для изменения весов используются другие выраже­ния. Это необходимо, поскольку процесс обучения начина­ется с нулевыми значениями весов; поэтому первоначально нет возбужденных нейронов ни в одной области конкурен­ции, и обучение производиться не может. Во всех случа­ях, когда победителя в области конкуренции нейронов нет, изменение весов нейронов вычисляется следующим образом :

где q' - положительный обучающий коэффициент меньший чем q. Приведенная стратегия настройки гарантирует, что узлы с большой реакцией заставляют возбуждающие синап­сы, которыми они управляют, увеличиваться сильнее, чем тормозящие синапсы. И наоборот, узлы, имеющие малую реакцию, вызывают малое возрастание возбуждающих синап­ сов, но большее возрастание тормозящих синапсов. Таким образом, если узел 1 в слое 1 имеет больший выход, синапс а1 возрастет больше, чем синапс b1 . И наоборот, узлы, имеющие малый выход, обеспечат малую величину для приращения аi. Однако другие узлы в области связи будут возбуждаться, тем самым увеличивая сигнал INHIB и значения bi. В процессе обучения веса каждого узла в слое 2 настраиваются таким образом, что вместе они составляют шаблон, соответствующий образам, которые часто предъ­являются в процессе обучения. При предъявлении сходного образа шаблон соответствует ему и узел вырабатывает большой выходной сигнал. Сильно отличающийся образ вырабатывает малый выход и обычно подавляется конкурен­цией.

Латеральное торможение. На рис. 10.4 показано, что каждый нейрон слоя 2 получает латеральное торможение от нейронов, расположенных в его области конкуренции. Тормозящий нейрон суммирует входы от всех нейронов в области конкуренции и вырабатывает сигнал, стремящийся к торможению целевого нейрона. Этот метод является эффектным, но с вычислительной точки зрения медленным. Он охватывает большую систему с обратной связью, вклю­чающую каждый нейрон в слое; для его стабилизации может потребоваться большое количество вычислительных итера­ций. Для ускорения вычислений в работе [2] используется остроумный метод ускоренного латерального торможения (рис. 10.5). Здесь дополнительный узел латерального торможения обрабатывает выход каждого возбуждающего узла для моделирования требуемого латерального торможения. Сначала он определяет сигнал, равный суммарному тормозящему влиянию в области конкуренции:

где OUTi - выход i-го нейрона в области конкуренции, g1-вес связи от этого нейрона к латерально-тормозящему нейрону; gi выбраны таким образом, что =1.

Выход тормозящего нейрона OUT' затем вычисляется следующим образом:

Благодаря тому что все вычисления, связанные с таким типом латерального торможения, являются нерекур­сивными, они могут быть проведены за один проход для слоя, тем самым определяя эффект в виде большой эконо­мии в вычислениях. Этот метод латерального торможения решает и другую сложную проблему. Предположим, что узел в слое 2 воз­буждается сильно, но возбуждение соседних узлов уменьшается постепенно с увеличением расстояния. При исполь­зовании обычного латерального торможения будет обучать­ся только центральный узел. Другие узлы определяют, что центральный узел в их области конкуренции имеет более высокий выход. С предлагаемой системой латерального торможения такой ситуации случиться не может. Множество узлов может обучаться одновременно и процесс обучения является более достоверным.

Рецептивная область. Анализ, проводимый до этого момента, был

Если Вам нужна помощь с академической работой (курсовая, контрольная, диплом, реферат и т.д.), обратитесь к нашим специалистам. Более 90000 специалистов готовы Вам помочь.
Бесплатные корректировки и доработки. Бесплатная оценка стоимости работы.

Поможем написать работу на аналогичную тему

Получить выполненную работу или консультацию специалиста по вашему учебному проекту
Нужна помощь в написании работы?
Мы - биржа профессиональных авторов (преподавателей и доцентов вузов). Пишем статьи РИНЦ, ВАК, Scopus. Помогаем в публикации. Правки вносим бесплатно.

Похожие рефераты: