Нейрокомпьютерные системы

видела раньше) не будет соответство­вать запомненным образам с точки зрения параметра сход­ства, тем самым формируя новый запоминаемый образ. Входной образ, в достаточной степени соответствующий одному из запомненных образов, не будет формировать нового экземпляра, он просто будет модифицировать тот, на который он похож. Таким образом при соответствующем выборе критерия сходства предотвращается запоминание ранее изученных образов и временная нестабильность.

На рис. 8.6 показан типичный сеанс обучения сети APT. Буквы показаны состоящими из маленьких квадратов, каждая буква размерностью 8х8. Каждый квадрат в левой части представляет компоненту вектора Х с единичным значением, не показанные квадраты являются компонентами с нулевыми значениями. Буквы справа представляют запом­ненные образы, каждый является набором величин компо­нент вектора Тj . Вначале на вход заново проинициированной системы подается буква С. Так как отсутствуют запомненные обра­зы, фаза поиска заканчивается неуспешно; новый нейрон выделяется в слое распознавания, и веса Тj устанавливаются равными соответствующим компонентам входного век­тора, при этом веса Вj представляют масштабированную версию входного вектора.

Далее предъявляется буква В. Она также вызывает неуспешное окончание фазы поиска и распределение нового нейрона. Аналогичный процесс повторяется для буквы Е. Затем слабо искаженная версия буквы Е подается на вход сети. Она достаточно точно соответствует запомненной букве Е, чтобы выдержать проверку на сходство, поэтому используется для обучения сети. Отсутствующий пиксель в нижней ножке буквы Е устанавливает в 0 соответствующую компоненту вектора С, заставляя обучающий алгоритм установить этот вес запомненного образа в нуль, тем самым воспроизводя искажения в запомненном образе. Дополнительный изолированный квадрат не изменяет запом­ненного образа, так как не соответствует единице в запомненном образе. Четвертым символом является буква Е с двумя разли­чными искажениями. Она не соответствует ранее запомнен­ному образу (S меньше чем р), поэтому для ее запомина­ния выделяется новый нейрон. Этот пример иллюстрирует важность выбора коррект­ного значения критерия сходства. Если значение критерия слишком велико, большинство образов не будут подтверж­дать сходство с ранее запомненными и сеть будет выде­лять новый нейрон для каждого из них. Это приводит к плохому обобщению в сети, в результате даже незначи­тельные изменения одного образа будут создавать отдель­ные новые категории. Количество категорий увеличивает­ся, все доступные нейроны распределяются, и способность системы к восприятию новых данных теряется. Наоборот, если критерий сходства слишком мал, сильно различающие­ся образы будут группироваться вместе, искажая запом­ненный образ до тех пор, пока в результате не получится очень малое сходство с одним из них. К сожалению, отсутствует теоретическое обоснование выбора критерия сходства, в каждом конкретном случае необходимо решить, какая степень сходства должна быть принята для отнесения образов к одной категории. Грани­цы между категориями часто неясны, и решение задачи для большого набора входных векторов может быть чрезмерно трудным. В работе [2] предложена процедура с использованием обратной связи для настройки коэффициента сходства, вносящая, однако, некоторые искажения в результате классификации как «наказание» за внешнее вмешательство с целью увеличения коэффициента сходства. Такие системы требуют правил определения, является ли производимая ими классификация корректной.

ХАРАКТЕРИСТИКИ APT

Системы APT имеют ряд важных характеристик, не являющихся очевидными. Формулы и алгоритмы могут ка­заться произвольными, в то время как в действительности они были тщательно отобраны с целью удовлетворения требований теорем относительно производительности сис­тем APT. В данном разделе описываются некоторые алго­ритмы APT, раскрывающие отдельные вопросы инициализации и обучения.

Инициализация весовых векторов Т

Из ранее рассмотренного примера обучения сети можно было видеть, что правило двух третей приводит к вычислению вектора С как функции И между входным век­тором Х и выигравшим соревнование запомненным вектором Тj. Следовательно, любая компонента вектора С будет равна единице в том случае, если соответствующие компо­ненты обоих векторов равны единице. После обучения эти компоненты вектора Тj остаются единичными; все остальные устанавливаются в нуль.

Это объясняет, почему веса tij. должны инициализи­роваться единичными значениями. Если бы они были проинициализированы нулевыми значениями, все компоненты вектора С были бы нулевыми независимо от значений ком­понент входного вектора, и обучающий алгоритм предохра­нял бы веса от изменения их нулевых значений. Обучение может рассматриваться как процесс «сокра­щения» компонент запомненных векторов, которые не соот­ветствуют входным векторам. Этот процесс необратим, если вес однажды установлен в нуль, обучающий алгоритм никогда не восстановит его единичное значение. Это свойство имеет важное отношение к процессу обучения. Предположим, что группа точно соответствующих векторов должна быть классифицирована к одной катего­рии, определяемой возбуждением одного нейрона в слое распознавания. Если эти вектора последовательно предъ­являются сети, при предъявлении первого будет распреде­ляться нейрон распознающего слоя, его веса будут обуче­ны с целью соответствия входному вектору. Обучение при предъявлении остальных векторов будет приводить к обну­лению весов в тех позициях, которые имеют нулевые зна­чения в любом из входных векторов. Таким образом, запо­мненный вектор представляет собой логическое пересече­ние всех обучающих векторов и может включать существен­ные характеристики данной категории весов. Новый век­тор, включающий только существенные характеристики, будет соответствовать этой категории. Таким образом, сеть корректно распознает образ, никогда не виденный ранее, т.е. реализуется возможность, напоминающая про­цесс восприятия человека.

Настройка весовых векторов Вj.

Выражение, описывающее процесс настройки весов (выражение (8.6) повторено здесь для справки) является центральным для описания процесса функционирования сетей APT.

Сумма в знаменателе представляет собой количество еди­ниц на выходе слоя сравнения. Эта величина может быть рассмотрена как «размер» этого вектора. В такой интер­претации «большие» векторы С производят более маленькие величины весов bij, чем «маленькие» вектора С. Это свойство самомасштабирования делает возможным разделе­ние двух векторов в случае, когда один вектор является поднабором другого; т.е. когда набор единичных компо­нент одного вектора составляет подмножество единичных компонент другого. Чтобы продемонстрировать проблему, возникающую при отсутствии масштабирования, используемого в выражении (8.6), предположим, что сеть обучена двум приведенным ниже входным векторам, при этом каждому распределен нейрон в слое распознавания.

Х1 = 1 0 0 0 0

X2= 1 1 1 0 0

Заметим, что Х1 является поднабором Х2 . В отсутствие свойства масштабирования веса bij и tij получат значе­ния, идентичные значениям входных векторов. Если на­чальные значения выбраны равными 1,0, веса образов будут иметь следующие значения:

T1 = В1 = 1 0 0 0 0

Т2 = B2 =1 1 1 0 0

Если X прикладывается повторно, оба нейрона в слое распознавания получают одинаковые активации; следова­тельно, нейрон 2, ошибочный нейрон, выиграет конкурен­цию. Кроме выполнения некорректной классификации, может быть нарушен процесс обучения. Так как Т2 равно 1 1 1 0 0, только первая единица соответствует единице входного вектора, и С устанавливается в 1 0 0 0 0, критерий сходства удовлетворяется и алгоритм обучения устанавливает вторую и третью единицы векторов Т2 и В2 в нуль, разрушая запомненный образ. Масштабирование весов bij предотвращает это неже­лательное поведение. Предположим, что в выражении (8.2) используется значение L=2, тем самым определяя следу­ющую формулу:

Значения векторов будут тогда стремиться к величинам

В1 = 1 0 0 0 0

В2 = 1/2 1/2 1/2 0 0

Подавая на вход сети вектор X1, получим возбужда­ющее воздействие 1,0 для нейрона 1 в слое распознавания и 1/2 для нейрона 2; таким образом, нейрон 1 (правиль­ный) выиграет соревнование. Аналогично предъявление вектора Х2 вызовет уровень возбуждения 1,0 для нейрона 1 и 3/2 для нейрона 2, тем самым снова правильно выби­рая победителя.

Инициализация весов bij

Инициализация весов bij малыми значениями является существенной для корректного функционирования систем APT. Если они слишком большие, входной вектор, который ранее был запомнен, будет скорее активизировать несвя­занный нейрон, чем ранее обученный. Выражение (8.1), определяющее начальные значения весов, повторяется здесь для справки

bij < L / (L - 1+ т) для всех i , j. (8.1)

Установка этих весов в малые величины гарантирует, что несвязанные нейроны не будут получать возбуждения боль­шего, чем обученные нейроны в слое распознавания. Ис­пользуя предыдущий пример с L= 2, т=Ъ и bij < 1/3, произвольно установим bij = 1/6. С такими весами предъ­явление вектора, которому сеть была ранее обучена, приведет к более высокому уровню активации для правиль­но обученного нейрона в слое распознавания, чем для несвязанного нейрона. Например, для несвязанного нейро­на Х будет производить возбуждение 1/6, в то время как Х будет производить возбуждение 1/2; и то и другое ниже возбуждения для обученных нейронов.

Поиск. Может показаться, что в описанных алгорит­мах отсутствует необходимость наличия фазы поиска за исключением случая, когда для входного вектора должен быть распределен новый несвязанный нейрон. Это не сов­сем так; предъявление входного вектора, сходного, но не абсолютно идентичного одному из запомненных образов, может при первом испытании не обеспечить выбор нейрона слоя распознавания с уровнем сходства большим р, хотя такой нейрон будет существовать. Как и в предыдущем примере, предположим, что сеть обучается следующим двум векторам:

Х =1 0 0 0 0

X =1 1 1 0 0

с векторами весов Вi, обученными следующим образом:

В1=1 0 0 0 0

В2 = 1/2 1/2 1/2 0 0

Теперь приложим входной вектор Х3 = 1 1 0 0 0. В этом случае возбуждение нейрона 1 в слое распознавания будет 1,0, а нейрона 2 только 2/3. Нейрон 1 выйдет победите­лем (хотя он не лучшим образом соответствует входному вектору), вектор С получит значение 1 1 0 0 0, S будет равно 1/2. Если уровень сходства установлен в 3/4, нейрон 1 будет заторможен и нейрон 2 выиграет состяза­ние. С станет равным 1 1 0 0 0, S станет равным 1, критерий сходства будет удовлетворен и поиск закончит­ся.

Теоремы APT

В работе [2] доказаны некоторые теоремы, показыва­ющие характеристики сетей APT. Четыре результата, при­веденные ниже, являются одними из наиболее важных:

1. После стабилизации процесса обучения предъявле­ние одного из обучающих векторов (или вектора с сущест­венными характеристиками категории) будет активизиро­вать требуемый нейрон слоя распознавания без поиска. Эта характеристика «прямого доступа» определяет быстрый доступ к предварительно изученным образам.

2. Процесс поиска является устойчивым. После опре­деления выигравшего нейрона в сети не будет возбуждений других нейронов в результате изменения векторов выхода слоя сравнения С; только сигнал сброса может вызвать такие изменения.

3. Процесс обучения является устойчивым. Обучение не будет вызывать переключения с одного возбужденного нейрона слоя распознавания на другой.

4. Процесс обучения конечен. Любая последователь­ность произвольных входных векторов будет производить стабильный набор весов после конечного количества обу­чающих серий; повторяющиеся последовательности обуча­ющих векторов не будут приводить к циклическому измене­нию весов.

ЗАКЛЮЧЕНИЕ

Сети APT являются интересным и важным видом сис­тем. Они способны решить дилемму стабильности-пластичности и хорошо работают с других точек зрения. Архитектура APT сконструирована по принципу биологичес­кого подобия; это означает, что ее механизмы во многом соответствуют механизмам мозга (как мы их понимаем). Однако они могут оказаться не в состоянии моделировать распределенную память, которую многие рассматривают как важную характеристику функций мозга. Экземпляры APT представляют собой «бабушкины узелки»; потеря одного узла разрушает всю память. Память мозга, напротив, распределена по веществу мозга, запомненные образы могут часто пережить значительные физические поврежде­ния мозга без полной их потери. Кажется логичным изучение архитектур, соответству­ющих нашему пониманию организации и функций мозга. Человеческий мозг представляет существующее доказатель­ство того факта, что решение проблемы распознавания образов возможно. Кажется разумным эмулировать работу мозга, если мы хотим повторить его работу. Однако кон­траргументом является история полетов; человек не смог оторваться от земли до тех пор, пока не перестал имити­ровать движения крыльев и полет птиц.

Глава 10 Когнитрон и неокогнитрон

Люди решают сложные задачи распознавания образов с обескураживающей легкостью. Двухлетний ребенок без видимых усилий различает тысячи лиц и других объектов, составляющих его окружение, несмотря на изменение рас­стояния, поворота, перспективы и освещения. Может показаться, что изучение этих врожденных способностей должно

Если Вам нужна помощь с академической работой (курсовая, контрольная, диплом, реферат и т.д.), обратитесь к нашим специалистам. Более 90000 специалистов готовы Вам помочь.
Бесплатные корректировки и доработки. Бесплатная оценка стоимости работы.

Поможем написать работу на аналогичную тему

Получить выполненную работу или консультацию специалиста по вашему учебному проекту
Нужна помощь в написании работы?
Мы - биржа профессиональных авторов (преподавателей и доцентов вузов). Пишем статьи РИНЦ, ВАК, Scopus. Помогаем в публикации. Правки вносим бесплатно.

Похожие рефераты: