Математические модели естествознания
,
где
функция
вычисляется
покоординатно.
Множество
бинарных векторов
(координаты
равны либо
нулю, либо единице)
обозначим через
.
Пусть
- некоторый
набор входных
векторов, а
- множество
выходных векторов.
Поставим задачу
об обучении
персептрона.
Требуется
выбрать синаптическую
матрицу
и пороговый
вектор
так, чтобы для
входных векторов
персептрон
формировал
выходные векторы
,
т.е.
.
Если
обучение удалось
произвести,
то персептрон
выполняет
функции ассоциативной
памяти. По входному
вектору
генерирует
связанный с
ним выходной
вектор
.
При этом если
входной вектор
слегка искажен,
выходным вектором
все равно будет
вектор
(функция
непрерывна).
Часто пары
векторов
называют
ассоциативными
парами.
Пусть
и векторы
линейно независимы.
Тогда задача
об обучении
однослойного
персептрона
разрешимы. В
силу того, что
нейроны слоя
не связаны
между собой,
достаточно
решить задачу
обучения для
произвольного
-ого
нейрона (персептрон
из одного нейрона).
Его ассоциативные
пары имеют вид:
,
где
- координата
с номером
вектора
,
которая принимает
либо нулевое,
либо единичное
значения. Таким
образом, нейрон
осуществляет
классификацию
входных векторов:
одним “
приписывает”
нулевое, а другим
- единичное
значения признака.
Выше показано,
что в рамках
сделанных
предположений
о векторах
задача классификации
разрешима.
Описан алгоритм
выбора синаптического
вектора
и порогового
значения
,
для которых
.
Задача
об обучении
персептрона
часто оказывается
неразрешимой
даже в простых
случаях. Рассмотрим
персептрон,
состоящий из
одного нейрона,
который имеет
два синаптических
входа, т.е. входной
вектор суть
.
Поставим задачу
найти синаптический
вектор и пороговое
значение такими,
чтобы для входных
векторов
и
выходной
сигнал был
равен единице,
а для векторов
и
- нулю?
Данный нейрон
должен реализовать
логическую
операцию “исключающее
или”.
Выпуклые оболочки
векторов
и
очевидно пересекаются
в точке
.
Следовательно,
поставленная
задача в принципе
не разрешима.
Нерешенная
простейшая
задача сильно
уменьшает
энтузиазм.
Однако, оказывается,
что она разрешима
на двухслойном
персептроне.
Рассмотрим
конструкцию
из трех нейронов.
Первые два из
них имеют общие
входы и образуют
первый слой.
Выходные сигналы
этих нейронов
являются входными
сигналами для
третьего нейрона.
Пусть
и
входной и выходной
векторы первого
слоя, а
- выходной сигнал
третьего нейрона.
Положим для
нейронов
,
,
.Простым
перебором
доказывается,
что описанный
персептрон
реализует
операцию “исключающее
или”.
Рассмотренный
пример - решение
задачи классификации
на множестве
бинарных векторов.
Оказывается,
что теоретически
двухслойный
персептрон
решает задачу
классификации
бинарных векторов
в общем случае.
Однако, это
утверждение
имеет лишь
теоретическое
значение, поскольку
доказывается
оно, когда число
нейронов в
первом слое
равно
,
где
- размерность
входного вектора.
Формальный нейрон Мак-Каллока - Питтса
Модель
отражает единственный
атрибут биологического
нейрона -его
способность
генерировать
импульсы “все,
или нечего”
в ответ на достаточно
сильное воздействие.
Нейрон Мак-Каллока
- Питтса функционирует
в дискретном
времени. Он
имеет
входов -синапсов
и единственный
выход. Значение
выходного
сигнала
соответствует
генерации
спайка (состояние
возбуждения).
В состоянии
покоя выходной
сигнал
.
В момент времени
выходной сигнал
формируется
в зависимости
от сигналов
,
поступивших
на синапсы в
момент времени
.
Последние также
могут принимать
значения ноль
или единица.
Если синаптический
сигнал равен
нулю, то говорят,
что синапс
находится в
состоянии
покоя. Единичное
значение
соответствует
состоянию
возбуждения
синапса. Сигнал
на синапс поступает
либо от выхода
другого нейроны,
либо от сенсора
-специального
входа для внешних
сигналов.
Первоначально
правила формирования
выходного
сигнала были
введены авторами
модели в виде
ряда аксиом.
Приведем две
из них.
Для возбуждения нейрона в момент времени
необходимо
в момент времени
возбудить
определенное,
фиксированное
число синапсов,
которое не
зависит ни от
предыдущей
истории, ни от
состояния
нейрона.
Нейрон имеет особые входы -тормозящие синапсы. Возбуждение любого из них в момент времени
исключает
возбуждение
нейрона в момент
времени
.
Первая аксиома отражает пороговые свойства нейрона, а вторая - подчеркивает особую роль торможения (на сетях “без запретов” нельзя реализовать произвольный алгоритм).
Впоследствии
модель изменилась.
Синаптические
сигналы
(
не обязательно
бинарные) стали
взвешивать
и формировать
суммарный
входной сигнал
.
Здесь
-числа, которые
называют
синаптическими
весами. Синапс
называют
возбудительным,
если
,
и тормозным,
если
.
Договорились,
что в момент
времени
нейрон находится
в возбужденном
состоянии
,
если суммарный
входной сигнал
в момент времени
превысил некоторое
пороговое
значение
,
т.е.
.
Пусть
-функция Хевисайта.
Она принимает
нулевое значение
при
и единичное
при
.
Тогда можно
записать:
.
(12)
Описанный объект есть то, что в настоящее время называют формальным нейроном Мак-Каллока - Питтса.
Функция
в (12) получила
название функции
активации.
Часто рассматривают
нейроны с другими
функциями
активации.
Нулевое значение
выходного
сигнала означает,
что в соответствующий
момент времени
нейрон не действует
на другие нейроны
(он как бы искючен
из сети). Представляется
разумным, что
в любой момент
времени
выходное значение
не равно нулю
и зависит от
величины
.
В связи с этим,
часто берут
в качестве
функции активации
знак числа.
Формула для
выходного
сигнала приобретает
вид:
.
(13)
Здесь
при
и
при
.
Отметим, что
в данном случае
поделить нейроны
на возбудительные
и тормозные
в принципе
невозможно
(напомним, что
для биологических
нейронов такая
классификация
производится).
Еще один подход к выбору функции активации связан с биологическим фактом, что на более сильное воздействие нейрон отвечает пачкой спайков. Число спайков (или частоту их следования) можно принять за характеристику выходного сигнала. В связи с этим рассматривают нейрон, у которого выходной сигнал задается формулой:
.
(14)
Здесь
-монотонно
растущая функция,
имеющая предел
при
.
Дополнительно
предполагают,
что
при
,
либо
при
(сигмоидная
функция). Широко
используется
так называемая
логистическая
функция:
.
Другой вариант:
при
,
например,
.
Иногда
в качестве
функции
выбирают линейный
трехзвенный
сплайн (ломаную,
состоящую из
трех частей):
при
,
,
где
и
,
для
.
Тогда на восходящем
участке функции
активации
нейрон работает
как линейный
сумматор входных
сигналов.
Рассмотрим
нейрон Мак-Каллока
- Питтса, выходной
сигнал которого
задается формулой
(12). Вектор
,
состоящий из
входных сигналов
(не обязательно
бинарных), назовем
входным, а вектор
-синаптическим.
Обычным образом
введем скалярное
произведение:
.
Гиперплоскость
разбивает
пространство
на два полупространства
и
.
В первом из них
,
а во втором
.
Если входной
вектор
,
то выходной
сигнал нейрона
,
если же
,
то
.
Тем самым, нейрон
относит каждый
из входных
векторов к
одному из двух
классов.
Для
того, чтобы
нейрон мог
осуществлять
“правильную”
в каком -то смысле
классификацию,
должны быть
соответствующим
образом выбраны
вектор синаптических
весов
и пороговое
значение
.
Процедура
выбора этих
параметров
называется
обучением
нейрона. Различают
обучение с
“учителем”
и “без учителя”.
Задача
обучения с
учителем ставится
следующим
образом. Задаются
два набора
входных векторов
и
.
Они называются
эталонными
векторами или
паттернами,
а также образами.
Требуется
определить
вектор
синаптических
весов и порог
так, чтобы выходной
сигнал нейрона
в ответ на входные
векторы
был равен единице,
а на векторы
-нулю. Тем самым,
обучение с
учителем
предполагает,
что для каждого
эталонного
входного вектора
заведомо известен
ответ нейрона.
Эталон и желаемый
ответ называются
обучающей
парой.
Несмотря на многочисленные прикладные достижения обучение с учителем критикуется за свою биологическую неправдоподобность, поскольку совершенно не понятно откуда могут появиться желаемые ответы. При обучении без учителя заранее неизвестно разбиение эталонов на подмножества. До обучения невозможно предсказать в какой класс попадет каждый конкретный эталонный вектор. В процессе обучения выделяются статистические свойства обучающей последовательности и вырабатываются правила классификации. Естественно идея, на которой основаны правила, априорно заложена в процесс обучения. Например, эталонные векторы усредняются по координатам. Если эталонный вектор находится от усредненного “не слишком далеко”, то он относится к первому классу, а иначе -ко второму. Постановка задачи об обучении без учителя выглядит несколько расплывчатой. Однако в ряде случаев она успешно решена.
Различают также внешнее и адаптивное обучение. В первом случае синаптические веса вычисляются неким внешним устройством, а затем импортируются в синапсы. При адаптивном обучении веса подстраиваются в процессе функционирования сети, которой предъявляется обучающая последовательность эталонов. Многие авторы считают механизм адаптации неотъемлемым атрибутом нейронов. Внешнее обучение позволяет понять, во -первых, возможна ли вообще интересующая нас классификация для данной обучающей последовательности. Во -вторых, позволяет, не задумываясь о возможных механизмах адаптации, разумно выбрать синаптические веса для изучения вопроса о функционировании нейронов, объединенных в сеть.
После завершения процесса обучения нейрон осуществляет классификацию векторов эталонной последовательности, т.е. “запоминает” для каждого вектора класс, к которому тот относится. Кроме этого, произвольный входной вектор нейрон относит к определенному классу, т.е. “обобщает” классификацию (принцип сортировки) эталонной последовательности на произвольный образ.
Рассмотрим
вопрос о разрешимости
задачи обучения
с учителем в
частном случае,
когда второе
множество
состоит из
единственного
представителя
.
Геометрически
это означает,
что строится
гиперплоскость,
которая отделяет
векторы
от нуля, т.е.
решается задача
об отделимости.
Отметим, что
для бинарных
векторов, координаты
которых равны
либо нулю, либо
единице, задача
об отделимости
всегда разрешима.
В качестве
нормального
вектора можно
взять, например
вектор
и
положить для
порогового
значения
.
Нижеследующие
построения
на используют
предположения
о бинарности
векторов.
Легко понять,
что задача об
отделимости
разрешима в
том и только
том случае,
когда выпуклая
оболочка векторов
не содержит
нуля (отделена
от нуля). Напомним,
что выпуклой
оболочкой
векторов
называется
множество
,
состоящее из
векторов:
,
где
и
.
Пусть множество
отделено от
нуля и
-его ближайшая
к нулю точка,
т.е.
по всем
.
Здесь, как обычно,
.
Положим
и выберем произвольно
.
Вектор
-искомый синаптический
вектор, а
-пороговое
значение для
нейрона, реагирующего
на входные
векторы
выходным сигналом
,
а на вектор
-сигналом
.
Задача
о нахождении
вектора, на
котором реализуется
минимальное
расстояние
от нуля до выпуклой
оболочки сама
по себе весьма
сложна. Если
число векторов
не превышает
размерность
пространства
и сами они линейно
независимы,
то отделяющую
гиперплоскость
можно построить
другим способом.
Достаточно
провести через
векторы
какую-нибудь
не содержащую
ноль гиперплоскость,
а затем сдвинуть
ее по направлению
нормали