Xreferat.com » Рефераты по информатике и программированию » Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей

Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей

/> (2.1)


Вектором b обозначена зависимость выборочных значений от компонент вектора параметров объекта b0, b1: . . ., bт. Определим


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.2)


Шум зададим его математическим ожиданием и ковариационной матрицей:


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.3)

Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.4)


Задача состоит в том, чтобы определить оценку β вектора параметров Ь. Для этого используется теоретически предсказываемый выходной сигнал w, т. е. выход модели, который зависит от вектора коэффициентов β = (β0, βi,...,β m). Эта функциональная зависимость может быть выбрана различными способами. Простейшей является линейная функциональная связь между w и J (линейная по параметрам модель)

Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


где ui(j)— известные линейно независимые функции. Запишем w в виде


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.5)


где


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.6)


Снова заметим, что такой выбор линейной связи между w и Р не означает того, что связь между входом и выходом модели должна быть линейной, Предполагается, что матрица U полностью известна, т. е. может быть измерена без ошибок. Кроме того, предполагается, что число наблюдений к превышает число т + 1 неизвестных параметров.

Класс линейных несмещенных оценок определяется следующими свойствами:


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.7)


где Q — (т + 1) x k-матрица, и


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.8)


Предполагается, что равенство (2.5) может дать полное описание объекта, т.е.


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.9)


Допустим сначала, что U и n статистически независимы. Теперь вектор ошибки е можно определить как


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.10)


В качестве функции ошибок или функции потерь можно выбрать положительно определенную форму


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.11)


где R- матрица весовых коэффициентов rij. Без потери общности можно предположить, что эта матрица симметрична. Функция ошибок может быть записана в виде


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей

Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.12)


Так как [Uβ]' —β'U', a R — симметричная матрица, то


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.13)


Дифференцирование этого выражения по р дает (см. приложение В)


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.14)


Последнее выражение можно записать в виде -2U'R[y-Uβ]= — 2U'Re.

При некотором р выражение (2.14) обращается в нуль. Отсюда находим р, обеспечивающее экстремум функции ошибок Е:


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.15)


Эту систему называют системой нормальных уравнений. Если U'RU — невырожденная матрица, то


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.16)


Нетрудно показать, что при β = β^ функций ошибок Е принимает минимальное значение. Это значение Е (β^) называется остаточной ошибкой (основанной на k наблюдениях).

Здесь уместно сделать несколько замечаний:

1) Конечно, уравнение (2.16) можно решить методами

вариационного исчисления:


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


или


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


при произвольном ∆β (принцип ортогональности).

2) Прямое доказательство того, что Е достигает минимума, может быть основано на стандартном приеме анализа членов второго порядка по р. Из формулы (2.12) имеем


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


Очевидно, что при p, удовлетворяющем уравнению (2.16), Е достигает минимума.

3) В качестве мнемонического правила может оказаться удобным использовать то, что


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


умножается на U'R:


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


Так как второе слагаемое неизвестно, не измеряется и предполагается, что U и n статистически независимы, то это слагаемое отбрасывается. В результате получается оценка Р истинного значения b [см. формулу (2.15)]. Естественно, такой способ вывода уравнения (2.16) не показывает, в каком смысле оценка оптимальна.

Эта оценка обладает свойством линейности, поскольку


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.17)


Из формул (6.31) и (6.24) следует, что


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


Поскольку входной сигнал и шум статистически независимы,


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.18)


А так как уже предполагалось, что ε[n] = 0, то оценка является и несмещенной:


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетейОтсюда следует, что

Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


т. е. математическое ожидание выхода модели равно выходу объекта без аддитивного шума.

Желательно определить еще одну характеристику оценки β [формула (2.16)] — ее дисперсию. Интересно также оценить корреляцию между компонентами вектора 3. Все эти характеристики можно определить с помощью ковариационной матрицы


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.19)


По-прежнему предполагается, что справедливо соотношение (6.24) и U и n статистически независимы. Тогда, используя формулу (6.32), находим


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей

(2.20)


Следовательно,


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


Будет показано, что в нескольких практически интересных случаях это выражение можно существенно упростить. Главная диагональ матрицы состоит из оценок дисперсий оцениваемых параметров.


2.1.2 Оценки по методу наименьших квадратов

При использовании метода наименьших квадратов минимизируется выражение


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.21)


Таким образом, в уравнении (2.11) и вытекающих из него уравнениях


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей,


и из формул (2.15), (2.16) и (2.20) получаем


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.22)


или


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.23)

и Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.24)


Если U — квадратная матрица, т. е. если размер выборки равен числу оцениваемых параметров, и если матрица U имеет обратную, то

Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.25)

и Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.26)


С инженерной точки зрения этот случай не представляет особого интереса, поскольку случайные возмущения не учитываются. Для уменьшения влияния шумов размер выборки должен быть гораздо больше числа параметров. Если в уравнении (2.22) выразить все величины через Ui(j), то нетрудно получить


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (2.27)


Ортогональность или ортонормальность пробных сигналов может привести к существенным упрощениям. В случае ортонормальности


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей — единичная матрица

и Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей, или

Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


Можно дать простую геометрическую интерпретацию оценок метода наименьших квадратов для случая двумерного вектора параметров β (рис. 2.1). Необходимо минимизировать длину вектора


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей.


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей

Рисунок 2.1 - Геометрическая интерпретация оценок метода наименьших квадратов для случая двумерного вектора параметров β


Если вектор е ортогонален к u1 и u2


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей или Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


Следовательно,


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


или


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей,


т. е. имеем уравнение (2.22).


2.2 Нейронные сети и статические характеристики


Поскольку в настоящее время нейронные сети с успехом используются для анализа данных, уместно сопоставить их со старыми хорошо разработанными статистическими методами. В литературе по статистике иногда можно встретить утверждение, что наиболее часто применяемые нейросетевые подходы являются ни чем иным, как неэффективными регрессионными и дискриминантными моделями. Мы уже отмечали прежде, что многослойные нейронные сети действительно могут решать задачи типа регрессии и классификации. Однако, во-первых, обработка данных нейронными сетями носит значительно более многообразный характер - вспомним, например, активную классификацию сетями Хопфилда или карты признаков Кохонена, не имеющие статистических аналогов. Во-вторых, многие исследования, касающиеся применения нейросетей в финансах и бизнесе, выявили их преимущества перед ранее разработанными статистическими методами. Рассмотрим подробнее результаты сравнения методов нейросетей и математической статистики.


2.3 Различие нейронных сетей и статистики


В чем же заключается сходство и различие языков нейрокомпьютинга и статистики в анализе данных. Рассмотрим простейший пример.

Предположим, что мы провели наблюдения и экспериментально измерили N пар точек, представляющих функциональную зависимость


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


Если попытаться провести через эти точки наилучшую прямую, что на языке статистики будет означать использование для описания неизвестной зависимости линейной модели Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей (где ε обозначает шум при проведении наблюдения), то решение соответствующей проблемы линейной регрессии сведется к нахождению оценочных значений параметров a,b минимизирующих сумму квадратичных невязок.


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


Если параметры a и b найдены, то можно оценить значение y для любого значения x, то есть осуществить интерполяцию и экстраполяцию данных.

Та же самая задача может быть решена с использованием однослойной сети с единственным входным и единственным линейным выходным нейроном. Вес связи a и порог b могут быть получены путем минимизации той же величины невязки (которая в данном случае будет называться среднеквадратичной ошибкой) в ходе обучения сети, например методом backpropagation. Свойство нейронной сети к обобщению будет при этом использоваться для предсказания выходной величины по значению входа.


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей

Рисунок. 2.2 - Линейная регрессия и реализующий ее однослойный персептрон


При сравнении этих двух подходов сразу бросается в глаза то, что при описании своих методов статистика апеллирует к формулам и уравнениям, а нейрокомпьютинг к графическому описанию нейронных архитектур.

Еще одним существенным различием является то, что для методов статистики не имеет значения, каким образом будет минимизироваться невязка - в любом случае модель остается той же самой, в то время как для нейрокомпьютинга главную роль играет именно метод обучения. Иными словами, в отличие от нейросетевого подхода, оценка параметров модели для статистических методов не зависит от метода минимизации. В то же время статистики будут рассматривать изменения вида невязки, скажем как фундаментальное изменение модели


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


В отличие от нейросетевого подхода, в котором основное время забирает обучение сетей, при статистическом подходе это время тратится на тщательный анализ задачи. При этом опыт статистиков используется для выбора модели на основе анализа данных и информации, специфичной для данной области. Использование нейронных сетей - этих универсальных аппроксиматоров - обычно проводится без использования априорных знаний, хотя в ряде случаев оно весьма полезно. Например, для рассматриваемой линейной модели использование именно среднеквадратичной ошибки ведет к получению оптимальной оценки ее параметров, когда величина шума имеет нормальное распределение с одинаковой дисперсией для всех обучающих пар. В то же время если известно, что эти дисперсии различны, то использование взвешенной функции ошибки может дать значительно лучшие значения параметров.


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


Факторный анализ используется для изучения структуры данных. Основной его посылкой является предположение о существовании таких признаков - факторов, которые невозможно наблюдать непосредственно, но можно оценить по нескольким наблюдаемым первичным признакам. Так, например, такие признаки, как объем производства и стоимость основных фондов, могут определять такой фактор, как масштаб производства. В отличие от нейронных сетей, требующих обучения, факторный анализ может работать лишь с определенным числом наблюдений. Хотя в принципе число таких наблюдений должно лишь на единицу превосходить число переменных рекомендуется использовать хотя бы втрое большее число значение. Это все равно считается меньшим, чем объем обучающей выборки для нейронной сети. Поэтому статистики указывают на преимущество факторного анализа, заключающееся в использовании меньшего числа данных и, следовательно, приводящего к более быстрой генерации модели. Кроме того, это означает, что реализация методов факторного анализа требует менее мощных вычислительных средств. Другим преимуществом факторного анализа считается то, что он является методом типа white-box, т.е. полностью открыт и понятен - пользователь может легко осознавать, почему модель дает тот или иной результат. Связь факторного анализа с моделью Хопфилда можно увидеть, вспомнив векторы минимального базиса для набора наблюдений. Именно эти векторы являются аналогами факторов, объединяющих различные компоненты векторов памяти - первичные признаки.

Логистическая регрессия является методом бинарной классификации, широко применяемом при принятии решений в финансовой сфере. Она позволяет оценивать вероятность реализации (или нереализации) некоторого события в зависимости от значений некоторых независимых переменных - предикторов:Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей В модели логистической регресии такая вероятность имеет аналитическую форму:


Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей, где Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей


Нейросетевым аналогом ее очевидно является однослойный персептрон с нелинейным выходным нейроном. В финансовых приложениях логистическую регрессию по ряду причин предпочитают многопараметрической линейной регрессии и дискриминантному анализу. В частности, она автоматически обеспечивает принадлежность вероятности интервалу [0,1], накладывает меньше ограничений на распределение значений предикторов. Последнее очень существенно, поскольку распределение значений финансовых показателей, имеющих форму отношений, обычно не является нормальным и "сильно перекошено". Достоинством нейронных сетей является то, что такая ситуация не представляет для них проблемы. Кроме того, нейросети нечувствительны к корреляции значений предикторов, в то время как методы оценки параметров регрессионной модели в этом случае часто дают неточные значения. В то же время многие нейронные парадигмы, такие как сети Кохонена или машина Больцмана не имеют прямых аналогов среди статистических методов.


2.4 Нейронные сети и статистические экспертные системы


Рассмотрим теперь отношения нейрокомпьютинга и экспертных систем. Обе эти технологии иногда относят к направлению Искусственный Интеллект, хотя строго говоря, термин искусственный интеллект появился в 70-е годы в связи с экспертными системами, как направления альтернативного нейронным сетям.

Его основатели - Марвин Минский и Эдвард Фейгенбаум посчитали излишней апелляцию к архитектуре мозга, его нейронным структурам, и декларировали необходимость моделирования работы человека со знаниями. Тем самым, поставив в центр внимания операции с формально-логическими языковыми структурами, они заведомо выбрали ориентацию на имитацию обработки информации левым полушарием мозга человека. Системы обработки таких формализованных знаний были названы экспертными, поскольку они должны были воспроизводить ход логических рассуждений эксперта (высокопрофессионального специалиста) в конкретной предметной области. Эти рассуждения проводятся с использованием правил вывода, которые инженер знаний должен извлечь у эксперта.

Заметим, что в настоящее время распространено более широкое толкование систем искусственного интеллекта. К ним относят не только экспертные , но и нечеткие системы, нейронные сети и всевозможные комбинации, такие как нечеткие экспертные системы или нечеткие нейронные системы. Отдельным направлениями, выделяются также эвристический поиск, в рамках которого в 80-е годы Ньюэллом и Саймоном был разработан Общий Решатель Задач (GPS - General Problem Solver), а также обучающиеся машины (Ленат, Холланд). И если GPS не мог решать практические задачи, то машинная обучающаяся система EURISCO внесла значительный вклад в создание СБИС, изобретя трехмерный узел типа И/ИЛИ.

Однако, экспертные системы претендовали именно на решение важных прикладных задач прежде всего в таких областях, как медицина и геология. При этом соответствующая технология в сочетании с нечеткими системами была в 1978 году положена японцами в основу программы создания компьютеров 5-го поколения.

Парадокс искусственного интеллекта заключается в том, что как только некоторая, кажущаяся интеллектуальной, деятельность оказывается искусственно реализованной, она перестает считаться интеллектуальной. В этом смысле наибольшие шансы остаться интелелктуальными имеют как раз нейронные сети, из которых еще не извлечены артикулированные знания.

Сопоставление экспертных систем и нейрокомпьютинга выявляет различия, многие из которых характерны для уже отмечавшихся в первой лекции различий обычных компьютеров (а экспертные системы реализуются именно на традиционных машинах, главным образом на языке ЛИСП и Пролог) и нейрокомпьютеров


Таблица 1. Сравнение методов нейронных сетей и экспертных систем


Нейронные сети Экспертные системы
Аналогия правое полушарие левое полушарие
Объект данные знания
Вывод отображение сетью правила вывода

Важным преимуществом нейронных сетей является то, что разработка экспертных систем, основанных на правилах требует 12-18 месяцев, а нейросетевых - от нескольких недель до месяцев.

Рассматривая извлечение знаний из обученных нейронных сетей мы уже показали, что представление о них, как о черных ящиках, не способных объяснить полученное решение (это представление иногда рассматривается как аргумент в пользу преимущества экспертных систем перед нейросетями), неверно. В то же время, очевидно, что, как и в случае мозга, в котором левое и правое полушарие действуют сообща, естественно и объединение экспертных систем с искусственными нейронными сетями. Подобные синтетические системы могут быть названы нейронными экспертными системами - этот термин использовал Иржи Шима, указавший на необходимость интеграции достоинств обоих типов систем. Такая интеграция может осуществляться двояким образом. Если известна только часть правил, то можно либо инициализировать веса нейронной сети исходя из явных правил, либо инкорпорировать правила в уже обученные нейронные сети. Шима предложил использовать и чисто коннекционистский методику построения нейронных эксперных систем, которая обладает таким достоинством, как возможность работы с неполными данными (ситуация типичная для реальных баз данных). Такой возможностью обладают введенные им сети интервальных нейронов.


2.5 Сети интервальных нейронов


Ситуация, в которой некоторые данные не известны или не точны, встречается достаточно часто. Например, при оценке возможностей той или иной фирмы, можно учитывать ее официально декларируемый капитал, скажем в 100 миллионов, но лучше всего считать, что в действительности его величина является несколько большей и меняется в интервале от 100 до 300 млн. Удобно ввести в данном случае специальные нейроны, состояния которых кодируют не бинарные или непрерывные значения, а интервалы значений. В случае, если нижняя и верхняя граница интервала совпадают, то состояния таких нейронов становятся аналогичными состояниям обычных нейронов.

Для интервального нейрона i на каждый его вход j подается не одно Метод анализа главных компонентов регрессионной модели измерений средствами нейронных сетей, а пара значений, определяющая границы интервала, в котором лежит величина воздействия j-го нейрона. Воздействие, оказываемое на i-й нейрон со стороны всех связанных с ним нейронов само лежит

Если Вам нужна помощь с академической работой (курсовая, контрольная, диплом, реферат и т.д.), обратитесь к нашим специалистам. Более 90000 специалистов готовы Вам помочь.
Бесплатные корректировки и доработки. Бесплатная оценка стоимости работы.

Поможем написать работу на аналогичную тему

Получить выполненную работу или консультацию специалиста по вашему учебному проекту
Нужна помощь в написании работы?
Мы - биржа профессиональных авторов (преподавателей и доцентов вузов). Пишем статьи РИНЦ, ВАК, Scopus. Помогаем в публикации. Правки вносим бесплатно.

Похожие рефераты: