Энтропия
Пусть теперь
α1
и α2
— предсказания
погоды на 15 июня
и на 15 октября.
Опыты α1
и α2
также имеют
по два исхода:
А (предсказание
дождя) и
(предсказание
сухой погоды);
при этом пары
опытов (α1,
β1) и (α2,β2)
характеризуются
следующими
таблицами
условных
вероятностей:
Пара (α1, β1)
|
|
|
|
|
| 0,6 | 0,4 | 0,2 | 0,8 |
Пара (α2,β2)
|
|
|
|
|
| 0,9 | 0,1 | 0,5 | 0,5 |
(
).
Эти таблицы
позволяют
определить
также и неизвестные
нам вероятности
р1(А) и р1(
),р2(А)
и р2(
)
исходов А и
опытов
α1 и α2.
По формуле
полной вероятности
имеем для опыта
β1
0,4=р(В)= р1(А)
+
р1(
)
=0,6·
р1(А) +0,2· р1(
)
и для опыта β2
0,8 = р (В)= р2(А)
+
р2(
)
=0,9·
р2(А)+0,5· р2(
).
Так как р1(
)=
1 — р1(А), р2(
)=
1 — р2(А), то отсюда
получаем
р1(А)=
р1(
)=
0,5, р2(А)
= 0,75, р2(
)
= 0,25.
Подсчитаем
теперь энтропии
НА(β1),
(в
битах):
НА(β1)=
-0,6• log 0,6 - 0,4 • log 0,4
0,97,
=
- 0,2• log 0,2 – 0,8• log0,8
0,72
и
=
- 0,9 • log 0,9 - 0,1• log 0,1
0,47,
= - 0,5 • log 0,5 -
0,5• log 0,5= 1.
Следовательно,
р1(А)
НА(β1)+
р1(
)![]()
0,84,
р2(А)
+
р2(
)![]()
0,60.
Таким образом, информация, содержащаяся в прогнозе погоды на 15 июня (опыт α1) о реальной погоде в этот день (об опыте β2), равна
I
(α1,
β1)
= Н(β1)
-
![]()
0,97
-0,84 = 0,13 бит,
что несколько больше, чем информация о реальной погоде 15 октября (об опыте β2), содержащаяся в прогнозе погоды на этот день (в опыте α2):
I
(α2,
β2)
= Н(β2)
-
![]()
0,72
— 0,60 = 0,12 бит.
Этот результат позволяет считать прогноз погоды па 15 нюня более ценным, чем прогноз на 15 октября, несмотря на то, что последний прогноз чаще оказывается правильным: действительно, в силу формулы полной вероятности, для прогноза погоды на 15 нюня вероятность оказаться правильным равна
р1(А)
+
р1(
)
=
0,5• 0,6 + 0,5• 0,8 = 0,7,
в то время как для прогноза погоды на 15 октября эта вероятность равна
р2(А)
+
р2(
)
=
0,75 • 0,9 + 0,25 • 0,5 = 0,8.
Заключение
Энтропия как физическая переменная первично возникла из задач описания тепловых процессов. Впоследствии она стала широко использоваться во всех областях науки.
Информация - это знание, которое используется для развития, совершенствования системы и её взаимодействий с окружающей средой.
Информация сама развивается вслед за развитием системы. Новые формы, принципы, подсистемы, взаимосвязи и отношения вызывают изменения в информации, ее содержании, формах получения, переработки, передачи и использования. Благодаря потокам информации система осуществляет целесообразное взаимодействие с окружающей средой, т.е. управляет или управляема. Своевременная и оперативная информация может позволить стабилизировать систему, адаптироваться, восстанавливаться при нарушениях структуры и/или подсистем. От степени информированности системы, от взаимодействия системы и среды зависит развитие и устойчивость системы.
В современном мире все большее значение в управлении организацией отдается прогнозированию. Любая организация в процессе своей деятельности сталкивается с различными рисками, которые в большей или меньшей степени влияют на ее состояние. Многочислелны примеры ситуаций, связанных с социальными, технологическими, экономическими, политическими, экологическими и другими рисками. Именно в таких ситуациях обычно и необходимо прогнозирование. Известны различные виды критериев, используемых в теории принятия решений в условиях неопределенности (риска). Из-за противоречивости решений, получаемых по различным критериям, очевидна необходимость применения энтропии.
Список используемой литературы
Дмитриев В.Н. Прикладная теория информации. М: Высшая школа,1989.
Колмогоров А.Н. Теория информации и теория алгоритмов.М:Наука,1987.
Колмогоров А.Н. Три подхода к определению понятия “количество информации” // Проблемы передачи информации. 1965. Т.1. №1.
Поплавский Р.П. Депон Максвелла и соотношения между информацией и энтропией // УФН. 1979. Т. 128. Вып. 1.
Хартли Р. Передача информации// Теория информации и ее приложения. М.: Физматгиз. 1959.
Шамбадаль П. Развитие и приложения понятия энтропии . М.: Наука, 1967 .
Яглом А.М., Яглом И.М. Вероятность и информация. М.: Наука, 1973.