Окремі випадки задач оптимального стохастичного керування
За цих умов
відображення
задовольняє
припущенню
монотонності.
Якщо функція
дорівнює нулю,
тобто
,
,
то відповідна
-крокова
задача оптимізації
(1) набуває вигляду:
, (2)
.
(3)
Ця задача є задачею детермінованого оптимального керування зі скінченним горизонтом. Задача з нескінченним горизонтом має наступний вигляд:
, (4)
. (5)
Границя в (4) існує, якщо має місце хоча б одна з наступних умов:
,
,
;
,
,
;
,
,
,
і деякого
.
У задачі
(4) – (5) може бути
уведене додаткове
обмеження на
стан системи
,
.
У такому разі,
якщо
,
позначатимемо
.
3. Оптимальне стохастичне керування: зліченний простір збурень
Розглянемо
відображення
,
що задане формулою
, (6)
за таких припущень:
параметр
приймає значення
зі зліченної
множини
з заданим розподілом
ймовірностей
,
що залежать
від
і
;
функції
і
відображають
множину
відповідно
в множини
і
,
тобто
,
;
скаляр
додатний.
Якщо
,
,
– елементи
множини
,
– довільний
розподіл ймовірностей
на
,
а
– деяка функція,
то математичне
сподівання
визначається
за формулою
,
де
,
,
.
Оскільки
,
то математичне
сподівання
визначене для
будь-якої функції
і будь-якого
розподілу
ймовірностей
на множині
.
Зокрема,
якщо
,
,…
– розподіл
ймовірностей
на множині
,
то формулу (6)
можна переписати
так:

При використанні
цього співвідношення
треба пам’ятати,
що для двох
функцій
,
рівність
має місце, якщо
виконується
хоча б одна з
трьох умов:
та
;
та
;
та
.
Відображення
задовольняє
припущенню
монотонності.
Якщо функція
– тотожний
нуль, тобто
,
,
то за умови
,
,
функцію витрат
за
кроків можна
подати у вигляді:
(7)
де
,
.
Ця
умова означає,
що математичне
сподівання
обчислюється
послідовно
по всіх випадкових
величинах
.
При
цьому зміна
порядку операцій
додавання і
узяття математичного
сподівання
припустима,
тому що
,
,
і для довільних
простору з
мірою
,
вимірної функції
і числа
має місце рівність
.
Якщо виконується одна з двох нерівностей
або
,
то функцію
витрат за
кроків
можна записати
у вигляді:
,
де математичне
сподівання
обчислюється
на добутку мір
на
,
а стани
,
,
виражаються
через
за допомогою
рівняння
.
Якщо функція
допускає подання
у такому вигляді
для будь-якого
початкового
стану
та будь-якої
стратегії
,
то
-крокова
задача може
бути сформульована
так:
, (8)
.
(9)
Відповідна задача з нескінченним горизонтом формулюється так:
, (10)
.
(11)
Границя в (10) існує при виконанні будь-якої з трьох наступних умов:
,
,
,
;
,
,
,
;
,
,
,
,
і деякого
.
Математичне
сподівання
визначається
і як звичайний
інтеграл, і як
зовнішній
інтеграл з
-алгеброю
в множині
,
що складається
із всіх підмножин
,
в залежності
від вимірності
або невимірності
функцій.
Для багатьох
практичних
задач виконується
припущення
про зліченність
множини
.
Якщо ж множина
незліченна,
то справа
ускладнюється
необхідністю
обчислення
математичного
сподівання
![]()
для будь-якої
функції
.
Подолання цих
труднощів і
пов’язане з
використанням
зовнішнього
інтеграла.