Окремі випадки задач оптимального стохастичного керування
1. Зовнішній інтеграл
Функції
і
можуть бути
довільними,
а математичні
сподівання
можна обчислювати,
якщо
як функція від
є вимірною.
Якщо ж оптимальна
стратегія,
отримана в
результаті
оптимізації,
виявиться
невимірною,
то і функція
може виявитися
невимірною.
У цьому випадку
математичне
сподівання
невизначено.
Для розв’язання
цієї проблеми
застосовують
два підходи.
Перший полягає
в накладенні
на функції
і
таких обмежень,
які забезпечували
б вимірність
підінтегральної
функції на
кожному кроці
оптимізації
:
функції
і
,
,
повинні бути
неперервними
по своїх аргументах
і повинна існувати
щільність
імовірності
розподілу
випадкової
величини
,
а множини
значень припустимих
стратегій
повинні бути
компактними.
На жаль, на практиці ці вимоги не завжди виконуються. Тому другий підхід пов’язаний з використанням зовнішнього інтеграла.
Позначимо
через
простір елементарних
подій, що є довільною
множиною, а
– деяка система
підмножин
множини
.
Математичним
сподіванням
випадкової
величини
,
заданої на
імовірнісному
просторі
,
називається
число
,
якщо інтеграл
з правої частини
існує.
Нехай
і
– борелівські
простори,
,
є
-алгеброю
в
.
Функція
називається
-вимірною,
якщо
для будь-якої
множини
.
Тут
– борелівська
-алгебра
простору
.
Для функції
,
(
)
зовнішній
інтеграл за
мірою
визначається
як нижня грань
інтегралів
від всіх вимірних
функцій
(
),
що мажорують
,
тобто
,
.
Тут
– функція розподілу
випадкової
величини
,
що відповідає
ймовірнісній
мірі
.
Для довільної
функції
має місце
співвідношення:
,
де
,
,
і вважають, що
.
Оскільки
зовнішній
інтеграл визначений
для будь-якої
функції, як для
вимірної, так
і для невимірної,
то ніяких додаткових
обмежень на
функції
і
накладати не
треба.
Для вимірних
функцій обидва
види математичних
сподівань
співпадають.
Отже, у постановках
задач можна
замінити звичайне
математичне
сподівання
на зовнішнє,
і навіть якщо
знайдена при
цьому функція
виявиться
вимірною, то
отримана стратегія
керування не
перестане бути
оптимальною.
Зовнішня
міра множини
визначається
співвідношенням
.
Для будь-якої
множини
![]()
,
де
– це індикатор
множини
,
що визначається
як

а) якщо
,
то
;
б) якщо
і
,
то
;
в) якщо
або
,
то
;
г) якщо
задовольняє
рівності
,
то для будь-якої
функції
має місце рівність
;
д) якщо
,
то
для будь-якої
функції
;
е) якщо
і
,
то
.
Якщо при цьому
хоча б одна з
функцій
або
-вимірна,
то останнє
співвідношення
вірно зі знаком
рівності.
Позначимо
через
дійсну пряму,
а через
– розширену
дійсну пряму
і надалі у всіх
висновках
замість дійсної
прямої використовуватимемо
поняття розширеної
дійсної прямої.
Вважатимемо,
що для розширеної
дійсної прямої
мають місце
всі співвідношення
порядку додавання
і множення, які
було введено
для
,
і припустимо,
що
і
.
Позначимо
через
множину всіх
дійсних у розширеному
розумінні
функцій
,
де
– простір станів.
– банахів простір
всіх обмежених
дійсних функцій
з нормою, що
визначається
за формулою
,
.
Позначатимемо
,
якщо
,
,
і
,
якщо
,
,
.
Для будь-якої
функції
і будь-якого
числа
позначимо через
функцію, що
приймає значення
в кожній точці
,
так, що
,
.
Припущення
монотонності.
Для будь-яких
станів
,
керування
і функцій
мають місце
нерівності
якщо
і
;
,
якщо
і
;
,
якщо
,
і
.
Для будь-якого
стратегія
називається
-оптимальною
при горизонті
,
якщо

і
-оптимальною,
якщо

Багато задач послідовної оптимізації, що становлять практичний інтерес, можуть розглядатися як окремі випадки задач загального виду. Розглянемо деякі з них:
задачі детермінованого оптимального керування;
задачі стохастичного керування зі зліченним простором збурень;
задачі стохастичного керування із зовнішнім інтегралом;
задачі стохастичного керування з мультиплікативним функціоналом витрат;
задачі мінімаксного стохастичного керування.
2. Детерміноване оптимальне керування
Розглянемо
відображення
,
що задане формулою
,
,
,
(1)
за таких припущень:
функції
і
відображають
множину