Чисельне розв’язання задач оптимального керування
скаляр
додатний.
Формули (1), (6) є
окремими випадками
відображення
з (12). Очевидно,
що відображення
(1) для детермінованої
задачі випливає
з (12), якщо множина
складається
з єдиного елемента,
а відображення
(6) (для стохастичної
задачі зі зліченним
простором
збурень) відповідає
випадку, коли
множина
зліченна, а
є
-алгеброю,
складеною із
всіх підмножин
.
Очевидно, що
відображення
з (12) задовольняє
припущенню
монотонності.
Якщо на множини
,
і функції
,
і
накласти вимоги
вимірності,
то витрати за
кроків
можна визначити
в термінах
звичайного
інтегрування
для будь-якої
стратегії
,
для якої функції
,
вимірні.
Для початкового
стану
і стратегії
ймовірнісні
міри
,
...,
![]()
у сукупності із системою рівнянь
,
(18)
визначають
єдину міру
на
-кратному
прямому добутку
копій простору
.
У випадку, якщо
,
,
і виконується
одна з умов
або
,
то
функція витрат
за
кроків, що відповідає
вимірній стратегії
,
приводиться
до звичайного
вигляду
,
де
стани
,
виражено як
функції змінних
,
...,
за допомогою
рівнянь (13) та
початкового
стану
.
Рекурентне співвідношення методу динамічного програмування для розв’язання багатоетапних задач оптимального стохастичного керування зі скінченним горизонтом можна записати так:
,
,

де
– щільність
розподілу
величини
.
4 Оптимальне стохастичне керування: мультиплікативний функціонал витрат
Розглянемо
відображення
,
що задане формулою
, (19)
за припущення,
що параметр
приймає значення
зі зліченної
множини
відповідно
до заданого
розподілу
ймовірностей,
що залежать
від стану
і керування
.
Вважатимемо
також, що
,
,
,
.
Тоді відображення
з формули (14)
задовольняє
припущенню
монотонності.
Якщо
,
,
то задача
оптимального
керування з
мультиплікативним
функціоналом
витрат і скінченним
горизонтом
матиме такий
вигляд:
, (20)
. (21)
а відповідна задача з нескінченним горизонтом:
, (22)
. (23)
Границя в (23) існує,
якщо
:
або
.
Самостійний інтерес становить задача з експоненціальною функцією витрат
,
,
де
.
Для розв’язання багатоетапних задач оптимального стохастичного керування з мультиплікативним функціоналом витрат використовується таке рекурентне співвідношення алгоритму динамічного програмування:
,
,

де
– щільність
розподілу
величини
.
5. Мінімаксне керування
Розглянемо
задачу керування
системою, у
якій некерованими
впливами є
стратегії
супротивника
(або явища природи)
,
,
що обираються
залежно від
поточного стану
і керування
.
Вважатимемо,
що припустимі
стратегії
супротивника
приймають
значення із
множини
,
.
Будемо обчислювати
стратегію
керування
,
орієнтуючись
на найгіршу
поведінку
супротивника.
Розглянемо
відображення
,
задане формулою
,
за таких припущень:
параметр
приймає значення
з деякої множини
,
а
– непуста підмножина
при будь-яких
,
;
функції
і
відображують
множину
в множини
та
відповідно,
тобто
,
;
скаляр
додатний.
За таких умов
припущення
про монотонність
для відображення
має місце. Якщо
при цьому
,
і
для всіх
,
,
,
то відповідну
-крокову
задачу мінімаксного
керування можна
сформулювати
так:
, (17)
.
(18)
Задача з нескінченним горизонтом формулюється аналогічно:
,
(24)
. (25)
Границя у співвідношенні (25) існує при виконанні будь-якої з умов:
,
,
,
;
,
,
,
;
,
,
,
,
і деякого
.
Для розв’язання багатокрокових мінімаксних задач оптимального стохастичного керування рекурентне співвідношення алгоритму динамічного програмування використовується у такому вигляді:
,
,
,
.