Дослідження методу ортогоналізації й методу сполучених градієнтів
,
тобто при
.
(5)
Вектор
(6)
і приймаємо за нове наближення до рішення.
У методі
сполучених
градієнтів
наступне наближення
перебуває так.
Через крапку
проведемо
гіперплощину
(n-1) – го виміру
(7)
і через
позначимо нове
не в'язання
системи
.
(8)
Вектор
спрямований
по нормалі до
поверхні
в крапці
,
а вектор
паралельний
дотичної площини
в цій крапці.
Тому
.
(9)
Гіперплощина
(7) проходить
через крапку
,
тому що
.
При кожному
вектор
паралельний
деякої нормальної
площини до
поверхні
в крапці
.
Знайдемо серед
них той, котрий
лежить у гіперплощині
(7), тобто ортогональний
к.
З умови ортогональності
маємо:
,
або
.
(10)
Вектор
(11)
має напрямок
нормалі до
перетину поверхні
гіперплощини
(7) у крапці
.
Будемо рухатися
із крапки
в напрямку
вектора
доти, поки функція
досягне мінімуму.
Це буде при
.
(12)
Вектор
![]()
приймемо
за нове наближення
до рішення
системи. Вектор
не в'язань
(13)
має напрямок
нормалі до
поверхні
в крапці
.
Покажемо, що
він буде ортогональний
до
і
.
Справді, використовуючи
(9), (11), (12), (13), маємо:

Розглянемо гіперплощину (n-2) – х вимірів
,
(14)
минаючу
через крапку
.
Ця гіперплощина
містить і
,
тому що ми раніше
бачили, що
,
а
.
Вектор
при кожному
паралельний
гіперплощини
(7), тому що
.
Підберемо
так, щоб він
був паралельний
і гіперплощини
(14), тобто зажадаємо
ортогональності
до вектора
.
Будемо мати:
,
або
(15)
Вектор
(16)
буде мати
напрямок нормалі
до перетину
поверхні
гіперплощиною
(14) у крапці
.
Із крапки
змістимося
в напрямку
цього вектора
так, щоб функція
досягла мінімального
значення. Це
буде при
,
(17)
(18)
приймемо
за нове наближення
к.
Новий вектор
не в'язань буде:
.
(19)
Продовжуючи
процес, одержимо
послідовності
векторів
,
,
,
обумовлені
рекурентними
співвідношеннями:
(20)
Для цих векторів мають місце наступні співвідношення:
(21)
(22)
Справді, у силу самої побудови при i (j
![]()
Далі, при i>j
![]()
Якщо i=j+1, то
права частина
дорівнює нулю,
у силу визначення
,
якщо ж i>j+1, те
,
по доведеному,
і
.
Продовжуючи
зниження індексу
у вектора
,
через кілька
кроків прийдемо
до скалярного
добутку
(по визначенню
).
Таким чином,
співвідношення
(21) доведені. Для
доказу (22), у силу
рівноправності
індексів i і j,
припустимо,
що i>j. Тоді
.
Тому що в
n-мірному векторному
простори не
може бути більше
n взаємно ортогональних
векторів, то
на деякому
кроці
одержимо
,
тобто
буде рішенням
системи (1).
На мал. 1 показана геометрична картина нашої побудови при n=3.

Мал. 1
2.2 Другий алгоритм методу
Приведемо
інший алгоритм
методу. Будемо
позначати
послідовні
наближення
до рішення
через
і введемо позначення:
.
(23)
Перші два
наближення
й
візьмемо так,
щоб
.
(24)
Припустимо,
що вже відомо
наближення
(iі1),
обчислена
й справедливо
рівність
.
(25)
Будемо шукати мінімум функціонала (2) на множині векторів
.
(26)
Дорівнюючи
до нуля частки
похідні від
по
й
для визначення
й
,
одержимо систему:
(27)
або, з огляду на (25),
(28)
Позначимо
через
рішення цієї
системи:
(29)
і за (i+1) – е наближення до рішення приймемо:
(30)
Із системи (27) треба, що
,
(31)
а тому що
![]()
те з (31) треба:
(32)
Доведемо, що якщо
(33)
те при всіх i
(34)
що буде доводити й збіжність, і кінцівка другого алгоритму.
Справді, при умовах (33)
![]()
![]()
т.ч. умова (24) виконано. Припустимо, що вже доведено рівності
(35)
і доведемо рівність
![]()
При припущенні
(35)
і, отже,

Але зі співвідношень (20) маємо:


Доведемо коллінеарність векторів
і
(36)
З (20) і (29) маємо:

а це й доводить коллінеарність векторів (36).
Вектор
дає мінімум
функціонала
в площині, що
проходить через
і на вектори
й
,
а ми показали,
що цей мінімум
лежить на прямій,
що проходить
через
у напрямку
вектора
.
Але на цієї
прямий мінімум
функціонала
досягається
на векторі
.
Це й означає,
що