Квазиньютоновские методы минимизации функции.

По конспекту:

- матрица, которая расч без использования второй производной

!Все что далее, не глядя взято из интернетов, что не совсем похоже на конспект (как минимум по обозначениям), поэтому что писать – выбор ваш!

Квазиньютоновский метод

Описание алгоритма:

Данный метод обладает положительными чертами метода Ньютона, однако, использует информацию только о первых производных. В этом методе приближение к очередной точке в пространстве оптимизируемых параметров задается формулой:

Направление поиска определяется выражением:

,

где  - матрица порядка  (метрика).

Матрица  - вычисляется по формуле.

,

где:

(1)

Где  изменение градиента на предыдущем шаге.

Данный алгоритм отличается устойчивостью, так как обеспечивает убывание целевой функции от итерации к итерации.

Алгоритм метода:

Шаг 1. Задать: начальную точку х(0). Перейти к шагу 2.

Шаг 2. Вычислить направление поиска s(k). Перейти к шагу 3.

Шаг 3. Произвести поиск вдоль прямой . Перейти

к шагу 4.

Шаг 4. Проверка условия окончания поиска.

Да: закончить поиск;

Нет: перейти к шагу2.