Метод наискорейшего спуска

В методе наискорейшего спуска для поиска такого решения х, при котором f (х) становится глобальным минимумом (т.е. для поиска самой нижней точки кривой), применяется информация о наклоне касательной к кривой рассматриваемой функции. По существу, процесс решения задачи оптимизации по методу наискорейшего спуска является итерационным; оценки текущего значения х корректируются с применением пошагового приращения.
Начнем с первой оценки хо и будем продолжать до тех пор, пока (п+1) -й прогноз значения Хп не станет достаточно приемлемым. Решение о прекращении процесса итерационного расчета может быть принято с помощью количественного метода, основанного на вычислении величины изменения оценки, |ХІ+І-ХІ| < Е. Греческой буквой эпсилон, Е, обозначается небольшая величина, используемая в качестве порогового значения при сравнении разности между последовательными оценками. Если процесс вычисления допускает возможность поиска минимума путем проверки этого неравенства, то такой процесс называется сходящимся.
Обычно первоначальное предполагаемое значение хо определяется случайным образом. Для уточнения любой оценки ХІ И получения новой, Xi+i, берется шаг АХІ, который складывается с текущим значением (Д — это прописная греческая буква дельта):
Xi+i = Хі + Axi
Для определения значения, полученного на определенном шаге, необходимо знать градиент функции. Визуально можно представить градиент как наклон кривой функции f в точке Хі. С применением математических обозначений градиент записывается как Vf (ХІ) .