Metal Gear

Для усовершенствования алгоритмов оптимизации необходимо найти простой метод, позволяющий исключить возможность преждевременного достижения сходимости и уменьшить вероятность останова после обнаружения локальных минимумов. Одним из таких методов является метод, основанный на использовании понятия момента инерции. Применение момента инерции позволяет уменьшить вероятность преждевременного достижения сходимости, благодаря тому что этот метод предусматривает использование своего рода краткосрочной хронологии событий при принятии решения о выборе следующего шага. По существу, этот метод предусматривает масштабирование значения предыдущего шага АХІ_І С применением коэффициента а (греческая буква альфа) и сложение полученного значения со значением шага, обычно применяемого в методе наискорейшего спуска (этот подход противоположен подходу с использованием градиента, связанного со скоростью обучения, -TiVf (Хі)).
Axi <- (xAxi-i - TiVf (Xi)
Метод с использованием момента инерции основан на том важном наблюдении, что шаги, изменяющиеся от одной итерации к другой, моїут принимать значения, совершенно не подходящие для решения рассматриваемой задачи оптимизации. Причиной этого может стать то, что градиенты часто изменяются, особенно если значения шага велики или функция является сложной. Ввод в действие поправки в виде момента инерции позволяет немного сглаживать разброс значений шага и учитывать обнаруженные раньше тенденции для более успешного выбора следующего шага.
Процесс поиска глобального минимума на основе понятия момента инерции можно условно представить себе как скатывание шарика с верхней точки рельефной поверхности. В ходе движения вниз скорость шарика возрастает вплоть до того момента, как он достигнет впадины, но физический момент инерции выносит шарик далеко за пределы противоположной стороны впадины. Если обнаруживаемый при этом гребень впадины является относительно низким (минимум — локальный), то момент инерции поднимает шарик так, что он переваливает через гребень и отправляется в более глубокую впадину (а этот минимум — глобадьный). Применение такого метода приводит к обнаружению лучших решений.