Допустим, задана функция в n-мерном пространстве,
Функция, важная в народном хозяйстве:
Производство молока или выпуск металла,
Независимых переменных быть может немало.
Теперь мы можем поставить задачу –
Оптимизировать этих продуктов подачу.
Для этого параметры должны подобрать,
Чтоб функция максимума могла достигать.
Припев:
Производную возьмёшь,
Каким бы ни был твой функционал,
И экстремум ты найдёшь,
Тот, который ты давно искал.
Если твой функционал
Задан с ограничением на аргумент,
То составь лагранжиан
И приравняй в ноль градиент.
Знаем мы, что в экстремальной точке
Производная в ноль обращается точно.
Это и есть Ферма теорема,
В решении поможет она непременно.
Производная ноль – не значит экстремум,
Достаточное условие мы также проверим.
Вторые производные дают гессиан,
Что он меньше нуля, нужно выяснить нам.
Припев.
Градиентный спуск заключается в том,
Что нужно считать градиент, а потом
Умножить на шаг и прибавить к вектору,
И так мы, возможно, достигнем экстремума
Со скоростью прогрессии геометрической,
А чтобы процесс ускорить значительно,
Мы можем использовать метод касательных,
И быстро ответ мы найдём обязательно.
Припев.
