Начальные сведения:

• Производная и градиентная оптимизация: колаб по производной и колаб по оптимизации.
• Методы оптимизации первого порядка (AdaGrad, RMSprop, Adam) в курсе Эндрю Ына.
• Ньютоновский метод оптимизации второго порядка.
• Обзор методов оптимизации второго порядка в нейронных сетях.

Ссылки на материалы взяты отсюда: t.me/dl_stories/547. Владелец канала комментирует там кое-что.