Class 1
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Вспоминаем линейную алгебру. Некоторые матричные разложения. Скорость сходимости.
Class 2
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Одномерная оптимизация. Неточная одномерная оптимизация. Градиент. Гессиан. Матрично-векторное дифференцирование.
Class 3
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Автоматическое дифференцирование. Вычислительный граф.
Class 4
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Выпуклость. Выпуклые множества. Выпуклые функции. Неравенство Йенсена.
Class 5
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Сильно выпуклые функции. Условие Поляка - Лоясиевича. Линейная регрессия. Регуляризация. Выпуклость нейронных сетей.
Class 6
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Условия оптимальности. Функция Лагранжа. Задачи с ограничениями-равенствами. Задачи с ограничениями-равенствами. Теорема Каруша - Куна - Таккера.
Class 7
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Двойственность.
Class 8
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Задача линейного программирования. Симплекс метод.
Class 9
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Градиентный спуск. Теоремы сходимости в гладком случае (выпуклые, сильно выпуклые, PL). Верхние и нижние оценки сходимости.
Class 10
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Ускоренные градиентные методы. Метод Поляка, Нестерова.
Class 11
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Субградиент. Субдифференциал. Субградиентный спуск. Теоремы сходимости в негладком случае. Особенности работы градиентного метода в практических негладких задачах.
Class 12
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Метод сопряженных градиентов.
Class 13
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Градиентные методы в условных задачах оптимизации - метод проекции градиента. Метод Франк - Вульфа. Идея метода зеркального спуска.
Class 14
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Проксимальный градиентный метод.
Class 15
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Метод Ньютона. Квазиньютоновские методы.
Class 16
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Стохастический градиентный спуск.
Class 17
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Методы редукции дисперсии: SAG, SVRG, SAGA. Адаптивные стохастические градиентные методы.
Class 18
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Обучение нейронных сетей с точки зрения методов оптимизации. Обобщающая способность моделей машинного обучения. Double Descent. Grokking. Mode connectivity.
Class 19
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Вопросы обучения больших моделей. Lars, Lamb. Learning rate schedulers. Warm-up. MultiGPU training.
Class 20
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Введение в двойственные методы оптимизации. Метод двойственного градиентного подъёма. Метод модифицированной функции Лагранжа. ADMM.