Class 1
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Вспоминаем линейную алгебру. Некоторые матричные разложения. Скорость сходимости.
Class 2
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Одномерная оптимизация. Неточная одномерная оптимизация. Градиент. Гессиан. Матрично-векторное дифференцирование.
Class 3
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Автоматическое дифференцирование. Вычислительный граф.
Class 4
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Выпуклость. Выпуклые множества. Выпуклые функции. Неравенство Йенсена.
Class 5
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Сильно выпуклые функции. Условие Поляка - Лоясиевича. Линейная регрессия. Регуляризация. Выпуклость нейронных сетей.
Class 6
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Условия оптимальности. Функция Лагранжа. Задачи с ограничениями-равенствами. Задачи с ограничениями-равенствами. Теорема Каруша - Куна - Таккера.
Class 7
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Двойственность.
Class 8
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Задача линейного программирования. Симплекс метод.
Class 9
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Градиентный спуск. Теоремы сходимости в гладком случае (выпуклые, сильно выпуклые, PL). Верхние и нижние оценки сходимости.
Class 10
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Ускоренные градиентные методы. Метод Поляка, Нестерова.
Class 11
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Субградиент. Субдифференциал. Субградиентный спуск. Теоремы сходимости в негладком случае. Особенности работы градиентного метода в практических негладких задачах.
Class 12
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Метод сопряженных градиентов.
Class 13
📄 Materials • 📝 Notes • 👷♂️ Seminar • ▶️ Youtube • 💿 Download
Градиентные методы в условных задачах оптимизации - метод проекции градиента. Метод Франк - Вульфа. Идея метода зеркального спуска.
Class 14
📄 Materials • 📝 Notes • 👷♂️ Seminar • 💿 Download
Проксимальный градиентный метод.
Class 15
Метод Ньютона. Квазиньютоновские методы.
Class 16
Стохастический градиентный спуск.
Class 17
Методы редукции дисперсии: SAG, SVRG, SAGA.
Class 18
Градиентный поток и диффузия. Методы оптимизации в непрерывном времени.
Class 20
Обобщающая способность моделей машинного обучения. Neural Tangent Kernel. Mode connectivity.
Class 21
Седловые задачи. Минимакс. Обучение GAN.
Class 22
Вопросы обучения больших моделей. Lars, Lamb. Расписания learning rate. Warm-up. Клиппинг.