В рамках вводного курса мы уже решили множество практических задач, при этом мы не углублялись в особенности работы наших алгоритмов, мы брали их «из коробки».
В частности, мы много раз говорили про выбор идеальных весов и оптимизацию функции потерь, но так и не раскрыли сути этого процесса. Пора это исправить!
Раздел 1. Введение в математический анализ
- Оптимизация функции потерь и понятие производной
- Градиент и метод градиентного спуска
Раздел 2. Модели ML своими руками
- Линейная регрессия
- Логистическая регрессия
- Нейронная сеть
Раздел 3. Продвинутые алгоритмы оптимизации
- Cтохастический градиентный спуск
- Оптимизация с импульсом
- Метод Нестерова
- Алгоритм Adagrad
- Алгоритм RMSprop
- Алгоритм Adam
Раздел 4. Оптимизация без градиента
Все описанные выше алгоритмы предполагают, что у функции потерь есть градиент. Однако так бывает не всегда. В этом случае применяются совершенно другие алгоритмы.
- Метод Нелдера-Мида
- Метод имитации отжига
- Генетический алгоритм оптимизации
А теперь давайте перейдем ко второму ключевому для машинного обучения разделу математики — линейной алгебре.