В рамках вводного курса мы уже решили множество практических задач, при этом мы не углублялись в особенности работы наших алгоритмов, мы брали их «из коробки».
В частности, мы много раз говорили про выбор идеальных весов и оптимизацию функции потерь, но так и не раскрыли сути этого процесса. Пора это исправить!
Раздел 1. Введение в математический анализ
Раздел 2. Модели ML своими руками
- Множественная линейная регрессия
- Логистическая регрессия
- Нейронная сеть
Раздел 3. Продвинутая оптимизация
- Регуляризация
- Стохастический градиентный спуск
Раздел 4. Оптимизация без градиента
Все описанные выше алгоритмы предполагают, что у функции потерь есть градиент. Однако так бывает не всегда. В этом случае применяются совершенно другие алгоритмы.
- Метод Нелдера-Мида
- Метод имитации отжига
- Генетический алгоритм оптимизации
А теперь давайте перейдем ко второму ключевому для машинного обучения разделу математики — линейной алгебре.