Оптимизация | Курсы машинного обучения

Оптимизация

курс "Оптимизация"

В рамках вводного курса мы уже решили множество практических задач, при этом мы не углублялись в особенности работы наших алгоритмов, мы брали их «из коробки».

В частности, мы много раз говорили про выбор идеальных весов и оптимизацию функции потерь, но так и не раскрыли сути этого процесса. Пора это исправить!

Раздел 1. Введение в математический анализ

  1. Оптимизация функции потерь и понятие производной
  2. Градиент и метод градиентного спуска

Раздел 2. Модели ML своими руками

  1. Множественная линейная регрессия
  2. Логистическая регрессия
  3. Нейронная сеть

Раздел 3. Продвинутая оптимизация

  1. Регуляризация
  2. Стохастический градиентный спуск

Раздел 4. Оптимизация без градиента

Все описанные выше алгоритмы предполагают, что у функции потерь есть градиент. Однако так бывает не всегда. В этом случае применяются совершенно другие алгоритмы.

  1. Метод Нелдера-Мида
  2. Метод имитации отжига
  3. Генетический алгоритм оптимизации

А теперь давайте перейдем ко второму ключевому для машинного обучения разделу математики — линейной алгебре.