Оптимизация | Курсы машинного обучения

Оптимизация

курс "Матанализ и оптимизация"

В рамках вводного курса мы уже решили множество практических задач, при этом мы не углублялись в особенности работы наших алгоритмов, мы брали их «из коробки».

В частности, мы много раз говорили про выбор идеальных весов и оптимизацию функции потерь, но так и не раскрыли сути этого процесса. Пора это исправить!

Раздел 1. Введение в математический анализ

  1. Оптимизация функции потерь и понятие производной
  2. Градиент и метод градиентного спуска

Раздел 2. Модели ML своими руками

  1. Линейная регрессия
  2. Логистическая регрессия
  3. Нейронная сеть

Раздел 3. Продвинутые алгоритмы оптимизации

  1. Cтохастический градиентный спуск
  2. Оптимизация с импульсом
  3. Метод Нестерова
  4. Алгоритм Adagrad
  5. Алгоритм RMSprop
  6. Алгоритм Adam

Раздел 4. Оптимизация без градиента

Все описанные выше алгоритмы предполагают, что у функции потерь есть градиент. Однако так бывает не всегда. В этом случае применяются совершенно другие алгоритмы.

  1. Метод Нелдера-Мида
  2. Метод имитации отжига
  3. Генетический алгоритм оптимизации

А теперь давайте перейдем ко второму ключевому для машинного обучения разделу математики — линейной алгебре.