Оптимизация | Машинное обучение

Оптимизация

В рамках вводного курса мы уже решили множество практических задач, при этом мы не углублялись в особенности работы наших алгоритмов, мы брали их «из коробки».

В частности, мы много раз говорили про выбор идеальных весов и оптимизацию функции потерь, но так и не раскрыли сути этого процесса. Пора это исправить.

Раздел 1. Введение в математический анализ

Начнем с пошагового выведения фундаментального понятия производной и основанного на нем метода оптимизации с помощью градиентного спуска. Кроме этого, мы еще раз детально поговорим про взаимосвязь переменных.

  1. Оптимизация функции потерь и производная
  2. Градиент и метод градиентного спуска
  3. Еще раз про взаимосвязь переменных

Раздел 2. Модели ML своими руками

После получения необходимых теоретических знаний мы готовы перейти к построению моделей машинного обучения с нуля.

  1. Линейная регрессия: часть 1, часть 2, дополнительные материалы
  2. Логистическая регрессия
  3. Обучение нейронной сети

Раздел 3. Продвинутая оптимизация

В этом разделе мы рассмотрим способы повышения качества и ускорения обучения базовых алгоритмов. Кроме того, мы изучим алгоритмы оптимизации, не использующие градиент.

  1. Регуляризация модели
  2. Градиентный спуск: часть 1, часть 2
  3. Метод Ньютона
  4. Оптимизация без градиента

А теперь давайте перейдем к еще одному ключевому для машинного обучения разделу математики — линейной алгебре.