Оптимизация | Курсы машинного обучения

Оптимизация

курс "Оптимизация"

В рамках вводного курса мы уже решили множество практических задач, при этом мы не углублялись в особенности работы наших алгоритмов, мы брали их «из коробки».

В частности, мы много раз говорили про выбор идеальных весов и оптимизацию функции потерь, но так и не раскрыли сути этого процесса. Пора это исправить!

Раздел 1. Введение в математический анализ

Начнем с пошагового выведения фундаментального понятия производной и основанного на нем метода оптимизации с помощью градиентного спуска. Кроме этого, мы еще раз детально поговорим про взаимосвязь переменных.

  1. Оптимизация функции потерь и понятие производной
  2. Градиент и метод градиентного спуска
  3. Еще раз про взаимосвязь переменных

Раздел 2. Модели ML своими руками

После получения необходимых теоретических знаний мы готовы перейти к построению моделей машинного обучения с нуля.

  1. Множественная линейная регрессия
  2. Логистическая регрессия
  3. Обучение нейронной сети

Раздел 3. Продвинутая оптимизация

В этом разделе мы рассмотрим способы повышения качества и ускорения обучения базовых алгоритмов. Кроме того, мы изучим алгоритмы оптимизации, не использующие градиент.

  1. Регуляризация
  2. Стохастический градиентный спуск
  3. Оптимизация без градиента

А теперь давайте перейдем ко второму ключевому для машинного обучения разделу математики — линейной алгебре.