В рамках вводного курса мы уже решили множество практических задач, при этом мы не углублялись в особенности работы наших алгоритмов, мы брали их «из коробки».
В частности, мы много раз говорили про выбор идеальных весов и оптимизацию функции потерь, но так и не раскрыли сути этого процесса. Пора это исправить.
Раздел 1. Введение в математический анализ
Начнем с пошагового выведения фундаментального понятия производной и основанного на нем метода оптимизации с помощью градиентного спуска. Кроме этого, мы еще раз детально поговорим про взаимосвязь переменных.
- Оптимизация функции потерь и производная
- Градиент и метод градиентного спуска
- Еще раз про взаимосвязь переменных
Раздел 2. Модели ML своими руками
После получения необходимых теоретических знаний мы готовы перейти к построению моделей машинного обучения с нуля.
- Линейная регрессия: часть 1, часть 2, дополнительные материалы
- Логистическая регрессия
- Обучение нейронной сети
Раздел 3. Продвинутая оптимизация
В этом разделе мы рассмотрим способы повышения качества и ускорения обучения базовых алгоритмов. Кроме того, мы изучим алгоритмы оптимизации, не использующие градиент.
- Регуляризация
- Градиентный спуск: часть 1, часть 2
- Метод Ньютона
- Оптимизация без градиента
А теперь давайте перейдем ко второму ключевому для машинного обучения разделу математики — линейной алгебре.