Jupyter Notebook. Часть 2

Все курсы > Программирование на Питоне > Занятие 14 (часть 2)

Во второй части занятия давайте подробнее поговорим про возможности Jupyter Notebook. Снова запустим только что созданный ноутбук любым удобным способом.

Код на Python

В целом мы пишем обычный код на Питоне.

Вкладка Cell

Для управления запуском или исполнением ячеек можно использовать вкладку Cell.

вкладка Cell программы Jupyter Notebook

Здесь мы можем, в частности:

  • Запускать ячейку и оставаться в ней же через Run Cells;
  • Исполнять все ячейки в ноутбуке, выбрав Run All;
  • Исполнять все ячейки выше (Run All Above) или ниже текущей (Run All Below);
  • Очистить вывод ячеек, нажав All Output → Clear.

Вкладка Kernel

Командами вкладки Kernel мы управляем ядром (kernel) или вычислительным «движком» ноутбука.

вкладка Kernel программы Jupyter Notebook

В этой вкладке мы можем, в частности:

  • Прервать исполнение ячейки командой Interrupt. Это бывает полезно, если, например, исполнение кода занимает слишком много времени или в коде есть ошибка и исполнение кода не прервется самостоятельно.
  • Перезапустить kernel можно командой Restart. Кроме того, можно
    • очистить вывод (Restart & Clear Output); и
    • заново запустить все ячейки (Restart & Run All).

Несколько слов про то, что такое ядро и как в целом функционирует Jupyter Notebook.

схема Jupyter Notebook: пользователь, браузер, сервер, ядро, файл

Пользователь взаимодействует с ноутбуком через браузер. Браузер в свою очередь отправляет запросы на сервер. Функция сервера заключается в том, чтобы загружать ноутбук и сохранять внесенные изменения в формате JSON с расширением .ipynb. Одновременно, сервер обращается к ядру в тот момент, когда необходимо обработать код на каком-либо языке (например, на Питоне).

Такое «разделение труда» между браузером, сервером и ядром позволяет во-первых, запускать Jupyter Notebook в любой операционной системе, во-вторых, в одной программе исполнять код на нескольких языках, и в-третьих, сохранять результат в файлах одного и того же формата.

Возможность программирования на нескольких языках (а значит использование нескольких ядер) мы изучим чуть позже, а пока посмотрим как устанавливать новые пакеты для Питона внутри Jupyter Notebook.

Установка новых пакетов

Установить новые пакеты в Anaconda можно непосредственно в ячейке, введя !pip install <package_name>. Например, попробуем установить Numpy.

установка пакетов внутри Jupyter Notebook

Система сообщила нам, что такой пакет уже установлен. Более того, мы видим путь к папке внутри дистрибутива Anaconda, в которой Jupyter «нашел» Numpy.

При подготовке этого занятия я использовал два компьютера, поэтому имя пользователя на скриншотах указано как user или dmvma. На вашем компьютере при указании пути к файлу используйте ваше имя пользователя.

В последующих разделах мы рассмотрим дополнительные возможности по установке пакетов через Anaconda Prompt и Anaconda Navigator.

По ссылке ниже вы можете скачать код, который мы создали в Jupyter Notebook.

Два Питона на одном компьютере

Обращу ваше внимание, что на данный момент на моем компьютере (как и у вас, если вы проделали шаги прошлого занятия) установлено два Питона, один с сайта www.python.org⧉, второй — в составе дистрибутива Anaconda.

Посмотреть на установленные на компьютеры «Питоны» можно, набрав команду where python в Anaconda Prompt.

команда where python в Anaconda Prompt

Указав полный или абсолютный путь (absolute path) к каждому из файлов python.exe, мы можем в интерактивном режиме исполнять код на версии 3.10 (установили с www.python.org) и на версии 3.8 (установили в составе Anaconda). При запуске файла python.exe из папки WindowsApps система предложит установить Питон из Microsoft Store.

В этом смысле нужно быть аккуратным и понимать, какой именно Питон вы используете и куда устанавливаете очередной пакет.

В нашем случае мы настроили работу так, чтобы устанавливать библиотеки для Питона с www.python.org через командную строку Windows, и устанавливать пакеты в Анаконду через Anaconda Prompt.

Убедиться в этом можно, проверив версии Питона через python --version в обеих программах.

команда python --version в командной строке Windows и Anaconda Prompt

Теперь попробуйте ввести в них команду pip list и сравнить установленные библиотеки.

Markdown в Jupyter Notebook

Вернемся к Jupyter Notebook. Помимо ячеек с кодом, можно использовать текстовые ячейки, в которых поддерживается язык разметки Markdown. Мы уже коротко рассмотрели этот язык на прошлом занятии, когда создавали пакет на Питоне.

По большому счету с помощью несложных команд Markdown, вы говорите Jupyter как отформатировать ту или иную часть текста.

Рассмотрим несколько основных возможностей форматирования (для удобстства и в силу практически полного совпадения два последующих раздела приведены в ноутбуке Google Colab).

Откроем ноутбук к этому занятию

Заголовки

Заголовки создаются с помощью символа решетки.

заголовки в markdown

Если перед первым символом решетки поставить знак \, Markdown просто выведет символы решетки.

символ "\" перед символом решетки в markdown

Абзацы

Абзацы отделяются друг от друга пробелами.

абзацы в markdown

Мы также можем разделять абзацы прямой линией.

горизонтальная линия в markdown

Выделение текста

выделение текста в markdown

Форматирование кода и выделенные абзацы

Мы можем выделять код внутри строки или отдельным абзацем.

форматирование кода в markdown

Возможно выделение и текстовых абзацев (так называемые blockquotes).

выделенный абзац в markdown

Списки

Посмотрим на создание упорядоченных и неупорядоченных списков.

упорядоченные и неупорядоченные списки в markdown

Ссылки и изображения

Текст ссылки заключается в квадратные скобки, сама ссылка — в круглые.

ссылка в markdown

Изображение форматируется похожим образом.

логотип Jupyter Notebook и Python

Таблицы

таблица в markdown

Таблицы для Markdown бывает удобно создавать с помощью специального инструмента⧉.

Формулы на LaTeX

В текстовых полях можно вставлять формулы и математические символы с помощью системы верстки, которая называется LaTeX (произносится «латэк»). Они заключаются в одинарные или двойные символы $.

Если использовать одинарный символ $, то расположенная внутри формула останется в пределах того же абзаца (inline formula). Например, запись $ y = x^2 $ даст $ y = x^2 $.

В то время как $$ y = x^2 $$ поместит формулу в новый абзац (display formula).

$$ y = x^2 $$

Одинарный символ \ добавляет пробел. Двойной символ \\ переводит текст на новую строку.

символы \ (пробел) и \\ (перенос строки) в LaTeX

Рассмотрим некоторые элементы синтаксиса LaTeX.

Форматирование текста

форматирование текста в LaTeX

Надстрочные и подстрочные знаки

надстрочные и подстрочные знаки в LaTeX

Скобки

Вначале рассмотрим код для скобок в пределах высоты строки.

скобки в пределах высоты строки в LaTeX

Кроме того, с помощью \left(, \right), а также \left[, \right] и так далее можно увеличить высоту скобки. Сравните.

круглые скобки с увеличенной высотой в LaTeX

Также можно использовать отдельные команды для скобок различного размера.

скобки различного размера в LaTeX

Дробь и квадратный корень

дробь и квадратный корень в LaTeX

Греческие буквы

греческий алфавит в LaTeX
греческий алфавит в LaTeX 2

Латинские обозначения

латинские обозначения в LaTeX

Логические символы и символы множества

логические символы и символы множества в LaTeX

Другие символы

другие символы в LaTeX

Кусочная функция и система уравнений

Посмотрим на запись функции sgn (sign function) средствами LaTeX.

функция sgn в LaTeX

Схожим образом записывается система линейных уравнений.

система линейных уравнений в LaTeX

Горизонтальная фигурная скобка

горизонтальная фигурная скобка в LaTeX

Предел, производная, интеграл

пределы, производная, интеграл в LaTeX

Сумма и произведение

сумма и произведение в LaTeX

Матрица

матрица в LaTeX

Программирование на R

Jupyter Notebook позволяет писать код на других языках программирования, не только на Питоне. Попробуем написать и исполнить код на R, языке, который специально разрабатывался для data science.

Вначале нам понадобится установить kernel для R. Откроем Anaconda Prompt и введем следующую команду conda install -c r r-irkernel. В процессе установки система спросит продолжать или нет (Proceed ([y]/n)?). Нажмите y + Enter.

Откройте Jupyter Notebook. В списке файлов создайте ноутбук на R. Назовем его rprogramming.

создание Jupyter Notebook с ядром на R

После установки нового ядра и создания еще одного файла .ipynb схема работы нашего Jupyter Notebook немного изменилась.

схема Jupyter Notebook: пользователь, браузер, сервер, ядра (Python и R), файлы

Теперь мы готовы писать код на R. Мы уже начали знакомиться с этим языком, когда изучали парадигмы программирования. Сегодня мы рассмотрим основные типы данных и особенности синтаксиса.

Переменные в R

Числовые, строковые и логические переменные

Как и в Питоне, в R мы можем создавать числовые (numeric), строковые (character) и логические (logical) переменные.

Для присвоения значений можно использовать как оператор =, так и операторы присваивания <- и ->. Обратите внимание, используя -> мы можем поместить значение слева, а переменную справа.

Посмотрим на результат (в Jupyter Notebook можно обойтись без функции print()).

Выведем класс созданных нами объектов с помощью функции class().

Тип данных можно посмотреть с помощью функции typeof().

Хотя вывод этих функций очень похож, мы, тем не менее, видим, что классу numeric соответствует тип данных double (число с плавающей точкой с как минимум двумя знаками после запятой).

Числовые переменные: double и integer

По умолчанию, в R и целые числа, и дроби хранятся в формате double (сокращённое от double precision number, т.е. число двойной точности).

Тип данных double в R соответствует типу float в Питоне.

Принудительно перевести 42 в целочисленное значение можно с помощью функции as.integer().

Кроме того, если после числа поставить L, это число автоматически превратится в integer.

Превратить integer обратно в double можно с помощью функций as.double() и as.numeric().

Если число хранится в формате строки, его можно перевести обратно в число (integer или double).

Вектор

Вектор (vector) — это одномерная структура, которая может содержать множество элементов одного типа. Вектор можно создать с помощью функции c().

С помощью функций length() и typeof() мы можем посмотреть соответственно общее количество элементов и тип данных каждого из них.

У вектора есть индекс, который (в отличие, например, от списков в Питоне), начинается с единицы.

При указании диапазона выводятся и первый, и последний его элементы.

Отрицательный индекс убирает элементы из вектора.

Именованный вектор (named vector) создается с помощью функции names().

именованный вектор в R

Выводить элементы именованного вектора можно не только по числовому индексу, но и по их названиям.

Список

В отличие от вектора, список (list) может содержать множество элементов различных типов.

Матрица

Матрица (matrix) в R — это двумерная структура, содержащая одинаковый тип данных (чаще всего числовой). Матрица создается с помощью функции matrix() с параметрами data, nrow, ncol и byrow.

  • data — данные для создания матрицы
  • nrow и ncol — количество строк и столбцов
  • byrow — параметр, указывающий заполнять ли элементы матрицы построчно (TRUE) или по столбцам (FALSE)

Рассмотрим несколько примеров. Cоздадим последовательность целых чисел (по сути, тоже вектор).

Используем эту последовательность для создания двух матриц.

матрица в R, значения заполнены построчно
матрица в R, значения заполнены по столбцам

Зададим названия для строк и столбцов второй матрицы.

матрица в R с названиями столбцов и строк

Посмотрим на размерность этой матрицы с помощью функции dim().

Массив

В отличие от матрицы, массив (array) — это многомерная структура. Создадим трехмерный массив размерностью 3 х 2 х 3. Вначале создадим три матрицы размером 3 х 2.

Теперь соединим их с помощью функции array(). Передадим этой функции два параметра в форме векторов: данные (data) и размерность (dim).

Факторная переменная

Факторная переменная или фактор (factor) — специальная структура для хранения категориальных данных. Вначале немного теории.

Как мы узнаем на курсе анализа данных, категориальные данные бывают номинальными и порядковыми.

  • Номинальные категориальные (nominal categorical) данные представлены категориями, в которых нет естественного внутреннего порядка. Например, пол или цвет волос человека, марка автомобиля могут быть отнесены к определенным категориям, но не могут быть упорядочены.
  • Порядковые категориальные (ordinal categorical) данные наоборот обладают внутренним, свойственным им порядком. К таким данным относятся шкала удовлетворенности потребителей, класс железнодорожного билета, должность или звание, а также любая количественная переменная, разбитая на категории (например, низкий, средний и высокий уровень зарплат).

Посмотрим, как учесть такие данные с помощью R. Начнем с номинальных данных.

номинальный фактор в R

Как вы видите, функция factor() разбила данные на категории, при этом эти категории остались неупорядоченными. Посмотрим на класс созданного объекта.

Теперь поработаем с порядковыми данными.

порядковый фактор в R

Выведем класс созданного объекта.

Добавлю, что количество элементов в каждой из категорий можно посмотреть с помощью функции summary().

количество элементов в каждой из категорий порядкового фактора

Датафрейм

Датафрейм в R выполняет примерно ту же функцию, что и в Питоне. С помощью функции data.frame() создадим простой датафрейм, где параметрами будут названия столбцов, а аргументами — векторы их значений.

датафрейм в R

Доступ к элементам датафрейма можно получить по индексам строк и столбцов, которые также начинаются с единицы.

индекс ячеек датафрейма в R
первая строка датафрейма в R

Получить доступ к столбцам можно и так.

Дополнительные пакеты

Как и в Питоне, в R мы можем установить дополнительные пакеты через Anaconda Prompt. Например, установим пакет ggplot2 для визуализации данных. Для этого введем команду conda install r-ggplot2.

В целом команда установки пакетов для R следующая: conda install r-<package_name>.

Продемонстрируем работу с этим пакетом с помощью несложного датасета mtcars (данные об автомобилях, взятые из журнала Motor Trend за 1974 год).

датасет mtcars в R
Примечание. Здесь приведена лишь часть датасета.

Теперь импортируем установленную ранее библиотеку ggplot2.

Построим гистограмму по столбцу mpg (miles per galon, расход в милях на галлон топлива). Для построения гистограммы нам потребуется через «+» объединить две функции:

  • функцию ggplot(), которой мы передадим наши данные и еще одну функцию aes(), от англ. aesthetics, которая свяжет ось x нашего графика и столбец данных mpg; а также
  • функцию geom_histogram() с параметрами bins (количество интервалов) и binwidth (их ширина), которая и будет отвечать за создание гистограммы.
гистограмма в R

Примерно так же мы можем построить график плотности распределения (density plot). Только теперь мы передадим функции aes() еще один параметр fill = as.factor(vs), который (предварительно превратив столбец в фактор через as.factor()) позволит разбить данные на две категории по столбцу vs. В этом датасете признак vs указывает на конфигурацию двигателя (расположение цилиндров), v-образное, v-shaped (vs == 0) или рядное, straight (vs == 1).

Кроме того, для непосредственного построения графика мы будем использовать новую функцию geom_density() с параметром alpha, отвечающим за прозрачность заполнения пространства под кривыми.

график плотности в R

Дополнительно замечу, что к столбцам датафрейма можно применять множество различных функций, например, рассчитать среднее арифметическое или медиану с помощью несложных для запоминания mean() и median().

Кроме того, мы можем применить уже знакомую нам функцию summary(), которая для количественного столбца выдаст минимальное и максимальное значения, первый (Q1) и третий (Q3) квартили, а также медиану и среднее значение.

В файле ниже содержится созданный нами код на R.

Вернемся к основной теме занятия.