Модуль 1. Базовые конструкции языка Python

Основные темы

• О курсе «Анализ данных». Краткий экскурс в область анализа данных. Руководство по установке Python IDE и JupyterLab. Базовые понятия кода, интерпретатора, программы.
• Основы работы с переменными и базовыми типами данных, целочисленная арифметика в Python. Основные логические операторы и элементы математической логики.
• Условный оператор. Устройство каскадного условного оператора и вложенных условий. Работа с циклами for и while. Организация разветвлений в циклах. Оценка сложности алгоритма.
• Устройство строк в Python. Индексация, конкатенация строк. Использование специальных методов для работы со строками.
• Устройство списков в Python. Использование специальных методов для работы со списками. Применение списочных выражений. Особый тип данных — кортежи.
• О структуре кода в Python. Установка и импорт модулей. Стандартные модули math, random, datetime. Регулярные выражения и модуль re.
• Персональные и обезличенные данные. Основы кибербезопасности. Авторское право в ИТ. Этика использования ИИ, ограничения ИИ-инструментов.

Примеры практических заданий

• написать первую программу с вводом данных и точным форматированием вывода;
• разобрать условие с числами, выбрать тип данных и вывести результат без лишнего текста;
• реализовать ветвление и цикл при обработке списков или строк.

Модуль 2. Работа с функциями в Python

Основные темы

• Устройство функций в Python. Понятие области видимости переменных. Документирующая строка. Рекурсия.
• Создание лямбда-функций в Python. Сортировка данных с параметром key. Применение функций высшего порядка map, filter, zip.
• Основные понятия ООП. Принципы ООП, на которых строится код программы. Преимущества и недостатки ООП.
• Работа с типом данных «множество» в Python. Операции над одним и двумя множествами.
• Использование словарей в Python. Методы работы со словарями, сортировка словаря. Устройство словарей изнутри: хеширование.
• Структура файловой системы. Работа с файлами в Python: чтение и запись данных. Работа с каталогами. Понятие обработки исключений.

Примеры практических заданий

• оформить повторяющийся расчёт как функцию с параметрами и возвращаемым значением;
• обработать список, множество или словарь и объяснить выбор структуры данных;
• обработать файл в текстовом формате.

Модуль 3. Математическое моделирование с помощью библиотеки NumPy

Основные темы

• Работа с библиотекой NumPy. Создание массивов разных типов данных. Работа с массивами: индексация, срезы, сортировка.
• Вычисление статистики с помощью NumPy. Основные статистические метрики: среднее, медиана, мода, стандартное отклонение, процентиль, дисперсия.
• Работа с библиотекой Matplotlib. Обзор основных типов графиков, доступных в библиотеке.
• Понятие математической модели. Решение систем линейных уравнений. Векторный расчёт движения брошенного тела. Генерация анимаций движения.
• О сборе данных в сети интернет. Понятие парсинга, библиотеки для парсинга. Основные методы библиотеки BeautifulSoup с примерами применения.
• Ответственное использование ИИ. Ограничения применения ИИ при выполнении учебных заданий. Проверка достоверности кода, полученного при помощи ИИ.

Примеры практических заданий

• посчитать основные статистические величины для массива данных;
• построить график или диаграмму по набору данных;
• использовать ИИ-инструменты для программирования математических моделей.

Модуль 4. Анализ данных с помощью библиотеки Pandas

Основные темы

• О библиотеке Pandas. Методы работы с типом данных Pandas DataFrame. Изменение датафреймов.
• Продвинутая работа с Pandas: расчёт статистики, загрузка данных из файлов CSV и Excel, построение диаграмм. Краткое руководство по поиску готовых датасетов.
• Методы выявления связей в данных: визуализация взаимосвязей, корреляция, линейная регрессия.
• Агрегирование и группировка больших данных. Трансформация данных и построение сводных таблиц.
• Технология виджетов в Jupyter-ноутбуках. Пример создания итогового проекта с элементами интерактива.
• Проблемы, возникающие при использовании ИИ. Применение ИИ-инструментов для решения задач анализа данных.

Примеры практических заданий

• провести очистку датасета;
• построить сводную таблицу;
• использовать ИИ-инструменты для сложных манипуляций с данными.

Тематика итоговых и комплексных работ

Итоговый проект связан с решением прикладной задачи на каком-либо датасете, имитирующей полный цикл анализа данных: сбор/очистка данных, вычисление метрик, визуализация, подведение итогов, создание презентации и подготовка текста для выступления.

• Анализ погоды (температура или УФ-излучение)
• Анализ продаж видеоигр
• Анализ музыкальных датасетов
• Анализ результатов реальных вычислительных экспериментов