| Основы аналитики и визуализации данных | Понятие данных, больших данных. Цели и виды аналитики. Этапы анализа данных. Загрузка, типы и преобразование данных. Функциональные возможности табличного процессора (MS Excel, Google Data Studio, МойОфис и др.). Основы математической статистики. Генеральная совокупность. Выборочная совокупность. Распределение и законы распределения. Нормальный закон распределения или закон Гаусса. Тестирование данных на нормальность как этап первичного анализа данных. Корреляционный и регрессионные анализы. Прогнозы и тренды. Меры центральной тенденции: среднее арифметическое; взвешенное среднее; медиана; мода.
Понятие выбросов. Влияние выбросов на расчет среднего значения в выборке. Понятие и методы разведочного анализа данных. Визуализация данных в, как и зачем делать визуализацию данных, добавление фильтров, предоставление доступа к отчету. Создание базовых визуализаций. Фильтрация по значениям и формату, текстовые фильтры, настраиваемые фильтры. Применение расширенного фильтра. Автоматизация заполнения отчетов при помощи выпадающих списков (статических и динамических). Условное форматирование: способы и правила выделения ячеек, создание и управление пользовательскими правилами.
Группировка данных. Создание сводных таблиц: организация макета таблицы, поля, столбцы, фильтры. Основные и дополнительные операции сведения данных: количество, сумма, среднее, максимум, минимум, доля, % от суммы и др.
Визуализация данных. Надстройка «Анализ данных». Гистограмма распределения. Интервалы значений (карманы).
Анализ данных с помощью сводных таблиц. Технология создания базовых типов визуализаций. Построение графика квантиль-квантиль (QQ). Выполнение исследовательского анализа данных
| 70 | 8 | 4 | 8 | 50 |
| Машинное обучение на Python | Основы машинного обучения.
Определение и задачи машинного обучения: от предсказательной аналитики до автоматизации решений. Практические приложения: рекомендательные системы, анализ текстов, компьютерное зрение. Жизненный цикл ML-проекта: от сбора данных до внедрения модели.
Классификация методов машинного обучения.
Обучение с учителем (классификация, регрессия) и без учителя (кластеризация). Основные алгоритмы: линейные модели, деревья решений, методы ближайших соседей. Оценка моделей: метрики качества (точность, F1-score, ROC-AUC), разделение данных на обучающую/тестовую/валидационную выборки, кросс-валидация.
Оптимизация в машинном обучении.
Градиентный метод: принцип работы и применение.
Функция потерь и её минимизация: градиентный спуск, стохастический градиентный спуск.
Стратегии стекинга: объединение моделей для улучшения предсказаний.
Промышленные фреймворки
Обзор библиотек: Scikit-learn, XGBoost, LightGBM, CatBoost, H2O.ai. Сравнение по точности и скорости выполнения.
Деревья решений и ансамбли
Случайный лес: сильные и слабые стороны.Градиентный бустинг: особенности XGBoost, LightGBM. Практическое применение для анализа данных.
Кластерный анализ и ассоциативные правила
Алгоритм k-means: реализация в разных фреймворках.Алгоритм Apriori: поиск частых наборов (на примере рыночных корзин).
Нейронные сети
Основы: искусственный нейрон, функции активации, многослойный перцептрон. Обучение: метод обратного распространения ошибки.
Глубокие нейронные сети: CNN, RNN, LSTM, Transformers. Фреймворки: TensorFlow, Keras, AutoKeras.
Прогнозирование временных рядов.
Декомпозиция: тренд, сезонность, шум. Классические методы: ARMA, ARIMA, SARIMA. Современные подходы: XGBoost, Prophet, глубокие нейронные сети.
AutoML. Инструменты: AutoGluon, H2O.ai, FLAML, LAMA. Автоматизация подбора моделей для задач классификации и регрессии.
Исследовательский анализ данных, классовый дисбаланс, очистка данных и масштабирование данных. Библиотеки NumPy, Pandas и Matplotlib. Основные структуры данных: Series, DataFrame. Загрузка наборов данных, формат .csv. Загрузка данных (CSV, Excel, SQL), оценка структуры и качества данных (пропуски, выбросы, аномалии), статистический анализ (описательные статистики, распределения), визуализация (гистограммы, box-plot, scatter-plot) с помощью библиотек Pandas, Matplotlib и Seaborn. Практический разбор кейсов: анализ корреляций, поиск закономерностей, формирование гипотез. | 74 | 6 | 6 | 6 | 56 |