| Введение в методы обработки больших данных | - Основные характеристики и вызовы Big Data (объём, разнообразие, скорость).
- Архитектура экосистемы: традиционные СУБД, NoSQL, Hadoop/Spark.
- Колоночные форматы данных (Parquet, ORC) и их преимущества.
- Роль специалиста в прикладной информатике и смежных дисциплинах.
- Обзор инструментов курса: R, SQL, Apache Spark, Arrow, MediaWiki API. | 18 | 2 | 4 | 12 |
| Получение и подготовка данных из больших источников | - Источники больших данных: Wikimedia Dumps, MediaWiki API, гос. открытые данные, BigQuery Public Datasets.
- Загрузка файлов большого объёма, подключение к API и удалённым БД (ODBC/JDBC).
- Предобработка: очистка, нормализация типов, удаление шумовых записей.
- Конвертация форматов CSV/XML → Parquet и организация партиционированных наборов. | 24 | 2 | 6 | 16 |
| Масштабная аналитическая обработка данных в R и SQL | - Высокопроизводительные пакеты в R: data.table, dtplyr, arrow.
- Выполнение сложных SQL-запросов к большим наборам через DBI
- Гибридные подходы: объединение SQL-фильтрации и R-последующей обработки.
- Параллельная обработка данных, оптимизация чтения/записи. | 21 | 1 | 6 | 14 |
| Визуализация и представление результатов | - Визуализация больших наборов в R (ggplot2, plotly).
- Интерактивные панели и отчёты (Shiny, RMarkdown).
- Приёмы оптимизации визуализации при работе с большими объёмами данных.
- Примеры образовательных дашбордов (успеваемость, активность авторов). | 15 | 1 | 4 | 10 |
| Анализ структур и сетей в больших данных | - Основы графового анализа: узлы, рёбра, взвешенные и ориентированные графы.
- Извлечение и построение сетей из данных (граф ссылок Википедии, сеть соавторов).
- Метрики центральности, модулярности, кластеризация сообществ.
- Визуализация и интерпретация графов в прикладных сценариях. | 17 | 1 | 4 | 12 |
| Основы машинного обучения для анализа больших данных | - Понятия машинного обучения в прикладных задачах: прогнозирование, классификация, кластеризация.
- Простые алгоритмы: k-means, линейная регрессия, деревья решений.
- Подготовка данных: кодирование признаков, нормализация, отбор входных переменных.
- Применение моделей к большим наборам данных
- Интерпретация результатов
| 13 | 1 | 4 | 8 |