| Раздел 1. Большие данные в цифровой образовательной среде | Понятие больших данных и их основные характеристики: объём, скорость поступления, разнообразие, достоверность и ценность. Отличия традиционной и распределённой обработки данных. Горизонтальное и вертикальное масштабирование. Пакетная и потоковая обработка. Архитектуры Data Warehouse, Data Lake и Lakehouse. Источники больших данных в образовании: электронные журналы, LMS, системы тестирования, цифровые образовательные платформы, электронные библиотеки, системы видеоконференцсвязи, журналы событий и цифровой след обучающихся. Обзор технологий Hadoop, Spark, Kafka, NoSQL и аналитических СУБД. Качество, происхождение, безопасность, обезличивание и ответственное использование образовательных данных.
Практическое занятие 1. Проектирование архитектуры обработки больших образовательных данных. Анализ структуры данных цифровой образовательной среды; определение источников, объёмов и скорости поступления данных; выделение пакетных и потоковых данных; проектирование архитектуры их сбора, хранения и обработки; выбор технологий для анализа результатов обучения, посещаемости и активности обучающихся. | 14 | 4 | 10 |
| Раздел 2. Распределённое хранение и пакетная обработка образовательных данных | Архитектура Apache Hadoop. Назначение HDFS, YARN и MapReduce. Компоненты NameNode и DataNode. Блочное хранение, репликация и отказоустойчивость. Этапы Map, Shuffle и Reduce. Использование Apache Hive для аналитических запросов. Форматы CSV, JSON, Avro и Parquet. Архитектура Apache Spark. Драйвер, исполнители, задания, стадии и задачи. PySpark, DataFrame API и Spark SQL. Загрузка, очистка, преобразование, объединение и агрегирование данных. Построение распределённых ETL-конвейеров. Секционирование, кэширование и анализ плана выполнения. Особенности объединения данных об обучающихся, учебных группах, заданиях, попытках тестирования и активности в электронных курсах.
Практическое занятие 2. Распределённая обработка данных цифровой образовательной платформы. Загрузка обезличенных данных об учебных результатах и активности обучающихся в HDFS; исследование распределённого хранения; выполнение агрегирования средствами Hive или MapReduce; обработка данных средствами PySpark и Spark SQL; объединение сведений из электронного журнала, LMS и системы тестирования; расчёт показателей успеваемости, выполнения заданий и учебной активности; сохранение результатов в формате Parquet. | 16 | 4 | 12 |
| Раздел 3. Потоковая обработка событий образовательных систем | Понятие событийных и потоковых данных. Отличия пакетной и потоковой обработки. События цифровой образовательной среды: вход в систему, просмотр материала, отправка задания, прохождение теста, изменение результата, обращение к цифровому ресурсу. Основные компоненты Apache Kafka: брокеры, темы, разделы, производители, потребители и группы потребителей. Время события и время обработки. Оконные операции. Основы Spark Structured Streaming. Фильтрация, преобразование и агрегирование потоков. Обработка запаздывающих и повторяющихся событий. Назначение аналитических колоночных СУБД. Хранение и анализ событий в ClickHouse. Оперативные показатели активности обучающихся и функционирования образовательной платформы.
Практическое занятие 3. Потоковый анализ цифрового следа обучающихся. Формирование потока обезличенных событий LMS; передача сообщений через Apache Kafka; обработка событий средствами Spark Structured Streaming; очистка, фильтрация и оконное агрегирование данных; выявление изменений учебной активности; загрузка агрегированных результатов в ClickHouse; построение запросов для оперативного мониторинга работы с электронным курсом. | 18 | 6 | 12 |
| Раздел 4. Масштабируемая аналитика больших образовательных данных | Подготовка больших образовательных наборов данных к анализу. Формирование признаков на основе учебных результатов и цифрового следа. Методы агрегирования, классификации, регрессии и кластеризации. Использование Spark MLlib. Построение аналитических конвейеров. Разделение данных на обучающую и проверочную выборки. Оценка качества моделей. Анализ влияния объёма данных, числа разделов и параметров обработки на время выполнения. Выявление групп обучающихся с различными моделями учебной активности. Прогнозирование результатов обучения и риска невыполнения заданий. Ограничения автоматизированных прогнозов. Контроль качества, интерпретируемость и воспроизводимость обработки. Защита персональных данных и недопустимость автоматического принятия значимых педагогических решений без экспертного анализа.
Практическое занятие 4. Масштабируемый анализ учебных результатов и цифровой активности. Формирование признаков на основе результатов обучения, посещаемости, выполнения заданий и событий LMS; распределённая обработка данных средствами PySpark; применение одного из методов классификации, регрессии или кластеризации; оценка качества и устойчивости результата; анализ факторов, связанных с учебными затруднениями; интерпретация результатов с учётом ограничений исходных данных.
Практическое занятие 5. Итоговый проект «Система обработки больших образовательных данных». Разработка комплексного решения, включающего сбор обезличенных данных из нескольких образовательных источников, распределённое хранение, пакетную или потоковую обработку, аналитическое хранилище и представление результатов. Проект может быть направлен на анализ цифрового следа, мониторинг учебной активности, обработку результатов массового тестирования, оценку использования цифровых ресурсов или выявление учебных затруднений. Обязательными результатами являются архитектурная схема, воспроизводимый программный конвейер, аналитические показатели, оценка качества данных, интерпретация результатов и описание ограничений решения. | 24 | 8 | 16 |