| Раздел 1. Введение в большие данные и образовательные источники данных | Понятие больших данных. Основные характеристики Big Data. Отличия больших данных от обычных табличных наборов. Источники больших данных: веб-сервисы, датчики, журналы информационных систем, цифровые образовательные платформы, электронные курсы, системы тестирования, результаты массовых диагностик. Жизненный цикл данных: сбор, хранение, обработка, анализ, представление, архивирование. Форматы CSV, JSON, Parquet. Пакетная и потоковая обработка. Роль больших данных в современной информатике и цифровой школе. Примеры учебных задач: анализ журналов LMS, обработка результатов массового тестирования, анализ цифрового следа, обработка открытых городских и научных данных. Требования к обезличиванию и ответственному использованию образовательных данных.Практическое занятие 1. Постановка задачи обработки больших данных в образовательной предметной области. Анализ кейса цифровой школы или учебной платформы; определение источников данных, форматов, объёмов, пользователей результатов и ограничений; выбор пакетной или потоковой модели обработки. Лабораторная работа 1. Исследование структуры большого набора данных. Загрузка открытого или обезличенного набора данных; анализ структуры CSV, JSON и Parquet; определение единицы наблюдения, типов полей, объёма данных и типичных ошибок; подготовка краткого технического описания набора данных. Самостоятельная работа: изучение примеров применения больших данных в образовании и прикладной информатике; подготовка описания выбранного набора данных и возможного учебного сценария его применения. | 16 | 2 | 6 | 6 | 2 |
| Раздел 2. Пакетная обработка данных: Hadoop и Spark | Назначение распределённого хранения и параллельной обработки данных. Общие принципы Apache Hadoop. HDFS, блоки данных, репликация и отказоустойчивость на обзорном уровне. Идея MapReduce: этапы Map, Shuffle и Reduce. Ограничения классической модели MapReduce. Назначение Apache Spark. Драйвер, исполнители, задачи и стадии на вводном уровне. DataFrame API и Spark SQL как доступный способ распределённой обработки. Чтение данных, фильтрация, преобразование, группировка, агрегирование и соединение наборов данных. Сохранение результатов в Parquet. Различие между обычной обработкой в pandas и распределённой обработкой в Spark. Использование готовой контейнерной среды без самостоятельного администрирования промышленного кластера.Практическое занятие 2. Выбор метода пакетной обработки данных. Сравнение обычной табличной обработки, MapReduce-подхода и обработки средствами Spark; определение, какие задачи школьной или образовательной предметной области требуют масштабируемой обработки, а какие могут быть решены обычными средствами. Лабораторная работа 2. Пакетная обработка данных средствами PySpark. Выполнение фильтрации, преобразования, группировки и агрегирования большого набора данных; расчёт показателей по событиям цифровой образовательной среды или открытому прикладному набору; сохранение результата в Parquet; сравнение времени выполнения отдельных вариантов обработки. Самостоятельная работа: доработка PySpark-скриптов; подготовка пояснения к этапам обработки; оформление выводов о преимуществах и ограничениях распределённой пакетной обработки. | 18 | 2 | 8 | 6 | 2 |
| Раздел 3. Потоковые данные и оперативная обработка событий | Понятие события и потока событий. Отличия пакетной и потоковой обработки. Примеры потоков: действия пользователя в LMS, отправка задания, прохождение теста, просмотр учебного материала, события веб-приложения, данные датчиков и устройств Интернета вещей. Основные понятия потоковой архитектуры: источник событий, очередь сообщений, потребитель, окно обработки, задержка и пропускная способность. Apache Kafka на обзорном уровне: брокер, тема, раздел, producer и consumer. Основы Spark Structured Streaming или учебного имитатора потоковой обработки. Оконные агрегаты. Обработка повторяющихся и запаздывающих событий на базовом уровне. Оперативные показатели: число событий, активные пользователи, частота обращений, динамика активности. Практическое занятие 3. Проектирование обработки событий цифровой образовательной среды. Описание потока событий учебной платформы; выбор состава событий, полей, временных окон и оперативных показателей; определение ограничений интерпретации потоковых данных. Лабораторная работа 3. Обработка потока учебных событий. Генерация или воспроизведение потока обезличенных событий; чтение событий из файла, очереди сообщений или учебного имитатора; фильтрация и оконное агрегирование; расчёт оперативных показателей активности; сохранение результатов и подготовка краткого отчёта. Самостоятельная работа: анализ сценариев потоковой обработки в школьных и прикладных проектах; подготовка описания возможного использования потоковых данных в обучении информатике, робототехнике или проектной деятельности. | 18 | 0 | 8 | 8 | 2 |
| Раздел 4. Комплексный проект обработки больших данных для задач учителя информатики | Сквозной сценарий обработки данных: постановка задачи, выбор источника, подготовка данных, выбор способа обработки, выполнение вычислений, проверка результата и представление выводов. Критерии выбора технологий с учётом ресурсов и ограничений. Контроль качества данных. Воспроизводимость: структура проекта, исходные данные, скрипты, результаты, инструкция по запуску. Безопасность и обезличивание данных. Ограничения автоматизированных выводов. Использование больших данных в профессиональной деятельности учителя информатики: подготовка учебных проектов, демонстрация современных цифровых технологий, анализ обезличенных образовательных данных, проектная деятельность в профильных классах. Связь с подготовкой к ОГЭ и ЕГЭ рассматривается через задачи обработки таблиц, анализа данных и алгоритмического мышления, но дисциплина не сводится к экзаменационному тренингу. Практическое занятие 4. Разработка учебно-прикладного проекта по большим данным. Формулирование задачи, выбор данных, определение метода обработки, планирование результата и критериев успешности. Подготовка структуры проекта для применения в школьной, внеурочной или вузовской учебной деятельности. Лабораторная работа 4. Итоговый проект «Обработка большого набора данных». Реализация воспроизводимого проекта, включающего исходный набор данных, сценарий подготовки, пакетную или потоковую обработку, расчёт показателей, проверку качества, сохранение результатов и краткое представление выводов. Проект выполняется на открытых, синтетических или обезличенных данных из образовательной, научной, городской, инженерной или иной социально значимой предметной области. Самостоятельная работа: оформление итогового проекта; подготовка инструкции по запуску, технического отчёта и материалов защиты. | 20 | 0 | 8 | 10 | 2 |