| Большие данные в современной информатике, математике и физике | Понятие больших данных и признаки задач, требующих масштабируемой обработки. Характеристики Big Data: объём, скорость поступления, разнообразие, достоверность и практическая ценность. Отличия больших данных от обычных табличных наборов. Источники данных: результаты физических экспериментов, измерительные и сенсорные системы, математическое моделирование, астрономические наблюдения, открытые научные данные, журналы информационных систем и цифровых образовательных платформ. Жизненный цикл больших данных: получение, хранение, подготовка, обработка, проверка, публикация и архивирование. Структурированные, полуструктурированные и потоковые данные. Форматы CSV, JSON, JSONL, Avro и Parquet. Сжатие, секционирование и колоночное хранение. Критерии выбора инструментов с учётом объёма данных, вычислительных ресурсов и ограничений задачи. Качество, происхождение, воспроизводимость и ответственное использование данных. Дидактический потенциал больших данных в профильном обучении информатике, математике и физике. Использование открытых научных наборов в проектной и исследовательской деятельности обучающихся. В разделе не рассматриваются углублённое обучение моделей машинного обучения и статистическая проверка научных гипотез; основное внимание уделяется организации и масштабируемой обработке данных. Лабораторная работа 1. Исследование и подготовка крупного научного или образовательного набора данных. Анализ структуры и объёма набора; определение единицы наблюдения и типов полей; выявление ошибок и пропусков; преобразование форматов; сохранение подготовленных данных в Parquet; сравнение объёма и скорости чтения разных форматов. Самостоятельная работа: подбор открытого набора данных из области математики, физики, информатики или образования; подготовка паспорта набора, описания источника, структуры, ограничений и возможного учебного применения. | 16 | 2 | 6 | 8 |
| Распределённое хранение и пакетная обработка больших данных | Принципы распределённого хранения и параллельной обработки. Масштабирование вычислений. Разделение данных на блоки и секции. Репликация и отказоустойчивость. Экосистема Apache Hadoop на обзорном уровне. Назначение HDFS. Архитектура NameNode и DataNode. Основные операции работы с распределённой файловой системой. Модель MapReduce: этапы Map, Shuffle, Sort и Reduce. Возможности и ограничения пакетной обработки MapReduce.Apache Spark как система распределённых вычислений. Драйвер, исполнители, задания, стадии и задачи. Отложенное выполнение операций. Трансформации и действия. DataFrame API. Чтение CSV, JSON и Parquet. Фильтрация, преобразование, группировка, агрегирование и соединение данных. Spark SQL. Секционирование и сохранение результатов. Сравнение локальной обработки средствами pandas и распределённой обработки средствами PySpark. Работа в подготовленной контейнерной или виртуальной среде без самостоятельного администрирования промышленного кластера. Лабораторная работа 2. Распределённая пакетная обработка научных данных средствами PySpark. Загрузка крупного набора экспериментальных, модельных или образовательных данных; выполнение фильтрации, преобразования, группировки и соединения; расчёт сводных показателей; сохранение результата в секционированном формате Parquet; анализ плана выполнения и сравнение вариантов организации вычислений. Самостоятельная работа: доработка PySpark-приложения; подготовка схемы выполнения задания; сравнение локального и распределённого подходов; обоснование условий, при которых применение Spark является целесообразным. | 18 | 2 | 8 | 8 |
| Потоковая обработка событий и данных измерительных систем | Понятие потока событий. Отличия пакетной, микропакетной и потоковой обработки. Источники потоковых данных: датчики физических установок, системы Интернета вещей, телеметрия, события веб-приложений, журналы учебных платформ и результаты автоматизированного эксперимента. Структура события: идентификатор, временная метка, источник, измерение, действие, объект и контекст. Основные компоненты потоковой архитектуры: производитель, брокер сообщений, тема, раздел, потребитель и хранилище результатов. Apache Kafka на обзорном уровне. Гарантии доставки, порядок событий и повторная обработка. Основы Spark Structured Streaming. Потоковые DataFrame. Оконные агрегаты. Время события и время обработки. Запаздывающие и повторяющиеся события. Контрольные точки. Расчёт оперативных показателей. Примеры: обработка показаний датчиков, мониторинг параметров физического эксперимента, анализ событий вычислительной модели, наблюдение за активностью пользователей цифровой системы. Ограничения интерпретации потоковых данных и требования к проверке качества измерений. Лабораторная работа 3. Обработка потока данных физического эксперимента или цифровой системы. Генерация либо воспроизведение потока событий; проверка структуры сообщений; фильтрация некорректных значений; расчёт оконных показателей; обработка запаздывающих событий; сохранение агрегированных результатов; подготовка краткого технического отчёта. Самостоятельная работа: проектирование событийной модели выбранной системы; описание источников, полей, временных окон, контрольных показателей и возможных ошибок; подготовка сценария демонстрации потоковой обработки в профильном обучении. | 18 | 0 | 8 | 10 |
| Проектирование воспроизводимого решения по обработке больших данных | Сквозное проектирование решения: постановка задачи, анализ требований, выбор источников и форматов, организация хранения, выбор пакетного или потокового метода, реализация вычислений, контроль качества и публикация результатов. Архитектура проекта обработки больших данных. Разделение исходных, промежуточных и итоговых данных. Версионирование программного кода и конфигураций. Параметризация обработки. Журналирование и обработка ошибок. Повторный запуск и восстановление вычислений. Проверка воспроизводимости. Оценка использования вычислительных ресурсов. Документирование архитектуры и ограничений решения. Проектирование учебного кейса на основе больших данных для профильного класса, кружка или проектно-исследовательской деятельности. Связь с математическим моделированием, обработкой результатов физического эксперимента и современными направлениями информатики. Определение планируемых результатов, уровня сложности, программных средств и критериев оценивания. Подготовка к ОГЭ и ЕГЭ может рассматриваться как дополнительный контекст развития алгоритмического мышления и работы с данными, но не является основным содержанием раздела. Не включаются самостоятельная разработка методов машинного обучения, глубокий статистический анализ и промышленное администрирование распределённого кластера. Лабораторная работа 4. Итоговый проект «Распределённая обработка научных, образовательных или инженерных данных». Разработка воспроизводимого решения, включающего исходный набор или поток данных, подготовку и проверку качества, распределённую пакетную либо потоковую обработку, сохранение результатов, программные скрипты, конфигурацию запуска, техническую документацию и краткий учебно-методический сценарий применения проекта в преподавании информатики, математики или физики. Самостоятельная работа: завершение программной реализации; проверка повторного запуска; оформление репозитория проекта, архитектурной схемы, инструкции, технического отчёта, методического комментария и материалов защиты. | 20 | 0 | 8 | 12 |