| Раздел 1. Архитектура платформ образовательных данных | Понятие инженерии образовательных данных и её место в цифровой инфраструктуре образовательной организации. Жизненный цикл данных: возникновение, получение, передача, хранение, преобразование, публикация и архивирование. Источники данных: электронный журнал, LMS, системы тестирования, электронное портфолио, библиотечные системы, цифровые образовательные ресурсы и административные информационные системы. Структурированные, полуструктурированные и неструктурированные данные. Форматы CSV, JSON, XML и Parquet. Файловый обмен, базы данных, API и журналы событий. Пакетная и событийная загрузка. Архитектуры Data Warehouse, Data Lake и Lakehouse. Слои исходных, очищенных и подготовленных данных. Требования к защите персональных данных, минимизации состава сведений и разграничению доступа.
Лабораторная работа 1. Проектирование платформы образовательных данных. Инвентаризация источников данных условной образовательной организации; построение схемы информационных потоков; определение форматов и способов получения данных; проектирование слоёв хранения; разработка целевой архитектуры платформы и регламента движения данных. | 18 | 2 | 10 | 6 |
| Раздел 2. Интеграция и оркестрация потоков образовательных данных | ETL- и ELT-подходы. Полная, добавочная и инкрементальная загрузка. Получение данных из файлов, PostgreSQL, REST API и журналов образовательных систем. Сопоставление идентификаторов обучающихся, учебных групп, дисциплин и заданий. Обработка изменений структуры источника. Очистка, нормализация и преобразование данных как инженерные операции. Идемпотентность конвейера. Контрольные точки, повторный запуск и восстановление после сбоя. Apache Airflow: DAG, задачи, зависимости, подключения, переменные, расписания и обработка ошибок. Контейнеризация компонентов с использованием Docker Compose. Управление конфигурацией и секретами. Версионирование исходного кода.
Лабораторная работа 2. Разработка оркестрируемого конвейера интеграции образовательных данных. Получение обезличенных данных из нескольких образовательных систем; сохранение исходных файлов; преобразование форматов; сопоставление справочников и идентификаторов; инкрементальная загрузка в целевое хранилище; настройка расписания, повторных попыток, журналирования и уведомлений в Apache Airflow. | 26 | 2 | 16 | 8 |
| Раздел 3. Хранение, качество и управление образовательными данными | Проектирование операционного и аналитического хранения. PostgreSQL для структурированных данных. Объектное S3-совместимое хранилище для файлов, журналов и цифровых материалов. Форматы хранения, сжатие и секционирование. Управление схемами и версиями данных. Контракты данных. Требования к полноте, уникальности, корректности, согласованности, целостности и актуальности данных. Автоматизированные проверки качества. Выделение карантинной зоны для ошибочных записей. Метаданные, словарь данных и каталог источников. Происхождение данных и зависимости между загрузками, таблицами и файлами. Журналирование операций. Управление доступом, резервное копирование, восстановление и сроки хранения данных.
Лабораторная работа 3. Построение управляемого хранилища образовательных данных. Создание структуры реляционного и объектного хранения; настройка зон исходных, проверенных и опубликованных данных; разработка контрактов и автоматизированных проверок качества; организация карантина некорректных записей; ведение словаря данных и фиксация происхождения данных; проверка резервного копирования и восстановления. | 28 | 0 | 16 | 12 |
| Раздел 4. Предоставление и эксплуатация продуктов образовательных данных | Понятие продукта данных. Подготовка надёжных наборов для информационных панелей, образовательной аналитики, машинного обучения и ИИ-систем без выполнения самого аналитического исследования. Проектирование витрин и представлений. API и файловые интерфейсы предоставления данных. Контроль версий схем. Соглашения об уровне качества и актуальности данных. Мониторинг состояния конвейеров: успешность выполнения, задержка, объём, свежесть и число ошибочных записей. Наблюдаемость платформы данных. Документирование интерфейсов. Автоматизированное тестирование. Основы CI/CD для конвейеров данных. Контейнерное развёртывание. Подготовка текстовых и мультимедийных материалов для последующей индексации в ИИ-системах. Метаданные, права доступа и контроль происхождения материалов. Передача продукта данных аналитикам, разработчикам образовательных систем и специалистам по ИИ.
Лабораторная работа 4. Разработка продукта образовательных данных. Создание опубликованной витрины или API для предоставления согласованных данных об учебных результатах, активности или использовании цифровых ресурсов; разработка документации интерфейса; настройка контроля актуальности, версии схемы и прав доступа; тестирование использования продукта внешней системой.
Лабораторная работа 5. Итоговый проект «Инженерная платформа образовательных данных». Разработка воспроизводимого решения, объединяющего несколько источников, оркестрируемую загрузку, реляционное и объектное хранение, автоматизированный контроль качества, каталог метаданных, журналирование и предоставление данных потребителям. Подготовка архитектурной схемы, репозитория, контейнерной конфигурации, инструкции по развёртыванию и эксплуатационной документации. | 36 | 0 | 22 | 14 |