| Введение: Лингвистические данные и информатика | Основные виды лингвистических данных: тексты, речи, словари, метаданные. Методы сбора, хранения, формализации и автоматизации обработки. Обзор языков программирования для работы с лингвистическими данными. Знакомство с открытыми корпусами, импорт данных, поиск и структурирование лингвистических данных. | 10 | 1 | 2 | 7 |
| Программирование на R для анализа лингвистических данных | Основы синтаксиса R, работа с RStudio
Работа с текстами: импорт, очистка, токенизация, стоп-слова, стемминг и лемматизация
Использование пакетов: tidyverse, tidytext, quanteda, tm
Анализ частотности, TF-IDF, коллокаций
Визуализация: облака слов, графики
Анализ корпуса текстов, исследование языковых особенностей | 17 | 2 | 7 | 8 |
| Лингвистические корпуса и методы их разметки | Структура и типы корпусов: параллельные, учебные, национальные
Методы ручной и автоматической разметки, аннотирование
Подготовка и расширение корпуса на базе открытых данных
Сравнение форматов разметки: XML, JSON, TEI
Разметка учебных данных в R и MediaWiki; анализ ошибок разметки | 11 | 1 | 5 | 5 |
| Работа с MediaWiki: API и программирование на Lua | Принципы работы MediaWiki и API
Получение и обработка данных с помощью MediaWiki API в R
Программирование на Lua в Scribunto (модули и шаблоны), взаимодействие с текстом и структурой статей
Разработка собственных Lua-модулей для автоматизации лингвистических задач. написание Lua-модуля для разбора и обработки фрагмента текста в MediaWiki | 14 | 2 | 6 | 6 |
| Статистический анализ и визуализация лингвистических данных | Основные методы статистического анализа (частотный, корреляционный, кластерный)
Оценка лингвистических особенностей (анализ тональности, тематическое моделирование)
Визуализация результатов: тепловые карты, интерактивные графики
Интерпретация статистических выводов для лингвистических задач
Практикум: построение и интерпретация различных визуализаций на базе корпуса Wikipedia | 11 | 1 | 4 | 6 |
| Автоматизация анализа: интеграция R, Lua и Web-сервисов | Общие принципы автоматизации простых рабочих задач. Когда и зачем объединять разные инструменты (R, Lua, Web-сервисы). Примеры лёгких сценариев интеграции:
R для анализа и визуализации, Lua для извлечения текста в MediaWiki, Использование готовых API сервисов (например, определения языка текста, базовый sentiment analysis) R + Web API — загрузка данных с бесплатного API (например, OpenLibrary или Wikipedia API) и сохранение в CSV. Lua в MediaWiki — простой модуль для извлечения заголовков или категорий страниц. Мини-проект: Взять короткий список страниц wiki, извлечь текст или метаданные через Lua или API Итоговый результат — один завершённый рабочий процесс (pipeline) от получения данных через Lua/API до их визуализации в R. | 9 | 1 | 4 | 4 |