| Математическая статистика и теория вероятностей для анализа данных | Типы данных в аналитике: номинативные, порядковые, интервальные и относительные шкалы измерения, дискретные и непрерывные данные, структурированные и неструктурированные данные. Практика: загрузка произвольного датасета и автоматическое определение типа каждой переменной с последующей классификацией и визуализацией распределений в зависимости от типа. Источники данных: внутренние базы данных, CRM-системы, веб-аналитика, логи серверов, API сторонних сервисов, открытые датасеты, данные сенсоров и IoT-устройств, опросы и анкетирование, краудсорсинговые платформы. Практика: написание скрипта для извлечения данных из разных источников с автоматической обработкой форматов и единой структурой на выходе, имитация потоковых данных. Этапы аналитического процесса: постановка задачи и определение бизнес-вопроса, сбор и извлечение данных, первичная обработка и очистка, разведочный анализ, формулировка гипотез, подтверждающий анализ и моделирование, интерпретация результатов и визуализация, коммуникация выводов и принятие решений. Теория выборок. Описательная статистика: меры центральной тенденции — среднее арифметическое, медиана, мода, меры разброса — размах, дисперсия, среднеквадратическое отклонение, коэффициент вариации, интерквартильный размах, меры формы — асимметрия и эксцесс. Практика: генерация выборок с заданными характеристиками, автоматический расчет всех описательных статистик и визуальное сравнение поведения среднего и медианы на данных с разным уровнем зашумленности и выбросами. Частотный анализ: построение таблиц частот для категориальных и непрерывных переменных, абсолютные и относительные частоты, накопленные частоты, группировка данных и построение интервальных рядов, двумерные таблицы сопряженности. Практика: автоматическое построение частотных таблиц с выбором оптимального количества интервалов для непрерывных переменных, визуализация распределений с подсветкой ключевых процентилей. Разведочный анализ данных: первичный обзор структуры датасета, описательные сводки для каждой переменной, выявление пропущенных значений и их природа, детекция и анализ выбросов с использованием метода межквартильных размахов и Z-оценок, визуализация распределений через гистограммы, боксплоты, ядерные оценки плотности, анализ взаимосвязей между переменными с использованием диаграмм рассеяния и матриц рассеяния, тепловые карты корреляций, сегментация данных и сравнение распределений по группам, формулировка гипотез на основе разведочного анализа. Практика: создание единой функции автоматической генерации EDA-отчета с полным набором графиков и сводных таблиц, интерактивное исследование с возможностью фильтрации по группам. Вероятностное пространство и аксиоматика Колмогорова, классическое, геометрическое, статистическое и субъективное определения вероятности. Практика: симуляция большого числа испытаний с визуализацией сходимости эмпирической частоты к теоретической вероятности для различных экспериментов. Условная вероятность, независимость событий, формула полной вероятности и теорема Байеса. Практика: реализация байесовского обновления убеждений на симулированных данных с построением графиков изменения апостериорных вероятностей по мере поступления новой информации. Случайные величины дискретного и непрерывного типа, функция распределения, функция плотности вероятности и функция вероятности, квантили и процентили. Практика: генерация выборок и построение эмпирических и теоретических функций распределения на одном графике, расчет квантилей и их визуальная интерпретация. Математическое ожидание и его свойства, дисперсия и среднеквадратическое отклонение, начальные и центральные моменты, коэффициенты асимметрии и эксцесса. Практика: численное исследование моментов на выборках разного объема с визуализацией сходимости выборочных моментов к теоретическим. Ковариация и коэффициент корреляции Пирсона. Практика: генерация данных с различными типами и уровнями корреляции с визуализацией через облака точек и анализ чувствительности корреляции к выбросам. Дискретные распределения: биномиальное, пуассоновское, геометрическое, гипергеометрическое. Практика: симуляция процессов, соответствующих каждому распределению, с визуальным сравнением эмпирических гистограмм и теоретических вероятностей при разных параметрах. Непрерывные распределения: равномерное, нормальное, экспоненциальное, логистическое, распределение Лапласа. Практика: построение интерактивных графиков с ползунками для исследования влияния параметров на форму каждого распределения с наложением эмпирических данных. Распределения, связанные с нормальным: хи-квадрат, Стьюдента, Фишера. Практика: генерация выборок и визуальное исследование изменения формы распределений при изменении числа степеней свободы с наложением нормальной кривой для сравнения. Многомерное нормальное распределение, условные и маргинальные распределения. Практика: построение двумерных и трехмерных визуализаций с контурными графиками и исследование условных распределений при фиксировании одной из переменных. Генеральная совокупность и выборка, репрезентативность и виды выборок. Практика: имитация различных схем выборки из генеральной совокупности и визуальное сравнение распределений выборок между собой и с генеральной совокупностью. Порядковые статистики, размах и интерквартильный размах, эмпирическая функция распределения. Практика: построение эмпирических функций распределения для выборок разного объема с визуализацией сходимости к теоретической функции распределения. Точечное оценивание параметров, несмещенность, состоятельность и эффективность оценок. Практика: многократная симуляция выборок и построение распределений оценок для наглядной демонстрации несмещенности, состоятельности и относительной эффективности различных методов оценивания. Метод моментов и метод максимального правдоподобия. Практика: реализация обоих методов для стандартных распределений и сравнение качества оценок через MSE и визуализацию функции правдоподобия с выделением точки максимума. Доверительные интервалы для среднего, дисперсии и пропорции, интервалы предсказания. Практика: построение доверительных интервалов с визуализацией покрытия для множества симулированных выборок и исследование влияния объема выборки и уровня доверия на ширину интервала. Закон больших чисел и центральная предельная теорема. Практика: визуальная демонстрация сходимости среднего к матожиданию и нормализации распределения выборочных средних для выборок из любых исходных распределений. Стандартная ошибка среднего. Практика: исследование зависимости стандартной ошибки от объема выборки с визуализацией и сравнением с теоретической формулой. Бутстрэп для оценки неопределенности статистик. Практика: реализация бутстрэпа для произвольной статистики с построением распределения бутстрэп-оценок и доверительных интервалов с последующим сравнением с параметрическими методами. Логика проверки гипотез и принятия решений в условиях неопределенности, нулевая и альтернативная гипотезы, ошибки первого и второго рода, уровень значимости и статистическая мощность, практический размер эффекта. Практика: симуляция A/B-тестов с контролируемым эффектом и визуализация зависимости мощности от размера выборки и величины эффекта.
Параметрические тесты для сравнения групп: сравнение среднего с эталоном, сравнение двух независимых групп, сравнение двух связанных групп. Практика: автоматический выбор между параметрическим и непараметрическим тестом на основе проверки условий применимости, визуализация результатов с доверительными интервалами.
Дисперсионный анализ для сравнения трех и более групп, разложение вариабельности на внутригрупповую и межгрупповую составляющие, пост-хок сравнения с поправкой на множественные тесты. Практика: сквозной анализ влияния категориального фактора на целевую метрику с автоматической визуализацией боксплотов и выводом значимых различий между группами.
Непараметрические критерии для работы с ненормальными распределениями и порядковыми данными: альтернативы t-тесту для независимых и зависимых выборок, альтернатива однофакторному ANOVA. Практика: сравнение результатов параметрических и непараметрических тестов на одних и тех же данных с выбросами и демонстрация устойчивости непараметрических методов.
Критерий хи-квадрат для анализа категориальных данных: проверка независимости признаков в таблицах сопряженности, расчет ожидаемых частот и остатков, оценка силы связи между категориями. Практика: анализ пользовательских сегментов по категориальным признакам с визуализацией отклонений и интерпретацией бизнес-инсайтов. | 108 | 8 | 20 | 80 |