Статистический критерий как найти

Статистический критерий

Статистическим
критерием называется вычисленная по
определенному алгоритму величина
,
которая используется для проверки
основной гипотезы.

Критерий
вычисляется на основе экспериментальных
данных. При этом вычисленное эмпирическое
значениеможет оказаться таким, что, действуя по
определенному алгоритму, на данном
уровне значимости мы примем основную
гипотезу, а может оказаться таким, что
мы вынуждены будем ее отвергнуть, то
есть, принять конкурирующую гипотезу.

Критические точки статистического критерия

Критической
областью называется множество таких
значений критерия
,
при которых основная гипотезаотвергается. Областью принятия гипотезы,
напротив, называется множество тех
значений критерия,
при которых основная гипотезапринимается. Критическими значениями
критерияназываются точки,
отделяющие область принятия гипотезы
от критической области.

Так как статистический
критерий является одномерной величиной,
критическая область, как и область
принятия гипотезы — это некоторый
интервал на числовой прямой, ограниченный
одной или двумя критическим точками. В
связи с этим различают односторонние
и двусторонние критические области.

Двусторонняя
критическая область

Односторонняя
критическая область

Допустим, по
результатам эксперимента мы вычислили
некоторое эмпирическое значение критерия

.
Как выяснить принадлежит ли это значение
области принятия гипотезы, или наоборот:
критической области?

Следует понимать,
что нахождение критических точек и, как
следствие, области принятия гипотезы
для каждого критерия является отдельной,
сложной теоретико-вероятностной задачей.
Однако, следует также понимать, что эти
значения известны. Они табулированы и
представлены в виде приложений в
большинстве книг по теории вероятностей
и математической статистике. Так ими и
следует пользоваться: как известным
научным фактом, не задумываясь особенно
о том, откуда они берутся. Если речь идет
о критерии Пирсона, то следует
воспользоваться соответствующей
таблицей и сказать спасибо Пирсону за
то, что он избавил нас от необходимости
вычислять критическую область, если
речь идет о критерии Колмогорова-Смирнова,
следует сказать спасибо Колмогорову и
Смирнову и т. д.

Пример применения статистического критерия

Закончим, наконец,
рассмотрение примера о делении отрезка
двумя группами испытуемых: группой
студентов-инженеров и группой
студентов-дизайнеров. В этом исследовании
мы предположили, что сообщество дизайнеров
демонстрирует более широкий разброс
мнений по поводу гармоничности деления
отрезка точкой на две части. Такова наша
экспериментальная гипотеза. После
проведения эксперимента и получения
экспериментальных данных (а именно:
для студентов-инженеров идля студентов-дизайнеров) мы можем
сформулировать статистические гипотезы:

Обратите внимание,
что в экспериментальной гипотезе мы
предполагали существенное неравенство
дисперсий, а в основной статистической
гипотезе — наоборот: их равенство. Таким
образом, для подтверждения экспериментальной
гипотезы нам необходимо опровергнуть
основную статистическую гипотезу.
Такова специфика применяемого нами
критерия Фишера-Снедекора.

Алгоритм
Фишера-Снедекора состоит в следующем:

1. По данным двух
   выборок вычисляются выборочные
   дисперсии. Напомню, что мы получили
   следующие результаты:
   ,.

2. Эмпирическое
   значение
   -критерия
   Фишера-Снедекора вычисляется как
   отношение большей дисперсии к меньшей,
   в нашем случае это

1. По таблице
   критических значений Фишера-Снедекора
   определяют
   для
   уровня значимостии степеней свободы,,
   где—
   это объем выборки, обладающей большей
   дисперсией, а—
   объем выборки, обладающей меньшей
   дисперсией. Зададимся уровнем значимостии вычислим числа степеней свободы:,.
   Откуда

1. Сравниваем
   эмпирическое и критическое значение
   критерия:

Следовательно,
основная гипотеза отвергается и
принимается альтернативная:

.

Итак, проведенный
нами статистический анализ показывает,
что распределение коэффициентов деления
отрезка среди студентов-дизайнеров
обладает значимо большим разбросом
значений, нежели то же распределение
среди студентов-инженеров. Тем самым —
на уровне значимости
теперь
нами подтверждена наша экспериментальная
гипотеза:

сообщество
дизайнеров, то есть сообщество
производителей дизайна, демонстрирует
более широкий разброс мнений по поводу
гармоничности деления отрезка точкой
на две части, нежели сообщество
потребителей дизайна.

Соседние файлы в папке Лекции

• #
• #
• #
• #
• #
• #
• #
• #
• #

Проверка корректности А/Б тестов

Хабр, привет! Сегодня поговорим о том, что такое корректность статистических критериев в контексте А/Б тестирования. Узнаем, как проверить, является критерий корректным или нет. Разберём пример, в котором тест Стьюдента не работает.

Меня зовут Коля, я работаю аналитиком данных в X5 Tech. Мы с Сашей продолжаем писать серию статей по А/Б тестированию, это наша третья статья. Первые две можно посмотреть тут:

• Стратификация. Как разбиение выборки повышает чувствительность A/Б теста

• Бутстреп и А/Б тестирование

Корректный статистический критерий

В А/Б тестировании при проверке гипотез с помощью статистических критериев можно совершить одну из двух ошибок:

• ошибку первого рода – отклонить нулевую гипотезу, когда на самом деле она верна. То есть сказать, что эффект есть, хотя на самом деле его нет;

• ошибку второго рода – не отклонить нулевую гипотезу, когда на самом деле она неверна. То есть сказать, что эффекта нет, хотя на самом деле он есть.

Совсем не ошибаться нельзя. Чтобы получить на 100% достоверные результаты, нужно бесконечно много данных. На практике получить столько данных затруднительно. Если совсем не ошибаться нельзя, то хотелось бы ошибаться не слишком часто и контролировать вероятности ошибок.

В статистике ошибка первого рода считается более важной. Поэтому обычно фиксируют допустимую вероятность ошибки первого рода, а затем пытаются минимизировать вероятность ошибки второго рода.

Предположим, мы решили, что допустимые вероятности ошибок первого и второго рода равны 0.1 и 0.2 соответственно. Будем называть статистический критерий корректным, если его вероятности ошибок первого и второго рода равны допустимым вероятностям ошибок первого и второго рода соответственно.

Как сделать критерий, в котором вероятности ошибок будут равны допустимым вероятностям ошибок?

Вероятность ошибки первого рода по определению равна уровню значимости критерия. Если уровень значимости положить равным допустимой вероятности ошибки первого рода, то вероятность ошибки первого рода должна стать равной допустимой вероятности ошибки первого рода.

Вероятность ошибки второго рода можно подогнать под желаемое значение, меняя размер групп или снижая дисперсию в данных. Чем больше размер групп и чем ниже дисперсия, тем меньше вероятность ошибки второго рода. Для некоторых гипотез есть готовые формулы оценки размера групп, при которых достигаются заданные вероятности ошибок.

Например, формула оценки необходимого размера групп для гипотезы о равенстве средних:

где и – допустимые вероятности ошибок первого и второго рода, – ожидаемый эффект (на сколько изменится среднее), и – стандартные отклонения случайных величин в контрольной и экспериментальной группах.

Проверка корректности

Допустим, мы работаем в онлайн-магазине с доставкой. Хотим исследовать, как новый алгоритм ранжирования товаров на сайте влияет на среднюю выручку с покупателя за неделю. Продолжительность эксперимента – одна неделя. Ожидаемый эффект равен +100 рублей. Допустимая вероятность ошибки первого рода равна 0.1, второго рода – 0.2.

Оценим необходимый размер групп по формуле:

import numpy as np
from scipy import stats

alpha = 0.1                     # допустимая вероятность ошибки I рода
beta = 0.2                      # допустимая вероятность ошибки II рода
mu_control = 2500               # средняя выручка с пользователя в контрольной группе
effect = 100                    # ожидаемый размер эффекта
mu_pilot = mu_control + effect  # средняя выручка с пользователя в экспериментальной группе
std = 800                       # стандартное отклонение

# исторические данные выручки для 10000 клиентов
values = np.random.normal(mu_control, std, 10000)

def estimate_sample_size(effect, std, alpha, beta):
    """Оценка необходимого размер групп."""
    t_alpha = stats.norm.ppf(1 - alpha / 2, loc=0, scale=1)
    t_beta = stats.norm.ppf(1 - beta, loc=0, scale=1)
    var = 2 * std ** 2
    sample_size = int((t_alpha + t_beta) ** 2 * var / (effect ** 2))
    return sample_size

estimated_std = np.std(values)
sample_size = estimate_sample_size(effect, estimated_std, alpha, beta)
print(f'оценка необходимого размера групп = {sample_size}')

оценка необходимого размера групп = 784

Чтобы проверить корректность, нужно знать природу случайных величин, с которыми мы работаем. В этом нам помогут исторические данные. Представьте, что мы перенеслись в прошлое на несколько недель назад и запустили эксперимент с таким же дизайном, как мы планировали запустить его сейчас. Дизайн – это совокупность параметров эксперимента, таких как: целевая метрика, допустимые вероятности ошибок первого и второго рода, размеры групп и продолжительность эксперимента, техники снижения дисперсии и т.д.

Так как это было в прошлом, мы знаем, какие покупки совершили пользователи, можем вычислить метрики и оценить значимость отличий. Кроме того, мы знаем, что эффекта на самом деле не было, так как в то время эксперимент на самом деле не запускался. Если значимые отличия были найдены, то мы совершили ошибку первого рода. Иначе получили правильный результат.

Далее нужно повторить эту процедуру с мысленным запуском эксперимента в прошлом на разных группах и временных интервалах много раз, например, 1000.

После этого можно посчитать долю экспериментов, в которых была совершена ошибка. Это будет точечная оценка вероятности ошибки первого рода.

Оценку вероятности ошибки второго рода можно получить аналогичным способом. Единственное отличие состоит в том, что каждый раз нужно искусственно добавлять ожидаемый эффект в данные экспериментальной группы. В этих экспериментах эффект на самом деле есть, так как мы сами его добавили. Если значимых отличий не будет найдено – это ошибка второго рода. Проведя 1000 экспериментов и посчитав долю ошибок второго рода, получим точечную оценку вероятности ошибки второго рода.

Посмотрим, как оценить вероятности ошибок в коде. С помощью численных синтетических А/А и А/Б экспериментов оценим вероятности ошибок и построим доверительные интервалы:

def run_synthetic_experiments(values, sample_size, effect=0, n_iter=10000):
    """Проводим синтетические эксперименты, возвращаем список p-value."""
    pvalues = []
    for _ in range(n_iter):
        a, b = np.random.choice(values, size=(2, sample_size,), replace=False)
        b += effect
        pvalue = stats.ttest_ind(a, b).pvalue
        pvalues.append(pvalue)
    return np.array(pvalues)

def print_estimated_errors(pvalues_aa, pvalues_ab, alpha):
    """Оценивает вероятности ошибок."""
    estimated_first_type_error = np.mean(pvalues_aa < alpha)
    estimated_second_type_error = np.mean(pvalues_ab >= alpha)
    ci_first = estimate_ci_bernoulli(estimated_first_type_error, len(pvalues_aa))
    ci_second = estimate_ci_bernoulli(estimated_second_type_error, len(pvalues_ab))
    print(f'оценка вероятности ошибки I рода = {estimated_first_type_error:0.4f}')
    print(f'  доверительный интервал = [{ci_first[0]:0.4f}, {ci_first[1]:0.4f}]')
    print(f'оценка вероятности ошибки II рода = {estimated_second_type_error:0.4f}')
    print(f'  доверительный интервал = [{ci_second[0]:0.4f}, {ci_second[1]:0.4f}]')

def estimate_ci_bernoulli(p, n, alpha=0.05):
    """Доверительный интервал для Бернуллиевской случайной величины."""
    t = stats.norm.ppf(1 - alpha / 2, loc=0, scale=1)
    std_n = np.sqrt(p * (1 - p) / n)
    return p - t * std_n, p + t * std_n

pvalues_aa = run_synthetic_experiments(values, sample_size, effect=0)
pvalues_ab = run_synthetic_experiments(values, sample_size, effect=effect)
print_estimated_errors(pvalues_aa, pvalues_ab, alpha)

оценка вероятности ошибки I рода = 0.0991
  доверительный интервал = [0.0932, 0.1050]
оценка вероятности ошибки II рода = 0.1978
  доверительный интервал = [0.1900, 0.2056]

Оценки вероятностей ошибок примерно равны 0.1 и 0.2, как и должно быть. Всё верно, тест Стьюдента на этих данных работает корректно.

Распределение p-value

Выше рассмотрели случай, когда тест контролирует вероятность ошибки первого рода при фиксированном уровне значимости. Если решим изменить уровень значимости с 0.1 на 0.01, будет ли тест контролировать вероятность ошибки первого рода? Было бы хорошо, если тест контролировал вероятность ошибки первого рода при любом заданном уровне значимости. Формально это можно записать так:

Для любого выполняется .

Заметим, что в левой части равенства записано выражение для функции распределения p-value. Из равенства следует, что функция распределения p-value в точке X равна X для любого X от 0 до 1. Эта функция распределения является функцией распределения равномерного распределения от 0 до 1. Мы только что показали, что статистический критерий контролирует вероятность ошибки первого рода на заданном уровне для любого уровня значимости тогда и только тогда, когда при верности нулевой гипотезы p-value распределено равномерно от 0 до 1.

При верности нулевой гипотезы p-value должно быть распределено равномерно. А как должно быть распределено p-value при верности альтернативной гипотезы? Из условия для вероятности ошибки второго рода следует, что .

Получается, график функции распределения p-value при верности альтернативной гипотезы должен проходить через точку , где и – допустимые вероятности ошибок конкретного эксперимента.

Проверим, как распределено p-value в численном эксперименте. Построим эмпирические функции распределения p-value:

import matplotlib.pyplot as plt

def plot_pvalue_distribution(pvalues_aa, pvalues_ab, alpha, beta):
    """Рисует графики распределения p-value."""
    estimated_first_type_error = np.mean(pvalues_aa < alpha)
    estimated_second_type_error = np.mean(pvalues_ab >= alpha)
    y_one = estimated_first_type_error
    y_two = 1 - estimated_second_type_error
    X = np.linspace(0, 1, 1000)
    Y_aa = [np.mean(pvalues_aa < x) for x in X]
    Y_ab = [np.mean(pvalues_ab < x) for x in X]

    plt.plot(X, Y_aa, label='A/A')
    plt.plot(X, Y_ab, label='A/B')
    plt.plot([alpha, alpha], [0, 1], '--k', alpha=0.8)
    plt.plot([0, alpha], [y_one, y_one], '--k', alpha=0.8)
    plt.plot([0, alpha], [y_two, y_two], '--k', alpha=0.8)
    plt.plot([0, 1], [0, 1], '--k', alpha=0.8)

    plt.title('Оценка распределения p-value', size=16)
    plt.xlabel('p-value', size=12)
    plt.legend(fontsize=12)
    plt.grid()
    plt.show()

plot_pvalue_distribution(pvalues_aa, pvalues_ab, alpha, beta)

P-value для синтетических А/А тестах действительно оказалось распределено равномерно от 0 до 1, а для синтетических А/Б тестов проходит через точку .

Кроме оценок распределений на графике дополнительно построены четыре пунктирные линии:

• диагональная из точки [0, 0] в точку [1, 1] – это функция распределения равномерного распределения на отрезке от 0 до 1, по ней можно визуально оценивать равномерность распределения p-value;

• вертикальная линия с – пороговое значение p-value, по которому определяем отвергать нулевую гипотезу или нет. Проекция на ось ординат точки пересечения вертикальной линии с функцией распределения p-value для А/А тестов – это вероятность ошибки первого рода. Проекция точки пересечения вертикальной линии с функцией распределения p-value для А/Б тестов – это мощность теста (мощность = 1 — ). 

• две горизонтальные линии – проекции на ось ординат точки пересечения вертикальной линии с функцией распределения p-value для А/А и А/Б тестов.

График с оценками распределения p-value для синтетических А/А и А/Б тестов позволяет проверить корректность теста для любого значения уровня значимости.

Некорректный критерий

Выше рассмотрели пример, когда тест Стьюдента оказался корректным критерием для случайных данных из нормального распределения. Может быть, все критерии всегда работаю корректно, и нет смысла каждый раз проверять вероятности ошибок?

Покажем, что это не так. Немного изменим рассмотренный ранее пример, чтобы продемонстрировать некорректную работу критерия. Допустим, мы решили увеличить продолжительность эксперимента до 2-х недель. Для каждого пользователя будем вычислять стоимость покупок за первую неделю и стоимость покупок за второю неделю. Полученные стоимости будем передавать в тест Стьюдента для проверки значимости отличий. Положим, что поведение пользователей повторяется от недели к неделе, и стоимости покупок одного пользователя совпадают.

def run_synthetic_experiments_two(values, sample_size, effect=0, n_iter=10000):
    """Проводим синтетические эксперименты на двух неделях."""
    pvalues = []
    for _ in range(n_iter):
        a, b = np.random.choice(values, size=(2, sample_size,), replace=False)
        b += effect
        # дублируем данные
        a = np.hstack((a, a,))
        b = np.hstack((b, b,))
        pvalue = stats.ttest_ind(a, b).pvalue
        pvalues.append(pvalue)
    return np.array(pvalues)

pvalues_aa = run_synthetic_experiments_two(values, sample_size)
pvalues_ab = run_synthetic_experiments_two(values, sample_size, effect=effect)
print_estimated_errors(pvalues_aa, pvalues_ab, alpha)
plot_pvalue_distribution(pvalues_aa, pvalues_ab, alpha, beta)

оценка вероятности ошибки I рода = 0.2451
  доверительный интервал = [0.2367, 0.2535]
оценка вероятности ошибки II рода = 0.0894
  доверительный интервал = [0.0838, 0.0950]

Получили оценку вероятности ошибки первого рода около 0.25, что сильно больше уровня значимости 0.1. На графике видно, что распределение p-value для синтетических А/А тестов не равномерно, оно отклоняется от диагонали. В этом примере тест Стьюдента работает некорректно, так как данные зависимые (стоимости покупок одного человека зависимы). Если бы мы сразу не догадались про зависимость данных, то оценка вероятностей ошибок помогла бы нам понять, что такой тест некорректен.

Итоги

Мы обсудили, что такое корректность статистического теста, посмотрели, как оценить вероятности ошибок на исторических данных и привели пример некорректной работы критерия.

Таким образом:

• корректный критерий – это критерий, у которого вероятности ошибок первого и второго рода равны допустимым вероятностям ошибок первого и второго рода соответственно;

• чтобы критерий контролировал вероятность ошибки первого рода для любого уровня значимости, необходимо и достаточно, чтобы p-value при верности нулевой гипотезы было распределено равномерно от 0 до 1.

В заключительной части блока по теории вероятностей мы рассмотрим как применять критерии на практике и принцип их работы.

В проверке гипотез мы делаем предположение о распределении данных, и наша задача состоит в том, чтобы определить, содержит ли выборка достаточно информации, чтобы отвергнуть это предположение или нет. Но прямо «в лоб» говорить, что эта гипотеза верная мы не можем:

Чтобы иметь возможность отвергнуть предположение, нам необходимо предоставить альтернативу — иное предположение о распределении данных, относительно которого мы будем решать, отвергать основную гипотезу или нет. Т.е. мы сравниваем обе гипотезы и выбираем ту, которая наиболее вероятна.

Статистический критерий

Обратимся к классическому примеру: предположим, что кто-то подбросил 16 раз монетку, и в 12 случаях она упала орлом вверх. Можно ли считать эту монетку симметричной?

Здесь у нас такое же классическое распределение Бернулли: X₁, . . . , X_n ∼ Ber(p).

H₀: p = 1/2 (основная или нулевая гипотеза).

H₁: p ≠ 1/2 (альтернативная гипотеза).

Правило, позволяющее принять или отвергнуть гипотезу H₀ на основе выборки называется статистическим критерием. Сам статистический критерий задается при помощи функции от выборки T(x₁, . . . , x_n), называемой статистикой критерия. Каждый критерий считает некоторую функцию от данных.

Проверка гипотезы

Как узнать, что гипотеза H₀ верная? В нашем примере в качестве статистики T можно взять

T(x₁, . . . , x_n) = x₁ + . . . + x_n.

При верной типичными значениями H₀ будут значения, близкими к n/2, а экстремальными — значения, близкие к 0 или n. Итого:

• При верной H₀ имеет распределение Bin(n, p) с p = 1/2
• При верной H₁ имеет распределение Bin(n, p), но с p ≠ 1/2

Давайте объединим все данные, которые мы имеем:

Выборка: X = (x₁, . . . , x_n), X_i ∼ F (все случайные величины имеют какое-то конкретное распределение)

Нулевая гипотеза: H₀ : F ∈ Ϝ₀ (F принадлежит какому-то классу распределений Ϝ)

Альтернативная гипотеза: H₁ : F ∈ Ϝ₁, Ϝ₁ ∩ Ϝ₀ = ∅ (два класса не должны пересекаться)

Статистика: T(x₁, . . . , x_n), T(X) ∼ G₀ при H₀ (если мы подставляем в статистику подставляем выборку из случайных величин, то статистика H₀ должна иметь какое-то конкретное распределение) , T(X) не∼ G₀ при H₁

Фактический уровень значимости или p-value — это вероятность для статистики T при верной H₀ принять значение t = T(x), которое получилось на выборке x = (x₁, . . . , x_n) или ещё более экстремальное. Иногда p-value называют достигаемым уровнем значимости.

Если для статистики T экстремальными значениями являются большие значения, то это можно записать так:

p(x) = P(T(X) ≥ t | H₀).

Нулевая гипотеза H₀ отвергается при p(x) ≤ α, α — уровень значимости, который мы задаем. Вероятность отвергнуть нулевую гипотезу зависит не только от того, насколько она отличается от истины, но и от размера выборки: по мере увеличения n нулевая гипотеза может сначала приниматься, но потом выявятся более тонкие несоответствия выборки гипотезе H₀, и она будет отвергнута.

Пример

Ваш закадычный друг утверждает, что у него есть некоторый скилл: он различает чем разбавлен коньяк в коктейле — кока-колой или пепси, и предпочитает только колу. Протестируем его предложим ему выпить n-количестве коктейлей, чтобы проверить: сможет ли он отличить колу от пепси.

Выборка: X = (x₁, . . . , x_n), где X_i ∼ Ber(p).

Реализация выборки: x = (x₁, . . . , x_n) — это вектор длины n, где

• 0 — Друг выбрал коктейль с пепси
• 1 — Друг выбрал коктейль с колой

Статистика: T(x₁, . . . , x_n) = x₁ + . . . + x_n.

Реализация статистики: t = T(x).

Гипотезы:

• H₀: друг не может различить колу от пепси p = 1/2.
• H₁: друг может различить колу от пепси, p > 1/2.

Какие значения T считаются экстремальными? При альтернативе H₁ экстремальными являются большие значения t (они свидетельствуют против H₀ в пользу H₁).

Если нулевая гипотеза H₀ справедлива и друг не может различить колу от пепси, то
T будет иметь биномиальное распределение Bin(n, 1/2).

Пусть количество коктейлей n = 16, тогда Bin(n, 1/2) будет иметь следующий вид

Предположим, что t = 12, то есть в 12 случаях из 16 друг действительно угадал, что в стакане кола. В таком случае p-value будет равен:

P(T(X) ≥ 12 | H₀) = 2517 / 65536 ≈ 0.0384

Здесь у нас p-value достаточно мало — это указывает на то, что альтернативная гипотеза (H₁) более вероятна, т.е. друг действительно различит колу от пепси

Теперь немного изменим альтернативную гипотезу:

H₁: Друг любит определенный коктейль, но неизвестно какой (с колой или с пепси), то есть p ≠ 1/2. При такой альтернативе и большие, и маленькие значения t будут
свидетельствовать против H₀ в пользу H₁

Предположим (снова), что t = 12, то есть в 12 случаях из 16 друг действительно угадал, что в стакане кола (опять). Тогда p-value будет равен:

P(T(X) ≥ 12 или T(X) ≤ 4|H₀) = 5034 / 65536 ≈ 0.0768

Критерии согласия

Критерии, которые отвечают на вопрос согласуется ли распределения данных с каким-либо видом распределения, называют критериями согласия.

Пусть нам дана выборка x₁, . . . , x_n ∼ F, где F — некоторое неизвестное распределение. Давайте рассмотрим критерии согласия, в которых в качестве H₀ будем рассматривать гипотезу о принадлежности F какому-то параметрическому семейству, то есть F ∈ Ϝ₀. Альтернативой H₁ мы будем считать принадлежность F всем остальным распределениям

• H₀: F ∈ Ϝ₀ (нулевая гипотеза), проверяем гипотезу, что наше распределение F, которое мы не знаем, принадлежит некоторому классу распределений Ϝ₀
• H₁: F ∉ Ϝ₀ (альтернативная гипотеза)

где Ϝ₀ — некоторое параметрическое семейство распределений.

Критерии согласия так называются, потому что они отвечают на вопрос, согласуется ли наша выборка с каким-то параметрическим семейством или нет. В англоязычной литературе такие критерии называют Goodness of Fit

Чтобы построить критерий согласия достаточно найти такое свойство, которое будет выполняться для всех распределений в классе и на его основе реализовать статистику. Возьмем за правило, что произвольная гипотеза H является простой, если H : F = F₀, то есть гипотеза заключается в равенстве одному конкретному распределению F₀. В противном случае мы будем называть гипотезу сложной, т.е. нулевая гипотеза состоит из нескольких распределений (двух и более)

Произведем проверку простой нулевой гипотезы:

•  H₀ : F = F₀ для некоторого конкретного распределения F₀.
•  H₁ : F ≠ F₀.

Критерий Колмогорова

Критерий Колмогорова позволяет проверить гипотезу согласия для непрерывного случая и основан на отклонении функции распределения F₀ построенной по выборке эмпирической функции распределения

Функцией распределения случайной величины X называют функцию
F_X : R → [0, 1], задаваемая следующей формулой

F_X(u) = P(X ≤ u)

Значение F в точке u сосредотачивает вероятности всех возможных значений X вплоть до u (включительно).

Основное свойство функций распределения:

Любую случайную величину X можно задать через функцию распределения. То есть по функции распределения можно восстановить распределение случайной величины X:

• В дискретном случае можно восстановить a_k и p_k (т.е. сможем найти возможные значения и вероятности)
• В непрерывном случае можно восстановить f(u) (т.е. восстановить функцию плотности)

Эмпирическая функция распределения — это функция, которая оценивает истинную функцию распределения выборки F. Она задается формулой

где I_{xi≤u} — индикатор события {xi ≤ u} — это функция, которая равна 1, если событие
произошло, и 0 в обратном случае).

Визуально график представляет собой кусочно-постоянную функцию, у которой скачки происходят в точках выборки x₁, . . . , x_n, а высота скачков равна 1/n. По графику видимо, что истинная функция распределения хорошо аппроксимируется с эмпирической функцией распределения

Для выборки достаточно большого размера, эмпирическая функция распределения Fbn(u) не должна существенно отклоняться от истинной функции распределения F.

Теорема (Гливенко-Кантелли)

Если F — это  функция распределения элементов выборки, то F_n(u) будет эмпирической функцией распределения, построенной по этой выборке. Тогда, для всех одновременно аргументов функции (u) и при n → ∞

Эмпирическая функция распределения будет стремиться к истинной функции распределения с вероятностью 1 

Статистика критерия Колмогорова основана на такой величине максимального отклонения одной функции от другой:

Теорема (Колмогоров)

Пусть верна гипотеза H₀, то есть F₀ является функцией распределения элементов выборки. Если F₀ непрерывна, то, при n → ∞, для любого t > 0

K(t) называется функцией Колмогорова, а соответствующее ему распределение — распределением Колмогорова. Быстрая сходимость к предельному закону позволяет пользоваться этим приближением уже при n ≥ 20. Условие непрерывности функции распределения необходимо

Критерий Пирсона (хи-квадрат)

Критерий Пирсона можно использовать для проверки простой гипотезы согласия в дискретном случае (можно и для непрерывного — но это

Пусть F₀ является (пока конечным) дискретным законом, который задается таблицей распределения

Критерий Пирсона базируется уже на другой статистике — частотах. Статистикой критерия является величина

где V_i (греческая буква ню) — количество значений a_i в выборке x₁, . . . , x_n.

Распределением χ²_k (хи-квадрат) с k степенями свободы называется распределение случайной величины

Y = χ²₁ + . . . + χ²_k

где x₁, . . . , x_k независимы и стандартно нормально распределены, то есть X_i ∼ N (0, 1).

Теорема (Пирсон)

Если при n → ∞ распределение статистики T_n сходится к распределению χ²_k-1 то нулевая гипотеза верна, т.е. F₀ является функцией распределения элементов выборки

Приближение распределения статистики T_n с помощью закона χ²_k-1 является достаточно точным при n ≥ 50 и npi ≥ 5 для всех i = 1, . . . , k.

Сложные нулевые гипотезы

Лучше всего проверять гипотезы со специализированными критериями. Поэтому давайте посмотрим на самые чувствительные критерии, которые построены для конкретных семейств распределений.

Проверка экспоненциальности (показательности)

Исключение неизвестного параметра

Положим S_k = X₁ + . . . + X_k, k = 1, . . . , n.

Можно доказать, что для экспоненциального распределения вектор (т.е. выборка Xi-тых заменённая на такую) S₁/S_n, . . . , S_n−1/S_n, распределен так же, как и упорядоченный ряд из равномерного распределения на [0, 1] размера n − 1.

Данное преобразование сводит задачу к проверке равномерности, которую можно решить с помощью критерия Колмогорова. Но за исключение «мешающего» параметра λ приходится платить уменьшением размера выборки на 1.

Критерий Джини (Gini)

Этот критерий базируется на статистике, а по сути индексу Джини:

где X_(i) — это i-ый элемент в упорядоченной по возрастанию выборке (вариационном ряду). Известно, что при верной H₀ величина 12(n − 1)(G_n − 0.5) сходится к нормальному распределению. На этом факте и основан критерий Джини.

Проверка экспоненциальности (показательности)

Для проверки экспоненциальности существует и ряд других критериев (например, Шапиро-Уилка для экспоненциального случая или Андерсона-Дарлинга).

Проверка нормальности

Критерий Шапиро-Уилка (Shapiro-Wilk).

Критерий Шапиро-Уилка базируется на статистике, которая является отношением квадрата линейной оценки стандартного отклонения к смещенной оценке дисперсии:

где a_i — некоторые константы. При верной H₀ распределение SW_n является табличным. На этом факте и основан критерий Шапиро-Уилка.

Критерий Харке-Бера (Jarque-Bera). Этот критерий основан на статистике, которая использует выборочные коэффициенты асимметрии и эксцесса:

где µ_k — центрированный выборочный момент порядка k

Данная статистика сходится к распределению χ²₂. На этом факте и основан критерий Харке-Бера.

Квантильный график

До проверки критериев мы делаем визуальный анализ данных. Согласия хорошо проверять с помощью гистограммы. Но по ней довольно сложно судить о правильности убывания хвостов. Чтобы это проверить был придуман квантильный график

Согласие выборки с распределением, которое образовано с помощью сдвига/масштаба, можно проверить визуально с помощью квантильного графика (Q-Q Plot). К таким распределениям относятся: равномерное, экспоненциальное, нормальное и т.д.

На квантильном графике имеются точки, которые должны расположится вдоль некоторой прямой. Если они располагаются как на графике ниже — тогда у нас отличное согласие.

Критерии однородности (A/B тесты)

Критерия однородности, в отличии от критериев согласия, не проверяют согласия выборки с каким-то конкретным распределением, а рассматривают согласие двух выборок, т.е. мы хотим проверить гипотезу, что у них одинаковое распределение.

Например, у нас есть автолюбители, которые предпочитают шины марки А — это будет первая выборка, а есть те, которые без ума от шин марки Б — это будет вторая выборка. Значения в этих выборках — это эффективность работы автомобильных шин (длина тормозного пути, эффективность торможения, шум и т.д.). Требуется выяснить, имеется ли значимое различие эффективности шин А и Б

Есть еще и другой пример: Первая выборка — характеристики до переобувания в зимнюю резину (пусть будут все те же самые, что и выше). Вторая выборка — характеристики после переобувания в зимнюю резину. Требуется выяснить, имеется ли значимое отличие в характеристиках до и после переобувания.

Эти примеры разные в том плане, что в одном случае мы имеем дело с независимым выборкам, а в другом — с зависимыми выборками. Мы будем применять для этих случаев разные критерии.

Параметрические и непараметрические критерии

Параметрические критерии предполагают, что выборка имеет нормальное распределение, т.е. взята из некоторого параметрического семейства распределений. Статистики параметрических критериев более чувствительны к отклонениям от нулевой гипотезы и, в целом, работаю лучше, чем непараметрические (грубо говоря p-value у параметрических обычно ниже, чем у непараметрических критериев)

Но есть одна интересная особенность: непараметрические критерии работают лучше в случае, если совсем немного отходим от нормального распределения. При небольших отклонениях от идеальных условий — они не требуют идеальных условий, например, нормальности данных.

Независимые выборки

Двухвыборочный t-критерий Стьюдента (Уэлча)

Данные критерии основаны на распределении Стьюдента t_k с k степенями свободы называется распределение случайной величины, где в числителе стандартная случайная величина, в знаменателе —  квадратный корень распределения хи-квадрат с k степенями свободы деленный на количество степеней свободы

где X ∼ N (0, 1), Y ∼ χ²_k и являются независимыми.

Плотность распределения Стьюдента с k степенями свободы:

где Γ(u) — гамма-функция Эйлера (специальная функция). Как мы видим, здесь хвосты убывают «тяжелее», чем у нормального распределения

Теорема (Лемма Фишера).Пусть X₁, . . . , X_n — выборка из нормального распределения N (µ, σ²). Обозначим среднее арифметическое по выборке и несмещенную оценку для дисперсии:

Тогда случайные величины X и S² независимы

• Выборки: X = (X₁, . . . , X_n1), X_i ∼ N (µ₁, σ²₁) и Y = (Y₁, . . . , Y_n2), Y_i ∼ N (µ₂, σ²₂). Выборки могут быть разного размера и имеют нормально распределение. Нюанс: X, Y независимые, σ₁ и σ₂ неизвестны
• Нулевая гипотеза: H₀ : µ₁ = µ₂
• Альтернатива: H₁ : µ₁ ≠ µ₂ или µ₁ > µ₂, или µ₁ < µ₂
• Нулевое распределение: T_n ≈ t_k для некоторого k ∈ N

В целом сравнение средних двух нормальных выборок при неизвестных и неравных дисперсиях известна как проблема Беренса-Фишера. При этом рассмотренная аппроксимация (критерий Уэлча) достаточно точна в двух ситуациях:

• Если выборки одинакового размера n₁ = n₂.
• Если знак неравенства между n₁ и n₂ такой же, как между σ₁ и σ₂,
  то есть выборка с большей дисперсией имеет больший объем.

Критерий Колмогорова-Смирнова

В качестве первого непараметрического критерия можно использовать модификацию критерия Колмогорова (для непрерывных распределений). Например,  две выборки X = (X₁, . . . , X_n) и Y = (Y₁, . . . , Y_n2) с функциями распределения F_X и F_Y соответственно. Обозначим их эмпирические функции распределения и рассмотрим статистику

Если F_X = F_Y , то D_n должна принимать малые значения

При выполнении нулевой гипотезы F_X = F_Y , для любого t > 0 выполняется

где K(t) — функция Колмогорова (при n₁, n₂ ≥ 20 аппроксимация является достаточно точной)

• Выборки: X = (X₁, . . . , X_n1), X_i ∼ F_X и Y = (Y₁, . . . , Y_n2), Y_i ∼ F_y (X, Y независимые; F_X, F_Y непрерывные)
• Нулевая гипотеза: H₀ : F_X = F_Y
• Альтернатива: H₁ : F_X ≠ F_Y

Критерий Манна-Уитни

Критерий Манна-Уитни (или ранговых сумм Уилкоксона) — еще один непараметрический критерий для проверки гипотезы однородности. Он был предложен Уилкоксоном для выборок одинакового размера. Манн и Уитни обобщили его на случай выборок разного размера.

Напомним, что по любой выборке X₁, . . . , X_n всегда можно сопоставить вариационный ряд, то есть упорядочить её по неубыванию:

Рангом наблюдения X_i называется:

• Его позиция в вариационном ряду, если X_i не попадает в связку
• (j₁ + j₂)/2, если x_i попадает в связку от j₁ до j₂; то есть в связке все
  объекты получают одинаковый средний ранг.

Критерий Манна-Уитни основан на следующей статистике V_n:

• Обозначим через R_j ранг порядковой статистики Y_(j), j = 1, . . . , m, в вариационном ряду, построенном по объединенной выборке (X₁, . . . , X_n1, Y₁, . . . , Y_n2).
• Положим V_n = R₁ + . . . + R_n2

• Выборки: X = (X₁, . . . , X_n1), X_i ∼ F_X и Y = (Y₁, . . . , Y_n2), Y_i ∼ F_y (X, Y независимые)
• Нулевая гипотеза: H₀ : F_X = F_Y
• Альтернатива: H₁ : F_X ≠ F_Y
• Статистика: V_n = R₁ + . . . + R_n2
• Нулевое распределение: табличное для малых выборок нормальное приближение для больших выборок

Зависимые выборки

Двухвыборочный t-критерий Стьюдента

В некоторых случаях связанные выборки имеют элементы X_i и Y_i
соответствуют одному и тому же объекту, но измерения сделаны в
разные моменты (например, до и после применения лекарства).
Размеры выборок в этом случае должны совпадать:

n₁ = n₂ = n

Рассмотрим выборку, образованную разностями X_i и Y_i

Z_i = Y_i − X_i, i = 1, . . . , n.

Сравнение средних в зависимых выборках ничем не отличается от сравнения среднего разности Z_i с нулём.

• Выборки: X = (X₁, . . . , X_n1), Y = (Y₁, . . . , Y_n2), Z_i = Y_i − X_i и Z_i ∼ N (µ, σ²). При этом X, Y зависимые, σ неизвестна
• Нулевая гипотеза: H₀ : µ = 0
• Альтернатива: H₁ : µ ≠ 0 или µ > 0, или µ < 0
• Нулевое распределение: T_n ∼ t_n−1

Далее, чтобы сформулировать непараметрические критерии, возьмем каждое приращение Z_i и разложим их на две части:

Zi = θ + εi, i = 1, . . . , n

где θ — систематический сдвиг, который не зависит от человека, а ε_i — случайные ошибки, включающие в себя влияние неучтенных факторов на Z_i

В данных обозначениях нулевую гипотезу H₀ можно записать как H₀: θ = 0. Мы будем предполагать, что ε₁, . . . , ε_n независимы и имеют непрерывные и разные распределения с равной нулю медианой.

Критерий знаков

Самым простым непараметрическим критерием однородности для двух зависимых выборок является критерий знаков. Статистикой критерия знаков является величина

При верной H₀ статистика S_n будет иметь биномиальное распределение Bin(n, 1/2), т.е. с успехом 1/2. Для больших n можно использовать сходимость к нормальному закону.

• Выборки: X = (X₁, . . . , X_n1), X_i ∼ F_X, Y = (Y₁, . . . , Y_n2), Y_i ∼ F_Y,  Z_i = Y_i − X_i и Z_i = θ + ε_i
• Нулевая гипотеза: H₀ : θ = 0
• Альтернатива: H₁ : θ ≠ 0 или θ > 0, или θ < 0
• Нулевое распределение: S_n ∼ Bin(n, 1/2)

Критерий знаковых рангов Уилкоксона

Предположим, что случайные величины ε₁, . . . , ε_n имеют одинаковое распределение, симметричное относительно медианы (или же нуля). Условие строгой симметрии относительно медианы является почти столь же нереалистичным, как и предположение, что распределение величин Z_i в точности нормально. Как правило, надежно проверить симметрию можно лишь по выборке из нескольких сотен наблюдений

Критерий знаковых рангов Уилкоксона основан на статистике

W_n = R₁U₁ + . . . + R_nU_n,

где U_i = I_{Zi>0} и R_i — ранги величин |Z_i| в ряду |Z₁|, . . . , |Z_n|.

При верной H₀ статистика W_n будет иметь табличное распределение (его можно посчитать явно). Для больших n можно использовать сходимость к нормальному
закону.

• Выборки: X = (X₁, . . . , X_n1), X_i ∼ F_X, Y = (Y₁, . . . , Y_n2), Y_i ∼ F_Y,  Z_i = Y_i − X_i и Z_i = θ + ε_i, X, Y зависимые, ε_i симметрично распределены
• Нулевая гипотеза: H₀ : θ = 0
• Альтернатива: H₁ : θ ≠ 0 или θ > 0, или θ < 0
• Нулевое распределение: табличное для малых выборок нормальное приближение для больших выборок

Ведение статистики, тестирование различных вариантов данных с отслеживанием эффективности изменений имеет огромное значение в отношении выбора той или иной концепции развития. Однако для анализа важно выбрать только значимые для статистики данные. В этой статье разберемся с понятием статистическая значимость в целом и в A/B тестах, а также рассмотрим, как ее оценивать и рассчитывать.

Нашли ошибку в тексте? Выделите нужный фрагмент и нажмите
ctrl
+
enter

Выбор статистического критерия для тестирования гипотез

Прежде чем приступать к выбору статистического критерия, нужно определиться с тем, от чего зависит применение тех или иных статистических методов. Ранее мы уже подразделяли наши данные на количественные и качественные (см. статью «Типы данных»), изучали способы их описания  в зависимости от типов признаков  и видов распределения (см. статью «Описательная статистика» и «Виды распределений»). Для вариационных рядов, которые имеют нормальное распределение, мы рассчитывали определенные параметры, с помощью которых можно описать вариационный ряд. Для нормального распределения это – средняя величина и стандартное отклонение. В случае распределения, отличного от нормального,  используются медиана и интерквартильный интервал,  с помощью которых можно было описать большую часть данных.

Определение задачи, которая будет решаться с использованием статистических методов.

До того, как выбирать тот или иной статистический критерий исследователь прежде всего должен определиться, какие именно задачи будут решаться, и какие методы (статистические тесты) для этого будут подбираться.

Как таковые задачи можно разделить на несколько групп:

Предварительные задачи: Описание данных

Само по себе описание данных не является аналитической задачей. Задача описания данных состоит в упорядочивании и компактном представлении данных. Методы описательной статистики напрямую зависит от типа данных, с которым мы имеем дело. Ранее мы уже подразделяли наши данные на количественные и качественные (см. статью «Типы данных»), изучали способы их описания  в зависимости от типов признаков  и видов распределения (см. статью «Описательная статистика» и «Виды распределений»). Для вариационных рядов, которые имеют нормальное распределение, мы рассчитывали определенные параметры, с помощью которых можно описать вариационный ряд. Для нормального распределения это – средняя величина и стандартное отклонение. В случае распределения, отличного от нормального,  используются медиана и интерквартильный интервал,  с помощью которых можно было описать большую часть данных. Для качественных данных описание заключается в нахождении частот, долей, пропорций, представление в виде абсолютных и относительных величин.

1. Оценка динамики явления — решается прежде всего через инструменты оценки динамических рядов
2. Анализ различий между группами (статистическими совокупностями) в зависимости от типа данных и распределения количественных данных, количества и связанности групп может применяться большое количество инструментов. Этот пункт будет изложен в этой статье подробным образом
3. Выявление и оценка взаимовлияний в динамике — в зависимости от типа данных и их распределения используются различные методы корелляционного анализа.
4. Прогноя явлений — используются линейные и логистические регрессии (возможно, в связке с ROC-analysis), деревья решений, нейронные сети, различные вариантры дискриминативного анализа
5. Группировка явлений и выявление общих свойств группы — варианты кластерного анализа.

Выбор статистического критерия для тестирования гипотез о различии групп

Наиболее частой задачей является сравнение статистических совокупностей (групп, выборок) на предмет статистически значимых различий между ними (подробнее см. «Ошибка первого рода, статистическая значимость»). К примеру в результате исследования «случай-контроль» или когортного исследования необходимо сравнить показатели длительности послеоперационного периода, частоты осложнений, функционального состояния импланта и пр.

Алгоритм выбора (Рисунок 1).

1. Уточните тип данных (количественные или качественные)
2. В случае количественных данных уточните тип распределения (нормальное или отличное от нормального)
3. Уточните количество групп сравнения. Важный пункт, о котором часто забывают сравнивать группы 1 раз попарно в случае двух групп и три раза попарно в случае трех не одно и тоже. В данном контексте нужно учитывать увеличение ошибки первого рода в случае множественных сравнений. Для таких ситуаций есть отдельные статистические методы (к примеру вместо т-критерия стьюдента используется дисперсионный анализ).
4. Уточните, связан ли группы сравнения между собой (в данном случае речь идет об идентичности единиц наблюдения в группах), т.е. являются ли единицы наблюдения в группах разными носителями признака (независимые или «опыт-контроль»), или это одни и те же пациенты, опрашиваемые, предметы,  сопряженные «до и после эксперимента». В зависимости от ответа на этот вопрос меняется логика выбора статистического критерия.

В случае выбора статистического критерия для сравнения количественных данных нужно учитывать распределение признака: является ли оно нормальным или отличным от нормального. В первом случае, как и при описании вариационного ряда, мы будет использовать параметры распределения, отсюда и название этой группы методов: параметрические методы, в случае отличного от нормального распределения следует использовать непараметрические методы.

Параметрические статистические методы
Класс статистических методов, используемых для анализа данных, которые образуют известное распределение (обычно нормальное). Названы так потому, что основываются на оценке параметров (таких как среднее или стандартное отклонение) выборочного распределения интересующей величины.
Непараметрические методы
Непараметрические методы не основываются на оценке параметров (таких как среднее или стандартное отклонение) при описании выборочного распределения интересующей величины. Поэтому эти методы иногда также называются свободными от параметров или свободно распределенными.
Статистические методы с (некоторыми) желательными свойствами, сохраняющимися при относительно слабых допущениях о рассматриваемых генеральных совокупностях. Непараметрические методы позволяют обрабатывать данные «низкого качества» из выборок малого объёма с переменными, про распределение которых мало что или вообще ничего неизвестно.

Рисунок 1. Выбор статистического критерия для сравнения статистических совокупностей (По Мильчаков К.С.)

Пример выбора статистического критерия для сравнения статистических совокупностей

Пример 1:  Для оценки успешности реабилитации после эндопротезирования коленного сустава было проведено исследование у двух выборок (n1=10; n2=10) на предмет скорости восстановления к сгибанию в колене. В первой выборке оказались люди прошедшие полный курс реабилитации, во второй пациенты, отказавшиеся от услуг реабилитолога. Сделайте статистический вывод о пользе реабилитологического сопровождения на основании представленных данных, прдположим, что данные распределены отличным от нормального образом.

Ответ: Тип данных: количественный, непрерывный, распределение: отличное от нормального, количество групп: 2, связанность групп: не связаны. необходимо использовать критерий Манна-Уитни

Пример 2:

При заболеваниях сетчатки повышается проницаемость ее сосудов. Дж. Фишмен и соавт. (G. Fishman et al. Blood-retinal barrier function in patients with cone or cone-rod dystrophy. Arch. Ophthalmol., 104:545—548, 1986) измерили проницаемость сосудов сетчатки у здоровых и у больных с ее поражением. Полученные результаты приведены в таблице. Сделайте вывод о проницаемости сетчатки у больных с дистрофией и относительно здорового контроля.

Проницаемость сосудов сетчатки, мм:

Ответ: Тип данных: количественный, непрерывный, распределение: неизвестно. Количество групп: 2, связанность групп: не связаны.

Необходимо использовать критерий Манна-Уитни или после проверки распределения (в случае нормального распределения величины) использовать т-критерий Стьюдента для несвяазанных совокупностей.

Пример 3:

Бишоп (Т. Bishop. High frequency neural modulation in dentistry. J. Am. Dent. Assoc., 112:176—177, 1986) изучил эффективность высокочастотной стимуляции нерва в качестве обезболивающего средства при удалении зуба. Все больные подключались к прибору, но в одних случаях он работал, в других был выключен. Ни стоматолог, ни больной не знали, включен ли прибор. Позволяют ли следующие данные считать высокочастотную стимуляцию нерва действенным анальгезируюшим средством?

Ответ: Тип данных: качественный, абсолютные частоты, количество групп: 2, связанность групп: не связаны.

Необходимо использовать хи-квадрат Пирсона (или точный критерий Фишера).

NB! о выборе статистического критерия

Каждый статистический критерий работает с определенным набором данных и в условиях определенный групп. Аккуратно выбирайте статистические критерии, не упускайте логику выбора и результат Ваших расчетов будет корректным и не вызывающим сомнения о профессиональных статистических рецензентов, как при презентации материала на конференции, сдаче отчета о клиническом исследовании или публикации статьи. Удачи на научном поприще!