Статистика. Таблицы сопряженности

05.04.2024

Критерий хи-квадрат для анализа таблиц сопряженности был разработан и предложен в 1900 году английским математиком, статистиком, биологом и философом, основателем математической статистики и одним из основоположников биометрики Карлом Пирсоном (1857-1936).

Критерий χ2 Пирсона – это непараметрический метод, который позволяет оценить значимость различий между фактическим (выявленным в результате исследования) количеством исходов или качественных характеристик выборки, попадающих в каждую категорию, и теоретическим количеством, которое можно ожидать в изучаемых группах при справедливости нулевой гипотезы. Выражаясь проще, метод позволяет оценить статистическую значимость различий двух или нескольких относительных показателей (частот, долей).

Условия и ограничения применения критерия хи-квадрат Пирсона

Данный метод позволяет проводить анализ не только четырехпольных таблиц, когда и фактор, и исход являются бинарными переменными, то есть имеют только два возможных значения (например, мужской или женский пол, наличие или отсутствие эффекта…).

Критерий хи-квадрат Пирсона может применяться и в случае анализа многопольных таблиц, когда фактор и (или) исход принимают три и более значений.

Сопоставляемые группы должны быть независимыми, то есть критерий хи-квадрат не должен применяться при сравнении наблюдений “до” -“после”. В этих случаях проводится тест Мак-Немара (при сравнении двух связанных совокупностей) или рассчитывается Q-критерий Кохрена (в случае сравнения трех и более групп).

Желательно, чтобы общее количество наблюдений было более 20,

Для четырехпольных таблиц (2х2): Если ожидаемое значение принимает значение менее 10 (а именно 5<x<10), необходим расчет поправки Йетса таблиц сопряженности. Поправка Йейтса – это модификация критерия хи-квадрат, которая используется для сравнения небольших выборок с ожидаемой частотой меньше 5. Дело в том, что если значения в таблице маленькие, классический критерий даст большую вероятность ошибки. Поправка помогает уменьшить этот риск. Она проще, чем критерий Фишера: от значений в таблице просто отнимается 0,5 или 1. После этого вычисляется статистика: она будет меньше, чем без поправки, поэтому риск ошибки окажется ниже.

В случае анализа многопольных таблиц ожидаемое число наблюдений не должно принимать значения менее 5 более чем в 20% ячеек. Если же это условие не выполняется, то следует объединить соседние строки (или соседние колонки), но так, чтобы сохранить смысл данных. Затем ожидаемые частоты пересчитывают. Укрупнение ячеек следует выполнять до тех пор, пока не будет соблюдаться это условие.

Таблица сопряженности – средство представления совместного распределения двух переменных, предназначенное для исследования связи между ними. Таблица сопряженности является наиболее универсальным средством изучения статистических связей, так как в ней могут быть представлены переменные с любым уровнем измерения.

Строки таблицы сопряженности соответствуют значениям одной переменной, столбцы – значениям другой переменной (количественные шкалы предварительно должны быть сгруппированы в интервалы).

На пересечении строки и столбца указывается частота совместного появления fij соответствующих значений двух признаков xi и yj.

Таблицы сопряженности используются для проверки гипотезы о наличии связи между двумя признаками, а также для измерения тесноты связи.

Пример 1.

Средняя школа проводит карнавал, и хотят знать, какой вкус мороженого им нужно заказывать. Следовательно, они провели случайную выборку исследования. Ниже приведена таблица . При уровне достоверности 95% исследователь хочет знать, зависит ли вкус мороженого от пола?

Пол	шоколад	ваниль	вишня
м	70	23	45
ж	55	16	66

Источник примера

Гипотезы

Нулевая гипотеза (H₀): различия м и ж по предпочтениям мороженого статистически незначимы.

Альтернативная гипотеза (H₁): различия м и ж по предпочтениям мороженого статистически значимы.

Уровень значимости: α=0,05

У критерия Пирсона χ2 критическая область располагается справа от критической точки, как и у большинства статистических критериев. Чем больше эмпирическое значение χ2, тем больше вероятность того, что сравниваемые группы действительно различаются.

https://www.statskingdom.com/310GoodnessChi.html

Алгоритм расчета

Степени свободы = (r-1)*(c-1) = (2-1)*(3-1) =2

Критическое значение Хи-квадрат для 2 степеней свободы = 5,991

Тестовая статистика χ2 равна 7,02584, что не относится к области принятия 95%: [-∞ : 5,991465].

Итак, мы можем сделать вывод, что различия м и ж по предпочтениям мороженого статистически значимы.

Определим силу связи по коэффициентам сопряженности.
Для измерения тесноты связи в общем случае (когда полей рабочей таблицы более четырех) используется коэффициент взаимной сопряженности Пирсона С и коэффициент взаимной сопряженности Чупрова.

Коэффициент Чупрова
$C = \sqrt{\frac{\chi^{2}}{n\sqrt{(r-1)(s-1)}}} = \sqrt{\frac{7.026}{275\sqrt{(2-1)(3-1)}}} = 0.134$

Коэффициент сопряженности Пирсона:
$P = \sqrt{\frac{\chi^{2}}{\chi^{2} + n}} = \sqrt{\frac{7.026}{7.026 + 275}} = 0.158$
Таким образом, связь между «А» и «B» слабая

https://math.semestr.ru/corel/contingency.php

Пример 2.

Есть таблица сопряженности 2 × 2 (пол – любовь к шоколаду) и на 5% уровне значимости мы хотим проверить гипотезу о независимости признаков «пол» и «любовь к шоколаду».

пол	люблю шоколад	не люблю шоколад
м	20	15
ж	35	20

H₀ : связи между признаками нет, они независимы
H₁ : связь между признаками есть, они зависимы

http://math-info.hse.ru/f/2017-18/ps-ms/associations.pdf

В случае 2 × 2 число степеней свободы будет всегда равняться 1. χ²_{крит ⁼} 3.841
Сравниваем эмпирическое значение и критическое: χ2 равна 0,3795, что находится в области 95% приемлемости: [-∞ : 3,8415].

Делаем вывод о том, что на уровне значимости 5% нет оснований отвергнуть нулевую гипотезу о независимости признаков. Любовь к шоколаду никак не связана с полом человека.

Пример 3.

Пол	согласны	не согласны	сомневаются
м	10	8	2
ж	5	12	3

Гипотезы:

H₀ :Мнение о принятии решения не зависит от пола;
H₁ :Мнение о принятии решения зависит от пола.

Расчетное значение меньше критического, 2.67 < 5.991, нулевая гипотеза принимается. Результаты проверки согласуются с предположением, что мнение не зависит от пола.

https://medstatistic.ru/calculators/calchi.html

Пример 4.

Департамент здравоохранения провел исследование 500 детей с целью выяснить, влияет ли прививка от гриппа на заболеваемость. Результаты исследования представлены в таблице. На уровне значимости 0.05 проверить предположение, что прививки влияют на заболеваемость (уменьшают ее).

	болел	не болел
делал прививку	30	270
не делал прививку	120	80

Формулировка гипотез:

H₀ : Заболеваемость гриппом не зависит от прививок;
H₁ : Прививки влияют на заболеваемость

https://polyakov.imamod.ru/arc/stud/popov/lecture_14.pdf

https://medstatistic.ru/calculators/calchi.html

Расчетное значение намного превосходит критическое, 142.85 > 3.84, основная гипотеза отклоняется.

Вывод: Данные исследования позволяют утверждать, что прививки снижают
заболеваемость гриппом. Следовательно, фактор «прививка» оказывает влияние на распределение результативного признака «факт заболевания», т.е. между этими признаками имеется значимая статистическая связь на выбранном уровне значимости.

Для четырехпольных таблиц разработаны такие параметры связи, как коэффициент ассоциации kасс и коэффициент контингенции kконтинг, используется коэффициент взаимной сопряженности Пирсона С и коэффициент взаимной сопряженности Чупрова.

Определим силу связи по коэффициентам сопряженности.

Коэффициент ассоциации:
$Q = \frac{n_{11}n_{22} - n_{21}n_{12}}{n_{11}n_{22} + n_{21}n_{12}} = \frac{30\cdot 80 - 120\cdot 270}{30\cdot 80 + 120\cdot 270} = -0.86$
Таким образом, связь между «А» и «B» сильная и обратная. Поскольку коэффициент по модулю больше 0.5, связь считается подтвержденной.

Коэффициент контингенции
$V = \frac{n_{11}n_{22} - n_{21}n_{12}}{\sqrt{n_{1\cdot }n_{2\cdot }n_{\cdot 1}n_{\cdot 2}}} = \frac{30\cdot 80 - 120\cdot 270}{\sqrt{300\cdot 200\cdot 150\cdot 350}} = -0.535$
Таким образом, связь между «А» и «B» умеренная и обратная. Поскольку коэффициент по модулю больше 0.3, связь считается подтвержденной.

Коэффициент φ (Коэффициент Чупрова-Крамера)
$\phi = \sqrt{\frac{\chi^{2}}{n}} = \sqrt{\frac{142.857}{500}} = 0.535$
Таким образом, связь между «А» и «B» умеренная

Коэффициент сопряженности Пирсона:
$P = \sqrt{\frac{\chi^{2}}{\chi^{2} + n}} = \sqrt{\frac{\phi^{2}}{1 + \phi^{2}}} = \sqrt{\frac{142.857}{142.857 + 500}} = 0.471$
Таким образом, связь между «А» и «B» не сильная.

Иногда показателям тесноты связи можно дать качественную оценку (шкала Чеддока):

Количественная мера тесноты связи	Качественная характеристика силы связи
0,1 – 0,3	Слабая
0,3 – 0,5	Умеренная
0,5 – 0,7	Заметная
0,7 – 0,9	Высокая
0,9 – 0,99	Весьма высокая

https://math.semestr.ru/corel/contingency.php

Критические значения

Автоматический расчет

Критерий Фишера предназначен для сопоставления двух выборок по частоте встречаемости интересующего исследователя эффекта. Критерий оценивает достоверность различий между процентными долями двух выборок, в которых зарегистрирован интересующий нас эффект.

Верхний предел в критерии φ отсутствует – выборки могут быть сколь угодно большими. Нижний предел – 2 наблюдения в одной из выборок. Однако должны соблюдаться следующие соотношения в численности двух выборок:

а) если в одной выборке всего 2 наблюдения, то во второй должно быть не менее 30: n1=2 -> n2≥30;
б) если в одной из выборок всего 3 наблюдения, то во второй должно быть не менее 7: n1=3 -> n2≥7;
в) если в одной из выборок всего 4 наблюдения, то во второй должно быть не менее 5: n1=4 -> n2≥5;
г) при n1, n2≥5 возможны любые сопоставления.

Критерий Мак-Нимара (также, К. Мак-Немара, англ. McNemar’s test) используется для анализа таблиц сопряженности размером 2×2 (для дихотомического признака). В отличие от критерия хи-квадрат, критерий Мак-Немара применяется, когда учет признака выполняется на одних и тех же субъектах. Часто он используется для определения, произошли ли существенные изменения в номинальных данных до и после события.

Интересующий описательный признак в том и в другом состоянии мог либо присутствовать, либо отсутствовать. Таким образом, каждая единица наблюдения оказывается отнесенной к одному из четырех классов:

1. Изучаемое свойство имелось в обоих состояниях
2. Изучаемое свойство отсутствовало в обоих состояниях
3. Изучаемое свойство присутствовало в первом состоянии, но отсутствовало во втором
4. Изучаемое свойство отсутствовало в первом состоянии, но присутствовало во втором.

Тест Макнемара аналогичен тесту χ². Тест McNemar работает только с таблицей 2х2, в то время как тест χ² работает с таблицами большего размера. Тест χ² проверяет независимость, в то время как тест Макнемара проверяет согласованность результатов.

Q-критерий Кохрена (англ. Cochran’s Q test) — непараметрический статистический тест, используемый для проверки того, оказывают ли два или более воздействий одинаковый эффект на группы. Критерий получил название по имени Уильяма Кохрена. Критерий определяет, является ли доля успеха одинаковой в разных группах. Q-тест Кокрэна подходит для данных, содержащих случайные блоки или повторяющиеся измерения, где значения являются дихотомическими (представлены нулем или любыми ненулевыми числами).

Тест обычно используется, когда у вас есть группа людей, выполняющих серию заданий или получающих набор процедур, результатом которых является “Успех” или “Неудача”. Как и в случае с биномиальным распределением, успех / неудача может означать “да” / “нет”, черное / белое или любой из нескольких вариантов успеха / неудачи.

Этот тест представляет собой расширенный хи-квадрат-тест по МакНемару для случая с несколькими зависимыми выборками; стало быть, он может применяться при наличии более чем двух дихотомических переменных.

Пример 1: Рабочие на крупном предприятии обычно демонстрируют два типа поведения: энергичное и усталое. Такое поведение было измерено у 20 работников в понедельник, среду и пятницу в течение одной недели марта, как показано на рисунке 1 (где 1 означает энергичность, а 0 – усталость). Есть ли существенная разница в поведении между тремя периодами времени?

Нулевая гипотеза заключается в том, что доля успешных результатов (где 1 означает успех, а 0 – неудачу) одинакова во всех k группах. Например. если успех отражает эффективность лечения, то нулевая гипотеза означает, что все k методов лечения имеют одинаковую эффективность.

При наличии соотношения между вариацией качественных признаков говорят об их ассоциации, взаимосвязанности. Для определения тесноты связи двух качественных признаков, каждый из которых состоит только из двух групп, применяются коэффициенты ассоциации и контингенции. Для их вычисления строится таблица, которая показывает связь между двумя явлениями, каждое из которых должно быть альтернативным, т.е. состоящим из двух качественно отличных друг от друга значений признака (например, изделие качественное или бракованное).