Тест: Хи-квадрат разпределение и приложението му. Pearson χ2 тест за съответствие (хи-квадрат)

Тестът χ 2 на Pearson е непараметричен метод, който ни позволява да оценим значимостта на разликите между действителния (разкрит) брой резултати или качествени характеристики на извадката, които попадат във всяка категория, и теоретичния брой, който може да се очаква в изследваните групи, ако нулевата хипотеза е вярна. Казано по-просто, методът ви позволява да оцените статистическата значимост на разликите между два или повече относителни показателя (честоти, пропорции).

1. История на развитието на критерия χ 2

Тестът хи-квадрат за анализиране на таблици за непредвидени обстоятелства е разработен и предложен през 1900 г. от английския математик, статистик, биолог и философ, основател на математическа статистикаи един от основателите на биометрията Карл Пиърсън(1857-1936).

2. Защо се използва χ 2 тестът на Pearson?

Тестът хи-квадрат може да се използва при анализа таблици за непредвидени обстоятелствасъдържаща информация за честотата на резултатите в зависимост от наличието на рисков фактор. Например, таблица с четири полетакакто следва:

Как да попълните такава таблица за непредвидени обстоятелства? Нека да разгледаме един малък пример.

Провежда се проучване за влиянието на тютюнопушенето върху риска от развитие на артериална хипертония. За целта са избрани две групи субекти - първата включва 70 души, които пушат поне 1 кутия цигари дневно, втората включва 80 непушачи на същата възраст. В първата група 40 души са били с високо кръвно налягане. При втория артериална хипертония е наблюдавана при 32 души. Съответно нормално кръвно налягане в групата на пушачите има 30 души (70 - 40 = 30), а в групата на непушачите - 48 (80 - 32 = 48).

Попълваме таблицата с четири полета с първоначалните данни:

В получената таблица за непредвидени обстоятелства всеки ред съответства на определена група субекти. Колоните показват броя на хората с артериална хипертония или нормално кръвно налягане.

Задачата, която се поставя пред изследователя е: има ли статистически значими разлики между честотата на хората с кръвно налягане сред пушачите и непушачите? На този въпрос може да се отговори чрез изчисляване на хи-квадрат теста на Pearson и сравняване на получената стойност с критичната.

3. Условия и ограничения за прилагане на хи-квадрат теста на Pearson

1. Сравнимите показатели трябва да се измерват в номинална скала(например полът на пациента е мъж или жена) или в редни(например степента на артериална хипертония, приемайки стойности от 0 до 3).
2. Този методви позволява да анализирате не само таблици с четири полета, когато и факторът, и резултатът са двоични променливи, тоест те имат само две възможни стойности (например мъж или жена, наличието или отсъствието на определено заболяване в анамнеза...). Хи-квадрат тестът на Pearson може да се използва и в случай на анализ на таблици с много полета, когато фактор и (или) резултат приемат три или повече стойности.
3. Групите, които се сравняват, трябва да бъдат независими, т.е. тестът хи-квадрат не трябва да се използва, когато се сравняват наблюдения преди-след. Тест на Макнемар(при сравняване на две свързани популации) или изчислени Q тест на Cochran(при сравнение на три или повече групи).
4. При анализиране на таблици с четири полета очаквани стойностивъв всяка клетка трябва да има поне 10. Ако в поне една клетка очакваното явление приеме стойност от 5 до 9, трябва да се изчисли тестът хи-квадрат с поправката на Йейтс. Ако в поне една клетка очакваното явление е по-малко от 5, тогава анализът трябва да използва Точен тест на Фишер.
5. При анализиране на многополеви таблици очакваният брой наблюдения не трябва да бъде по-малък от 5 в повече от 20% от клетките.

4. Как да изчислим хи-квадрат теста на Pearson?

За да изчислите теста хи-квадрат, трябва:

Този алгоритъм е приложим както за таблици с четири полета, така и за таблици с много полета.

5. Как да интерпретираме стойността на хи-квадрат теста на Pearson?

Ако получената стойност на критерия χ 2 е по-голяма от критичната стойност, заключаваме, че има статистическа връзка между изследвания рисков фактор и резултата на съответното ниво на значимост.

6. Пример за изчисляване на хи-квадрат теста на Pearson

Нека да определим статистическата значимост на влиянието на фактора тютюнопушене върху честотата на артериалната хипертония, използвайки таблицата, разгледана по-горе:

1. Изчисляваме очакваните стойности за всяка клетка:
2. Намерете стойността на хи-квадрат теста на Pearson:

   χ 2 = (40-33,6) 2 /33,6 + (30-36,4) 2 /36,4 + (32-38,4) 2 /38,4 + (48-41,6) 2 /41,6 = 4,396.

3. Броят на степените на свобода f = (2-1)*(2-1) = 1. Използвайки таблицата, намираме критичната стойност на хи-квадрат теста на Pearson, която при ниво на значимост p=0,05 и числото на степените на свобода 1 е 3,841.
4. Сравняваме получената стойност на хи-квадрат теста с критичната: 4,396 > 3,841, следователно зависимостта на честотата на артериалната хипертония от наличието на тютюнопушене е статистически значима. Нивото на значимост на тази връзка съответства на т<0.05.

Тази публикация не дава отговор как да се изчисли критерият Хи квадрат по принцип, нейната цел е да покаже как да се автоматизира Хи квадрат изчисление в excel, какви функции за изчисляване на критерия Хи квадрат има. Защото не винаги имате под ръка SPSS или програмата R.
В известен смисъл това е напомняне и намек към участниците в семинара Analytics for HR, надявам се да използвате тези методи в работата си, тази публикация ще бъде още един намек.
Не предоставям на файла връзка за изтегляне, но можете лесно просто да копирате примерните таблици, които предоставих, и да следвате данните и формулите, които предоставих

Уводна

Отивате да изчислите Чи квадрат чрез обобщена таблица, когато вашите данни са обобщени в таблица за спрежение, например в тази форма
Таблица №1

CHI2.ТЕСТ

Формулата CH2.TEST изчислява вероятността за независимост (случайност / неслучайност) на разпределението

Синтаксисът е такъв

CHI2.TEST(действителен_интервал, очакван_интервал)

В нашия случай действителният интервал е съдържанието на таблицата, т.е.

В нашия случай CHI2.DIST.PH = 0.000466219908895455, както в примера с CHI2.TEST

Забележка

Тази формула за изчисляване на хи квадрат в Excel ще ви подхожда за изчисляване на таблици с размери 2X2, тъй като вие сами смятате хи квадрат за емпиричен и можете да въведете корекция за непрекъснатост в изчисленията

Бележка 2

CH2.OBR.PH

Връща обратното на вероятността с дясната опашка на разпределение хи-квадрат (или просто стойността хи-квадрат за определено ниво на вероятност и брой степени на свобода)

Синаксис

CH2.OBR.PH(вероятност;степени_на_свобода)

Заключение

Честно казано, нямам точна информация до каква степен са получени резултатите Хи квадрат изчисления в excelсе различават от резултатите на хи квадрат в SPSS. разбирам точно. че те се различават, дори само защото при независимо изчисляване на Чи квадрат стойностите се закръглят и определен брой десетични знаци се губят. Но не мисля, че това е критично. Препоръчвам да се застраховате само в случай, че вероятността за разпределението на хи квадрат е близо до прага (p-стойност) от 0,05.

Не е много готино, че корекцията за непрекъснатост не се взема предвид - изчисляваме много в таблици 2X2. Следователно не постигаме почти никаква оптимизация в случай на изчисляване на таблици 2X2

Е, въпреки това мисля, че горните знания са достатъчни, за да направим изчислението на Чи квадрат в Excel малко по-бързо, за да спестим време за по-важни неща

). Конкретната формулировка на тестваната хипотеза ще варира в зависимост от случая.

В тази публикация ще опиша как работи критерият \(\chi^2\), като използвам (хипотетичен) пример от имунологията. Нека си представим, че сме провели експеримент, за да определим ефективността на потискане на развитието на микробно заболяване, когато в тялото се въведат подходящи антитела. В експеримента участваха общо 111 мишки, които разделихме на две групи, включващи съответно 57 и 54 животни. Първата група мишки получава инжекции от патогенни бактерии, последвани от въвеждане на кръвен серум, съдържащ антитела срещу тези бактерии. Животните от втората група послужиха за контрола - те получиха само бактериални инжекции. След известно време на инкубация се оказа, че 38 мишки са умрели, а 73 са оцелели. От загиналите 13 са от първа група, а 25 от втора (контролна). Нулевата хипотеза, тествана в този експеримент, може да бъде формулирана по следния начин: прилагането на серум с антитела няма ефект върху оцеляването на мишките. С други думи, ние твърдим, че наблюдаваните разлики в преживяемостта на мишките (77,2% в първата група срещу 53,7% във втората група) са напълно случайни и не са свързани с ефекта на антителата.

Получените в експеримента данни могат да бъдат представени под формата на таблица:

Таблици като показаната се наричат ​​таблици за непредвидени случаи. В разглеждания пример таблицата е с размери 2x2: има два класа обекти („Бактерии + серум“ и „Само бактерии“), които се изследват по два критерия („Мъртви“ и „Оцелели“). Това е най-простият случай на таблица за непредвидени обстоятелства: разбира се, както броят на изучаваните класове, така и броят на функциите може да бъде по-голям.

За да тестваме нулевата хипотеза, посочена по-горе, трябва да знаем каква би била ситуацията, ако антителата действително нямаха ефект върху оцеляването на мишките. С други думи, трябва да изчислите очаквани честотиза съответните клетки от таблицата за непредвидени обстоятелства. Как да го направим? В експеримента са загинали общо 38 мишки, което е 34,2% от общия брой на участващите животни. Ако прилагането на антитела не повлиява преживяемостта на мишките, трябва да се наблюдава еднакъв процент на смъртност и в двете експериментални групи, а именно 34,2%. Изчислявайки колко е 34,2% от 57 и 54, получаваме 19,5 и 18,5. Това са очакваните нива на смъртност в нашите експериментални групи. Очакваните проценти на оцеляване се изчисляват по подобен начин: тъй като са оцелели общо 73 мишки или 65,8% от общия брой, очакваните проценти на оцеляване ще бъдат 37,5 и 35,5. Нека създадем нова таблица за непредвидени обстоятелства, сега с очакваните честоти:

Както виждаме, очакваните честоти са доста различни от наблюдаваните, т.е. прилагането на антитела изглежда има ефект върху оцеляването на мишки, заразени с патогена. Можем да определим количествено това впечатление с помощта на теста за съответствие на Pearson \(\chi^2\):

\[\chi^2 = \sum_()\frac((f_o - f_e)^2)(f_e),\]

\[\chi^2 = (13 – 19,5)^2/19,5 + (44 – 37,5)^2/37,5 + (25 – 18,5)^2/18,5 + (29 – 35,5)^2/35,5 = \]

Получената стойност на \(\chi^2\) достатъчно голяма ли е, за да отхвърли нулевата хипотеза? За да се отговори на този въпрос е необходимо да се намери съответната критична стойност на критерия. Броят на степените на свобода за \(\chi^2\) се изчислява като \(df = (R - 1)(C - 1)\), където \(R\) и \(C\) са числото на редове и колони в конюгацията на таблицата. В нашия случай \(df = (2 -1)(2 - 1) = 1\). Като знаем броя на степените на свобода, сега можем лесно да намерим критичната стойност \(\chi^2\), като използваме стандартната R функция qchisq() :

Така при една степен на свобода само в 5% от случаите стойността на критерия \(\chi^2\) надвишава 3,841. Стойността, която получихме, 6,79, значително надвишава тази критична стойност, което ни дава право да отхвърлим нулевата хипотеза, че няма връзка между прилагането на антитела и оцеляването на заразените мишки. Отхвърляйки тази хипотеза, рискуваме да сгрешим с вероятност по-малка от 5%.

Трябва да се отбележи, че горната формула за критерия \(\chi^2\) дава леко завишени стойности при работа с таблици за непредвидени обстоятелства с размер 2x2. Причината е, че разпределението на самия критерий \(\chi^2\) е непрекъснато, докато честотите на двоичните характеристики („умрял“ / „оцелял“) са по дефиниция дискретни. В тази връзка при изчисляване на критерия е прието да се въвежда т.нар корекция на непрекъснатостта, или Поправката на Йейтс :

\[\chi^2_Y = \sum_()\frac((|f_o - f_e| - 0,5)^2)(f_e).\]

"s Хи-квадрат тест с Yates" данни за корекция на непрекъснатостта: мишки X-квадрат = 5,7923, df = 1, p-стойност = 0,0161

Тестът хи-квадрат за независимост се използва за определяне на връзката между две категорични променливи. Примери за двойки категорични променливи са: семейно положение срещу. Ниво на заетост на респондента; Порода куче срещу. Професия на собственика, ниво на заплата vs. Специализация на инженер и др. При изчисляване на критерия за независимост се тества хипотезата, че няма връзка между променливите. Ще извършим изчисления с помощта на функцията MS EXCEL 2010 CHI2.TEST() и конвенционалните формули.

Да приемем, че имаме пробаданни, представляващи резултат от проучване на 500 души. На хората бяха зададени 2 въпроса: за семейното им положение (женен, гражданско партньорство, без връзка) и степента им на заетост (на пълен работен ден, на непълен работен ден, временно не работи, у дома, пенсионер, учене). Всички отговори бяха поставени в таблицата:

Тази таблица се нарича таблица на непредвидените характеристики(или факторна таблица, англ. Contingency table). Елементите в пресечната точка на редовете и колоните на таблицата обикновено се обозначават с O ij (от английски Observed, т.е. наблюдавани, действителни честоти).

Интересуваме се от въпроса „Влияе ли семейното положение върху заетостта?“, т.е. има ли зависимост между двата метода на класификация мостри?

При тестване на хипотезина тази форма обикновено се приема, че нулева хипотезазаявява, че няма зависимост от класификационни методи.

Нека разгледаме ограничаващите случаи. Пример за пълната зависимост на две категориални променливи е следният резултат от проучването:

В този случай семейното положение ясно определя заетостта (вж. примерен файлов лист Обяснение). Обратно, пример за пълна независимост е друг резултат от проучването:

Моля, имайте предвид, че нивото на заетост в този случай не зависи от семейното положение (еднакво за женените и неженените). Това точно отговаря на формулировката нулева хипотеза. Ако нулева хипотезае справедливо, тогава резултатите от проучването трябва да бъдат разпределени така, че процентът на заетите да бъде еднакъв, независимо от семейното им положение. Използвайки това, ние изчисляваме резултатите от проучването, които съответстват на нулева хипотеза(см. файл с примерен лист Пример).

Първо, изчисляваме оценката на вероятността, че елементът мострище има определена заетост (виж колона u i):

Където с– броя на колоните (колони), равен на броя на нивата на променливата „Семейно положение“.

След това изчисляваме оценката на вероятността, че елементът мострище има определено семейно положение (вижте ред v j).

Където r– броя на редовете, равен на броя на нивата на променливата „Заетост“.

Теоретичната честота за всяка клетка E ij (от англ. Expected, т.е. очаквана честота) в случай на независимост на променливите се изчислява по формулата:
E ij =n* u i * v j

Известно е, че статистиката X 2 0 за големи n има приблизително (r-1)(c-1) степени на свобода (df – степени на свобода):

Ако се изчисли въз основа на мостритогава стойността на тази статистика е „твърде голяма“ (по-голяма от прага). нулева хипотезаотхвърлени. Праговата стойност се изчислява въз основа на , например с помощта на формулата =HI2.OBR.PH(0,05; df) .

Забележка: Ниво на значимостобикновено се приема равно на 0,1; 0,05; 0,01.

При тестване на хипотезисъщо така е удобно да се изчисли , с който сравняваме ниво на значимост. стр-смисълизчислено чрез (r-1)*(c-1)=df степени на свобода.

Ако вероятността е такава произволна стойностс (r-1)(c-1) степени на свободаще приеме стойност, по-голяма от изчислената статистика X 2 0, т.е. P(Х 2 (r-1)*(c-1) >Х 2 0 ), по-малко ниво на значимост, Че нулева хипотезаотхвърлени.

В MS EXCEL p-стойностможе да се изчисли с помощта на формулата =HI2.DIST.PH(X 2 0 ;df), разбира се, като сме изчислили стойността на статистиката X 2 0 непосредствено преди това (това е направено в примерния файл). Най-удобно е обаче да използвате функцията CH2.TEST(). Като аргументи на тази функция са посочени препратки към диапазони, съдържащи действителни (наблюдавани) и изчислени теоретични честоти (очаквани).

Ако ниво на значимост > стр-стойности, тогава това означава действителните и теоретичните честоти, изчислени въз основа на предположението за справедливост нулева хипотеза, са сериозно различни. Ето защо, нулева хипотезатрябва да бъдат отхвърлени.

Използването на функцията CH2.TEST() ви позволява да ускорите процедурата тестване на хипотези, защото няма нужда да изчислявате стойността статистика. Сега е достатъчно да сравните резултата от функцията CH2.TEST() с дадения ниво на значимост.

Забележка: Функция CH2.TEST(), английско име CHISQ.TEST, се появи в MS EXCEL 2010. По-ранната му версия CHISQ.TEST(), налична в MS EXCEL 2007, има същата функционалност. Но що се отнася до CH2.TEST(), трябва сами да изчислите теоретичните честоти.

Помислете за разпределението Хи-квадрат. Използване на функция MS EXCELCH2.DIST() Нека начертаем функцията на разпределение и плътността на вероятността и да обясним използването на това разпределение за целите на математическата статистика.

Хи-квадрат разпределение (X 2, XI2,АнглийскиЧи- на квадратразпространение) използвано в различни методиматематическа статистика:

• по време на строителството;
• в ;
• при (емпиричните данни съгласуват ли се с нашето предположение за теоретичната функция на разпределение или не, англ. Goodness-of-fit)
• при (използва се за определяне на връзката между две категорични променливи, английски Хи-квадрат тест на асоцииране).

Определение: Ако x 1 , x 2 , …, x n са независими случайни променливи, разпределени върху N(0;1), тогава разпределението на случайната променлива Y=x 1 2 + x 2 2 +…+ x n 2 има разпространение X 2 с n степени на свобода.

Разпределение X 2 зависи от един наречен параметър степен на свобода (df, степенинасвобода). Например при изграждане брой степени на свободае равно на df=n-1, където n е размерът мостри.

Плътност на разпространение X 2 изразено с формулата:

Функционални графики

Разпределение X 2 има асиметрична форма, равна на n, равна на 2n.

IN примерен файл на листа Графикададено графики на плътността на разпределениетовероятности и кумулативна функция на разпределение.

Полезен имот CH2 разпределения

Нека x 1 , x 2 , …, x n са независими случайни променливи, разпределени в нормален законсъс същите параметри μ и σ, и X сре средноаритметичнотези x стойности.
След това случайната променлива гравен

То има X 2 -разпределениес n-1 степени на свобода. Използвайки дефиницията, горният израз може да бъде пренаписан, както следва:

следователно разпределение на пробитестатистика y, at пробаот нормална дистрибуция, То има X 2 -разпределениес n-1 степени на свобода.

Ще имаме нужда от този имот, когато. защото дисперсияможе да бъде само положително число и X 2 -разпределениетогава се използва за оценката му гд.б. >0, както е посочено в дефиницията.

CH2 разпределение в MS EXCEL

В MS EXCEL, започвайки от версия 2010, за X 2 -разпределенияима специална функция CHISQ.DIST(), която ви позволява да изчислявате плътност на вероятността(вижте формулата по-горе) и (вероятността една случайна променлива X да има CI2-разпространение, ще приеме стойност, по-малка или равна на x, P(X<= x}).

Забележка: Защото CH2 разпределениее частен случай, тогава формулата =GAMMA.DIST(x;n/2;2;TRUE)за положително цяло число n връща същия резултат като формулата =CHI2.DIST(x;n; TRUE)или =1-CHI2.DIST.PH(x;n) . И формулата =GAMMA.DIST(x;n/2;2;FALSE)връща същия резултат като формулата =CHI2.DIST(x;n; FALSE), т.е. плътност на вероятността CH2 разпределения.

Функцията HI2.DIST.PH() връща разпределителна функция, по-точно дясностранна вероятност, т.е. P(X > x). Очевидно е, че равенството е вярно
=CHI2.DIST.PH(x;n)+CHI2.DIST(x;n;TRUE)=1
защото първият член изчислява вероятността P(X > x), а вторият P(X<= x}.

Преди MS EXCEL 2010, EXCEL имаше само функцията CHIDIST(), която ви позволява да изчислите дясната вероятност, т.е. P(X > x). Възможностите на новите функции на MS EXCEL 2010 XI2.DIST() и XI2.DIST.PH() покриват възможностите на тази функция. Функцията CH2DIST() е оставена в MS EXCEL 2010 за съвместимост.

CHI2.DIST() е единствената функция, която връща плътност на вероятността на разпределението chi2(третият аргумент трябва да е FALSE). Останалите функции се връщат кумулативна функция на разпределение, т.е. вероятност случайната променлива да приеме стойност от посочения диапазон: P(X<= x}.

Горните функции на MS EXCEL са дадени в .

Примери

Нека намерим вероятността случайната променлива X да приеме стойност, по-малка или равна на дадената х: P(X<= x}. Это можно сделать несколькими функциями:

CHI2.DIST(x; n; TRUE)
=1-HI2.DIST.PH(x; n)
=1-CHI2DIST(x; n)

Функцията CH2.DIST.PH() връща вероятността P(X > x), така наречената дясна вероятност, така че да се намери P(X<= x}, необходимо вычесть ее результат от 1.

Нека намерим вероятността случайната променлива X да приеме стойност, по-голяма от дадена х: P(X > x). Това може да стане с няколко функции:

1-CHI2.DIST(x; n; TRUE)
=HI2.DIST.PH(x; n)
=CHI2DIST(x; n)

Обратна функция на разпределение chi2

За изчисляване се използва обратната функция алфа- , т.е. за изчисляване на стойности хза дадена вероятност алфа, и хтрябва да отговаря на израза P(X<= x}=алфа.

Функцията CH2.INV() се използва за изчисляване доверителни интервали на дисперсията на нормалното разпределение.

Функцията CHI2.OBR.PH() се използва за изчисляване, т.е. ако ниво на значимост е указано като аргумент на функцията, например 0,05, тогава функцията ще върне стойност на случайната променлива x, за която P(X>x)=0,05. За сравнение: функцията XI2.INR() ще върне стойност на случайната променлива x, за която P(X<=x}=0,05.

В MS EXCEL 2007 и по-рано, вместо HI2.OBR.PH(), се използва функцията HI2OBR().

Горните функции могат да се сменят, т.к следните формули връщат същия резултат:
=CHI.OBR(алфа;n)
=HI2.OBR.PH(1-алфа;n)
=CHI2INV(1- алфа;n)

Някои примери за изчисления са дадени в примерен файл в листа с функции.

MS EXCEL функционира, използвайки CH2 разпределението

По-долу е съответствието между руски и английски имена на функции:
CH2.DIST.PH() - английски. име CHISQ.DIST.RT, т.е. ХИ-квадратно РАЗПРЕДЕЛЕНИЕ Дясна опашка, дясноразпределение Хи-квадрат(d)
CH2.OBR() - английски. име CHISQ.INV, т.е. CHI-квадратно разпределение INVerse
CH2.PH.OBR() - английски. име CHISQ.INV.RT, т.е. CHI-квадратно разпределение INVerse Right Tail
CH2DIST() - английски. име CHIDIST, функция, еквивалентна на CHISQ.DIST.RT
CH2OBR() - английски. име CHIINV, т.е. CHI-квадратно разпределение INVerse

Оценка на параметрите на разпределението

защото обикновено CH2 разпределениеизползвани за целите на математическата статистика (изчисление доверителни интервали, тестване на хипотези и др.),и почти никога за конструиране на модели на реални стойности, тогава за това разпределение обсъждането на оценката на параметрите на разпределението не се провежда тук.

Апроксимация на разпределението на CI2 чрез нормалното разпределение

С броя на степените на свобода n>30 разпределение X 2добре приблизително нормална дистрибуцияс средна стойностμ=n и дисперсия σ=2*n (вижте примерен листов файл Приближение).