Metody przetwarzania
i analizy danych
Testy statystyczne
© Łukasz Wawrowski
1 / 20

Zadanie

10:00

Na podstawie pliku smog:

wczytaj zbiór danych.
stwórz nową zmienną pm10_poziom, która będzie przyjmowała wartość "w normie" dla pm10 < 50 i "podwyższony" dla wartości pm10 >= 50.
stwórz nową zmienną tmin_zero, która będzie przyjmowała wartości "poniżej zera" dla tmin_daily < 0 i "powyżej zera" dla tmin_daily > 0.
przygotuj wykres punktowy przedstawiający minimalną i maksymalną temperaturę.
utwórz nowy zbiór danych o nazwie smog2017, który będzie zawierał informacje tylko z roku 2017.

2 / 20

Testowanie hipotez

Sformułowanie dwóch wykluczających się hipotez - zerowej $H_{0}$ oraz alternatywnej $H_{1}$
Wybór odpowiedniego testu statystycznego
Określenie dopuszczalnego prawdopodobieństwo popełnienia błędu I rodzaju (czyli poziomu istotności $α$ )
Podjęcie decyzji

3 / 20

Wartość p

najostrzejszy poziom istotności, przy którym możemy odrzucić hipotezę $H_{0}$
podjęcie decyzji na podstawie porównania wartości p z poziomem istotności $α$
$p < α$ - odrzucamy hipotezę zerową
Rozważania o p-value
Oświadczenie Amerykańskiego Towarzystwa statystycznego o stosowaniu wartości p

4 / 20

Testy statystyczne

5 / 20

Testy statystyczne


Skala nominalna - nieparametryczne
Skala porządkowa - nieparametryczne
Skala ilorazowa - parametryczne


Jedna próba
Test zgodności χ2χ2
Test zgodności Shapiro-Wilka, Test Wilcoxona
Test t

Dwie próby niezależne
Test niezależności χ2χ2, Test zgodności χ2χ2
Test Flignera-Killeena, Test Manna-Whitneya
Test F, Test t

Dwie próby zależne
Test McNemara
Test Wilcoxona
Test t

K prób niezależnych
Test zgodności χ2χ2
Test Flignera-Killeena, Test Kruskala-Wallisa
Test Bartletta, ANOVA

6 / 20

	Skala nominalna - nieparametryczne	Skala porządkowa - nieparametryczne	Skala ilorazowa - parametryczne
Jedna próba	Test zgodności $χ^{2}$	Test zgodności Shapiro-Wilka, Test Wilcoxona	Test t
Dwie próby niezależne	Test niezależności $χ^{2}$ , Test zgodności $χ^{2}$	Test Flignera-Killeena, Test Manna-Whitneya	Test F, Test t
Dwie próby zależne	Test McNemara	Test Wilcoxona	Test t
K prób niezależnych	Test zgodności $χ^{2}$	Test Flignera-Killeena, Test Kruskala-Wallisa	Test Bartletta, ANOVA

źródło

7 / 20

Test niezależności $χ^{2}$

Za pomocą testu niezależności $χ^{2}$ można sprawdzić czy pomiędzy dwiema cechami jakościowymi występuje zależność.

$H_{0} :$ zmienne są niezależne,
$H_{1} :$ zmienne nie są niezależne.

8 / 20

Test proporcji

Test proporcji pozwala odpowiedzieć na pytanie czy odsetki w jednej, dwóch lub więcej grupach różnią się od siebie istotnie.

$H_{0} : p_{1} = p_{2}$
$H_{1} : p_{1} \neq p_{2}$ lub $H_{1} : p_{1} > p_{2}$ lub $H_{1} : p_{1} < p_{2}$

9 / 20

Test normalności

Najpopularniejszym testem jest test Shapiro-Wilka:

$H_{0} : F (x) = F_{0} (x)$ - rozkład cechy ma rozkład normalny
$H_{1} : F (x) \neq F_{0} (x)$ - rozkład cechy nie ma rozkładu normalnego

Maksymalna liczba obserwacji to 5000. Dla większej liczby test Kołmogorova-Smirnova porównujący dwa rozkłady.

10 / 20

Wykres kwantyl-kwantyl

set.seed(128)
df <- data.frame(norm = rnorm(50))
ggplot(df, aes(sample = norm)) +
  stat_qq() + 
  stat_qq_line()

11 / 20

Test wariancji

Jeśli chcemy sprawdzić homogeniczność wariancji w więcej niż dwóch grupach to należy skorzystać z testu Bartletta:

$H_{0} : s_{1}^{2} = s_{2}^{2} = s_{3}^{2} = . . . = s_{k}^{2}$
$H_{1} : \exists_{i, j \in {1, . ., k}} s_{i}^{2} \neq s_{j}^{2}$

12 / 20

Próby zależne i niezależne

Próby zależne (paired)

Analizowane są te same jednostki, ale różne cechy.

Próby niezależne (unpaired)

Analizowane są różne jednostki, ale ta sama cecha.

13 / 20

Test t-średnich

Porównanie wartości średnich:

$H_{0} : m_{1} = m_{2}$
$H_{1} : m_{1} \neq m_{2}$ lub $H_{1} : m_{1} < m_{2}$ lub $H_{1} : m_{1} > m_{2}$

14 / 20

Test Wilcoxona

Test Wilcoxona jest nieparametryczną wersją testu t dla prób zależnych.

$H_{0} : F_{1} = F_{2}$
$H_{1} : F_{1} \neq F_{2}$

15 / 20

Test Manna-Whitneya

Test Manna-Whitneya jest nieparametryczną wersją testu t dla prób niezależnych.

$H_{0} : F_{1} = F_{2}$
$H_{1} : F_{1} \neq F_{2}$

16 / 20

ANOVA

W przypadku większej liczby grup stosuje się jednoczynnikową analizę wariancji (ANOVA).

$H_{0} : m_{1} = m_{2} = m_{3} = . . . = m_{k}$
$H_{1} : \exists_{i, j \in {1, . ., k}} m_{i} \neq m_{j}$

17 / 20

Test Kruskala-Wallisa

Test Kruskala-Wallisa jest nieparametrycznym odpowiednikiem ANOVA.

$H_{0} : F_{1} = F_{2} = F_{3} = . . . = F_{k}$
$H_{1} : \exists_{i, j \in {1, . ., k}} F_{i} \neq F_{j}$

18 / 20

Zadanie

10:00

Zweryfikuj czy pomiędzy poziomem pm10 w latach 2015-2019 występowała istotna różnica.

19 / 20

Pytania?20 / 20

Zadanie

10:00

Na podstawie pliku smog:

wczytaj zbiór danych.
stwórz nową zmienną pm10_poziom, która będzie przyjmowała wartość "w normie" dla pm10 < 50 i "podwyższony" dla wartości pm10 >= 50.
stwórz nową zmienną tmin_zero, która będzie przyjmowała wartości "poniżej zera" dla tmin_daily < 0 i "powyżej zera" dla tmin_daily > 0.
przygotuj wykres punktowy przedstawiający minimalną i maksymalną temperaturę.
utwórz nowy zbiór danych o nazwie smog2017, który będzie zawierał informacje tylko z roku 2017.

↑, ←, Pg Up, k	Go to previous slide
↓, →, Pg Dn, Space, j	Go to next slide
Home	Go to first slide
End	Go to last slide
Number + Return	Go to specific slide
b / m / f	Toggle blackout / mirrored / fullscreen mode
c	Clone slideshow
p	Toggle presenter mode
t	Restart the presentation timer
?, h	Toggle this help

Metody przetwarzaniai analizy danych

Testy statystyczne

© Łukasz Wawrowski

Zadanie

Testowanie hipotez

Wartość p

Testy statystyczne

Testy statystyczne

Test niezależności χ2χ2

Test proporcji

Test normalności

Wykres kwantyl-kwantyl

Test wariancji

Próby zależne i niezależne

Test t-średnich

Test Wilcoxona

Test Manna-Whitneya

ANOVA

Test Kruskala-Wallisa

Zadanie

Pytania?

Zadanie

Help

Metody przetwarzania
i analizy danych

Test niezależności $χ^{2}$