Bonferroni Correction(비모수검정의 사후분석)
비모수 검정의 사후분석
비모수 검정에서는 사후분석이 없다. 이때에 어떻게 하는지 알아보도록 한다.
Kruskall-Wallis(K-W test) 비모수 검정이나 Chi-Square test 등을 실시한 경우 집단간에 유의한 차이가 있다고 나왔을 때에, 집단간에 차이가 있다는 것은 알지만, 어떤 집단끼리 차이가 있는지는 알 수 없는 문제가 발생한다. ANOVA 라고 한다면 Scheffe, Tukey, Duncan 등의 사후분석을 할 수 있지만, 비모수 검정에서는 사후분석이라는 것이 없기 때문에 고민을 할 수 밖에 없다.
이때, 가장 먼저 생각할 수 있는 것이 각 집단별로 각각 Mann-Whitney 검정(M-W test)을 하는 것이다. 즉, A-B, A-C, B-C 간에 각각 Mann-Whitney test 를 하는 것이다. 이렇게 하면 A-B 간의 p-value 가 나오기 때문에, 두 집단간에 차이가 있는지를 알 수 있다고 생각한다. 하지만 여기에서 간과한 것이 바로 제1종 오류이다. 우리는 유의수준 alpha 를 .05 로 놓고 분석을 한다. 이는 집단간에 차이를 비교할 때, 제1종 오류를 최대 .05 까지만 허용하겠다는 것이다. 하지만, 3집단의 비교후에 2집단을 비교하게 되면 유의수준 .05가 유지되지 않는 문제가 발생한다. 따라서 K-W test 후에 각 집단간에 M-W test 를 하는 것은 바람직하지 않다.
3집단의 경우 신뢰수준은 0.95*0.95*0.95 = 0.857375 이 되어 실제 유의수준은 .05가 아닌 .143 정도가 된다.
이런 경우 K-W test 후의 사후검정에 해당하는 것이 Bonferroni Correction Method(B.C. Method) 이다. 엄밀히 따지면 이것은 사후검정이 아니라 보정의 방법이다. B.C. Method 를 실행하는 방법은 생각보다 쉽다.
1. A,B,C 집단간의 차이에 대해 K-W test 를 시행한다.
2. 집단간 유의한 차이가 있는 경우(p<.05), 각 집단별로 M-W test 를 시행한다.
3. 각 분석 결과에서 p-value 와 alpha를 집단간 비교한 총 횟수로 나누어진 값(alpha/n)으로 비교하여 개별 집단간 유의성을 검정한다. 집단이 3개 일 경우에 M-W test 의 총 횟수는 A-B, A-C, B-C 3번이므로 p-value 는 alpha/3 = .05/3 = .0167 과 비교한다.
예를 들어, A, B, C 3 개의 집단이 있는데, 이 집단에 따른 스트레스의 차이를 보고자 한다.
1. A,B,C 집단간 K-W test 에서 p=.002 가 나왔다면, 3 집단간에는 스트레스의 차이가 있다라고 판정한다.
2. A-B 집단간 M-W test 를 실시한다. 그 결과, p-value 가 .03 이 나오고
A-C 집단간 p-value .019
B-C 집단간 p-value .012
3. B.C. Method 결과 각각의 p-value 는 .05/3 = .0167 과 비교하여, A-B, A-C 간에는 비록 p-value가 .05보다는 작지만, B.C. Method 의 보정된 alpha(.0167)과 비교해서는 크기 때문에 유의하지 않으며, 다만, B-C 집단간 p=.012 < .0167 이므로 유의하다
4. 따라서, 집단간 스트레스는 유의한 차이가 있다(p=.002<.05). Bonferroni Correction 결과, B-C 집단간에 유의한 차이가 있다.
라고 보고하면 된다.
P.S.1 B.C. Method 가 비모수검정에서 사후분석을 대체할 수 있는 좋은 방법이기는 하지만, 이 방법은 제2종오류가 커지는 문제가 있다는 단점이 존재한다.
P.S.2 집단이 4개인 경우에는 비교하는 쌍이 A-B, A-C, A-D, B-C, B-D, C-D 의 총 6번이므로 p-value 는 .05/6 = .0083 과 비교해야 한다.
P.S.3 Bonferroni Correction 의 대안으로 나온 방법이 Šidák Correction 이라는 방법이 있다.
Bonferroni Correction : α/n
Šidák Correction : 1 − (1 − α)1 / n
REFERENCES:
Bonferroni, C. E. "Il calcolo delle assicurazioni su gruppi di teste." In Studi in Onore del Professore Salvatore Ortu Carboni. Rome:
Italy, pp. 13-60, 1935.
Bonferroni, C. E. "Teoria statistica delle classi e calcolo delle probabilità." Pubblicazioni del R Istituto Superiore di Scienze Economiche e Commerciali di Firenze 8, 3-62, 1936.
Perneger, Thomas V, What's wrong with Bonferroni adjustments, BMJ 1998;316:1236-1238 ( 18 April )
Abdi, H (2007). "Bonferroni and Šidák corrections for multiple comparison". in N.J. Salkind (ed.). Encyclopedia of Measurement and Statistics. Thousand Oaks, CA: Sage.
댓글
손유동 (2010-10-01 02:22:23)
와우... 간만에 업데이트가 되었군요. 좋은 강좌 감사합니다.Debbie_Kim (2011-10-19 00:39:46)
혹시, 일원변량분석에서 등분산가정이 성립되지 않아 K-W test 를 한 경우,
비모수통계의 사후검정은 일원변량분석 시 사용하였던 Games-Howell을 사용하면 안 되는 건지요?
이일현 (2011-10-19 19:33:58)
ANOVA 에서 등분산이 아닌 경우를 정리했습니다. 아래 링크 참조하십시오.
엘리사벳 (2011-11-11 18:09:46)
이일현박사님. 그저께 SPSS K에서 수업을 들었던 세계김치연구소 김희은입니다. 알려주신 내용 대로 제가 돌리고 있던 통계 검정을 해 보았더니... 정규성을 만족하지 않더군요 ^^; 그래서 비모수통계의 사후분석에 대해 알아보려고 들어왔습니다.
수업처럼 명쾌하게 잘 정리해주셔서 감사합니다.
이일현 (2011-11-12 00:23:34)
예. 기억합니다. 수업중에 힘드셨죠? 집중적으로 괴롭힌거 같아서... 2월 중 워크샵 깜짝 이벤트는 우리 조교 선생에게 말해놨습니다.
강의중에도 말씀드렸지만, 비모수 검정에서는 사후분석이 없습니다. 이때 사용할 수 있는 방법이 바로 Bonferroni Correction 입니다.
잘 적용해서 사용하세요.
조선대통계학과 (2011-12-11 03:27:50)
감사합니다 !!!!!!!!!!!!!!!!!!!!!!!!!
제이돌 (2014-09-01 14:45:35)
찾고있던 내용이었는데 명확하게 설명해주셔서 감사합니다.!!
이준한 (2013-12-18 09:45:06)
감사합니다~~
기존 StatEdu 렉쳐 글을 통계컬럼으로 이전했습니다. 원문: http://www.statedu.com/lecture/87159
댓글
로그인 후 댓글을 남길 수 있습니다.