통계컬럼

Multiple regression analysis 에서 Effect Size 계산

이일현(통계학 박사)

스탯에듀 통계연구소

Meta 분석에서 Multiple Regression Analysis 자료를 이용한 Effect Size 계산하는 방법에 대해 알아보겠습니다. 

회귀분석 자체에서 Effect size 계산 수식은 다음과 같이 결정계수를 이용한 방법입니다. 

하지만 이는 단순회귀분석에서만 가능하기 때문에 다중회귀분석에서는 활용할 수 없다는 문제가 있습니다. 

물론 위계적 회귀분석으로 해당 변수만 마지막 위계에 추가되었다면 결정계수 증가분으로 가능하기는 하겠지만 제약이 많겠죠. 

따라서 실제 다중회귀분석에서는 Effect size 를 계산하는 공식 자체는 없습니다. 

인과관계의 자료의 Meta 분석의 경우 현재까지는 상관계수(Correlation Coefficient)를 이용하여 Effect Size 를 계산하는 방법이 사용되고 있습니다. 하지만 Correlation Analysis 결과를 이용한 Effect Size 는 통제변수의 영향을 통제한(보정한 adjusted) 효과크기를 계산할 수 없기 때문에 실제 효과보다도 과대하게 나오는 문제가 있습니다. 

회귀분석 자료의 Meta Analysis 뿐만 아니라 Meta Regression, Meta Path Analysis, Meta SEM 과 같은 방법론이 사용되는 이때에 다중회귀분석(경로분석, 구조방정식) 자료를 이용한 Effect Size(ANCOVA, Repeated Measure ANOVA(반복측정 분산분석)에서도 활용) 를 계산할 필요성이 있습니다. 

Effect Size 의 계산 방법으로 가장 많이 알려진 방법은 t-test 자료에 대하여 

실험군과 대조군의 평균, 표준편차, 표본수를 이용한 위의 수식입니다. 

하지만 Effect Size 계산시 각 집단의 평균, 표준편차, 표본수가 모두 제시되지 않은 경우가 종종 나오며 이를 위해 여러 가지 Effect Size 수식이 존재합니다. 

t 통계량과 각 집단의 표본수를 아는 경우 다음의 식을 이용하면 Effect Size 를 계산할 수 있습니다. 

t-test 와 ANOVA, 회귀분석(regression analysis)은 모두 Linear Model 입니다. 

그리고 동일한 자료로 3 가지 분석을 하게 되면 그 결과는 동일합니다. 

t-test 와 ANOVA, 회귀분석(regression analysis) 결과의 p-value 는 동일합니다.

그럼 당연히 t-test 에서 ES 를 계산한 결과와 ANOVA, 회귀분석에서 각각 계산하면 모두 동일한 값을 가지게 되는 것이죠. 

문제는 t-test 자료에서는 실험군, 대조군 각각의 n 이 필요하므로 직접 t 통계량을 이용할 수 없죠. 

하지만 ANOVA 의 F 통계량을 이용하면 그 문제를 해결할 수 있습니다. 

결국 위의 수식을 이용(ANCOVA, Repeated Measure ANOVA 의 경우 F 통계량을 이용)하면 다중회귀분석에서도 Effect size 를 계산할 수 있습니다. 

다중 회귀분석에서 t 통계량과 전체 표본수 n  이 있는 경우는 위의 수식을 이용합니다. 

하지만 일부 논문에서는 t 통계량을 제시하지 않는 경우가 있습니다. 이때에는 비표분화 계수 B와 표준오차인 SE 를 이용하면 됩니다. 

회귀분석에서 독립변수의 t 통계량은 B와 SE 로 계산이 됩니다. 

다중 회귀분석에서 B, SE, n 이 제시된 경우나 t, n 이 제시된 경우 위의 수식을 이용하여 Effect size 를 계산합니다. 

회귀분석 자료의 Meta 분석은 Effect Size 인 상관계수(correlation coefficient) 로 변환하여 사용합니다. 

다만 상관계수의 경우 표본수에 민감한 문제가 있습니다. 표본수가 큰 경우 상관계수가 크게 나오게 되어 Effect Size 가 과대해질 수 있습니다. 따라서 상관계수 자체보다는 Fisher's z transformation 한 ZCOR 을 이용하여 Meta Analysis 를 하는 것이 좋습니다. 

이상으로 Multiple Regression Analysis(ANCOVA, Repeated Measure ANOVA) 에서 Effect Size 를 이용하는 방법에 대해 알아봤습니다. 

Effect Size 계산은 아래의 링크에서 EasyFlow Statistics macro 를 이용하여 계산할 수 있습니다. 

EasyFlow Statistics - EasyFlow Statistics Macro : EXCEL macro Ver 1.4 (statedu.com)

http://doi.or.kr/10.22934/StatEdu.2020.02

http://doi.org/10.22934/StatEdu.2020.02

Multiple regression analysis 에서 Effect Size 계산.pdf

Attachments

• 2020-1124-1.PNG - 湲곗〈 寃쎈줈: ./files/attach/images/60/099/267/c8c71854c34905c3d8384adb873dfa2d.PNG
• 2020-1124-2.PNG - 湲곗〈 寃쎈줈: ./files/attach/images/60/099/267/bbc64de2c8f0e72a4defbb05dc7c020a.PNG
• 2020-1124-3.PNG - 湲곗〈 寃쎈줈: ./files/attach/images/60/099/267/dc890b833155c99018f0a99a87e38766.PNG
• 2020-1124-4.PNG - 湲곗〈 寃쎈줈: ./files/attach/images/60/099/267/099caef7267c077985ed07059097e7ca.PNG
• 2020-1124-5.PNG - 湲곗〈 寃쎈줈: ./files/attach/images/60/099/267/8399db7a1a4666951ac3997436a5ce0e.PNG
• 2020-1124-6.PNG - 湲곗〈 寃쎈줈: ./files/attach/images/60/099/267/93bd9192a678ea9d38968ffacb52ba8c.PNG
• Multiple regression analysis 에서 Effect Size 계산.pdf - 湲곗〈 寃쎈줈: ./files/attach/binaries/60/099/267/bd671c9c4f11aa676f7a7800e5bd0fd5

---

기존 StatEdu 렉쳐 글을 통계컬럼으로 이전했습니다. 원문: http://www.statedu.com/lecture/267099