통계컬럼

목록

Mean Centering(평균중심화) 방법 – 조절회귀분석에서

분류: 렉쳐 글쓴이: 이일현 날짜: 2011-12-01 11:33

조절회귀분석을 하게 될 경우, 독립변수(X)와 조절변수(M) 의 상호작용항(Interaction) 을 만들어 분석을 하게 된다.

이때 X, M 과 Interactuion 간에는 선형관계가 존재하기 때문에 다중공선성이 발생된다. 회귀분석에서는 독립변수들 간에 다중공선성이 있을 경우 분석을 할 수 없기 때문에 조절회귀분석을 실시하는데, Interaction 을 직접 사용하는데에는 문제가 발생된다.

이렇게 Interaction 항을 만들면 다중공선성이 발생되어, 다중공선성을 피하기 위한 방법으로 Mean Centering(평균집중화) 을 사용하게 된다.

이에 Mean Centering 을 하는 쉬운 방법을 알아보도록 한다.

 

Mean Centering 의 방법은 변수에서 평균값을 빼주는 것이다. 즉, X 변수의 평균값을 구해서 X - 평균을 해주고, M 의 평균을 구해서  M - 평균을 구하는 것이다. 이렇게 각 변수에서 평균값을 뺀 것을 Mean Centering 이라고 하며, Interaction 항은 단순히 X*M 을 해주는 것이 아니라 Mean Centering 을 해준 변수들의 곱으로 구해야 한다.

 

다음의 예제를 살펴보면,

MC1.jpg

 

독립변수 X, 조절변수 M 과 Interaction 항인 X와 M 의 곱인  XM 이 있는 경우, 이들 변수로 회귀분석을 했을 때,

 MC2.jpg

위 결과처럼, X, M 만으로 회귀분석을 하게 되면 VIF  값이 4.790, 4.790 으로 둘다 10 보다 작게 나타나 다중공선성이 없는 것으로 나타났다. 하지만, Interaction 항이 추가된 경우 VIF 값이 31.687, 55.081, 143.617 로 모두 10 보다 크게 나타나 변수들 사이에 다중공선성이 존재하는 것으로 나타나, Interaction 항이 포함시켜 분석한 회귀분석 결과를 신뢰할 수 없다는 문제가 발생한다. 이때 필요한 것이 Mean Centering 이다.

 

MC6.jpg

X, M 의 기술통계분석을 실시하여 평균을 구하면 각각 2.6886 과  3.2791 이  나온다. 이 평균값을 각각의 변수에서 빼주는 것이 Mean Centering 이다.

 

변환 --> 변수계산   

MC7.jpg

메뉴에 들어가서 X - 2.6886 을 계산하여 MC.X 라는 변수에 저장을 한다.

또다시 변환 --> 변수계산 메뉴에 들어가서, M - 3.2791 을 계산하여 MC.M 이라는 변수에 저장한다.

마지막으로 MC.X 와 MC.M  의 곱을 구하여  MC.XM 이라는 변수에 저장한다.

 

이렇게 3번의 작업을 거치게 되면 독립변수, 조절변수, Interaction 항의 Mean Centering 이 마무리 된다.

MC4.jpg

 

이제 회귀분석은 X, M, XM 이 아닌, MC.X,  MC.M,  MC.XM 을 이용하여 분석을 한다.

MC5.jpg

 

분석 결과를 보면 X, M 으로 분석한 결과와 MC.X,  MC.M 으로 분석한 결과는 일치하는 것을 알 수 있다. 문제는 Interaction항인 MC.XM 이 추가된 경우 VIF 값이 모두 10 보다 작은 것을 알 수 있다.

 

이렇게 조절회귀분석에서는 Mean Centering 항을 만들어서 분석을 해주면 된다.

 

 

 

위와 같이 메뉴 방식을 이용해서 하게 되면 손이 많이 가게 된다. 이때, 명령어를 이용하여 쉽게 Mean Centering 을 할 수 있는 방법이 있다. 명령어 창을 열어서 다음과 같은 명령어를 작성하여 실행을 시키게 되면, Mean Centering 을 편하게 할 수 있다.

MC3.jpg

 

위 명령어에서 핵심적인 사항은 기술통계 분석을 하는 대신에 Aggregate 명령어를 이용하여 X, M  의 평균값을 X_mean, M_mean 이라는 변수에 저장을 할 수 있다는 것이다. 이렇게 Aggregate 명령어로 X, M 의 평균값인 2.6886 과 3.2791 대신에 X_mean, M_mean 이라는 변수로 만들어서 Mean Centering 을 한 후, 필요가 없어진 두 변수는 Delete Variabels 명령어를 이용하여 삭제한다.

댓글

*진* (2012-01-29 23:52:43)

좋은 자료 감사합니다.^^

Loster (2012-12-15 04:27:52)

정말 정말 감사드립니다.

유은 (2015-06-07 14:43:14)

궁금한 점이 있습니다.

여기에서 평균집중화 과정을 통계 회귀분석을 돌린 뒤, 조절효과가 있음이 밝혀졌고 그 후에 조절의 영향력을 살피기 위해 평균을 기준으로 고/저로 나누어 분석을 한다면.. 그때 사용되는 평균값은 평균집중화 과정을 안 거친 기존의 데이터로 평균값을 구하면 되는건가요??

이일현 (2015-06-10 22:18:18)

예.

원 데이터로 하나, 평균중심화 값으로 하나 고/저는 동일하게 나누어집니다.

MrThang (2016-05-03 14:14:50)

죄송한데 여기는 유의확률은 0.1 이상 있잖아요. 무시해도 괜찮아요?

이일현 (2016-05-03 16:10:31)

예.

이 경우에는 유의하지 않기 때문에 조절 효과 없는 것입니다.

mean centering 을 설명하기 위한 예제일 뿐입니다.

gksml (2016-10-22 22:26:58)

좋은 자료& 설명 감사드립니다!!

jks1015 (2024-05-03 09:56:51)

설명감사합니다. 이해가 잘되었어요.
저는 연속형변수와 범주형 변수를 이용해서 상호작용텀을 넣어보고싶은데;;

범주형변수는 평균이 없어서 어떻게 적용해야할른지 .. 질문드려봅니다.

평균중심화하는건 연속형변수에만 적용해서 일단 해보았는데, 그래도 vif가 많이 높아서요;;

이일현 (2024-05-13 23:23:22)

process macro 로 분석하면 됩니다. 

범주형 독립변수나 조절변수는 categorical variable 설정을 하면 됩니다. 

회귀분석으로 하는 경우 범주형 변수는 평균중심화하지 않습니다. 

dummy 변수로 만든 후에 분석합니다.

greenbird (2025-04-08 20:47:24)

안녕하세요. 알기 쉽게 설명해주셔서 정말 감사합니다. 그런데 궁금한 점이 있습니다.

보고 따라한 덕분에 상호작용항과 독립변수의 공선성 문제는 해결하였는데요.

평균중심화를 한 이후 변수들의 계수값이 크게 달라졌습니다.

독립변수: 방향은 그대로이고 계수값이 낮아짐

조절변수: 아예 (+)에서 (-)로 계수 방향이 바뀜

상호작용항: 값과 방향 모두 그대로

인데 특히 조절변수의 계수 방향이 바뀐 것을 어떻게 보아야 할까요?

1) 공선성 문제가 해결되면 계수 방향도 이와 같이 바뀔 수 있나요?

2) 그리고 바뀔 수 있다고 하면, 이전 회귀 결과는 무시하고 평균중심화하여 만들어진 결과를 가지고 해석하면 되는 걸까요?

감사합니다.

이일현 (2025-04-15 10:21:03)

Mean Centering(M.C) 을 하게 되면 독립변수와 조절변수의 단위가 바뀌게 됩니다. 

따라서 분석 결과 그 변수의 B 값도 자연히 변하며, 심한 경우 부호가 바뀌는 경우도 발생됩니다. 

상호작용(조절효과)항의 값은 동일하게 나옵니다. 

이 결과를 원 단위로 변환하면 B 값도 M.C 하기 전의 결과와 동일하게 나옵니다. 

또한 현재 연구들의 결과에서는 M.C 을 하지 않아도 된다는 것이 밝혀졌습니다. 

다중공선성의 문제도 M.C 은 VIF 값을 낮추긴 위한 용도이지 실제로는 관계가 없습니다. 

결론적으로 조절효과 검정시에 M.C 은 안 해도 되며, 가능하면 분석은 process macro 로 분석하는 것이 현재까지는 가장 좋은 방법입니다. 

Attachments

  • MC5.jpg - 湲곗〈 寃쎈줈: ./files/attach/images/60/423/262/1ba092fff6d5e4f2a27a44a78f48a556.jpg
  • MC1.jpg - 湲곗〈 寃쎈줈: ./files/attach/images/60/423/262/7e7dff6a76190a30ec087c13448d48d7.jpg
  • MC4.jpg - 湲곗〈 寃쎈줈: ./files/attach/images/60/423/262/5278039b123e610af85258a108fb2caa.jpg
  • MC3.jpg - 湲곗〈 寃쎈줈: ./files/attach/images/60/423/262/d51720a2ba92f219b4f0cec1ee4f4f43.jpg
  • MC2.jpg - 湲곗〈 寃쎈줈: ./files/attach/images/60/423/262/2e5a35e37c4665366f4e26ced8912253.jpg
  • MC7.jpg - 湲곗〈 寃쎈줈: ./files/attach/images/60/423/262/164846140cf6a51f10813eda37659697.jpg
  • MC6.jpg - 湲곗〈 寃쎈줈: ./files/attach/images/60/423/262/7e4a46b53d75ac1ee7b1343c10a608ae.jpg

기존 StatEdu 렉쳐 글을 통계컬럼으로 이전했습니다. 원문: http://www.statedu.com/lecture/262423

목록

댓글