통계컬럼

통계 분석 결과를 볼 때 많은 분들이 가장 먼저 찾는 값이 있습니다. 바로 p값입니다. p < .05이면 “유의하다”, 그렇지 않으면 “유의하지 않다”고 판단하는 방식은 연구 현장에서 매우 익숙합니다. 하지만 p값은 그렇게 단순한 판정 도구가 아닙니다.

p값은 “효과가 있다” 또는 “효과가 없다”를 직접 말해주지 않습니다. 정확히는 귀무가설이 맞다고 가정했을 때, 지금 관찰한 데이터만큼 또는 그보다 더 극단적인 결과가 나올 가능성을 보여줍니다. 따라서 p값이 작다는 것은 관찰된 데이터가 귀무가설과 잘 맞지 않는다는 뜻이지, 연구 결과가 반드시 중요하거나 효과가 크다는 뜻은 아닙니다.

반대로 p값이 .05보다 크다고 해서 효과가 없다고 단정할 수도 없습니다. 표본 수가 작거나 측정 오차가 크면 실제 효과가 있어도 통계적으로 유의하지 않게 나올 수 있습니다. 표본 수가 지나치게 크면 실제로는 매우 작은 차이도 통계적으로 유의하게 나타날 수 있습니다. 결국 p값은 연구 결과를 해석하는 출발점일 뿐, 결론 그 자체는 아닙니다.

통계 결과를 해석할 때는 최소한 세 가지를 함께 보아야 합니다. 첫째, 효과크기입니다. 차이나 관계가 실제로 얼마나 큰지 확인해야 합니다. 둘째, 신뢰구간입니다. 추정값이 어느 범위 안에서 흔들릴 수 있는지 보아야 합니다. 셋째, 연구 맥락입니다. 같은 수치라도 연구 분야, 표본 특성, 측정 도구에 따라 의미가 달라집니다.

예를 들어 어떤 교육 프로그램의 전후 점수 차이가 통계적으로 유의하다고 해도, 평균 차이가 아주 작다면 실무적으로 의미 있는 변화라고 말하기 어렵습니다. 반대로 p값이 .05를 조금 넘었다고 하더라도 효과크기가 크고 신뢰구간의 방향이 일관적이라면, 연구 설계나 표본 수를 함께 검토할 필요가 있습니다.

통계는 결론을 대신 내려주는 기계가 아닙니다. 데이터가 말하는 방향과 불확실성을 정리해 주는 언어에 가깝습니다. 좋은 분석은 p값 하나를 보고 끝나는 것이 아니라, 수치가 연구 질문에 대해 어떤 근거를 제공하는지 차분히 설명하는 데서 시작됩니다.