교수님 안녕하세요. 대응표본 t검정 해석..
안녕하세요 교수님.
기초적인 질문일 수 있어 죄송스럽지만 몇가지 여쭤봅니다.
1.평가도구를 개발했고, 이를 활용하여 채점한 결과와 교수자가 채점한 결과를 비교하고 싶습니다.
개발한 평가도구로 채점한 결과가 교수자(1인)가 채점한 결과가 비슷한지, 유사한지를 통계적으로 검증하고 싶습니다.
같은 집단(160명)에 대해 대응표본 t검정(평가도구 채점결과 vs 교수자 채점 결과)을 활용해도 되는지요...
1-1. 대응표본 t검정을 하면 될까요..?
1-1. 피어슨 상관관계 분석은 적절하지 않을까요?
1-2. 대응표본 t검정결과, "통계적으로 유의한 차이가 없다 = 평가도구가 교수자와 비슷하게 채점을 한다"로 해석을 해도 되는지요...
2. 평가도구 적용은 A 과목과 B 과목에 했기에, A과목과 B과목 간의 차이도 검증하고 싶습니다.
이 같은 경우에는 집단이 달라지므로.. 독립표본 t검정(과목별, 성별)을 하면 될까요..?
마찬가지로, A과목(90명)과 B 과목(70명) 간 차이가 통계적으로 유의하지 않다면,
과목의 특성에 관계없이 활용할 수 있다로 해석을 해도되는지 여쭙고 싶습니다.
3. 혹시 평가도구 점수는 (a활동 점수+ b활동 점수)를 합산한 결과(100점 만점)라면... 교사점수(10점 만점)와 대응표본 검정을 할때 z점수 정규화? 과정이 필요한지... 아니면 단순히 나온 점수로 10점 만점으로만 환산하여 비교하면 되는지 여쭤봅니다...
4. 대응표본 t검정, 독립표본 t검정 외에 적절한 통계 방법이 있는지..여쭤보고 싶습니다.
댓글
이일현 (2025-10-23 10:07:57)
평가도구로 채점한 결과와 교수자가 채점한 결과를 비교하는 경우
1. 기준이 동일해야 한다.
2. 최소, 최대값의 범위가 같아야 한다.
결국 위 2가지는 동일한 말입니다.
위 조건을 만족하는 두 평가 결과가 동일한 지 확인하는 방법은 ICC(급내상관계수, Intra-Class Correlation)으로 평가자간 일치도를 이용해서 평가할 수 있습니다.
간단하게는 두 평가 결과간 상관게수를 구할 수 있지만, 더 좋은 방법은 평가자간 일치도입니다.
1. t-test 는 두 평가 간 차이가 있는지를 보는 것이지 유사성을 보는 것은 아닙니다.
2. t-test 로 두 과목 간 차이를 비교할 수 있습니다 .
유의한 차이가 없다는 것은 두 과목 간 평균의 유의한 차이가 없다는 것입니다.
평가 결과와는 무관합니다.
3. 만약 100점 만점, 10점 만점으로 단위가 다르면 비교할 수 없습니다.
굳이 해야 한다면 동일한 기준으로 환산을 해야 합니다.
(100점 만점을 10점 만점으로 바꾸거나 반대로 10점 만점을 100점 만점으로 바꾸거나)
정규화하는 것은 각 평가 결과 안에서 하는 것입니다.
각각 정규화하게 되면 다른 평가 결과와 달라지기 때문에 좋은 방법은 아닙니다.
꿀통이 (2025-10-26 16:29:21)
교수님 안녕하세요.. icc 알려주셔서 감사드립니다.
혹시 교사 1인 채점 점수와 개발한 평가도구 채점 점수로 icc 분석을 하게 된다면..
1. 이차원 혼합으로 icc(3,1)을 하면 되는지 여쭤봅니다..
2. 결과가 단일 측도와 평균 측도로 나뉘는데.. 둘 중에 평균측도로 해석을 해도 되는걸까요?
3. 절대적 일치와 일치 중에는.. 무엇이 더 유리한지 여쭙니다..
이일현 (2025-10-30 17:51:44)
1. 예.
2. 단일측도
3. 절대적 일치가 가장 엄격한 것입니다.
연구자에게는 일치가 유리하죠.
Legacy document_srl: 308493 / Legacy URL: http://www.statedu.com/QnA/308493
댓글