타당도와 신뢰도
타당성(vailidity)
올바른 측정도구와 측정 방법을 사용했는가?
- 머리둘레를 재기 위해 체중계를 사용했다 => 타당성이 낮음
- 지능 측정을 위해 1분간 윗몸일으키기 횟수를 측정했다 => 타당성이 낮음
내적 타당성
연구 결과를 어느 정도 믿을 수 있는가?
- 내용 타당도, 기준 타당도, 개념 타당도
외적 타당성
연구한 결과를 현실에 얼마나 일반화할 수 있는가?
신뢰도(reliability)
측정 대상을 정확하게 선정하여 타당 있는 측정 도구와 방법을 신뢰할 수 있게 사용했는가?
얼마나 일관성 있게 측정하였는가?
관련 개념: 안정성(stability), 일관성(consistency), 예측가능성(predictability), 정확성(accuracy)
동일한 개념을 동일한 측정방법을 사용해서 반복적으로 측정하였을 때 그 결과는 비슷해야 한다.
신뢰성 측정 방법론
- 재검사법(test-retest method) : 반복적으로 검사를 수행
- 반분법(spilit-half method) : 2개의 집단으로 나눠서 검사
- 내적 일관성(internal consistency reliability) : 측정을 위해 여러 개의 항목을 이용하고, 여러 개 중에서 신뢰도를 저해하는 항목을 찾아 제외시킨다.
내적 일관성
내적 일관성에서는 크론바흐 알파(cronbach’s alpha)라는 계수 값을 산출하여 0.6~0.7 이상이 될 경우, 측정 항목들의 신뢰성이 높다고 판단한다.
\(Cronbach’\alpha =\frac{n}{n-1}\left( 1-\frac{\sum {\sigma ^{2}_{i}}}{\sigma ^{2}_{t}}\right)\)
\(n\) : 문항수, \(\sigma_i^2\) : 각 문항의 분산, \(\sigma_t^2\) : 문항 합계 점수의 분산
신뢰성을 높이기 위해서는
1) 측정 항목의 모호성을 제거하고
2) 측정 항목 수를 늘리고
3) 응답자가 모르는 내용은 측정하지 말고
4) 검증된 측정 방법을 사용해야 한다.
외적 타당성과 내적 타당성은 서로 trade-off 관계이다.
내적 타당성을 높이기 위해 조건 통제를 강화할 수록, 현실과 점점 동떨어지기 때문에 외적 타당성은 떨어진다.
타당성 문제는 결과의 편향을 가져온다. 따라서 편향된 만큼을 보정해주면 된다. 즉, 영점 조절을 잘 해주면 해결이 된다. 하지만 신뢰성 문제는 랜덤으로 분산되게 만들기 때문에 측정 상황과 측정자 등 해결에 다양한 고려야 필요하다.
