타당도와 신뢰도

Seok-Hyun Ga 연구방법론 2021년 1월 13일

타당성(vailidity)

올바른 측정도구와 측정 방법을 사용했는가?

머리둘레를 재기 위해 체중계를 사용했다 => 타당성이 낮음
지능 측정을 위해 1분간 윗몸일으키기 횟수를 측정했다 => 타당성이 낮음

내적 타당성

연구 결과를 어느 정도 믿을 수 있는가?

내용 타당도, 기준 타당도, 개념 타당도

외적 타당성

연구한 결과를 현실에 얼마나 일반화할 수 있는가?

신뢰도(reliability)

측정 대상을 정확하게 선정하여 타당 있는 측정 도구와 방법을 신뢰할 수 있게 사용했는가?

얼마나 일관성 있게 측정하였는가?

관련 개념: 안정성(stability), 일관성(consistency), 예측가능성(predictability), 정확성(accuracy)

동일한 개념을 동일한 측정방법을 사용해서 반복적으로 측정하였을 때 그 결과는 비슷해야 한다.

신뢰성 측정 방법론

재검사법(test-retest method) : 반복적으로 검사를 수행
반분법(spilit-half method) : 2개의 집단으로 나눠서 검사
내적 일관성(internal consistency reliability) : 측정을 위해 여러 개의 항목을 이용하고, 여러 개 중에서 신뢰도를 저해하는 항목을 찾아 제외시킨다.

내적 일관성

내적 일관성에서는 크론바흐 알파(cronbach’s alpha)라는 계수 값을 산출하여 0.6~0.7 이상이 될 경우, 측정 항목들의 신뢰성이 높다고 판단한다.

\(Cronbach’\alpha =\frac{n}{n-1}\left( 1-\frac{\sum {\sigma ^{2}_{i}}}{\sigma ^{2}_{t}}\right)\)
\(n\) : 문항수, \(\sigma_i^2\) : 각 문항의 분산, \(\sigma_t^2\) : 문항 합계 점수의 분산

신뢰성을 높이기 위해서는
1) 측정 항목의 모호성을 제거하고
2) 측정 항목 수를 늘리고
3) 응답자가 모르는 내용은 측정하지 말고
4) 검증된 측정 방법을 사용해야 한다.

외적 타당성과 내적 타당성은 서로 trade-off 관계이다.
내적 타당성을 높이기 위해 조건 통제를 강화할 수록, 현실과 점점 동떨어지기 때문에 외적 타당성은 떨어진다.

타당성 문제는 결과의 편향을 가져온다. 따라서 편향된 만큼을 보정해주면 된다. 즉, 영점 조절을 잘 해주면 해결이 된다. 하지만 신뢰성 문제는 랜덤으로 분산되게 만들기 때문에 측정 상황과 측정자 등 해결에 다양한 고려야 필요하다.

참고문헌

Ga, S.-H., Park, C., Cha, H.-J., & Kim, C.-J. (2024). Science Teachers’ Technical Difficulties in Using Physical Computing and the Internet of Things Into School Science Inquiry. IEEE Transactions on Learning Technologies, 17, 1849–1858. https://doi.org/10.1109/TLT.2024.3406964

Ga, S.-H., Cha, H.-J., & Yoon, H.-G. (2024). How Do Students Respond to the Intended Affordance of Augmented Reality Dinosaur Exhibits in a Science Museum? Journal of Science Education and Technology. https://doi.org/10.1007/s10956-024-10113-z

Cha, H.-J., Yoon, H.-G., & Ga, S.-H. (2023). Evaluation of Teachers and Students on VR/AR Contents in the Science Digital Textbook: Focus on the Earth and Universe Area for the 8th Grade. Journal of the Korean Association for Science Education, 43(2).

Lee, J., Ga, S.-H., Eom, K., Kim, S., Chang, C.-Y., & Martin, N. S. (2023, November 16). Bridging the digital gap in science education: Development of an IoT-based climate change education program for SDGs. Science Education for Sustainable Development in an Aging Society with Low Birthrate. 2023 HU-S-NU-NTNU-KU Joint Symposium for Science Education, Sapporo, Japan.

Ga, S.-H., Eom, K., Lee, J.-Y., Kim, S., Chang, C.-Y., & Martin, S. (2023, November 16). Enhancing science lab activities using Arduino with IoT. Science Education for Sustainable Development in an Aging Society with Low Birthrate. 2023 HU-S-NU-NTNU-KU Joint Symposium for Science Education, Sapporo, Japan.

Ga, S.-H., & Chang, C.-Y. (2024, January 9). Empowering Environmental Science Agency in Students through IoT-Enabled Action-Oriented Education. Ongoing Unique Reserach. Asian Symposium on STEM Education, Tainan, Taiwan.

Cha, H.-J., Ga, S.-H., & Yoon, H.-G. (2023, June 28). Pre-service elementary teachers’ planning and reflecting on science classes using VR/AR contents: Focusing on TPACK analysis. 2023 Conference of Australasian Science Education Research Association, Cairns, Australia.

Ga, S.-H. (2023, March 17). Utilizing Physical Computing and Internet of Things to Scientific Measurement Activities in Science Classroom. the 1st International Science Education Symposium, Taipei, Taiwan.

Lee, J.-Y., Eom, K., Ga, S.-H., Chang, C.-Y., & Martin, S. (2023, July 28). Development of Action-oriented Science Education Program Using the IoT to Achieve SDGs. 2023 The Summer Conference of the Korean Association for Science Education, Seoul, Korea.

Cha, H.-J., Ga, S.-H., & Yoon, H.-G. (2023, January 6). Analysis of TPACK Characteristics of Elementary Preservice Teachers in Planning Science Class Utilizing VR/AR Technology. 2023 The Winter Conference of the Korean Elementary Science Education Society, Seoul, Korea.

Ga, S.-H., Cha, H.-J., & Yoon, H.-G. (2023, July 28). Analyzing elementary preservice teachers’ TPACK through epistemic network analysis: focusing on lesson planning and reflection discourse using VR. 2023 The Summer Conference of the Korean Association for Science Education, Seoul, Korea.

Cha, H.-J., Ga, S.-H., & Yoon, H.-G. (2023, July 28). Analyzing a Science Lesson Plan Using Augmented Reality (AR): Focusing on the Properties of Light. 2023 The Summer Conference of the Korean Association for Science Education, Seoul, Korea.

Ga, Seok-Hyun, Cha, H.-J., & Yoon, H.-G. (2023, July 28). How to Use Epistemic Network Analysis in Science and Education Research. 2023 The Winter Conference of the Korean Association for Science Education, Seoul, Korea.

가석현, 차현정, & 윤혜경. (2023, July 28). 과학교육연구에서 인식적 네트워크 분석 활용 방안. 2023 한국과학교육학회 하계학술대회, 서울, 대한민국.

Ga, Seok-Hyun. (2023, August 9). Arduino-IoT for Science Classroom.

Ga, Seok-Hyun. (2023, August 9). Introduction to Physical Computing: An Introduction to Arduino, Application to Scientific Inquiry.

Ga, S.-H., Park, W.-Y., Cheng, P.-H., Kim, C.-J., Chang, C.-Y., & Martin, N. S. (2023, October 13). Development and Pilot Application of an Educational Board Game for a Climate Change Education Designed to Promote Climate Change Citizenship. Educational Restoration and Growth: Resilience, Advocacy, and Empowerment. The 23rd International Conference on Education Research, Seoul, Korea.

차현정, 가석현, & 윤혜경. (2023, July 28). 증강현실(AR)을 활용한 초등 과학 수업지도안 분석: 빛의 성질을 중심으로. 2023 한국과학교육학회 하계학술대회, 서울, 대한민국.

가석현, 차현정, & 윤혜경. (2023, July 28). 인식적 네트워크 분석을 통한 초등 예비교사의 TPACK 분석: VR을 활용한 수업의 계획과 성찰을 중심으로. 2023 한국과학교육학회 하계학술대회, 서울, 대한민국.

Ga, S.-H., Park, W.-Y., Cheng, P.-H., Kim, C.-J., Chang, C.-Y., & Martin, N. S. (n.d.). Development and Pilot Application of an Educational Board Game for a Climate Change Education Designed to Promote Climate Change Citizenship.

(N.d.).

차현정, 윤혜경, & 가석현. (2023). 과학 디지털 교과서 실감형 콘텐츠에 대한 교사와 학생의 평가: 중학교 2학년 지구와 우주 영역 콘텐츠를 중심으로. 한국과학교육학회지, 43(2).

차현정, 가석현, & 윤혜경. (2023). 초등 예비교사의 VR/AR 활용 과학 수업 계획 과정에서 나타나는 TPACK 특징 -인식적 네트워크 분석을 중심으로-. 한국지구과학회지, 43(3), 225–236. https://doi.org/10.14697/JKASE.2023.43.3.225

Cha, H.-J., Ga, S.-H., & Yoon, H.-G. (2023). Characteristics of Pre-service Elementary Teachers’ TPACK in Science Lesson Planning Using VR/AR Contents: Focusing on Epistemic Network Analysis. Journal of The Korean Association For Science Education, 43(3), 225–236. https://doi.org/10.14697/JKASE.2023.43.3.225

Ga, S.-H., Cha, H.-J., & Yoon, H.-G. (2023). How do students respond to the intended affordance of augmented reality dinosaur exhibits in a science museum? SocArXiv. https://osf.io/preprints/socarxiv/98gsk/

Lim, S.-E., Na, S.-H., Um, H., Kwon, J.-H., Ga, S.-H., Park, C., Cha, H.-J., & Kim, C.-J. (2022). Exploring appropriate preparation for implementing a citizen science education program using digital technologies - based on actor network theory (ANT). The Conference of the Korean Elementary Science Education Society, 81, 87.

임성은, 나서하, 엄혜진, 권지혜, 가석현, 박창미, 차현정, & 김찬종. (2022). 디지털 테크놀로지를 활용한 시민과학 교육 프로그램 실행을 위한 적절한 준비 탐색 - 행위자 네트워크 이론(ANT)를 바탕으로. 한국초등과학교육학회 학술대회, 81, 87.

Yang, J., Park, C., Lim, S.-E., Kim, J., Ga, S.-H., Lee, M., & Kim, C.-J. (2020). App Development Education to Induce Action to Prevent Water Waste against Climate Change. 24, 185–188. https://www.dbpia.co.kr/Journal/articleDetail?nodeId=NODE09296302

양준, 박창미, 임성은, 김지호, 가석현, 이민구, & 김찬종. (2020). 기후변화 대응을 위한 수자원 절약행동 유도 어플리케이션 개발 교육. 한국컴퓨터교육학회 학술발표대회논문집, 24, 185–188. https://www.dbpia.co.kr/Journal/articleDetail?nodeId=NODE09296302

Ga, S.-H., Cha, H.-J., Seo, S., & Kim, C.-J. (2020, July 23). An Analysis of the Greenhouse Effect and Global Warming Model of Pre-service Elementary School Teachers. 2020 The Summer Conference of the Korean Association for Science Education, Online.

Na, S.-H., Kim, J.-U., Ga, S.-H., Park, C., & Kim, C.-J. (2022). Using an Ecological Approach to Explore Teacher Agency during the Implementation of a Citizen Science Education Program Using Arduino. Asia-Pacific Science Education, 8(2), 480–520. https://doi.org/10.1163/23641177-bja10054

Um, H., Na, S.-H., Kim, J.-U., Ga, S. H., Kwon, J.-H., Park, C., Lim, S.-E., Cha, H.-J., & Kim, C.-J. (2021, July 26). Exploring the identity of high school students in citizen science classes about air pollution using Arduino. 2021 The Summer Conference of the Korean Association for Science Education, Online.

Cha, H.-J., Ga, S.-H., & Yoon, H.-G. (2023, January 16). Elementary Preservice Teachers’ TPACK Characteristic about VR/AR Utilization in Class Planning and Reflection. 2023 The Winter Conference of the Korean Association for Science Education, Daegu, Korea.

차현정, 가석현, & 윤혜경. (2023, January 6). 초등 예비교사의 VR/AR 활용 수업 계획 과정에서 나타나는 TPACK 특징 분석. 2023 한국초등과학교육학회 동계학술대회.

차현정, 가석현, & 윤혜경. (2023, January 16). 수업 계획 및 성찰 과정에서 나타나는 초등 예비교사의 VR/AR 활용 TPACK 특징 분석. 2023 한국과학교육학회 동계학술대회, 대구.

차현정, 윤혜경, & 박정우. (2022). Elementary School Teachers’ Perceptions and Demands on the Use of Realistic Content in Science Class. 한국초등과학교육학회지, 41(3), 480–500. https://www.kci.go.kr/kciportal/ci/sereArticleSearch/ciSereArtiView.kci?sereArticleSearchBean.artiId=ART002874658

Na, S.-H., Um, H., Kim, J.-U., Ga, S.-H., Kwon, J.-H., Park, C., Lim, S.-E., Cha, H.-J., & Kim, C.-J. (2021, October 22). Analysis of teachers’ agency in citizen science class about air pollution using IoT. 2021 The Fall Conference of the Korean Earth Science Society, Haenam, Korea.

Na, S.-H., Um, H., Kim, J.-U., Ga, S.-H., Kwon, J.-H., Park, C., Lim, S.-E., Cha, H.-J., & Kim, C.-J. (2021, July 27). Analysis of teacher’s practice in citizen science class about air pollution using IoT - focused on teacher’s agency. 2021 The Summer Conference of the Korean Association for Science Education, Online.

Kwon, J.-H., Lim, S.-E., Na, S.-H., Um, H., Park, C., Cha, H.-J., Ga, S.-H., & Kim, C.-J. (2021, October 22). Deriving Core Competencies Required as Extreme Citizen Scientists. 2021 The Fall Conference of the Korean Earth Science Society, Haenam, Korea.

Kwon, J.-H., Park, C., Cha, H.-J., Ga, S.-H., Na, S.-H., Um, H., Lim, S.-E., & Kim, C.-J. (2021, July 27). Deriving Core Competencies Required as Future Citizen Scientists. 2021 The Summer Conference of the Korean Association for Science Education, Online.

Um, H., Na, S.-H., Kim, J.-U., Ga, S.-H., Kwon, J.-H., Park, C., Lim, S.-E., Cha, H.-J., & Kim, C.-J. (2021, October 22). Exploring high school students’ identities in citizen science classes about air pollution using IoT. 2021 The Fall Conference of the Korean Earth Science Society, Haenam, Korea.

엄혜진, 나서하, 김종욱, 가석현, 권지혜, 박창미, 임성은, 차현정, & 김찬종. (2021, July 26). 아두이노를 활용한 대기환경문제 중심의 시민과학 수업에서 나타나는 고등학생의 정체성 탐색. 2021 한국과학교육학회 하계 온라인 학술대회, 온라인.

엄혜진, 나서하, 김종욱, 가석현, 권지혜, 박창미, 임성은, 차현정, & 김찬종. (2021, October 22). IoT를 활용한 대기환경문제 기반 시민과학 수업에서 나타나는 고등학생의 정체성 탐색. 2021 한국지구과학회 추계학술대회, 해남.

나서하, 엄혜진, 김종욱, 가석현, 권지혜, 박창미, 임성은, 차현정, & 김찬종. (2021, July 27). IoT를 활용한 대기환경문제기반 시민과학 수업에서 나타나는 교사의 수업 실행 분석 -행위주체성 개념을 중심으로-. 2021 한국과학교육학회 하계 온라인 학술대회, 온라인.

나서하, 엄혜진, 김종욱, 가석현, 권지혜, 박창미, 임성은, 차현정, & 김찬종. (2021, October 22). IoT를 활용한 대기환경문제기반 시민과학 수업에서 나타나는 교사의 agency 분석. 2021 한국지구과학회 추계학술대회, 해남.

권지혜, 임성은, 나서하, 엄혜진, 박창미, 차현정, 가석현, & 김찬종. (2021, October 22). 확장 시민과학자로서 요구되는 핵심 역량 도출. 2021 한국지구과학회 추계학술대회, 해남.

권지혜, 박창미, 차현정, 가석현, 나서하, 엄혜진, 임성은, & 김찬종. (2021, July 27). 미래의 시민과학자에게 요구되는 핵심 역량 도출. 2021 한국과학교육학회 하계 온라인 학술대회, 온라인.

Ga, S.-H., Kim, C.-J., & Cha, H.-J. (2021, October 22). Students’ Environmental Science Agency in Scientific Inquires Adapting Physical Computing and Internet of Things. 2021 The Fall Conference of the Korean Earth Science Society, Haenam, Korea.

Kwon, J. H., Cha, H.-J., Na, S.-H., Um, H., Lim, S.-E., Park, C., Ga, S.-H., & Kim, C.-J. (2022). Deriving the Key Competencies Required as an Extreme Citizen Scientist. Asia-Pacific Science Education, 8(2), 452–479. https://doi.org/10.1163/23641177-bja10053

Ga, S.-H., Park, W.-Y., Cheng, P.-H., Chan, K.-C., Martin, S., Kim, C.-J., & Chang, C.-Y. (2022, December 9). Development and Pilot Application of an Educational Board Game for Climate Change Education. 38th Annual International Conference of Science Education in Taiwan, Hsinchu, Taiwan.