척도의 개발과 평가

1. 개념적 정의와 조작적 정의: 척도를 개발하기 전 대상의 정의를 명확히 한다.
   1. 개념적 정의: 사전 상 정의
   2. 조작적 정의: 추상적 개념을 측정하기 위해 구체적으로 정의하는 것.
2. 척도: 일정한 규칙에 따라 대상에 수치나 기호를 표시하는 것.
   1. 척도의 분류
      1. 명목 척도: 성별
      2. 서열 척도: 성적 등수
      3. 등간 척도: IQ
      4. 비율 척도: 소득
   2. 메트릭 척도와 비 메트릭 척도
      1. 메트릭 척도(비비교 척도): 절댓값을 가지며 대상 사이를 직접 비교하지 않는 것.
         1. 리커트 척도: 설정한 척도값 중 하나를 선택하게 하는 것.
         2. 어의 차이 척도: 상반된 형용사를 양 끝에 적어두고 고르게 하는 것,
         3. 스타펠 척도: 0점 없이 -5~+5점 중 하나를 선택하게 하는 것.
         4. 연속형 척도: 직선 중 해당하는 지점에 표시하도록 하는 것.
      2. 비 메트릭 척도(비교 척도): 서열 척도로 대상 사이를 직접 비교하는 것.
         1. 쌍대비교 척도: 둘 중 하나를 선택하게 하는 것.
         2. 순위서열 척도: 대상들의 순위를 정하게 하는 것.
         3. 고정총합 척도: 총점 100점을 각 항목에 분배하게 하는 것.
   3. 척도 개발 시 고려할 요인
      1. 척도점의 수
      2. 응답의 강제성: 척도점을 짝수로 하면 무조건 호/불호 중 한쪽 선택이 강요된다.
      3. 응답의 균형성: 균형척도 혹은 불균형 척도 사용 여부
      4. 항목의 수
      5. 척도의 방향
      6. 앵커링: 척도점을 설명하는 글. 앵커링이 있는 척도점을 선택할 확률이 높다.
      7. 표현 형태: 이해가 용이하며 참여를 촉진하도록 구성한다.
   4. 척도의 평가
      1. 신뢰성: 측정의 일관성을 평가하는 개념
         1. 비체계적 오차: 신뢰성이 낮은 경우 비체계적 오차가 크다고 판단한다.
         2. 신뢰성 검증 방법
            1. 재검사법: 동일한 도구로 동일한 대상을 다시 검사하여 그 차이를 비교한다.
            2. 반분법: 조사 대상을 반으로 나누어 각각 검사하고 절반은 신뢰성 검증에 사용한다.
            3. 크론바흐 알파(내적일관성법): 가능한 모든 상관관계의 평균값으로 0~1사이 값을 갖는다. 0.7 이상인 경우 수용할만하다고 판단한다.
      2. 타당성: 측정이 대상을 얼마나 잘 설명하는지 평가하는 개념. 신뢰성이 높아야 타당성이 높을 수 있다.(신뢰성은 타당성의 필요조건이다.)
         1. 체계적 오차: 타당성이 낮은 경우 체계적 오차가 크다고 판단한다.
         2. 타당성 검증 방법
            1. 기준 타당성: construct를 나타내는 기준변수와 척도와의 상관 관계를 검증하는 것.
               1. 예측 타당성: 미래의 상태를 예측하는 것(ex. 수능 성적과 대학 졸업 성적)
               2. 동시 타당성: 현재의 상태를 예측하는 것(ex. 수능 영어 성적과 토익 성적)
            2. 내용 타당성: 척도가 construct의 전체 중 얼마나 많은 영역을 대표하는가를 검증하는 것. 통상 전문가 의견이나 선행연구에서 활용된 척도는 내용 타당성이 높다고 판단한다.
            3. 개념 타당성: construct와 척도 사이의 일치성을 검증하는 것.
               1. 이해(법칙) 타당성: 이론 상 construct 사이의 관계와 각각의 척도 사이의 관계가 동일한 경우 이해 타당성이 높다.
               2. 집중(수렴) 타당성: 한 construct를 측정한 척도는 서로 높은 상관관계를 보여야 한다.
               3. 판별 타당성: 서로 다른 construct를 측정한 척도들은 서로 낮은 상관관계를 보여야 한다.
      3. 신뢰성과 타당성을 높이는 방법
         1. 실험 설계의 타당성 향상
            1. 무작위화
            2. 제거
            3. 상쇄
            4. 매칭(균등화)
            5. 공분산 분석
         2. 척도의 신뢰성과 타당성 향상
            1. 측정 대상에 대한 개념을 명확히 한다.
            2. 내적일관성법(크론바흐 알파)를 확인하여 신뢰성을 저해하는 항목을 제거한다.
            3. 측정 항목의 수와 척도점을 늘린다.
            4. 검증된 측정 도구를 사용한다.
      4. 조사 단계별 발생하는 오차
         1. 실험 설계
            1. 내적 타당성: 외생 변수의 영향으로 실험 결과 불신
            2. 외적 타당성: 호손 효과 등으로 일반화 불가
         2. 표본 조사
            1. 표본 오차: 잘못된 표본을 활용하여 일반화 불가
            2. 비표본 오차: 무응답오류, 자료처리오류 등으로 조사 결과 불신
         3. 측정 도구
            1. 신뢰성: 비체계적 오차로 인해 도구 신뢰 불가
            2. 타당성: 체계적 오차로 인해 일반화 불가