‘조사표 인지실험’ 활용해 응답자 맞춤형 질문 설계 | 나라경제

칼럼

통계로 세상 읽기‘조사표 인지실험’ 활용해 응답자 맞춤형 질문 설계

박선희 통계청 통계개발원 사무관 2024년 02월호

통계로 세상 읽기.pdf

어떻게 질문해야 정확한 응답 결과를 얻을 수 있을까? 답은 응답자에게 있다.

응답자가 기획자의 의도와 다르게 이해하고 응답하는 경우가 많다. 조사기획자나 연구자의 관점이 아닌 응답자 관점에서 조사표를 구성하는 것이 중요하다.

소득이 얼마인지 질문한다고 가정해 보자. “당신의 소득은 얼마입니까?”라고 단순하게 질문해 볼 수 있지만, 이 질문을 접한 응답자들은 각기 다른 응답 기준을 갖고 있을 수도 있다. 예컨대 한 달 소득을 응답해야 하는지, 일 년 소득을 응답해야 하는지, 현재의 소득인지, 과거 일정 기간의 평균소득인지 등과 같이 시점에 대한 각각의 기준이 있을 것이다. 또 근로소득을 기준으로 응답했는데, 정부지원금이나 재산소득을 포함해야 하는 것을 알았다면 다른 응답 결과가 나올 수도 있다. 이처럼 ‘어떻게’ 질문하는가에 따라 그 결과가 달라질 수 있는 것이다.

일대일 심층 면접 등으로
응답 과정에서의 어려움이나 문제점 파악

어떻게 질문해야 정확한 응답 결과를 얻을 수 있을까? 답은 응답자에게 있다. 조사기획자는 응답자가 조사표의 내용을 기획자가 의도한 대로 인식하고 응답할 것으로 예상한다.

그러나 실제로 확인해 보면 내용을 제대로 읽지 않고 답변하거나, 기획자의 의도와 다르게 이해하고 응답하는 경우가 많다. 이 경우 결과의 정확도나 신뢰도가 떨어질 수밖에 없다. 따라서 조사기획자나 연구자의 관점이 아닌 응답자 관점에서 조사표를 구성하는 것이 중요하다. 그러기 위해서는 우선 응답자가 질문을 어떻게 인식하고 응답하는지 파악해야 한다.

응답자는 질문에 답하기까지 다음과 같은 과정을 거친다. 먼저, 질문이 무엇을 묻고 있는지 이해해야 한다(이해). 다음으로, 질문과 관련한 정보를 기억으로부터 꺼내야 한다(인출). 기억해 낸 정보는 제시된 응답 형태에 맞게 합산하거나 변환해야 하며(판단), 이후에는 응답 보기를 선택해야 한다(보고). 이 과정은 순차적으로 이뤄지기도 하지만 순서를 바꾸거나 반복하기도 한다(<그림 1> 참고).

또한 조사표 인지실험을 통해 응답자가 최종 응답에 이르는 각 과정을 정확히 처리했는지 확인하고, 어려움이나 오류 원인이 발생한 부분을 파악한다. 여기서 문제점으로 확인된 사항은 조사표 개선에 반영하게 된다. 조사표 인지실험은 응답자의 인지과정을 고려한 조사방법론(Cognitive Aspects of Survey Methodology)의 체계화를 기점으로 1980년대 이후 미국, 유럽 등 선진국을 중심으로 꾸준히 확산해 왔다.

미국 센서스국(U.S. Census Bureau)에서는 행동과학방법센터(Center for Behavioral Science Methods)를 통해 조사표 신규 개발이나 개편 과정에서 조사표 인지실험을 실시하도록 규정하고 있다. 캐나다 통계청도 조사표 설계와 관련한 연구를 수행하는 조사표 연구센터(Questionnaire Design Resource Centre)가 있다.

우리나라는 2013년부터 통계청 통계개발원에서 조사표 실험실을 구축해 운영하고 있다. 조사표 실험실에서는 조사표의 특성이나 검토 목적에 따라 인지면접, 사용성평가, 포커스그룹면접, 행동코딩 등 다양한 방법을 적용해 인지실험을 실시하고 있다(<그림 2> 참고).

이 중 자주 사용하는 방법은 인지면접과 사용성 평가다. 인지면접은 응답자와의 일대일 심층 면접을 통해 응답 과정에서의 문제점을 파악하는 방법이다. 면접자는 응답자에게 질문을 제시하고 응답 보기를 선택한 이유와 응답 결과를 도출한 과정 등을 파악한다. 이를 통해 응답자로 하여금 정확한 결과에 도달하지 못하게 만들거나 어려움을 유발하는 구체적인 원인을 분석하게 된다.

시선추적기 등으로 응답자 눈동자 움직임
관찰해 조사표 평가

최근에는 조사원이 조사표를 갖고 직접 방문하거나 종이에 기입하는 방식 외에도 인터넷과 모바일로 조사가 이뤄지는 등 조사도구의 변화가 증가하고 있다. 이에 따라 시선추적을 포함한 사용성평가에 대한 관심도 커지는 추세다.

사용성평가는 응답자가 사용하기 편리하도록 조사표가 잘 구성됐는지를 평가하는 방법으로, 시선추적이나 행동관찰 등을 통해 응답자의 행동을 분석한다. 특히 시선추적은 안경형 시선추적기 등을 활용해 응답자의 눈동자 움직임을 관찰함으로써 조사표가 얼마나 효율적으로 구성됐는지 평가하는 방식이다.

이 과정에서 응답자들의 시선이 자연스럽게 처리되도록 조사표가 구성돼 있는지 평가하고, 메뉴 조작이나 입력 과정이 불편하지는 않은지 확인해 불필요하거나 불편한 점 등은 개선해 나간다. 이를 통해 응답하는 시간을 단축하고 응답자의 부담을 줄여 보다 정확한 답변을 이끌어낼 수 있게 된다.

통계청은 지금까지 인구총조사, 사회조사 등 약 25종의 국가통계 개발·개선 과정에서 조사표 인지실험을 활용했다. 앞으로도 응답자 중심 조사표 설계는 조사 불응률 증가에 대응하는 등 긍정적인 역할을 할 것으로 기대한다.

목록보기