설문 만들기

우리 회사 소프트웨어 개발자가 생각하고 있는 소프트웨어 개발 수준과 개발자 만족도를 조사하기 위해 설문을 개발하고 있다.

사실, 단순하게 시작했다. ‘우리 회사는 소프트웨어 개발자가 다니고 싶어 하는 회사일까?’ 혹은 ‘개발자가 느끼는 우리 회사 개발의 수준은 어떨까?’ 하는 질문에 객관적인 근거를 마련하고 싶었다. 개인적인 경험과 주변 이야기를 통해 판단했던 사실이 맞는지도 확인하고 싶었다.

우리는 여러 설문의 경험을 가지고 있다. 간단한 만족도 조사에서 복잡하고 긴 설문까지. 나는 개인적으로 성실하게 설문에 응하는 편이다. 하지만 진지하게 설문을 만들어 본 경험은 많지 않다. 행사 만족도와 같은 짧고 쉬운 설문을 온라인 설문 시스템을 활용해서 만들어 본 것이 전부다. 그래서 설문 조사를 만드는 일을 무척 쉽게 생각했다. 하지만, 설문 개발 쉽지 않다. 정말 많은 고민이 필요한 영역이다. 그 고민에 대해 적어보려고 한다.

설문을 왜 하려고 하는가?

이유에 대해 크게 고민하지 않았다. 개발 수준과 만족도를 알고 싶은 것뿐이었으니까. 하지만 함께 협업하는 동료들과 이유와 목적에 관해서 이야기했을 때 느낌이 달랐다. 보이지 않았던 다양한 의도들이 포함되어 있었다.

회사에서 개최되는 다양한 행사에 대한 인지 수준과 만족도도 파악하고 싶었고 우리 조직의 업무를 설문이라는 과정을 통해 홍보하고 싶었다. 그뿐만 아니라 이번 기회에 우리가 진행하는 업무 영역에 대해서도 다양한 의견을 듣고 싶었다. 설문을 통해 얻은 시사점을 성과로 보여주어야 한다는 고민도 있었다. 그러다 보니 설문이 내용이 많아지고 이유와 목적이 명확하지 않은 문제를 발견했다.

군더더기를 과감히 포기하고 개발 수준과 만족도에 집중하기로 하였다.

설문의 구조를 발견하고 만들다.

생각해 볼 수 있는 질문들을 마련하고 참조할 수 있는 혹은 구글링해서 필요한 질문 목록들을 나열했다. 질문을 만들면 만들수록 어려움을 느꼈고 원칙, 프레임워크, 구조가 필요하다는 데 의견을 같이했다. 질문을 만드는 과정에서 어느 정도 분류가 보이기는 했지만 뭔가 빠진 듯한 느낌은 지울 수가 없었다.

구조는 ‘왜’에서 찾을 수 있었다. 우리는 개발 수준과 만족도를 조사하고 싶었고 개발 수준을 판단할 수 있는 분류 체계가 필요했다. 개발 단계를 고려해서 분류를 선정하고 각각에 대한 전문성(개발 수준), 협업(소통) 수준을 구조로 잡았다. 그리고 각각을 개인과 조직으로 나눴다. 3차원 배열을 생각하면 된다. 그리고 그 구조, 틀 안에 질문들을 배치했다.

반복적인 질문 개발하기.

어떤 영역은 질문이 부족하고 어떤 영역은 질문이 넘쳐난다. 빠진 부분은 새롭게 개발하고 질문이 많은 부분은 새로운 질문으로 대체한다. 이 과정이 좀 길다. 질문에 대한 선호도가 사람마다 차이가 있다. 질문에 대한 이해도 틀리다. 의견도 조금씩 차이가 난다. 그래서 Voting을 한다. 이 과정을 통해 적정 수준의 질문을 선택한다.

설문하는 사람 입장에서 생각하기.

우리가 열심히 질문을 만들고 고민하다 보면 나름의 합의된, 괜찮은, 나름 만족스러운 질문 세트가 만들어진다. 그런데 우리의 ‘열심’이 실제 설문을 하는 사람의 입장에서 어떤 느낌일지 생각하지 못하게 만든다. 그래서 실제 설문과 동일하게 프로토파이핑을 한다. 그리고 우리 스스로 설문을 해본다. 역시 욕심이 과했다. 질문이 너무 많아 답답하다. 그래서 질문을 줄이는 작업을 수행한다. 그리고 베타 설문을 만들어 이해 관계자들에게 모의 설문을 한다. 그리고 그들의 피드백을 수집한다.

한 사람이 문체 다듬기.

이해 관계자들의 피드백을 반영한 후에 한 사람이 전체 설문의 문체, 문장의 스타일을 다듬는다. 여러 사람이 작업하다 보니 조금씩 상이한 느낌이 존재하는데 한 사람이 정리하니 전체적으로 일관성 있고 잘 읽히는 문장이 된다.

최종 피드백 받아 완성하기

마지막 테스트 설문은 설문 대상과 동일한 대상 중 피드백을 받을 수 있는 사람에게 실시했다. 모든 피드백을 다 반영하는 것은 어렵다. 직설적인 질문이 좋다고 하는 사람도 있고 우회적인 질문이 좋다고 하는 사람도 있다. 수집된 피드백 하나하나 검토하고 반영하는 것이 좋겠다고 판단한 내용을 반영했다. 인상 깊었던 그래서 중요하게 생각했던 피드백은 “이 설문 왜 하지?”, “이 설문을 통해 뭘 하려고 하는 거지?”를 궁금해한다는 사실이다. “설문을 왜 하려고 하는가?”는 설문을 만드는 입장뿐 아니라 설문을 참여하는 사람에게도 중요하다는 것을 확인했다.