안녕하세요! 저는 UX Research Lab의 1호 UX 리서처, 오세영입니다. (저는 요기요 리서치팀이 새롭게 UX Research Lab으로 개편된 이후 첫 번째 요기요 UX 리서처로 합류했어요!)
제가 속한 요기요 UX Research Lab에 대해서 우선 간단하게 소개해 드릴게요. 저희 팀에는 현재 5명의 UX 리서처, 그리고 2명의 패널 매니저가 함께 모여 일을 하고 있어요.
요기요 UX Research Lab은 크게 3가지 관점으로 일을 진행하고 있어요.
(1) 첫 번째는 UX 온보딩이에요.
저희 UX Research Lab은 요기요 구성원들에게 UX 리서치에 대한 교육을 진행하고 있어요. 요기요 구성원들이 리서치 방법론을 몰라도 프로덕트에 관련해서 궁금한 점이 있거나, 해결해야 하는 문제가 발생했을 때, UX 온보딩 프로그램을 통해서 UX와 UX 리서치의 개념을 이해하고, UX Research Lab과 원활하게 협업할 수 있도록 도와드려요. UX 리서치 방법론을 잘 모르셔도 괜찮아요. 저희가 의뢰받은 각 프로젝트의 성격에 맞추어 가장 알맞은 리서치 방법을 선정해 도와드릴 수 있으니까요.
(2) 두 번째는 UX 리서치예요.
요기요 UX Research Lab의 미션은 의사결정에 도움을 주는 올바른 인사이트를 제공하여 요기요 Product UX 개선에 기여하는 것이에요. 이를 위해 저희 UX Research Lab은 프로덕트 팀과 밀접하게 협업하면서 비즈니스 목표에 맞게 다양한 리서치를 계획하고 사용자를 연구하고 있어요. 저희는 주로 UT(Usability Testing), IDI(In-depth Interview), Survey 등 다양한 방법론을 통해 요기요가 반드시 해결해야 하는 문제점을 도출하고, 해결 방안을 모색하고 있답니다!
(3) 세 번째는 UX 인사이트를 발굴하고, 전파하는 일을 해요.
저희는 매 리서치에서 발굴한 UX 인사이트를 요기요 구성원들에게 전파하는 역할을 해요. 또, 요기요의 구성원분들이 보다 쉽게 요기요 고객을 이해하고, 고객 중심의 서비스를 제공할 수 있도록 UX 문화 공감대를 만들어 나가고 있어요.
저희 팀에서 가장 많이 하는 조사는 사용성을 검증하기 위한 UT(Usability Testing)에요. 저희가 UT를 진행하는 이유는 여러 가지가 있어요. UT를 진행하면 서비스 런칭 전 사용자가 불편하게 생각하는 프로덕트 디자인의 문제점을 발견할 수 있고, 디자인을 발전시킬 수 있는 기회를 발견하기도 해요. 그리고 사용자의 행동에 대해서도 배울 수 있답니다.
저희는 오프라인 UT도 진행하지만, 주로 온라인 UT를 진행해요. 온라인 UT를 통해 인터뷰를 하는 진행자와 인터뷰 참여자 간의 시간적, 물리적 제약을 극복하고 있어요! 이 외에도 저희는 가게로 직접 필드 리서치를 나가서 사장님의 일하시는 방식과 행동을 관찰하기도 하고요. 사용자의 의견을 묻고 싶을 때는 온라인 인터뷰를 진행하기도 해요. 또, 수백 명이 넘는 다수의 사용자 의견을 들어야 할 필요가 있을 때는 온라인 설문조사를 진행하기도 해요.
저희가 의뢰받은 조사에서 가장 많은 비중을 차지하는 것은 UT지만, UT로 저희가 의뢰받은 모든 문제를 풀 수 있는 것은 아니에요. 그래서 저희는 조사의 목적과 성격에 따라서 온라인 설문도 함께 진행하고 있어요. 저희는 최근 사장님에 관련된 설문을 많이 진행했어요. 사장님 사이트 통합 계정 조사, 사장님 영수증 조사, 사장님 주문 접수 화면 UX 조사, 그리고 새로 런칭한 요마트에 관련된 설문도 진행했답니다!
저희가 많이 사용하는 질문 유형은 만족도 평가, 이용 의향, 선호도 질문이에요. 아래 예시 질문을 몇 가지 보여드릴게요.
설문조사에는 다양한 척도점의 수가 있어요. 설문을 많이 풀어보신 분들이라면 5점, 7점, 10점, 11점 척도 등 다양한 척도를 접해보셨을 거예요. 현업에서는 이와 같이 다양한 유형의 척도들이 사용되고 있기 때문에, 저희 UX Research Lab이 설문을 설계할 때 어떤 척도를 사용해야 할지 고민이 많이 들었어요. 사용자들이 설문을 쉽게 풀 수 있도록 설문 피로도를 낮추어주어야 함과 동시에 리서처가 설문 결과를 분석할 때 선택한 척도점의 수가 타당성과 신뢰도가 있어야 했거든요.
특히 설문 설계 시 가장 빈번하게 쓰이는 5점 척도와 7점 척도 사이에서 어떤 것으로 통일하여 사용할지 가장 큰 고민이 들었어요. 긴 고민 끝에 저희는 다음과 같은 이유로 5점 척도를 사용하기로 결정을 내렸어요.
(1) 저희는 설문을 설계할 때 리커트 척도를 자주 사용하는데요. 닐슨 노만 그룹에 따르면 리커트 척도에는 7점 척도보다 5점 척도가 더 적합해요. 의미 차별화 척도를 사용하는 경우에는 7점을 추천하지만, 리커트 척도의 경우에는 5점을 더 사용한다고 합니다. (*리커트 척도와 의미 차별화 척도에 대한 설명은 아래를 참고해 주세요.)
*리커트 척도(Likert Scale)란 어떤 진술에 대해 개인이 동의하거나 동의하지 않는 정도를 표시하도록 하는 척도예요.
*의미 차별화 척도(Semantic Differential Scale)는 서로 상반되는 말을 양쪽 끝에 나타낸 척도예요.
(2) 둘째, 척도를 선택할 때 척도의 신뢰성(reliability)도 중요하기 때문에 저희 랩의 상황을 고려해 보았을 때 5점과 7점 척도 중에 어떤 것이 나을까 하는 고민도 했었는데요. 저희가 자주 사용하는 긍정-부정 평가 등급, 즉 AD(agree-disagree) rating scale의 경우 5점 척도와 7점 척도의 평균 데이터 신뢰성(reliability) 값이 0.717과 0.716으로 거의 동일해요. (Revilla et al., 2013)
(3) 셋째, 5점 척도는 응답자가 문항을 이해하고 자신의 의견을 표출하기 쉬워요. (Marton-Williams, 1986) 일반적으로 척도점의 수가 많을수록 응답 분포를 크게 할 수 있기 때문에 응답자들을 판별할 수 있는 능력(discriminant power)이 커진다는 장점은 있어요. 하지만 척도점의 수를 늘리면 응답자 입장에서 응답이 어려워지는 단점이 생겨요. (이학식 & 윤호정, 2021) 이러한 이유로 저희는 상대적으로 척도점의 수가 적은 5점 척도를 사용하여 응답자를 덜 헷갈리게 하고, 응답자의 피로도를 낮추고, 응답자가 조금 더 수월하게 설문을 진행할 수 있도록 하고 있어요.
(4) 네 번째, 5점 척도는 설문 참여자의 응답률과 답변의 질을 높일 수 있다는 연구 결과가 있어요. (Lissitz & Green, 1975) 설문 진행 시, 리서처는 짧은 시간 안에 많은 수의 설문을 받으면서도 응답자들로부터 제대로 작성된 답변을 받아야 그 결괏값을 정확한 데이터로 빠르게 사용할 수 있는데요. 저희는 설문 참여자의 지루함(boredom)과 혼란(confusion)이 덜한 5점 척도를 사용하여 (Buttle, 1996) 데이터 퀄리티에 부정적인 영향을 덜 주면서도, 응답자의 응답률을 높일 수 있도록 하고 있어요. *참고로, 5점보다 적은 척도점의 수는 신뢰성과 타당성 측면에서 적합하지 않아 사용하지 않고 있어요. (John Dawes, 2007)
(5) 마지막으로 5점 척도는 만족도, 향후 이용 의향 등 아래의 표처럼 다양한 문항의 척도를 질문할 때도 함께 통일해서 쓸 수 있어서 설문 개발 시 유용하게 사용할 수 있어요.
저희가 5점 척도를 주로 활용하는 대표적인 방법은 2가지가 있어요. 첫 번째는 100점 평균으로 환산하는 방식, 두 번째는 Top 2% 비중을 활용하는 방식이에요.
먼저 100점 평균으로 환산하는 방식은, 단순히 설문 결과를 5점 만점으로 놓고 평균값을 계산하는 것이 아니라, 100점으로 환산하여 평균값을 계산하고, 이를 통해 절대점수와 점수의 변화를 해석하는 방식이에요. 예를 들면, 결과 데이터를 통해 “A, B, C, D 네 개의 서비스 중 A의 만족도 평균은 100점 만점의 몇 점입니다.”라고 해석해 줄 수 있어요.
반면, 퍼센트를 확인하여 서비스 간 차이를 조금 더 용이하게 보고 싶은 경우에는 Top 2%를 활용해요. 예를 들면, 특정 항목에 대한 긍정 비율을 확인할 때는 ‘매우 만족함(5점)’과 ‘만족하는 편임(4점)’을 합산해요. 이 경우, “전체 응답자 중 몇% 의 응답자가 A 서비스에 만족합니다.”라는 해석을 할 수 있어요.
100점 평균으로 환산하는 방식은 Top 2%를 볼 때와 비교하면 상대적으로 결괏값이 극단적으로 두드러지지 않아요. 그래서 이 방식은 소비자 태도지수, 경기실사 지수 등 시간의 흐름에 따라 반복적으로 시행하는 트래킹 조사에 자주 사용돼요. 하지만 마케팅이나 UX 조사의 경우 제품/서비스 간 차이를 직관적으로 확인하는 것을 중요시하기 때문에 Top 2%를 더 자주 사용합니다.
네, UX 리서처분들과 요기요 구성원분들께 각각 전하고 싶은 이야기가 있어요. 우선, UX 리서처분들! 저희는 현재 시니어 UX 리서처를 뽑고 있어요. 많은 관심 부탁드려요:) 자세한 내용은 하기 링크를 참고해 주세요.
→ 지금 지원하러 가기
마지막으로 요기요 구성원분들께 전달드리고 싶은 이야기가 있어요 🙂 저희 UX Research Lab 과의 협업 시기는 따로 정해진 것이 없어요. 요기요에서 어느 때든 리서치가 필요하시다면, 주저하지 마시고 #rnd_ux_research 슬랙으로 연락 주세요!
그럼, 저희는 또 다른 아티클로 찾아뵙겠습니다. 읽어주셔서 감사합니다 🙂
References
- 김경호. (2014). 설문조사
- 더리서치컴퍼니. 리커트 척도의 실무활용
- 이학식, 윤호정. (2021). 마케팅조사
- Francis Buttle. (1996). SERVQUAL: review, critique, research agenda. Manchester Business School, Manchester, UK
- Hayes, S. C., & Hayes, L. J. (1992). Verbal relations and the evolution of behavior analysis. American Psychologist
- John Dawes. (2007). Do data characteristics change according to the number of scale points used?
- Lissitz, R. W., & Green, S. B. (1975). Effect of the number of scale points on reliability: a MonteCarlo Approach. Journal of Applied Psychology
- Marton-Williams, J. (1986). Questionnaire Design, Consumer Market Research Handbook. London McGraw-Hill Book Company
- Neumann, O. (2016). Does misfit loom larger than fit? Experimental evidence on motivational person-job fit, public service motivation, and prospect theory. International Journal of Manpower
- Nielson Norman Group. (2019). Usability Testing 101
- Nielson Norman Group. (2020). Rating Scales in UX Research: Likert or Semantic Differential?
- Revilla et al. (2014). Choosing the Number of Categories in Agree-Disagree Scales
Read the full article here
.png)
