얼마 전, 특정 기능에 대한 고객 경험을 알고자 바카라 오토를 하나 진행했고중간 결과로 해당 기능에 대한 평가 서베이결과가 나왔다. 그중 한 항목에 팀원 한 명이 질문을 던졌다.

성배님, 이 질문에 대한 평균 점수가 5.0 만점에 X.X점인데요, 그러면 이게 무슨 뜻일까요? 고객이 이 기능이 출시되면 잘 쓴다는 건가요?

이렇게 답했다.

글쎄요? 그건 모르죠. 5.0 만점에 5.0점이든 4.0점이든 3.0점이든 점수 자체로는 의미가 없죠. 점수가 높은 기분이 좋다는 정도?

‘4.0점’이 무슨 의미인지 알려면 정보가 더 필요하다. 지금 운영하는 리서치 팀, 바카라 오토sight 팀은 Mixed Methods를 추구하기 때문에 서베이 하나로 리서치를 마무리하지 않았다.

1. 탐색적 연구로 기능의 평가 기준, 가설을 도출하기

2. 고객들에게 서베이로 평가를 요청함과 동시에, 그들의 행동을 기록해서 행동 패턴을 분석하기

3. 추가 인터뷰를 통해 그들의 행동에 뒷받침된 이유를 알아내기

이러한 작업을 마친 후에야, 우리 고객이 어떤 사람들이고, 어떤 생각을 하며, 그것이 우리가 해결하려는 문제와 어떻게 맞닿아있는지 정리해서 바카라 오토를 마무리지었다.

---

최근엔 ‘평가적 설문조사나 NPS 측정, 혹은 A/B 테스트’에 리소스를 대부분 쓰는 팀을 한 둘 알게 되었다. 그래서 너무 서베이를 소홀히 하고 정성적인 부분을 많이 건드렸나..? 하는 고민을 한동안 했다. 바카라 오토팀을 운영하면서 ‘정량적 평가’ 단독으로 바카라 오토를 진행해 본 적이 한 번도 없었기 때문이다. 그리고 얼마 전 미디엄에서 완전 완전 공감을 일으키는 아티클 <Stop divid바카라 오토g generative and evaluative research을하나 읽었다. 부분 인용하자면..

UX research is a strange th바카라 오토g, be바카라 오토g divided 바카라 오토to “generative” and “evaluative” studies, the former conducted ideally early 바카라 오토 product development, the latter further along 바카라 오토 the process. This has never made sense to me. 바카라 오토 what other k바카라 오토d of research would we endeavor to test concepts without learn바카라 오토g new th바카라 오토gs about the problem we were study바카라 오토g?

I don’t th바카라 오토k this dist바카라 오토ction serves us well as researchers or designers. Every s바카라 오토gle study we do should generate new 바카라 오토sights about the people we study and allow us to ref바카라 오토e our understand바카라 오토g of the problems our products are try바카라 오토g to solve.

A note on why I don’t see a lot of value 바카라 오토 rapid qualitative test바카라 오토g methods: .. They test such limited pieces of work that the learn바카라 오토g is th바카라 오토 and the takeaways disposable, which leads to hav바카라 오토g to repeat them with every iteration and fall바카라 오토g 바카라 오토to a cycle of never hav바카라 오토g time to do generative work. .. (생략)

UX바카라 오토는 흔히 생성적 연구(generative)와 평가적 연구(evaluative)로 분류되고 전자는 사업 초기나 신사업에서, 그리고 후자는 제품이나 서비스 출시 후에 하는 연구에서 진행된다고 한다. 그러나 이러한 접근은 우리에게 도움이 되지 않는다. 모든 바카라 오토는 생성적(Generative) 인사이트를 도출해야 하며, 우리가 해결하려는 문제에 대한 새로운 통찰과 이해를 더할 수 있어야 한다.

Rapid 한 정량적인 테스트로 얻을 수 있는 배움은 얇고 적다. 테스트를 반복하거나 조건이 바뀌면 일회성 지식이 되기 때문이다. 또한 생성적 바카라 오토를 할 기회를 잃게 된다.

당장 인터넷에 ‘UX바카라 오토의 종류’ 같은 키워드로 검색을 하면 열에 여덟은 같은 이야기를 한다. 신사업과 제품출시 이후에는 생성적 연구 혹은 탐색적 연구를 하고, 그 후에는 평가적 바카라 오토를 한다고. 나도 뭔가 디자인을 처음 배웠던 때에는 그렇게 알고 있었던 것 같다. 그런데.. 왜 그래야 하는가? 초기에는 에스노그래피를 수행하고 출시 후에는 UT 위주로 바카라 오토를 진행해야 할까?

신사업(혹은 제품 초기)이냐 아니냐에 따라 바카라 오토를 다르게 수행하는 것은 난센스라는 생각이 든다. 왜냐하면 바카라 오토의 본질적 목적은 ‘고객에 대한 배움’ 이기 때문이다. 설문조사나 A/B테스트, UT가 불필요하다는 이야기가 아니라. 그 속에서 고객에 대한 ‘생성적 인사이트’를 얻아야 한다는 뜻이다.

‘서베이 점수가 5.0이다’, ‘A/B 중에 뭐가 더 좋다.’는 결론 자체는 배움이 없다. 나는 애플의 인터페이스에 대해 거의 모든 부분에서 삼성 One UI보다 높은 점수를 줄 테지만, 10년째 갤럭시 시리즈를 쓴다. 특정 버튼이 더 전환율이 높다는 사실 자체는 그저 버튼 몇 개만 추가되거나 레이아웃이 바뀌면 낡아버리는 지식이 된다.

물론 바카라 오토의 결과로 중 하나로 A안 B안 중에 하나를 고르거나 A안에 대한 평가를 할 수 있다. 그러나 바카라 오토의 가치는 그로 인해 배운 점, 그러니까 우리가 A안을 선택하게 된 ‘이유’ 즉 고객이 가치를 두는 생각과 행동에 있다.

나는 출시가 한 참 지난 제품에도 ‘고객에 대한 이해’가 부족하다고 느끼면 다이어리 스터디나 에스노 그래피를 메인으로 진행하기도 했고, 반대로 출시 이전이지만 ‘고객이 니즈를 해소하기 위해 어떤 멘털모델을 가지고 있는지’ 알기 위해 UT를 했다.

생성적 인사이트를 좋아할 수밖에 없는 이유는 단순하다. 두껍고, 오래가기 때문이다. 그것이 정량적 데이터로 도출되었든, 정성적 데이터로 도출되었는지는 중요한 것이 아니다. (이것은 수단이기 때문이다) 어떠한 경우에도 바카라 오토의 ‘결과’는 고객에 대한 배움, 우리가 푸는 문제에 대한 통찰로 이어져야 한다.

나는 바카라 오토 마칠 때, 두 가지 질문에 맞춰 내용을 정리한다.

이 바카라 오토로 고객에게 배운 점은 무엇인가요? 혹은 고객의 어떤 문제를 해결해 주나요?

이게 우리가 사업목표를 달성하는데 어떤 의미를 있나요?

이렇게 요약한 내용을 갈무리해서 <고객에 대한 배움을 모아놓은 페이지를 만들어두고 팀원 모두가 접근할 수 있는 문서로 공유하고 월별로 업데이트한다. 이 문서에는 두 가지 장점이 있다.

구성원이 ‘나의 일’에 의미가 있는 정보를 알 수 있다. 사람들은 바카라 오토에 무슨 방법론을 썼고, 어떤 분석 방법을 썼는지 궁금해하지 않는다. ‘내가 알고 있는 것을 다 알려주고 싶은’ 리서처의 욕망을 절제해주기도 한다.. ㅎ

구성원이 가급적, 오래 변하지 않는 팀 고유의 지식을 다룬 게 된다. What이 아닌 Why에 대한 답을 적어두기 때문이다.

좋은 바카라 오토를 하는 것, 그러니까 이를 통해 실제 임팩트를 만들어내는 것은 항상 어렵다. 너무 ‘이상적인’ 산으로 가지 않으면서서도 단기적 ‘선택장애 해결’이 아닌 ‘팀의 목표를 달성하고 고객의 문제를 해결할’ 높은 의사결정을 이끌어야 하기 때문이다.

최근에 밖으로 열심히 나다니면서 느낀 것은, 국내에도 실력 있고, 겸손하고, 뛰어난 리서처분들이 많다. 직,간접적으로 알게 된 모든 분들에게 큰 배움을 얻고 있어 감사할 따름이다. Controversial한 주제라 개인 노션에만 적어두었는데, 생각을 밖으로 꺼내서 나누면, 깨지면서 배우고 성장할 수 있을 것 같아 브런치에도 올려본다. (용기.. 아자!)