[Weekly 6] 오늘의집 A/B 테스트의 가설을 위한 핵심 지표 및 데이터

오늘의집의 강점 및 문제점

 

강점

인테리어 전문 올인원 플랫폼

 

오늘의집은 제품 탐색부터 구매까지 One-stop으로 가능한 스토어이면서 콘텐츠, 커뮤니티, 커머스가 결합된 올인원 인테리어 전문 플랫폼이다. 유저들의 집들이 노하우를 공유하고 콘텐츠 속 제품 정보를 태그 형태로 제공하여 구매까지 한 번에 진행할 수 있도록 편리한 구매 경험을 제공하고 있다.

 

---

 

Platform Tech Lead / Data Engineer

Make it work Make it right Make it fast / 데이터로 말하는 오늘의집의 데이터 엔지니어

 

문제점부터 실제 오늘의집 플랫폼 개발자 호성, 데이터 엔지니어 큐큐가 2021년 상반기에 구축한 오늘의집 A/B 실험플랫폼의 구축 과정을참고하여 역기획을 통해 A/B 테스트를 진행하게 된 이유와 그에 맞는 인사이트를 위해 필요했던 데이터들을 연결시켜 분석했다.

 

문제점

오늘의집은 인테리어 소품이라는 한정된 제품군을 형성하고 있기 때문에 쿠팡이나 네이버 같이 다양한 상품을 취급하는 마켓플레이스 보다 카테고리의 수가 적을 것이다.
그런데 기존 제공하는 B타입의 프로토타입은 지나치게 복잡한 UI를 가지고 있다.

 

A/B Test

 

A타입의 프로토타입은 많은 정보를 담을 수는 없지만 제품의 이미지를 넣어 유저가 원하는 상품을 빠르게 선택할 수 있는 UI를 채택했다.

 

B타입의 프로토타입은 카테고리를 세분화하여 많은 정보를 담고 그 안에서 유저가 원하는 제품을 찾아볼 수 있게 하였다.

 

---

문제점을 해결하기 위한 가설

 

 복잡한 카테고리 UI보다 단순하고 직관적인 UI의 프로토타입이
카테고리 페이지의 체류시간을 줄이고 상품페이지의 체류시간을 늘릴 것이다.
그것은 곧 구매전환율의 상승에 영향을 줄 수 있다.

 

오늘의 문제점 해결을 위한 지표와 데이터

 

Hick's Law

1. 카테고리 페이지 체류시간

카테고리가 많다는 것은 사용자가 선택지가 너무 많다는 것을 의미하여 의사결정에 도움이 되지 않는 의미 없는 체류시간이 길다. 원하는 제품을 빠르게 찾지 못한다는 것은 곧 좋지 않은 고객 경험을 제공할 수 있다. 카테고리 페이지의 목적은 유저가 원하는 제품을 편리하게 찾고 그것을 구매하는 것에 있다. 선택의 수가 적으면 의사결정에 도달하는 시간도 짧다. 따라서 최소한의 복잡성을 요구하는 필수적인 요소들을 제외한 선택의 수를 줄이는데 최선을 다해야 한다.

 

2. 상품페이지의 체류시간

카테고리 페이지의 체류시간이 줄어든 만큼 상품페이지의 체류시간이 늘어났는지에 대한 데이터가 필요하다. 또한 상품페이지의 체류시간의 증가와 구매전환율과의 상관관계에 대해서도 분석해볼 필요가 있다.

 

---

 

인사이트

 

만약 가설이 검증되었고 실제로 A/B테스트의 결과가 A타입의 프로토타입이 B타입의 비해 체류시간이 짧았다고 한다면 추가적인 핵심지표로 활용될 수 있는 것은 상품페이지 체류시간과 구매전환율의 상관관계에 대한 분석으로 나아갈 단계이다.

 

---

가설들을 추후 검증하기 위해서 사용할 방법

 

 

해당 A/B 테스트의 디바이스 인터페이스가 앱기반이기 때문에 웹에 최적화 되어있는 GA보다 앱 내에서 사용자의 행동을 확인하는 것에 최적화 되어 있는 분석도구인 Amplitude 분석도구를 사용할 것이다. 오늘의집 프로덕트 내에 클라이언트가 보내는 로그를 적재하고 고객 데이터 API를 Google Cloud Platform의 빅쿼리를 통해 데이터 시각화를 거쳐 인사이트를 얻어낸다. 그 후 팀원들과의 커뮤니케이션으로 가설을 설정하고 핵심지표를 설정한 후 A/B테스트를 통해 검증할 것이다. 

 

---

오늘의집 A/B테스트 분석

A/B 실험 상세

오늘의집 데이터팀의 변인 통제

해당 내용을 통해 Product Owner(이하 PO), Data Scientist(이하 DS) 등이 실험 계획을 점검하고 해당 실험에 오류가 없는지, 다른 실험을 통해 영향 받을 가능성이 없는지, 신규 피쳐 여부, 통제된 환경에서 실험이 진행되는지 등을 함께 확인한다. 

가설

'최근 본 상품' 구좌를 노출하면 전체 Buyer Conversion이 증가할 것이다.

🔎Buyer Conversion : 구매전환

실험 내용

Group A	Group B	Group C
내가 본 상품의 연관 상품만 노출	최근 본 상품만 노출	둘다 노출
오늘의딜	오늘의딜	오늘의딜
	최근 본 상품	최근 본 상품
추천상품	추천상품	추천 상품
내가 본 상품의 연관 상품		내가 본 상품의 연관 상품
ㅇㅇㅇ님을 위한 상품(CF 추천)	ㅇㅇㅇ님을 위한 상품(CF 추천)	ㅇㅇㅇ님을 위한 상품(CF 추천)
카테고리 기반 추천 상품(추가예정)	카테고리 기반 추천 상품(추가예정)	카테고리 기반 추천 상품(추가예정)

 

---

 

<이미지 및 자료 출처>

 

API란 무엇이고, 왜 사용해야 하나요?

 

 

오늘의집 A/B 실험 플랫폼 구축기 - 오늘의집 블로그

 

 

오늘의집 회사소개