[W5D4] 두둠의 A/B테스트 진행 과정

 

 

[W5D3]두둠의 A/B 테스트 설계를 위한 분석

위의 분석과 이어지는 과정입니다. 

 

끊임없이 데이터를 분석해서 개선하고 작은 실험으로 빠르게 반복하라
-린스타트업 저자, 에릭 리스

 

A/B테스트란?

두 그룹의 사용자들에게 서로 다른 페이지를 보여준 뒤 어떤 그룹에서 더 좋은 성과가 나타나는지, 긍정적인 사용자 경험을 제공할 수 있는지 여부를 지속적인 시험을 통해 정량적으로 평가할 수 있는 테스트 기법이다. 우리는 고객이 어떤 것을 좋아하는지, 싫어하는지 알 수 없다. 심지어 고객들도 말로는 A포맷이 좋다고 하더라도 B를 선택하는 경우가 있을 수 있다. 지속적인 A/B테스트를 통해 정량적인 데이터를 기반으로 한 의사결정을 통해 사업의 리스크를 줄일 수 있다.

 

 

 

A/B 테스트 구성 단계

 

1. A/B테스트 셋팅

2. 테스트 대상자 A, B 두 그룹으로 분류

3. 두 가지 포맷의 테스트 (홈페이지, 기능 등) 자료 제작

4. 테스트 자료를 A, B 그룹에 각각 제공

5. 각 그룹이 어떻게 반응했는지 데이터 분석(지속시간, 전환율, 이탈률 등)

6. 통계적 유의성 (P-value) 계산 (0.05 미만에 해당하는지)

7. 결과가 우수한 내용을 실전에 반영

 

🔎P-value vs 적정 모수 A/B 테스트에서 고려해야 할 통계적 요소 중, 적정 모수와 P-value가 있다. 적정 모수는 쉽게 얘기해서 모수(샘플 수)가 너무 적으면 그 가설이 입증됐다고 보기 어렵다는 것이다. 따라서 A/B 테스트를 실행하기 전에는 적정한 샘플 수까지 계획하는 것이 필요하다. p-value는 통계적 유의성이라고도 하며 ‘어떤 가설을 전제로, 그 가설이 맞는다는 가정 하에, 내가 현재 구한 통계값이 얼마나 자주 나올 것인가’ 를 의미한다. 일반적으로 P-value 가 0.05 보다 낮으면 신뢰할 수 있다고 볼 수 있다.

 

 

💡 P-value 계산은 서베이 몽키와 같은 툴을 이용해서 진행할 수 있다.

👇

 

A/B Testing Calculator for Statistical Significance | SurveyMonkey

 

 

두둠 랜딩페이지 A/B 테스트 구성

 

첫번째 A/B 테스트

A 포맷

B 포맷

이름	내용
가설	매인 배너의 버튼이 시각적 흐름에 맞게 배치된다고 하면 버튼을 누를 확률이 올라갈 것이다.
목표	랜딩 페이지를 방문하는 사람들에게 배너 클릭시 이동할 수 있는 페이지가 있다는 것을 각인시킨다.
기간	2022년 2월 22일 ~ 3월 2일 수요일(9일간 실시)
대상	기간 내 랜딩 페이지를 방문하는 방문자 1,000명 이상
측정 지표	CTA 클릭율(CTR)

 

 

A 포맷 히트맵

B 포맷 히트맵

 

▶ 가상 결과 : 뷰저블의 히트맵을 통해 고객들의 배너 클릭률(CTR)이 23% 상승했고 클릭 범위도 CTA버튼을 중심으로 형성되었다.

 

 

---

두번째 A/B 테스트

 

A 포맷

B 포맷

 

이름	내용
가설	영상 종류 선택 CTA를 체크박스 형태로 변경한다면 클릭율이 상승할 것이다.
목표	고객에게 선택할 수 있는 UX를 제공하여 효과적으로 원하는 포트폴리오를 찾아볼 수 있게한다.
기간	2022년 3월 22일 ~ 3월 30일 목요일(9일간 실시)
대상	기간 내 랜딩페이지에 유입된 고객 600명
측정 지표	평균 체류시간 및 클릭율(CTR)

 

 

▶ 가상 결과 : 랜딩페이지 영상 종류 선택 CTA의 UI를 체크박스 형태로 바꾸는 A/B 테스트 결과로 체크박스 클릭율이 체크박스가 노출되지 않은 고객군 보다 15% 높았다.

---

세번째 A/B 테스트

A 포맷

B 포맷

 

이름	내용
가설	랜딩 페이지 내 CTA 버튼의 사이즈를 키우면 클릭율이 증가할 것이다.
목표	크리에이터 등록 버튼의 크기를 시각적으로 강조될 수 있게 수정하여 CTA를 클릭하도록 유도한다.
기간	2022년 4월 1일 ~ 4월 8일 금요일(7일간 실시)
대상	기간 내 랜딩페이지에 유입된 크리에이터 500명
측정 지표	CTA 클릭율(CTR), 크리에이터 등록율

 

 

A 타입 히트맵

B 타입 히트맵

 

▶ 가상 결과 : 랜딩페이지 크리에이터 등록 배너의 버튼 위치를 조정함으로써 클릭율이 34% 증가했다. 또한 크리에이터 등록율도 5% 증가했다.

 

---

 

네번째 A/B 테스트

A타입 vs B타입

 

이름	내용
가설	기업 고객들은 회사 소개와 제품 광고 영상에 관심이 많을 것이다.
목표	주타겟인 기업고객들의 목적에 부합하는 콘텐츠들을 최상단에 노출한다.
기간	2022년 4월 11일 ~ 4월 18일 월요일(7일간 실시)
대상	기간 내 랜딩페이지에 유입된 신규 유입고객 2,000명
측정 지표	체류시간 및 구매전환율

 

 

A타입 vs B타입

 

▶ 가상 결과 : 스크롤 히트맵을 보면 하단까지 도달률이 A타입에서는 23%에 불과했다. 핵심 타겟인 기업고객이 원하는 카테고리를 최상단으로 배치했을 때 랜딩페이지 체류시간이 45초 증가했고 스크롤 도달률이 2배 이상인 47%로 나타났다. 또한 A포맷의 구매전환율은 1%이고 B포맷의 구매전환율은 3.5%로 확인됬다. 구매전환율 또한 2.5% 가량 상승했다.

 

💡 스트림과 히트맵 기능을 갖춘 뷰저블로 페이지 내 사용자 행동 흐름을 파악하고 A/B테스트를 진행할 수 있다.

👇

UX 분석 솔루션 | 뷰저블

 

---

 

<이미지 및 자료출처> 

 

내가 뱅크샐러드 PM이라면 푸시알림 전략부터 바꿀거야.

 

A/B 테스트와 P-Value