A/B 테스트로 상품 사진과 상세페이지 검증하기: 노출을 낭비하지 않는 방법

대표 사진, 제목, 인포그래픽의 첫 화면은 구매자가 클릭할지 그냥 넘길지를 결정합니다. 하지만 이것들을 감으로 바꾸는 것은 위험합니다. 실패한 테스트 한 번이 한 주 동안 노출을 떨어뜨리고, 검색 결과에서 잃은 순위를 되찾는 일은 잃는 것보다 훨씬 어려울 때가 많습니다. 마켓플레이스의 상품 카드는 관심을 두고 끊임없이 경쟁합니다. 검색 목록의 타일 안에서 수십 개의 비슷한 상품이 나란히 놓이고, 눈에 띄기까지 주어진 시간은 찰나에 불과합니다. 대표 사진이나 제목을 조금만 바꿔도 클릭뿐 아니라 알고리즘 랭킹까지 움직이며, 알고리즘은 새 콘텐츠에 맞춰 다시 학습합니다.

그래서 "바꾸고 지켜본다"는 접근은 거의 언제나 사람을 속입니다. 결과에는 계절성, 광고, 요일, 경쟁사의 가격 변동, 그리고 그저 작은 숫자의 우연까지 영향을 미칩니다. 결론을 믿을 수 있으려면 테스트를 실험처럼 설계해야 합니다. 가설, 대조군, 고정된 조건, 그리고 충분한 데이터량을 갖춰야 합니다. 아래에서는 조심스럽게 테스트하는 방법, 정확히 무엇을 측정할지, 결과를 어떻게 읽을지, 그리고 유용한 테스트를 노출 낭비로 바꿔버리는 실수들을 살펴봅니다.

마켓플레이스에서는 구매자의 얼굴을 볼 수 없지만 그의 행동은 숫자로 볼 수 있습니다. 카드가 몇 번 노출되었는지, 몇 번 클릭되었는지, 몇 번 장바구니에 담겼는지, 몇 번 구매되었는지 말입니다. 사진이나 텍스트를 바꾸면 이 숫자가 바뀌는데, 흔히 취향이 예상하는 방향과 반대로 움직입니다. 디자이너는 새 인포그래픽이 "더 깔끔하고 현대적"이라고 확신하지만, CTR은 15퍼센트 떨어집니다. 타일 안에서 시선을 끌던 핵심 오브젝트가 대표 사진에서 사라졌기 때문입니다. 미학과 판매가 늘 일치하지는 않습니다. 디자이너의 큰 모니터에서 아름다워 보이는 것이, 모바일 앱의 손톱만 한 미리보기에서는 종종 패배합니다.

그래서 상품 카드에 관한 결정은 회의에서, 혹은 "내 취향에는 이게 더 낫다"는 원칙으로 내리는 것이 아니라, 실제 트래픽 위에서 두 버전을 비교한 결과로 내립니다. 이것이 바로 A/B 테스트입니다. 청중에게 버전 A와 버전 B를 보여주고, 반응을 측정하고, 승자를 남깁니다. 단순하게 들리지만, 어려운 점은 플랫폼에 공정한 분할 테스터가 거의 내장되어 있지 않다는 것입니다. 대부분의 마켓플레이스는 같은 순간에 구매자의 절반에게 한 대표 사진을, 나머지 절반에게 다른 대표 사진을 보여주게 해주지 않습니다. 그러니 순차 테스트와 대조군 상품으로 작업할 수밖에 없고, 이는 규율을 요구합니다. 동일한 조건, 변하지 않는 가격, 일정한 광고 예산 말입니다.

감으로 맞추지 말고 테스트해야 할 또 다른 이유는 직관이 잘 확장되지 않기 때문입니다. 상품 하나는 감으로 느낄 수 있을지 몰라도, 수백 개 품목의 구색에서 대표 사진 하나하나를 감으로 맞추는 것은 불가능합니다. 반면 테스트 과정은 재현 가능합니다. 당신의 카테고리에서 흰 배경보다 "사용 장면"의 상품이 잘 먹힌다는 것을 한 번 알아내면, 그 결론을 수십 개의 카드로 옮겨 적용합니다. 테스트는 노출뿐 아니라 취향을 두고 벌이는 끝없는 논쟁의 시간까지 아껴줍니다.

반대편도 이해해야 합니다. 테스트는 규율을 요구하고 서두르는 것을 싫어합니다. 구매자의 행동은 불안정하고 요일, 날씨, 경쟁사의 활동, 그리고 당신이 통제할 수 없는 수십 가지 요인에 따라 달라집니다. 그래서 단발성 관찰은 거의 아무 의미가 없고, 가치는 체계적으로 테스트하며 통계를 쌓을 때 생겨납니다. 하나의 테스트는 하나의 좁은 질문에 답하고, 일련의 테스트는 당신 카테고리에 대한 이해를 형성합니다. 첫 비교에서 계시를 기대하지 말고, 시간이 지나면서 감으로 대표 사진을 계속 바꾸는 경쟁자들보다 우위를 안겨줄 규율을 기대하십시오.

한꺼번에 다 테스트하지 마십시오. 대표 사진, 제목, 인포그래픽 순서를 동시에 바꿨는데 지표가 올랐다면, 무엇이 효과가 있었고 무엇이 발목을 잡았는지 알 수 없습니다. 어쩌면 사진이 클릭을 30퍼센트 올렸는데 새 제목이 그 일부를 갉아먹어서, 합계로는 보잘것없는 플러스만 보고 그것을 완전한 성공으로 착각할 수도 있습니다. 한 번의 반복(이터레이션)에 하나의 요소만, 퍼널에 미치는 영향력이 큰 순서대로 테스트하십시오. 더 느리지만 각 결론이 지식 창고에 남아 미래의 카드에 적용됩니다.

퍼널에 미치는 영향력의 위계

• 대표 사진(커버) 은 검색 결과에서 CTR에 가장 강하게 영향을 미칩니다. 구매자는 검색 타일에서 가격, 평점과 함께 이것을 보고, 시선이 멈출지 미끄러져 지나갈지를 바로 대표 사진이 결정합니다. 가장 먼저 테스트하십시오. 앵글, 배경(깨끗한 흰색 대 주변 환경이 있는 라이프스타일), 상품을 "손에 든" 모습이나 사용 시나리오의 유무, 프레임 속 오브젝트의 크기, 작은 미리보기에서의 가독성. 흔히 가장 아름다운 사진이 아니라, 찰나에 무슨 상품인지 명확한 가장 이해하기 쉬운 사진이 이깁니다.
• 제목 은 CTR에도(일부가 사진 아래 검색 결과에 보임) 영향을 미치고, 검색 키워드를 통해 랭킹에도 영향을 미칩니다. 구조를 테스트하십시오. "브랜드 + 유형 + 핵심 혜택 + 사양" 대 "유형 + 용도 + 브랜드". 어떤 단어가 맨 앞에 오는지 확인하십시오. 구매자가 가장 먼저 읽는 것이 제목의 첫머리이고, 꼬리는 인터페이스에서 잘려 나가는 경우가 많기 때문입니다.
• 두 번째에서 네 번째 사진의 인포그래픽 은 클릭에서 구매로의 전환에 영향을 미칩니다. 여기서 구매자는 이미 카드 안에 들어와 있고, 이미지 위의 텍스트가 결정을 좌우합니다. 크기와 치수, 성분과 소재, 사용 시나리오, 전형적인 반론에 대한 답, 대안과의 비교. 이것은 이미 클릭이 아니라 신뢰를 위한 작업입니다.
• 설명, 상세 정보, 후기 는 마지막 의심을 닫아줍니다. 이것들도 테스트할 수 있지만 효과는 대개 더 미묘하고 트래픽이 많을 때만 눈에 띕니다.

무엇을 먼저 테스트할지 고르는 법

당신의 지표를 카테고리 평균과 비교하십시오. 커버의 CTR이 카테고리보다 낮다면 문제는 퍼널 위쪽에 있고, 다섯 번째 슬라이드의 인포그래픽을 다듬는 것은 무의미합니다. 거기까지 도달하는 사람이 거의 없기 때문입니다. 반대로 클릭은 정상인데 구매가 적다면 카드 내부를 파고드십시오. 실전 규칙은 이렇습니다. 퍼널을 위에서 아래로 고치십시오, 노출 다음 클릭 다음 구매. 먼저 카드가 클릭되게 만들고, 그다음에야 내부의 전환을 두고 싸우십시오.

가설은 검증 가능한 주장으로 세우십시오. "더 예쁘게 만들어보자"가 아니라 "커버에 크기 비교용으로 손에 든 상품을 추가하면 구매자가 실제 크기를 이해하게 되므로 CTR이 오를 것이다"처럼 말입니다. 이런 가설은 숫자로 확인하거나 반박하기 쉽고, 테스트 결과와 무관하게 미래를 위해 당신을 가르칩니다.

시작을 위한 커버 가설 아이디어

무엇부터 시작할지 모르겠다면, 여러 상품 카테고리에서 종종 눈에 띄는 CTR 변화를 주는 검증된 방향들이 있습니다.

• 크기와 맥락. 옆에 익숙한 물건이나 손을 두어 구매자가 실제 크기를 즉시 이해하게 하십시오. 치수가 명확하지 않은 액세서리, 그릇, 소형 가전에 특히 중요합니다.
• 배경. 카탈로그처럼 단정해 보이는 깨끗한 흰 배경과, 상품을 사용 환경 속에 보여주는 라이프스타일 배경을 비교하십시오. 어떤 카테고리는 무균의 깔끔함이, 다른 카테고리는 살아 있는 장면이 이깁니다. 미리 맞출 수 없습니다.
• 앵글. 정면 프레임과, 볼륨을 더해주는 3/4 각도. 때로 각도만 바꿔도 아무 리터치 없이 상품이 더 "비싸" 보입니다.
• 혜택에 대한 강조. 열린 뚜껑, 소재의 질감, 구성품 등 핵심 특징을 커버에 바로 보여주십시오. 구매자가 안에 무엇이 있는지 추측하게 해서는 안 됩니다.
• 커버의 텍스트 최소화. 첫 사진의 불필요한 배너와 문구는 도움보다 방해가 되는 경우가 많습니다. 그것들이 없는 버전을 확인해 보십시오.

한 번에 아이디어 하나씩 가져와 기대 결과와 그 이유를 세운 다음에야 실행하십시오. 각 가설과 그 결과를 간단한 표에 기록하십시오. 날짜, 무엇을 바꿨는지, 기준 지표, 최종 지표, 결론. 몇 달 후 이 표는 인터넷의 어떤 일반적 조언보다 값진, 당신 카테고리에 대한 내부 매뉴얼이 됩니다.

두 가지 기본 지표가 카드에 관한 결정의 90퍼센트를 다루고, 둘 다 한 번의 계산으로 나옵니다. 각각이 무엇을 담당하는지 혼동하지 않는 것이 중요합니다. 그러지 않으면 클릭 상승에 기뻐하다가 판매 하락을 놓치기 쉽습니다.

CTR(검색 결과에서의 클릭률) 은 커버, 제목, 가격, 즉 카드에 들어오기 전에 보이는 모든 것을 담당합니다.

CTR = 클릭 / 노출 × 100%

CR(주문 전환율) 은 카드 내부의 모든 콘텐츠, 특히 인포그래픽, 설명, 상세 정보, 후기, 평점을 담당합니다.

CR = 주문 / 카드 방문 × 100%

실제로 당신이 최적화하는 최종 지표는 노출당 주문 = CTR × CR 입니다. 카드가 나아졌는지 나빠졌는지 말해주는 것은 개별 지표가 아니라 바로 이것입니다. 때로 새 커버가 CTR을 올리지만 호기심에 클릭하고 사지 않는 "엉뚱한" 사람들을 끌어들여, 그럴 때 CR이 CTR 상승분보다 더 크게 떨어집니다. 이런 경우 화려한 커버는 해롭지만 지표 하나만 보면 승리처럼 보입니다. 항상 CTR과 CR을 묶어서 함께 보십시오.

무엇이 무엇을 담당하는가

숫자를 어디서 얻을까

대부분의 마켓플레이스 판매자 센터에는 품목별 판매 퍼널 리포트가 있습니다. 노출, 방문, 장바구니, 주문이 보이는 분석 화면입니다. 쿠팡, 네이버 스마트스토어, 11번가 등 플랫폼마다 명칭은 다르지만, 노출과 검색 노출, CTR, 주문 전환율은 어디서나 확인할 수 있습니다.

숫자가 더 이상 튀지 않는 최소 관찰 기간은 보통 일주일입니다. 그래야 평일과 주말의 차이가 완화됩니다. 주말에는 구매자의 행동이 눈에 띄게 다르기 때문입니다. 지표는 같은 요일, 같은 기간 창에서 측정하십시오. 그러지 않으면 비교할 수 없는 것을 비교하게 됩니다. 그리고 반드시 테스트 시작 전 기준값을 기록해 두어야 비교할 대상이 생깁니다. 사후에 깨끗한 기준점을 복원하는 것은 거의 불가능합니다.

결론을 앞당기는 중간 지표

주문은 천천히 쌓이며, 특히 저가 상품은 몇 주씩 기다려야 할 수도 있습니다. 추세의 방향을 더 일찍 보려면, 양적으로 훨씬 많은 중간 신호를 보십시오.

• 장바구니 담기. 구매보다 몇 배 많으므로 통계적으로 유의미한 차이가 더 일찍 나타납니다. 새 콘텐츠에서 장바구니 담기가 늘면 대개 주문 증가를 예고합니다.
• 찜(위시리스트) 추가. 보류된 관심의 신호로, 결정 주기가 긴 고가 상품에 유용합니다.
• 카드 열람 깊이. 플랫폼이 보여준다면, 구매자가 인포그래픽과 후기까지 스크롤했는지 여부입니다.

이 지표들은 노출당 주문이라는 최종 지표를 대체하지 않지만, 테스트가 원하는 방향으로 가는지 아니면 뻔히 약한 버전에 노출을 더 태우지 말고 멈춰야 할지를 더 일찍 파악하게 해줍니다.

흔한 평균화의 함정

플랫폼은 기간 평균 숫자를 보여주는데, 그 안에 불균질함이 숨어 있습니다. CTR은 알고리즘이 새 콘텐츠에 높은 도달을 주는 수정 직후 며칠간 높다가 이후 가라앉을 수 있습니다. 첫 며칠만 지표를 측정하면 결론이 과장됩니다. 그러니 콘텐츠 교체 후 짧은 초기 부스팅 구간은 버리고 안정화된 구간에서 계산하십시오. 그러지 않으면 한 버전의 초기 급등을 다른 버전의 정착 상태와 비교하게 됩니다.

한 청중에게 같은 카드의 두 버전을 동시에 보여주는 공정한 병렬 A/B를, 플랫폼은 순수한 형태로 제공하지 않습니다. 그래서 판매자들은 저마다 절충점이 있는 실전 방식을 씁니다. 선택은 비슷한 품목이 있는지, 그리고 인기 상품에서 노출을 잃는 것이 얼마나 비싼지에 달렸습니다.

순차 테스트(전후 비교)

버전 A를 1~2주 보여주고 지표를 기록한 다음, 같은 기간 버전 B를 걸어 비교합니다. 가장 접근하기 쉬운 방법이지만 최대의 적은 외부 요인입니다. 계절성, 경쟁사 광고, 수요 변동. 속지 않으려면 이렇게 하십시오.

• 사이에 명절이나 대규모 세일이 없는 비교 가능한 기간에 테스트하십시오. 그러지 않으면 수요 급증이 당신의 새 사진 탓으로 돌아갑니다.
• 두 기간 모두 광고 입찰가와 예산을 변하지 않게 유지하십시오. 광고는 질이 다른 트래픽을 몰아옵니다.
• 테스트 중 가격을 바꾸지 마십시오. 가격은 어떤 사진보다 강력하게 모든 효과를 덮어버립니다.
• 길이가 같은 기간 창을 잡으십시오. 5일 대 10일이 아니라 일주일 대 일주일.

쌍둥이 테스트(대조 품목)

같은 카테고리에 수요가 비슷한 유사 품목이 두 개 있다면, 한쪽에서 가설을 검증하고 다른 쪽은 변경 없이 대조군으로 두십시오. 테스트 상품의 지표는 올랐는데 대조군은 그대로라면, 카테고리의 전반적 추세가 아니라 바로 당신의 변경이 효과를 낸 것입니다. 계절성을 걷어내는 가장 좋은 방법입니다. 두 상품이 동일한 외부 조건 속에서 살기 때문입니다.

버전 교대

트래픽이 안정적인 상품에는 교대 기법이 통합니다. A 주간, B 주간, 다시 A 주간, 다시 B. 두 주기 모두에서 같은 승자가 반복되면, 한 주의 우연한 행운으로는 결과를 설명할 수 없으므로 단발 비교보다 결론이 더 믿을 만합니다.

노출을 낭비하지 않는 법

커버를 바꿀 때마다, 플랫폼이 새 콘텐츠에 맞춰 다시 학습하고 반응을 재평가하는 동안 잠시 순위가 떨어질 수 있습니다. 그러니 신중하십시오.

• 성수기의 인기 품목에서 테스트하지 마십시오. 대표 상품에서 노출 일주일을 잃는 것은 어떤 결론보다 비쌉니다.
• 요소를 하나씩 바꿔 되돌리기가 빠르고 분명하게 하십시오.
• 이전 버전의 파일과 제목을 보관해 두어, 승자를 다시 만들지 말고 1분 만에 되돌리십시오.
• 이전 테스트의 지표가 안정되기 전에 새 테스트를 시작하지 마십시오. 테스트가 겹치면 그림이 헝클어집니다.
• 먼저 2군 상품에서 가설을 굴려 보고, 검증된 해법만 대표 상품으로 옮기십시오.

규칙은 단순합니다. 테스트는 잠재적 이익보다 적은 비용이 들어야 합니다. 일주일에 두 건 팔리는 상품에서는 한 달이 지나도 통계가 모이지 않으니, 트래픽 양이 있는 곳에서 테스트하십시오. 희귀 상품은 잘 팔리는 유사 상품에서 얻은 결론에 기대십시오.

테스트 방식 비교

보편적으로 최고인 방식은 없습니다. 실전에서 판매자들은 조합합니다. 가설은 순차 테스트로 빠르게 검증하고, 논쟁적이거나 값비싼 결과는 대조 품목이나 교대로 확증합니다. 오류의 비용이 클수록 방식은 더 믿을 만해야 합니다.

초보자의 가장 큰 실수는 사흘째에 B 버전이 "왠지 더 나은 것 같다"고 보고 테스트를 멈추는 것입니다. 작은 숫자에서 차이는 대개 우연입니다. 운 좋은 하루의 주문 몇 개가 손쉽게 상승의 착각을 만들고, 그것은 다음 주에 사라집니다. 필요한 것은 최소 기간이 아니라 최소한의 반응량입니다. 세어야 할 것은 달력의 날짜가 아니라 방문과 주문입니다.

대략의 기준은 이렇습니다. 각 버전마다 최소 수백 회의 카드 방문과 수십 건의 주문을 모으는 것이 바람직합니다. 그러지 않으면 산포가 효과를 덮어버립니다. 수백 회 노출에서 CTR이 4퍼센트에서 4.3퍼센트로 올랐다면 그것은 승리가 아니라 노이즈입니다. 그 정도 양에서는 우연한 변동이 그런 차이를 얼마든지 냅니다. 주목할 만한 실질적 변화는 보통 소수점 이하가 아니라 수십 퍼센트의 차이로 나타납니다. 트래픽이 적을수록 믿기 위해 봐야 할 차이는 더 커야 합니다. 이는 통계의 직접적 결과입니다. 관측 수가 적으면 우연한 변동이 크고, 큰 효과만이 노이즈를 뚫고 나옵니다. 하루 수천 회 노출의 흐름에서는 몇 퍼센트의 변화도 눈에 띄지만, 수십 회 노출에서는 두 배 차이조차 우연일 수 있습니다.

유의성 간단 점검

• 작은 표본에서 차이가 10퍼센트 미만이면 테스트를 미결로 보고 데이터 수집을 연장하십시오.
• 각 버전마다 수백 회 방문에서 차이가 20퍼센트 이상이면 십중팔구 실질적이며 그에 기댈 수 있습니다.
• 지표가 날마다 A와 B의 차이보다 크게 튄다면 아직 데이터가 부족한 것이니 테스트를 무르익게 두십시오.
• 두 교대 주기에서 같은 버전이 이기면 결과에 대한 신뢰가 급격히 올라갑니다.

평균 말고 더 봐야 할 것

기간 안에 이상치가 있었다면 평균값은 사람을 속입니다. 일별 추이를 들여다보십시오. 트래픽이 고르게 흘렀는지, 인플루언서의 게시물이나 플랫폼 행사 같은 외부 계기로 주문 급증이 하루에 몰리지 않았는지. 하루의 비정상적인 값이 혼자서, 실제로는 없는 승자를 "만들어낼" 수 있습니다. 그 하루를 제거했을 때 우위가 사라진다면 결론은 믿을 수 없습니다.

계산이 포함된 결론 예시

이전: 흰 배경 커버, CTR 3.8퍼센트, CR 6퍼센트, 노출당 주문 0.23퍼센트. 이후: 사용 장면 상품 커버, CTR 4.9퍼센트, CR 5.7퍼센트. 노출당 주문 = CTR × CR 공식으로 최종을 계산합니다. 4.9퍼센트 × 5.7퍼센트 = 0.28퍼센트. 전환이 6퍼센트에서 5.7퍼센트로 소폭 떨어졌음에도 최종 노출당 주문은 0.23퍼센트에서 0.28퍼센트로, 약 20퍼센트 올랐습니다. 결론: 버전 B가 이기므로 그것을 남깁니다. 그리고 CR 하락은 카드 내부의 인포그래픽으로 따로 고칩니다. 새 커버가 더 많은 사람을 데려왔고, 그중 일부는 콘텐츠로 마저 설득할 가치가 있으니까요. 여기서 CTR을 떼어놓고 보면 안 되는 이유가 잘 보입니다. 전환으로는 버전 B가 졌지만 최종으로는 이겼습니다.

미결 결과를 어떻게 할까

테스트가 무승부로 끝나는 경우가 흔합니다. 차이가 노이즈 범위 안이라 어느 버전도 뚜렷이 낫지 않은 것입니다. 이는 실패가 아니라 정상적인 결과입니다. 대처 방안은 이렇습니다.

• 제작이 더 간단하고 저렴한 쪽을 남기십시오. 새 커버가 옛것보다 낫지 않은데 비싼 촬영이 필요하다면 옛것을 고르십시오.
• 가설을 강화하십시오. 변경이 너무 소심했을 수 있습니다. 가벼운 배경 수정이 효과가 없었다면, 아이디어 전체를 버리지 말고 더 과감한 버전을 시도하십시오.
• 데이터 수집을 연장하십시오. 트래픽이 노골적으로 적고 산포가 컸다면.

부정적이거나 중립적인 결과도 값집니다. 그것은 하나의 방향을 닫아, 앞으로 당신 카테고리에서 통하지 않는 것에 시간을 쓰지 않게 해줍니다. 이런 결과도 승리와 똑같이 기록하십시오.

결론을 다른 상품으로 옮겨도 되는 때

같은 카테고리의 서로 다른 여러 품목에서 같은 기법이 이긴다면, 예컨대 흰 배경보다 사용 장면 상품이 이긴다면, 그것은 이미 우연이 아니라 당신 니치의 법칙입니다. 그런 결론은 카드마다 따로 테스트할 것 없이 새 카드에 바로 과감하게 확산시키십시오. 바로 이렇게 단발 실험이 시스템으로 바뀝니다. 당신은 뻔한 것을 테스트하기를 멈추고, 정말로 논쟁적인 가설에만 노출을 씁니다.

카드를 바꾸기 전에 목록을 훑으십시오. 대부분의 "실패한" 테스트는 사실 그저 잘못 설계된 것입니다. 나쁜 가설이 아니라 결과를 왜곡한 조건이 문제입니다. 전형적인 실수를 짚어 밟지 않도록 하십시오.

• 여러 요소를 한꺼번에 바꾸고 무엇이 효과였는지 모릅니다. 하나의 테스트, 하나의 요소. 그러지 않으면 결론이 미래의 카드에 쓸모없습니다.
• 일찍 멈춥니다. 며칠이 아니라 각 버전마다 수백 회 방문이 모이게 두십시오. 달력이 아니라 반응량을 보십시오.
• CTR만 봅니다. 낮은 전환에 높은 클릭은 광고 예산과 노출을 헛되이 태웁니다. 최종 지표인 노출당 주문을 계산하십시오.
• 세일 기간에 테스트합니다. 행사는 트래픽 양도 구매자 행동도 왜곡해 비교의 의미를 잃게 합니다.
• 테스트 중에 가격을 움직입니다. 가격은 어떤 사진의 효과도 덮어버려, 콘텐츠가 아니라 가격 민감도를 측정하게 됩니다.
• 비교 불가능한 기간을 비교합니다. 평일 대 주말, 성수기 대 비수기, 광고 있는 주 대 없는 주.
• 옛 버전을 보관하지 않아 테스트가 실패했을 때 승자로 빠르게 되돌리지 못합니다.
• 인포그래픽이 휴대폰에서 읽히지 않습니다. 작은 화면에서 미리보기를 확인하십시오. 주 청중은 모바일 앱에 있고, 거기서 작은 글씨는 그냥 읽히지 않습니다.
• 외부 급등을 무시합니다. 테스트 중간의 인플루언서 게시물이나 플랫폼 행사는 비교의 순수함을 깨뜨리므로 그런 날은 표시하고 감안해야 합니다.
• 끝나지 않은 테스트 위에 새 테스트를 겁니다. 변경이 겹치면 무엇이 지표에 영향을 줬는지 알 수 없습니다.

테스트 실행 미니 체크리스트

• 가설이 기대 효과와 이유가 있는 검증 가능한 주장으로 세워졌다.
• 카드의 정확히 한 요소만 테스트한다.
• 비교를 위한 대조 버전 또는 대조 품목이 있다.
• 행사, 명절, 대규모 세일이 없는 기간을 골랐다.
• 가격과 광고 예산이 테스트 전 기간 고정되어 있다.
• 시작 전 기준 지표를 측정해 기준점이 있다.
• 빠른 되돌리기를 위해 옛 파일과 제목을 보관했다.
• 어느 정도 데이터량을 결론에 충분하다고 볼지 미리 정했다.

가장 잘 팔리는 상품의 커버부터 시작하십시오. 거기서 트래픽이 가장 빨리 모이고 결과도 더 명확합니다. 검증 가능한 가설 하나를 세우고, 대안을 준비하고, 가격과 광고를 고정한 채 순차 테스트를 돌린 다음, 마지막에 개별 CTR이 아니라 노출당 주문을 계산하십시오. 열 개의 테스트를 한꺼번에 쫓지 마십시오. 일주일에 하나의 꼼꼼한 테스트가 두어 달이면 당신의 퍼널을 눈에 띄게 재구성하고, 전체 구색에 쓸 작동하는 규칙 세트를 안겨줍니다. 부정적 결과조차 모든 결론은 당신에게 남아 미래의 카드에서 노출을 아껴줍니다.

테스트용 사진 버전을 빠르게 준비하려면 무료 도구들이 유용합니다. 배경 제거, 프레임 정렬, 플랫폼 요구에 맞춘 무손실 압축 도구를 쓰면, 날것의 사진이 아니라 단정한 버전들을 비교할 수 있습니다. 테스트할 시간이 없고 처음부터 강한 카드를 원한다면, 촬영, 사진 보정, 인포그래픽, 카드 텍스트를 한 패키지로 묶은 카탈로그 원스톱 제작도 있습니다. 이미 CTR과 전환에 영향을 주는 요소를 감안해 만들어지므로, 그다음에는 기본이 아니라 미세한 가설만 테스트하면 됩니다. 지금 당신에게 노출과 시간을 더 아껴주는 길을 고르십시오.

A/B 테스트를 며칠이나 돌려야 하나요?

날짜가 아니라 반응량으로 판단하십시오. 각 버전마다 최소 수백 회의 카드 방문과 수십 건의 주문이 모여야 차이를 믿을 수 있습니다. 저가 상품이라 주문이 느리게 쌓이면 장바구니 담기 같은 중간 지표를 보며 방향을 앞당겨 파악하되, 최종 판단은 노출당 주문으로 내리십시오.

대표 사진과 제목을 동시에 바꿔도 되나요?

안 됩니다. 두 요소를 함께 바꾸면 지표가 움직여도 무엇이 효과였는지 알 수 없습니다. 한 번의 테스트에 한 요소만 바꾸고, 퍼널 영향력이 큰 순서대로(먼저 커버, 다음 제목, 다음 인포그래픽) 진행하십시오.

CTR이 올랐는데 왜 주문은 그대로일까요?

새 커버가 호기심 클릭을 끌어들여 CR이 CTR 상승분보다 더 떨어졌을 수 있습니다. 항상 노출당 주문 = CTR × CR을 함께 보십시오. CTR만 오르고 최종 지표가 그대로거나 떨어졌다면 그 버전은 실질적 승리가 아닙니다.

플랫폼에 진짜 A/B 분할 기능이 없는데 어떻게 하나요?

대부분의 마켓플레이스는 동시 분할을 지원하지 않습니다. 순차 테스트(전후 비교), 대조 품목(쌍둥이) 테스트, A-B-A-B 교대를 씁니다. 가격과 광고를 고정하고 비교 가능한 기간을 잡는 규율이 핵심입니다.

결과가 무승부면 실패인가요?

아닙니다. 정상적인 결과입니다. 제작이 더 간단하고 저렴한 쪽을 남기거나, 변경이 소심했다면 가설을 더 과감하게 강화하거나, 트래픽이 적었다면 수집을 연장하십시오. 통하지 않는 방향을 닫았다는 점에서 이 결과도 값집니다.