A/B testing to jedyna metoda, która mierzy faktyczny wpływ zmian na konwersję. Sklepy z systematycznymi testami zwiększają konwersję o 20-50% w 12 miesięcy, podczas gdy sklepy bez testów zgadują i ryzykują spadki.

Dlaczego A/B testing w e-commerce

Badania Forrester pokazują, że sklepy z dojrzałym programem A/B testing osiągają 30-50% wyższą konwersję niż konkurencja. Każdy test to nauka o zachowaniu klientów, nie tylko zmiana UI.

Kluczowe zasady:

  • Nie zgaduj, testuj — 60% hipotez jest błędnych
  • Jedna zmienna naraz — izoluj efekt zmiany
  • Istotność statystyczna — 95% pewności, nie na oko
  • Długość testu — min. 14 dni, max 6 tygodni
  • Sample size — oblicz przed testem, nie w trakcie

Narzędzia A/B testing

VWO (Visual Website Optimizer) — lider dla e-commerce

  • Edytor wizualny (WYSIWYG), bez kodu
  • Integracje z GA4, Shopify, WooCommerce
  • Od 357 USD/mies. za 10 000 odwiedzin
  • Split URL testing, multivariate testing

Optimizely — enterprise

  • Zaawansowane targeting i segmentacja
  • Server-side testing (dla headless/PWA)
  • Od 50 000 USD/rok (enterprise)

Convert.com — opłacalna alternatywa

  • Prosty edytor, dobre integracje
  • Od 99 USD/mies. za 10 000 odwiedzin
  • Nielimitowany testów (w przeciwieństwie do VWO)

GrowthBook — open-source

  • Darmowe (self-hosted) lub SaaS od 200 USD/mies.
  • Server-side i client-side testing
  • Wymaga technicznej wiedzy

Hipoteza — fundament każdego testu

Każdy test zaczyna się od hipotezy. Format: Jeśli zmienię X, to Y, bo Z.

Przykładowe hipotezy:

  • Jeśli zmienię przycisk Kup na Dodaj do koszyka, konwersja wzrośnie, bo CTA jest mniej zobowiązujące
  • Jeśli dodam opinie na karcie produktu, konwersja wzrośnie, bo social proof buduje zaufanie
  • Jeśli zmienię 3-step checkout na 1-step, konwersja wzrośnie, bo redukujemy tarcie

Struktura hipotezy:

  1. Problem — co mierzymy (np. niska konwersja checkout)
  2. Zmiana — co zmieniamy (np. 1-step checkout)
  3. Oczekiwany rezultat — jaki KPI (np. +10% konwersji)
  4. Mechanizm — dlaczego (np. mniej kroków = mniej porzuceń)
  5. Metryka — jak mierzymy (np. konwersja checkout, %)

15 testów, które zwiększają konwersję

Koszyk i checkout (największy wpływ):

  1. 1-step vs 3-step checkout — +10-20% konwersji
  2. Przycisk CTA — Kup teraz vs Złóż zamówienie (+5-15%)
  3. Guest checkout — bez konta vs wymóg logowania (+15-25%)
  4. Koszty dostawy widoczne wcześniej — w koszyku vs checkout (+8-12%)
  5. Auto-fill adresu — via InPost API (+5-10%)

Karta produktu:

  1. Zdjęcia produktu — 5+ zdjęć vs 1-2 (+10-15%)
  2. Zoom na zdjęciach — hover vs click (+5-8%)
  3. Opinie klientów — z gwiazdkami vs bez (+15-25%)
  4. Tabela rozmiarów — interaktywna vs statyczna (+5-10%)
  5. Urgency/scarcity — Ostatnie 3 sztuki vs brak (+8-12%)

Strona główna i kategorie:

  1. Hero banner — 1 banner vs rotacja (+5-10%)
  2. Filtry kategorii — sidebary vs top (+8-12%)
  3. Pokaż bestsellery — na homepage vs brak (+10-15%)
  4. Search bar — widoczny na górze vs ukryty (+5-10%)
  5. Newsletter popup — zniżka vs bez (+20-30% zapisów)

Istotność statystyczna

Istotność statystyczna (p-value < 0,05) oznacza 95% pewności, że wynik nie jest przypadkowy. Bez tego test nie ma sensu.

Kalkulacja sample size:

  • Obecna konwersja: 2%
  • Minimalny wykrywalny efekt: 10% (0,2% absolutnie)
  • Moc testu: 80%
  • Istotność: 95%
  • Sample size: ~25 000 na wariant (50 000 total)

Narzędzia do kalkulacji:

  • VWO Sample Size Calculator
  • Convert.com A/B Test Calculator
  • Evan Miller A/B Testing Calculator

Błędy początkujących:

  • Kończenie testu po 3 dniach (efekt nowości)
  • Testowanie wielu zmiennych naraz (multivariate bez sample)
  • Ignorowanie istotności statystycznej
  • Testy na niskim ruchu (< 500 konwersji/mies.)
  • Brak segmentacji (mobile vs desktop, nowi vs powracający)

Segmentacja wyników

Wyniki zagregowane mogą ukrywać różnice w segmentach:

  • Mobile vs desktop — zmiana może pomóc na mobile, szkodzić na desktop
  • Nowi vs powracający — powracający konwertują 3x lepiej
  • Źródło ruchu — z Google vs z newslettera
  • Geolokalizacja — PL vs zagranica

Zasada: sprawdzaj wyniki w segmentach, nie tylko globalnie. Zmiana +5% globalnie może być +15% mobile i -5% desktop.

Proces testowania (CRO cycle)

  1. Analiza — heatmapy, nagrania sesji (Hotjar, Clarity), analiza funelu (GA4)
  2. Hipoteza — sformułowanie na podstawie danych, nie domysłów
  3. Projekt — wariant B w narzędziu A/B (VWO, Convert)
  4. Test — uruchomienie, min. 14 dni, obliczony sample size
  5. Analiza — istotność, segmentacja, wnioski
  6. Wdrożenie — jeśli wygrana, implementacja na żywo; jeśli remis, nowa hipoteza
  7. Dokumentacja — baza wiedzy: co testowano, wyniki, wnioski

Częstotliwość: 1-2 testy równolegle, 4-8 tygodni cykl, 12-24 testy rocznie.

Metryki i KPI

Główne metryki:

  • Konwersja — % odwiedzin z zakupem (cel główny)
  • AOV (Average Order Value) — średnia wartość zamówienia
  • Revenue per visitor — przychód na odwiedzającego
  • Bounce rate — % jednostronnicowych wizyt
  • Time to purchase — czas od wejścia do zakupu

Metryki pomocnicze:

  • Add to cart rate — % dodań do koszyka
  • Checkout completion rate — % dokończeń checkout
  • Cart abandonment — % porzuconych koszyków

Podsumowanie

A/B testing to jedyna metoda mierzenia faktycznego wpływu zmian na konwersję. Zacznij od hipotezy (nie od pomysłu), oblicz sample size, testuj min. 14 dni, sprawdzaj istotność statystyczną (95%) i analizuj segmenty. Skup się na checkout i karcie produktu (80% wpływu na konwersję).