WooCommerce A/B Promotii de testare

Dacă rulați campanii promoționale pe WooCommerce, probabil v-ați întrebat care versiune a unei campanii ar funcționa mai bine - valori diferite ale pragului, copii diferite, diferite structuri de pachet, tratamente vizuale diferite. Instinctul pe care îl urmează majoritatea proprietarilor magazinului este de a lansa versiunea care se simte corect și de a observa rezultatele, dar numai observarea nu vă poate spune dacă versiunea aleasă a fost de fapt mai bună decât alternativele sau dacă campania ar fi produs aceleași rezultate cu diferite opțiuni. Răspunsul structurat este testarea A/B

✓ GT BOGO Engine PRO include o garanție de 30 de zile pentru banii înapoi.

Acest post este pentru proprietarii de magazine WooCommerce care doresc să aplice rigoarea de testare A/B la campaniile lor promoționale. Vom merge prin ceea ce A/B testarea pentru promoții necesită de fapt, de ce cele mai informale "am încercat-o ambele moduri" abordări nu produce comparații de încredere, ceea ce fluxul de lucru al motorului de testare arata ca pentru proprietarii de magazine fără medii statistice, și cum să utilizeze testarea structurată pentru a optimiza deciziile promoționale de-a lungul timpului, mai degrabă decât bazându-se pe intuiție singur.

De ce testarea promoţională informală conduce greşit

Problema structurală cu testarea promoţională informală "am încercat-o în ambele sensuri" este că comparaţiile confundă variabile multiple. Un magazin care rulează campania A în luna martie şi campania B în aprilie compară două campanii care au avut loc în diferite contexte sezoniere, împotriva diferitelor mixuri de clienţi, cu condiţii externe diferite care afectează rezultatele. Comparaţia nu poate izola liftul atribuabil campaniei de variabile sezoniere şi contextuale care variază între ferestrele de testare.

Cercetarea McKinsey privind stabilirea prețurilor și promoțiile analizează în mod constant faptul că comercianții cu amănuntul se luptă pentru a măsura corect ROI promoțional, deoarece cadrul analitic pe care majoritatea comercianților cu amănuntul îl utilizează nu separă liftul de baza de referință. Compusuri de testare informală această problemă, deoarece adaugă variabile (sezonitate, schimbări de mixare a clienților) pe care comparația nu le poate controla. Rezultatul este că testarea informală produce concluzii încrezătoare care pot sau nu să reflecte impactul real al campaniei, iar concluziile informează deciziile ulterioare care complică eroarea.

Datele privind abandonul coșului din Baymard Institute, bazate pe 50 de studii separate privind abandonul coșului, pun media globală la 70,22%. Testarea promoțională A/B vizează în mod specific abandonarea coșului atunci când variantele de testare schimbă mesageria pe marginea coșului, valorile pragului sau tratamentele vizuale care afectează modul în care clienții interacționează cu coșul la momentul deciziei. Testarea structurată produce un semnal mai clar despre care variantele din coș produc îmbunătățirea abandonului decât numai observarea informală.

Ce presupune o bună promovare a testelor A/B

Testarea adecvată A/B necesită patru componente care să o distingă de observarea informală. În primul rând, atribuirea aleatorie a clienților pentru a testa și a controla grupurile. Atribuirea aleatorie asigură că grupurile de comparație sunt echivalente pe fiecare variabilă, cu excepția variantei de campanie pe care o experimentează, ceea ce înseamnă că diferențele observate sunt atribuibile variantelor de campanie, mai degrabă decât diferențelor de client suport.

În al doilea rând, rularea simultană a variantelor de testare. Variantele de rulare elimină în același timp variabilele sezoniere și contextuale care altfel ar încurca comparații. Variantele experimentează aceleași condiții externe, aceleași modele de trafic ale clienților, și aceleași influențe concurente . Ceea ce înseamnă că diferențele observate sunt atribuibile variantelor, mai degrabă decât modificărilor de context.

În al treilea rând, dimensiunea suficientă a eșantionului pentru semnificația statistică. Testele statistice calculează probabilitatea ca diferențele observate să fie reale față de probabilitatea ca acestea să fie zgomote aleatorii. Testele cu putere redusă (prea puțini clienți) produc concluzii nesigure; testele cu putere adecvată produc concluzii fiabile. Dimensiunea eșantionului necesar depinde de dimensiunea efectului măsurat și de variația zgomotului în indicatorii de bază, ceea ce înseamnă că testarea adecvată include analiza statistică a puterii în avans.

În al patrulea rând, indicatorii de succes predefinite. Testele ar trebui să specifice metric de succes înainte de lansarea testului, cu praguri clare pentru ceea ce contează ca o variantă câștigătoare. Predefinirea indicatorilor previne post-hoc cires-picking care produce concluzii invers-inginerie de la oricare dintre metric sa întâmplat să favorizeze o variantă preferată. Disciplina de indicatori predefinite face concluziile de testare de încredere.

Ce oferă GT BOGO Engine pentru Promotii de testare A/B

GT BOGO Engine este primul sistem de automatizare de tip buy X Get Y construit special pentru WooCommerce. Platforma include 48 de superputeri care operează automat în WooCommerce, plus 200 de pachete de campanie pre-construite în 19 industrii, plus un motor de testare A/B nativ care sprijină experimentarea structurată a campaniei. Pentru proprietarii de magazine axate pe testare, în mod specific, patru capacități contează pentru realitatea operațională a efectuării de teste de promovare riguroase A/B.

În primul rând, motorul de testare A/B se ocupă automat de atribuirea clienților aleatori. Clienții care vizitează magazinul primesc alocate pentru a testa variante prin randomizare deterministă, ceea ce înseamnă că fiecare client vede în mod constant aceeași variantă în timpul sesiunilor în timp ce distribuția de atribuire rămâne echilibrată în toate grupurile de testare. Randomizarea se întâmplă server-side la nivelul WooCommerce, mai degrabă decât client-side la nivelul browser-ului, care produce atribuirea fiabilă chiar și atunci când clienții clar cookie-uri sau comuta dispozitive.

În al doilea rând, motorul de testare suportă funcţionarea de mai multe variante simultan pe aceeaşi fereastră de campanie. Testele tri-variante, teste cu patru-variante, sau teste simple cu două-variante toate rula prin aceeaşi infrastructură de testare. Operaţiunea variantei simultane elimină confundatorii sezonieri şi contextuali pe care testele seriale informale nu îi pot evita, ceea ce produce rezultate mai curate în care proprietarii de magazine pot avea încredere.

În al treilea rând, motorul de testare include calcule de semnificaţie statistică încorporate care indică atunci când rezultatele testelor sunt demne de încredere versus atunci când au nevoie de mai multe date. Calculele elimină presupunerea despre criteriile de oprire a testului

În al patrulea rând, motorul de testare se integrează cu stratul de analiză al platformei pentru a produce raportarea de performanță la nivel de variantă. Rata de conversie, valoarea medie a comenzii, valoarea de viață a clientului și veniturile per vizitator se descompune în funcție de variantă, ceea ce înseamnă că rezultatele testelor arată combinația de patru-metri mai degrabă decât doar metrica primară unică. Raportarea multimetrică surprinde cazurile în care o variantă câștigă pe un metric, dar pierde pe alții un model pe care testarea informală ratează de obicei. Pentru mai multe pe suprafața de analiză, a se vedea promoțiile de analiză WooCommerce magazin.

Cum folosesc proprietarii de magazin capacitatea pentru testarea promoţională A/B

Fluxul de lucru de testare pentru platformă urmează o secvenţă structurată pe care majoritatea proprietarilor de magazine o pot integra în calendarul lor promoţional normal. Faza de proiectare a testelor: identificarea elementului promoţional pe care doriţi să-l testaţi, definirea variantelor pe care doriţi să le comparaţi, predefiniţi metricul succesului şi pragul pentru ceea ce contează ca variantă câştigătoare, şi estimaţi mărimea eşantionului necesar pentru semnificaţia statistică bazată pe calculatorul de putere al platformei. Faza de proiectare produce un plan de testare care protejează împotriva greşelilor comune care subminează testarea informală.

Faza de lansare a testului: configurați testul în interfața de testare a platformei, atribuiți clienților aleatoriu variantelor, și lăsați testul să ruleze pentru fereastra predefinită sau până când se obține semnificația statistică. Platforma se ocupă de randomizare, livrarea variantei și urmărirea metrică automat

Faza de analiză a testului: revizuirea raportului de performanță la nivel de variantă, identificarea variantei câștigătoare pe baza metricului de succes predefinit, verificarea faptului că varianta câștigă și pe baza indicatorilor secundari (evitând capcana metric-cherry-picking), și documentarea concluziei pentru baza de cunoștințe instituționale. Faza de încheiere a testului: implementarea variantei câștigătoare ca tratament standard, retragerea variantelor pierdute și utilizarea cunoștințelor instituționale pentru a informa proiectele viitoare de testare.

Efectul cumulativ pe mai multe teste pe parcursul unui an este semnificativ. Magazinele care rulează trei sau patru teste structurate pe trimestru produc un corp de cunoștințe instituționale despre ceea ce funcționează pentru clienții lor specifici ? Cunoștințele pe care observarea informală nu se pot potrivi. Cunoștințele acumulate produc optimizarea promoțională în timp mai degrabă decât curba de învățare constantă-repornire pe care o produce testarea informală.

Comparație: Testare informală vs Testare structurată A/B

În cazul în care nu este necesar să se stabilească o complexitate de bază a datelor de bază, trebuie să se stabilească o configurație de bază a datelor de bază.

Exemple de testare A/B în lumea reală

O specialitate de vânzare cu amănuntul alimente testare trei coș progress bar de mesagerie variante

Un butic de moda de testare două variante de lansare sezonieră . "Cumpăraţi 2 topuri, obţineţi 1 top gratuit" versus "cumpăraţi 3 elemente, obţineţi cel mai ieftin gratuit" . Boutique ruleaza testul pe o fereastră de lansare sezonieră cu atribuire client randomizate. Testul arată că "cumpăra 3 elemente, a lua cel mai ieftin gratuit" variantă produce valoare medie de comandă mai mare, dar rata de conversie mai mică, cu venituri pe vizitator fiind aproximativ echivalent. Boutique utilizează intuiţia multimetrice pentru a informa viitoare testare-conversie-vs-AOV compromisuri devin vizibile prin teste structurate în moduri care observaţie informale unimetrice ar fi ratat. Pentru mai multe pe campanii de moda specifice, vezi BOGO oferă magazine de moda.

Un distribuitor de testare de nivel B2B de testare promoțional de mesagerie

Calea migraţiei pentru magazinele care adaugă Rigora de testare A/B

Migraţia este non-distructivă deoarece GT BOGO Engine coexistă cu plugin-uri promoţionale existente fără conflicte. Magazinele pot instala platforma alături de sistemul promoţional actual, pot efectua testarea A/B pe o campanie non-critică mai întâi, valida infrastructura de testare produce comportamentul aşteptat, şi migrează rigoarea de testare în campanii suplimentare treptat.

Secvenţa pragmatică de migrare are patru faze peste un sfert. În primul rând, instalaţi platforma şi configuraţi tabloul de bord de analiză pentru a urmări combinaţia de patru-metri în campaniile existente. Utilizaţi sistemul promoţional existent pentru campaniile reale în timp ce platforma produce infrastructura de măsurare. În al doilea rând, desfăşuraţi primul test A/B pe o campanie non-critică care nu interacţionează cu campaniile active. Testul pilot validează infrastructura de testare în condiţii realiste înainte de angajament.

În al treilea rând, extinde testarea la campanii suplimentare, pe măsură ce se construiește încrederea. Majoritatea magazinelor constată că cunoștințele instituționale acumulate de la trei sau patru teste pe trimestru produc optimizarea promoțională combinată care justifică investiții mai ample de testare. În al patrulea rând, integrați testarea A/B în calendarul promoțional standard

Structura prețurilor și a licențelor

GT BOGO Engine PRO este $499 pe an plat, fără niveluri de stabilire a prețurilor per-featură. Nu există nici o taxă pentru motorul de testare A/B, biblioteca pachetelor de campanie, nivelul de inteligență a clienților, sistemul de e-mail pe ciclu de viață, capacitatea de etichetare alba, geo de direcționare, suport multi-monedă, sau Garda de venituri. Pachetele individuale specifice industriei PRO sunt disponibile la $79.99 fiecare pentru magazine care doresc doar verticale specifice. Trei niveluri pachet oferă economii semnificative: Starter Bunle ($299 pentru 5 pachete, salva $100.95), Bundle de creștere ($299 pentru 9 pachete, salva $220.91), și complet Arsenal ($799 pentru 15 pachete, salvați $400.85).

Modul de bază gratuit include mecanismul de reducere de coș-side și analiștii de bază Suficient pentru a valida fit-ul arhitectural înainte de a se angaja la PRO. Cei mai mulți proprietari de magazine folosesc nivelul gratuit pentru validarea inițială, apoi upgrade la PRO atunci când doresc motorul de testare A/B, urmărirea valorii de viață a clientului, și modelul de campanie-atribuție pe care PRO deblochează. Pret predictibilitate contează pentru proprietarii de magazine axate pe testare, deoarece rigor de testare este o investiție multi- trimestru, și prețul previzibil platforma susține angajamentul pe termen lung de optimizare.

Întrebări frecvente de la proprietarii de magazin Adăugarea de testare A/B

Cât timp trebuie să fac un test înainte ca concluzia să fie de încredere?

Durata testului depinde de volumul traficului și de dimensiunea efectului fiind măsurate. Calculele de semnificație statistică încorporate ale platformei indică momentul în care rezultatele sunt fiabile, dar majoritatea testelor necesită două până la patru săptămâni de trafic tipic pentru a ajunge la concluzii semnificative. Magazinele de trafic superior văd rezultate mai repede; magazinele de trafic redus au nevoie de ferestre mai lungi. Analiza puterii platformei estimează în avans cât timp trebuie să se efectueze un test pentru încrederea statistică dorită, ceea ce împiedică concluziile premature să se efectueze teste subalimentate.

Ce se întâmplă dacă traficul meu magazin este prea scăzut pentru testarea A/B să fie practice?

Magazinele cu trafic redus pot beneficia în continuare de teste structurate prin utilizarea ferestrelor de testare mai lungi, teste cu două variante mai simple decât teste multivariante și teste de dimensiuni mai mari ale efectului (care necesită eșantioane mai mici pentru a detecta). Testele care încearcă să detecteze îmbunătățirile procentuale mici necesită mai mult trafic decât teste care încearcă să detecteze îmbunătățiri procentuale mai mari. Pentru magazinele cu trafic redus, observarea informală secvențială poate fi mai practică decât testarea structurată A/B

Cum se descurcă platforma cu testele care au loc în perioadele de promovare sezonieră?

Testele efectuate în perioadele sezoniere produc rezultate aplicabile contextelor sezoniere. Motorul de încercare al platformei sprijină încercările de funcționare în cadrul unor ferestre calendaristice specifice, ceea ce înseamnă că testele sezoniere rămân la nivelul contextului sezonier, în loc să se amestece cu traficul în afara sezonului. Magazinele efectuează, de obicei, diferite teste pentru diferite contexte sezoniere, deoarece ceea ce câștigă în timpul unui sezon de vacanță nu poate câștiga în timpul unei perioade regulate de vânzări. Pentru mai multe pe manipularea sezonieră, a se vedea WooCommerce promoții de automatizare sezoniere.

Pot testa simultan mai multe elemente promotionale fara a confunda rezultatele?

Testarea multivariată (testarea simultană a mai multor elemente) este susținută, dar mai complexă decât simpla testare A/B. Platforma susține ambele abordări, dar testarea multivariată necesită dimensiuni semnificativ mai mari ale eșantionului pentru a produce concluzii fiabile, deoarece testul trebuie să detecteze interacțiunile dintre elemente, nu doar efectele principale ale unor elemente unice. Majoritatea magazinelor beneficiază de teste secvențiale A/B pe diferite elemente, în loc să efectueze teste multivariate, cu excepția cazului în care volumul traficului susține cerințele mai mari ale eșantionului.

Care este rata standard de optimizare promoțională de la testarea structurată A/B?

Cele mai multe magazine văd optimizarea semnificativă în două până la trei sferturi de la începerea testelor structurate. Testele timpurii produc descoperirile cu impact mai mare (câştigurile evidente pe care observarea informală le-a ratat), în timp ce testele ulterioare produc o optimizare mai incrementală, deoarece câştigurile evidente sunt epuizate. Optimizarea cumulativă pe parcursul unui an de teste structurate produce de obicei o îmbunătăţire de 15% până la 35% a indicatorilor promoţionali pentru magazine la orice volum semnificativ al traficului, cu îmbunătăţirea compoundând între mai multe elemente testate. Pentru context mai larg, a se vedea WooCommerce inteligenţă promoţională explicată.

GT BOGO Engine este construit de GRAPHIC T-SHIRTS, un magazin WooCommerce real cu peste 1200 de designuri originale care rulează la scară. Vizitați gtbogoengine.com pentru a descărca plugin-ul de bază gratuit, evalua motorul de testare A/B, și decide dacă testarea structurată se potrivește strategiei de optimizare promoțională. Pentru context mai larg pe măsurare, a se vedea magazinul proprietar măsura succesul de promovare.