Automatizace - A/B testování

A/B testování v automatizaci

A/B testování (někdy nazýváno také jako "split test") je nástroj k porovnání míry úspěšnosti dvou či více podobných kampaní, které se mohou lišit například jen v názvu předmětu, přičemž vy si volíte, kolik procent kontaktů ze seznamu má být k testování určeno a porovná se tak úspěšnost různých verzí vaší kampaně. Testovat můžete např. předmět, preheader, jméno odesílatele nebo různé varianty obsahu. Nejčastěji se však testují dvě verze předmětu.

VARIANTA 1

Máte možnost otestovat variantu v poměru na 2 části, kdy bude vybrané publikum rozděleno a následně sledujete výsledky. Nejčastěji se používá varianta 50/50, kdy je publikum rozděleno na 2 stejné poloviny. Příště se podíváte na vítěznou variantu a zkusíte porovnat s variantou novou, kdy publikum opět rozdělíte v poměru 50/50. Vždy tak máte k dispozici nejlepší verzi, kterou porovnáváte s verzí nově vytvořenou.

Záměr: Poučení se pro příští kampaň.

VARIANTA 2

Další používanou variantou je 2x malý poměr a zbylé kontakty čekají. Na netestované procento kontaktů následně můžete odeslat vítěznou variantu kampaně. Obvykle se dělí na 10% - 1.možnost, 10%- 2.možnost a 80% čeká. U malých databází čísla obvykle vychází shodně, proto se tato varianta doporučuje až u větších databází 10 tisíc a více. V tomto případě jsou pak výsledky vypovídající.

Záměr: Odeslat na zbylou část databáze vítěznou variantu.

TVORBA SCÉNÁŘE A/B TESTU

Nejprve v automatizaci zvolíme Trigger dle potřeby (hned teď, při události...), doplníme podmínku, která vyfiltruje relevantní kontakty a následně napojíme Operátor A/B Test. 

Trigger Hned teď se nijak uvnitř nenastavuje, jediné, co můžete změnit, je název.

Máme 2 verze automatizace - STANDARD a PRO, kdy ve verzi STANDARD můžete využívat možnost 1, tedy 2 možnosti v různém poměru, ve verzi PRO pak více variant + odkladiště.
Jak poznáte, že nemůžete využít verzi 10% +10% +80% odkladiště? Jednoduše. V menu vedle uzlu "Odkladiště" uvidíte fialový štítek PRO:
Uzel Odkladiště se opět dá pouze přejmenovat.
Uzel "A/B test"  si můžete pojmenovat pod záložkou "Název uzlu" a následně vidíte varianty, které můžete porovnávat. Taktéž vidíte štítek PRO, pokud nemáte Automatizaci PRO. 
Chcete-li používat verzi PRO, kontaktujte nás na podpora@smartemailing.cz a my vám zašleme cenu této verze dle velikosti tarifu a míry jejího využítí.

V úvodu je potřeba si  vybrat kampaně, které chcete otestovat. Můžete kombinovat např. i e-maily se SMS.

Zadáte si velikost vzorku v %, která určuje, jak velký díl ze seznamu má být rozdělen a použit k testu.

Vyhodnocení doporučujeme nedělat ihned, ale až několik hodin či dní po spuštění.

VARIANTA STANDARD

Verze SmartEmailing standard umožňuje jednoduché rozdělení do dvou skupin v poměru 50:50 nebo jiném. Můžete tedy testovat 2 varianty kampaně jednoduchým rozdělením publika a následným napojením na 2 e-mailové uzly (lze kombinovat i e-maily a SMS).

Při odeslání e-mailu je třeba vyplnit nastavení:

  • e-mail (vybrat z rolovátka, který e-mail budete odesílat)
  • odesilatele (jméno, e-mail odesilatele a e-mail pro příjem e-mailů. E-maily je třeba mít doménové)
  • tracking (sledování statistiky odkazů nebo připojit a přepsat UTM parametry pro sledování výsledků v Google analytics)
  • pokročilé ( použít vlastní odhlašovací stránku, přidat do e-mailu vlastní hlavičky (PRO), posílat jen na kontrolní adresu (PRO)
  • název (opět si můžete vytvořit název uzlu) 

Při odeslání SMS je třeba vyplnit nastavení:

  • SMS (vybrat z rolovátka, kterou SMS budete odesílat)
  • pokud jste si objednali SMS identitu, vyberete ji právě v záložce SMS v automatizaci.
  • název (opět si můžete vytvořit název uzlu) 

Chcete-li např. testovat 2 varianty kampaní kvůli odesílce na seznam o 100 kontaktech, nastavíte 50 % - e-mail 1 a 50 % e-mail 2.

Chcete-li testovat 2 varianty, můžete také v jiném poměru, např. 30 % a 70 %, opět se jedná pouze o porovnání bez odeslání třetí varianty.

Dokonce můžete porovnat variantu e-mailu a SMS kampaně:

Z těchto variant se tedy můžete pro příště inspirovat.

A máte hotovo! Ke statistice doodeslané kampaně (tato statistika zahrnuje pouze doodeslané kontakty) se také dostanete po kliku na ikonku statistiky na úrovni dokončeného A/B testu.

Statistiky následně naleznete na horní liště:

VARIANTA PRO

Pokud používáte verzi SmartEmailing PRO, můžete zvolit variant více. Jakmile máme počet požadovaných variant definovaný a zadáváme jednotlivá procenta, poslední skupina se dopočítá automaticky tak, aby dal celek dohromady 100%.

Dejme tomu, že máme dvě verze kampaně, ale nemůžeme se rozhodnout, kterou z nich zaslat zákazníkům, aby byl open rate co nejvyšší. Rozhodnete se tedy otestovat obě verze na celkovém vzorku 20%, přičemž vítěznou variantu dopošlete na zbývajících 80% klientů. Rozdělení tedy bude 10% - varianta 1, 10% - varianta 2 a 80% - vítězná varianta. 

Myslete na to, že, pokud se na testovaných 20% napojí e-mail, zbylých 80 % kontaktů by po spuštění kampaně vypadlo ze scénáře ven. Proto je doporučujeme uchovat v ODKLADIŠTI, které až následně napojíme na vítěznou variantu. 

Neobdržíte žádnou informaci, která by Vám dala vědět o tom, která z variant je lepší. Je třeba sledovat statistiky v horní liště. Vítězná varianta se neodešle automaticky, je třeba ji odeslat ručně, protože kontakty stále čekají v odkladišti, dokud je neuvolníte.

Máte 2 možnosti ručního odeslání. Jakmile usoudíte, že je čas odeslat výslednou kampaň, můžete buďto napojit kontakty z odkladiště na jednu z variant nebo vítěznou verzi napojit extra, kvůli statistikám každého uzlu zvlášť.

NAPOJENÍ NA VÍTĚZNOU VARIANTU

NAPOJENÍ VÍTĚZNÉ VARIANTY DO NOVÉHO UZLU

A máte hotovo! Ke statistice doodeslané kampaně (tato statistika zahrnuje pouze doodeslané kontakty) se také dostanete po kliku na ikonku statistiky na úrovni dokončeného A/B testu.

Níže se můžete podívat také na video, kde vám objasníme, jak A/B testovat:

Pomohla Vám tato odpověď? Děkujeme! Chcete-li cokoliv dodat, napište nám prosím na podpora@smartemailing.cz. Děkujeme! Zaznamenali jsme potíže s odesláním. Zkuste to prosím znovu. Děkujeme