Automatizace - A/B testování

A/B testování v automatizaci

A/B testování (někdy nazýváno také jako "split test") je nástroj k porovnání míry úspěšnosti dvou či více podobných kampaní, které se mohou lišit například jen v názvu předmětu, přičemž vy si volíte, kolik procent kontaktů ze seznamu má být k testování určeno a porovná se tak úspěšnost různých verzí vaší kampaně. Testovat můžete např. předmět, preheader, jméno odesílatele nebo různé varianty obsahu. Nejčastěji se však testují dvě verze předmětu.

VARIANTA 1

Máte možnost otestovat variantu v poměru na 2 části, kdy bude vybrané publikum rozděleno a následně sledujete výsledky. Nejčastěji se používá varianta 50/50, kdy je publikum rozděleno na 2 stejné poloviny. Příště se podíváte na vítěznou variantu a zkusíte porovnat s variantou novou, kdy publikum opět rozdělíte v poměru 50/50. Vždy tak máte k dispozici nejlepší verzi, kterou porovnáváte s verzí nově vytvořenou.

Záměr: Poučení se pro příští kampaň.

VARIANTA 2

Další používanou variantou je 2x malý poměr a zbylé kontakty čekají. Na netestované procento kontaktů následně můžete odeslat vítěznou variantu kampaně. Obvykle se dělí na 10% - 1.možnost, 10%- 2.možnost a 80% čeká. Data v odkladišti uchováváme po dobu 90 dní od vstupu kontaktu do uzlu, po uplynutí této doby kontakt projde nodem a opustí scénář.

U malých databází čísla obvykle vychází shodně, proto se tato varianta doporučuje až u větších databází 10 tisíc a více. V tomto případě jsou pak výsledky vypovídající.

Záměr: Odeslat na zbylou část databáze vítěznou variantu.

TVORBA SCÉNÁŘE A/B TESTU

Nejprve v automatizaci zvolíme Trigger dle potřeby (hned teď, při události...), doplníme podmínku, která vyfiltruje relevantní kontakty a následně napojíme Operátor A/B Test.

Trigger Hned teď se nijak uvnitř nenastavuje, jediné, co můžete změnit, je název.

Dále si vyberte uzel A/B Test. Uzel "A/B test" si můžete pojmenovat pod záložkou "Název uzlu"

Následně uvnitř vidíte varianty, které můžete porovnávat. Variant může být ještě více, ani 10/10/80 nemusí být finální.

V úvodu je potřeba si vybrat kampaně, které chcete otestovat. Můžete kombinovat např. i e-maily se SMS.

Zadáte si velikost vzorku v %, která určuje, jak velký díl ze seznamu má být rozdělen a použit k testu.

Vyhodnocení doporučujeme nedělat ihned, ale až několik hodin či dní po spuštění.

Při odeslání e-mailu je třeba vyplnit nastavení:

e-mail (vybrat z rolovátka, který e-mail budete odesílat)
odesilatele (jméno, e-mail odesilatele a e-mail pro příjem e-mailů. E-maily je třeba mít doménové)
tracking (sledování statistiky odkazů nebo připojit a přepsat UTM parametry pro sledování výsledků v Google analytics)
pokročilé ( použít vlastní odhlašovací stránku, přidat do e-mailu vlastní hlavičky, posílat jen na kontrolní adresu
název (opět si můžete vytvořit název uzlu)

Při odeslání SMS je třeba vyplnit nastavení:

SMS (vybrat z rolovátka, kterou SMS budete odesílat)
pokud jste si objednali SMS identitu, vyberete ji právě v záložce SMS v automatizaci.
název (opět si můžete vytvořit název uzlu)

Chcete-li např. testovat 2 varianty kampaní kvůli odesílce na seznam o 100 kontaktech, nastavíte 50 % - e-mail 1 a 50 % e-mail 2.

Chcete-li testovat 2 varianty, můžete také v jiném poměru, např. 30 % a 70 %, opět se jedná pouze o porovnání bez odeslání třetí varianty.

Dokonce můžete porovnat variantu e-mailu a SMS kampaně:

Z těchto variant se tedy můžete pro příště inspirovat.

A máte hotovo. Ke statistice doodeslané kampaně (tato statistika zahrnuje pouze doodeslané kontakty) se také dostanete po kliku na ikonku statistiky na úrovni dokončeného A/B testu.

Statistiky následně naleznete na horní liště:

Pokud používáte volbu více variant, jakmile máme počet požadovaných variant definovaný a zadáváme jednotlivá procenta, poslední skupina se dopočítá automaticky tak, aby dal celek dohromady 100%.

Dejme tomu, že máme dvě verze kampaně, ale nemůžeme se rozhodnout, kterou z nich zaslat zákazníkům, aby byl open rate co nejvyšší. Rozhodnete se tedy otestovat obě verze na celkovém vzorku 20%, přičemž vítěznou variantu dopošlete na zbývajících 80% klientů. Rozdělení tedy bude 10% - varianta 1, 10% - varianta 2 a 80% - vítězná varianta.

Myslete na to, že, pokud se na testovaných 20% napojí e-mail, zbylých 80 % kontaktů by po spuštění kampaně vypadlo ze scénáře ven. Proto je doporučujeme uchovat v ODKLADIŠTI, které až následně napojíme na vítěznou variantu.

Neobdržíte žádnou informaci, která by Vám dala vědět o tom, která z variant je lepší. Je třeba sledovat statistiky v horní liště. Vítězná varianta se neodešle automaticky, je třeba ji odeslat ručně, protože kontakty stále čekají v odkladišti, dokud je neuvolníte (max. však 90 dní).

Máte 2 možnosti ručního odeslání. Jakmile usoudíte, že je čas odeslat výslednou kampaň, můžete buďto napojit kontakty z odkladiště na jednu z variant nebo vítěznou verzi napojit extra, kvůli statistikám každého uzlu zvlášť.

NAPOJENÍ NA VÍTĚZNOU VARIANTU

NAPOJENÍ VÍTĚZNÉ VARIANTY DO NOVÉHO UZLU

A máte hotovo. Ke statistice doodeslané kampaně (tato statistika zahrnuje pouze doodeslané kontakty) se také dostanete po kliku na ikonku statistiky na úrovni dokončeného A/B testu.

Níže se můžete podívat také na video, kde vám objasníme, jak A/B testovat: