Automatizace - A/B testování - plně automatické

A/B testování (někdy nazýváno také jako "split test") je nástroj k porovnání míry úspěšnosti dvou či více podobných kampaní, které se mohou lišit například jen v názvu předmětu, přičemž vy si volíte, kolik procent kontaktů ze seznamu má být k testování určeno a porovná se tak úspěšnost různých verzí vaší kampaně. Testovat můžete např. předmět, preheader, jméno odesílatele nebo různé varianty obsahu. Nejčastěji se však testují dvě verze předmětu.

Zatímco u "klasického" A/B testování, které si můžete vytvořit dle této nápovědy, zůstává konečné rozhodnutí o rozesílce na straně uživatele, lze vytvořit také A/B testování, které na základě vyhodnocení zrealizuje rozesílku plně automaticky. Tedy bez potřeby potvrzení či jakéhokoliv jiného uživatelského zásahu.

První část scénáře vypadá u obou A/B testů stejně. Opět jako první uzel zvolíme Trigger dle potřeby (Hned teď, Při události...), doplníme podmínku, která vyfiltruje relevantní kontakty (například s ohledem na seznam kontaktů, ve kterém se nachází) a následně napojíme Operátor A/B Test.

V našem příkladu je použit Trigger "Hned teď", který ihned po spuštění scénáře vezme všechny aktivní kontakty v databázi a pošle je dále do scénáře. Pokud chcete rozesílku realizovat pouze na kontakty, které jsou v konkrétním seznamu (v našem příkladu je to seznam "A/B testování"), následuje Operátor "Podmínka" a teprve pak samotný uzel pro A/B testování.

Nastavení uzlu pro A/B testování jsme provedli v poměru 10/10/80. To znamená, že na 20% kontaktů v seznamu bude zaslána rozesílka - na 10% jedna verze kampaně a na 10% druhá verze kampaně, jejíž varianty porovnáváme. Zbylých 80% kontaktů pak obdrží úspěšnější (vítěznou) kampaň.

Nastavení uzlu vypadá takto:

V dalším kroku je potřeba určit, jaké kampaně se budou porovnávat. Je pouze na vás, zda se tyto kampaně budou lišit v předmětu, preheaderu nebo jiném parametru či jejich kombinaci.

Tím máte nastavenu rozesílku na zmíněných 20% kontaktů z daného seznamu a zároveň nastaveny kampaně, které se budou porovnávat. V další části tedy nastavíte dobu, po kterou budou zbývající kontakty čekat na vyhodnocení úspěšnosti obou kampaní. V tomto směru využijete uzel Operátor "Čekání".

Po uplynutí tohoto časového limitu provedete vyhodnocení úspěšnosti obou kampaní a zároveň vyberete tu úspěšnější, která bude rozeslána na zbylých 80% kontaktů v seznamu. V prvním kroku je potřeba určit statistickou významnost. Tedy zda rozdíl mezi výsledky je skutečně dostatečně velký k tomu, abychom dokázali říci, která z kampaní je lepší. K tomu slouží opět Operátor "Podmínka", konkrétně "Rozdíl ve výsledcích e-mailů je statisticky významný".

Porovnávat lze:

1) Míru otevření - za vítězný e-mail je považován ten, který dosáhl vyšší míry otevření.

2) Míru prokliku - za vítězný e-mail je považován ten, který dosáhl vyšší míry prokliku (CTR).

Mohou tedy nastat 2 varianty:

1) Rozdíl je statisticky významný

Pokud je rozdíl statistický významný, vyberete pomocí dalšího uzlu Podmínka úspěšnější kampaň a tu rozešlete na zbylé kontakty. Konkrétně se jedná o podmínku "E-mail A má lepší výsledky než e-mail B". Nezapomeňte také nastavit metriku shodnou s tím, co jste vyhodnocovali (v našem příkladu je to "Míra otevření".

Ve scénáři to tedy bude vypadat následovně:

2) Rozdíl není statisticky významný

Pokud jsou výsledky natolik podobné, že nelze s určitostí říci, která kampaň je lepší, pak je ideálním řešením rozeslat na zbývající kontakty obě, ve stejném poměru, tedy 50% a 50%. Použijete k tomu uzel A/B test, díky kterému rozdělíte zbývajících 80% kontaktů na dvě poloviny.