Positionssensitives A/B Split Testing Tool

Jeder weiß, wie wichtig es beim SEM ist, mehrere Anzeigen zu verfassen und diese gegeneinander “antreten” zu lassen. Oft ist es so, dass man eine neue Anzeige, für die noch relativ wenige Daten vorhanden sind, mit einer älteren Anzeige vergleichen möchte. Leider ist es nicht immer einfach zu erkennen, welche der beiden Anzeigen im Hinblick auf die Klickrate (CTR) eine bessere Leistung vorweist. An dieser Stelle werden oft Fehler gemacht. Entweder es wird nicht lang genug gewartet und Anzeigen, die möglicherweise besser performt hätten, werden ohne die notwendige statistische Signifikanz gelöscht. In anderen Fällen wird zu lange gewartet und schlechtere Anzeigen werden länger als notwendig geführt.

Anzeige A: Impressions 10.000, CTR 3,14%
Anzeige B: Impressions 100, CTR 4%

Ist es sinnvoll, Anzeige A zu löschen? Sollte man lieber noch länger warten, um mehr Daten zu sammeln? Wie wahrscheinlich ist es denn, dass Anzeige B tatsächlich besser ist?

Um dieses Problem zu lösen, gibt es einige kommerzielle und auch frei verfügbare Tools, die entsprechende statistische Berechnungen durchführen. Im gerade aufgeführten Beispiel ist Anzeige B mit einer Wahrscheinlichkeit von 66,90% besser als Anzeige A (im Hinblick auf die CTR; ungeachtet evtl. divergierender Conversion Rate). Demzufolge wäre es vorschnell, Anzeige A schon zu löschen.

Grundsätzlich sind Split Testing Tools äußerst sinnvolle Entscheidungshilfen. Das Problem bisher vorhandener Tools liegt darin, dass sie einen wichtigen Faktor überhaupt nicht berücksichtigen. Neben der Gestaltung einer Anzeige (Titel, Text, Anzeige-URL), hat die Position, auf der eine Anzeige geschaltet wird, einen entscheidenden Einfluss auf die Klickrate. Vergleicht man nun zwei Anzeigen, die auf unterschiedlichen Positionen geschaltet wurden, so ist das in etwas so, wie wenn man Äpfel mit Birnen vergleicht. Das Ergebnis wird auf jedem Fall verzerrt und kann sogar völlig fehlerhafte Informationen liefern.

Gehen wir vom vorigen Beispiel aus. Nehmen wir an, dass zum Zeitpunkt, zu dem Anzeige B verfasst wurde, auch die Gebote der Keywords der entsprechenden Anzeigengruppe angehoben wurde. Während die alte Anzeige also lange Zeit durchschnittlich etwas unter der fünften Position geschaltet wurde, wird die neue Anzeige nun durchschnittlich auf der zweiten Position geschaltet. Dies führt – wie der gesunde Menschenverstand schon sagt – dazu, dass diese Anzeige allein aufgrund der besseren Positionierung deutlich stärker wahrgenommen wird. Folglich wird die Klickrate dieser Anzeige höher sein, als die der alten Anzeige. Möglicherweise ist die Klickrate sogar höher, obwohl die neue Anzeige eigentlich schlechter ist als die Alte. Herkömmliche Split Testing Tools ignorieren den Einfluss der Positionierung und liefern falsche Ergebnisse.

Wir möchten ein neues, frei verfügbares A/B Split Testing Tool vorstellen, das eine eventuell unterschiedliche Positionierung mit ins Kalkül einbezieht. Wie unterschiedlich die Ergebinsse unseres Tools im Vergleich zu herkömmlichen Split Testern sind, lässt sich anhand eines Beispiels zeigen:

Anzeige A: 1 Mio Impressions, 30.000 Klicks, 3% CTR, Position 5 (gerundet).
Anzeige B: 10.000 Impressions, 350 Klicks, 3,5% CTR, Position 1 (gerundet).

Ergebnis eines herkömmlichen Split Testers:

“Mit einer Wahrscheinlichkeit von 99% ist Anzeige A schlechter als Anzeige B.”

Ergebnis des neuen positionssensitiven Split Testing Tools:

“Mit einer Wahrscheinlichkeit von 89,54% ist Anzeige A besser als Anzeige B.”

Während ein herkömmlicher Split Tester also empfehlen würde, Anzeige A zu löschen, liefert unser Tool die Information, dass Anzeige A mit großer Wahrscheinlichkeit besser ist.

Viel Spass bei der Nutzung und viel Erfolg bei der Optimierung Eurer Anzeigen!

Position Sensitive A/B Split Tester – Check it out!

ANMERKUNG: Uns ist bewusst, dass es theoretisch sinnvoll ist, Anzeigen nicht im Hinblick auf die Klickrate zu optimieren, sondern die Conversion Rate mit zu berücksichtigen. In vielen Fällen sind einem solchen Ansatz aber Grenzen gesetzt, da es sehr lange dauern kann, bis ausreichend Daten vorliegen, um sinnvolle Entscheidungen treffen zu können. Ist der Zeithorizont von Kampagnen beschränkt oder das Klickvolumen gering, so ist diese Strategie nicht praktikabel. Dennoch, wer Anzeigen auf Klickrate optimiert, der sollte seine Intuition nicht vernachlässigen und vermeiden, in Anzeigen Versprechungen zu machen, die nicht erfüllt werden können. Ein Anbieter von Exklusivreisen sollte wissen, dass eine Anzeige, in der Pauschalreisen angepriesen werden, nicht mit einer Anzeige für anspruchsvolle Individualreisende vergleichbar ist. Sollte die Klickrate der ersten Anzeige nur leicht höher sein als die der Zweiten, so liegt dennoch auf der Hand, dass die zweite Anzeige weitaus besser konvertiert. Ein CTR Split Test liefert hier unsinnige Empfehlungen.
Wer den Split Tester nutzen möchte, um Anzeigen auf die Conversion Rate zu testen, der kann das tun, indem er im Feld “Clicks” die Anzahl der Conversions angibt und das Feld “Position” unausgefüllt lässt.