Internet Activity Bias verursacht klumpiges Nutzerverhalten

Dass Leute das Internet an unterschiedlichen Tagen unterschiedlich oft nutzen, kann bei zu einfachen Interpretationen der Website-Analytics zu falschen Rückschlüssen führen.

 

by Jakob Nielsen (deutsche Übersetzung) - 01.09.2013

 

Bei den Vorbereitungen für unseren neuen "Analytics und User Experience (UX)"-Trainingskurs habe ich neue Forschungsergebnisse entdeckt, die aufzeigen, dass ein zu vereinfachtes Herangehen an Website-Metriken die Messdaten oft hinfällig machen. Ich schäme mich zugeben zu müssen, dass ich zwei Jahre gebraucht habe, um diese Ergebnisse zu würdigen, aber die Studien wurden von Ökonomen erstellt, denen ich normalerweise nicht folge.

Obwohl die Forschungsergebnisse von Ökonomen stammen und nicht von Usability-Spezialisten, liefern sie die wichtigsten neuen Einblicke in das Web-Nutzerverhalten seit der Theorie des Information Foragings und der Informationsfährte (Information Scent).

In der Hauptsache geht es darum, dass das Nutzerverhalten viel klumpiger ist als bislang wahrgenommen: Bei beliebigen Nutzern wechseln sich Perioden unüblich hoher Internet-Aktivität mit Perioden geringer Aktivität ab.

Das bedeutet also einmal mehr, dass man nicht schlussfolgern kann, dass die Begegnung mit einem bestimmten Stimulus ein bestimmtes Verhalten verursacht, auch dann nicht, wenn man beobachtet, dass das Verhalten nach der Begegnung häufiger auftritt.

Wie ich immer gesagt habe: Korrelationen beweisen keine Kausalitäten, weil es verborgene Kovariablen geben kann. Jetzt wissen wir, dass Verzerrungen in der Nutzeraktivität eine solche Kovariable ist - und zwar eine sehr starke.

Bringen Werbevideos Leute dazu, Websites zu besuchen?

Bei Yahoo haben Randall A. Lewis und seine Kollegen ein Experiment gemacht, bei dem sie die Besucher des Mechanical-Turk-Service von Amazon gebeten haben, ein Werbevideo für Yahoo anzuschauen. Das folgende Diagramm zeigt, ob diese Nutzer an dem Tag, an dem sie das Video gesehen haben, sowie in den beiden Wochen davor und danach, irgendwelche Websites aus dem Yahoo-Netzwerk besucht haben.

y-Achse: Wahrscheinlichkeit für Yahoo!-Besuche am jeweiligen Tag.
x-Achse: Tage vor und nach dem Anschauen eines Werbevideos

Diagramm nach den Daten, die Lewis et al. veröffentlicht haben (siehe Quellenhinweise unten).

Die dicke blaue Kurve im Diagramm zeigt das Verhalten von Nutzern, die während eines Besuchs des Mechanical-Turk-Services von Amazon ein Werbevideo für Yahoo gesehen haben. Tag 0 ist der Tag, an dem die Besucher das Video gesehen haben. Klar, an diesem Tag war es viel wahrscheinlicher, dass sie Yahoo besucht haben.

Gegenüber dem durchschnittlichen Verhalten der Nutzer in den vorausgegangenen zwei Wochen zeigen die Daten einen Anstieg der Yahoo-Besuche um 144% an jenem Tag, an dem sie ein Werbevideo für diese Website gesehen haben. Die Wirkung des Videos auf die Besucher hält sogar noch einige Zeit an: am folgenden Tag (Tag +1) gibt es ebenfalls eine deutliche Steigerung um 43%.

Ein naiver Leser eines solchen Analytics-Berichts würde nun schlussfolgern, dass dieses Werbevideo ein exzellentes Marketing-Werkzeug war. Klar, das Unternehmen sollte viel investieren, um dieses Video überall zu zeigen.

Nicht so schnell! Wenn wir uns das Diagramm näher anschauen, sehen wir auch in den letzten Tagen vor dem Anschauen des Werbevideos eine Steigerung der Besuche. Am Tag -1 gab es bei den Yahoo-Besuchen eine Steigerung um 36%. Wie kann das sein? Wenn wir nicht an Zeitreisen glauben, wie kann dann ein Werbevideo die Nutzer dazu bringen, eine Website zu besuchen, bevor sie das Video gesehen haben?

Doch schlimmer noch: Betrachten Sie die dünne orange Kurve im Diagramm. Diese Kurve zeigt das Verhalten von Nutzern, die den Mechanical-Turk-Service von Amazon besucht und dort ein Video ohne Bezug zu Yahoo gesehen haben. Wie das Diagramm zeigt, wiesen diese Besucher im Wesentlichen das gleiche Verhaltensmuster auf wie Besucher, die das Werbevideo gesehen haben.

An dem Tag, an dem die Kontrollgruppe das andere Video gesehen hat, nahm das Bedürfnis bei ihnen auch zu, Yahoo zu besuchen. Und auch diese Steigerung hielt für einige Zeit an.

Schwer zu glauben, dass ein Video, das Yahoo überhaupt nicht erwähnt hat, den Kontakt der Zuschauer mit der Marke Yahoo verstärkt hat. Klar, das Ansehen des anderen Videos hat die Besuche bei Yahoo nicht verursacht; und in Anbetracht der Tatsache, dass beide Videos im Wesentlichen den gleichen Effekt hatten, können wir schlussfolgern, dass auch das Werbevideo die Yahoo-Besucher nicht motiviert hat.

Aber dennoch bleibt die Tatsache, dass die Yahoo-Besuche stark angestiegen sind. Wenn das nicht am Werbevideo lag, was war dann die Ursache der zusätzlichen Besuche? Die Besucher, sowohl aus der Stimulus- als auch aus der Kontrollgruppe, waren einfach an dem Tag, an dem sie die Videos gesehen haben, mehr im Internet aktiv.

Dieses Phänomen nennt man Activity Bias: an manchen Tagen machen Leute sehr viel online; an anderen Tagen sehr wenig.

An sehr aktiven Tagen wenden sich die Leute mit höherer Wahrscheinlichkeit Aktivität A und Aktivität B zu, egal was A oder B sein mögen. (In diesem Experiment war A der Besuch des Mechanical-Turk-Services, um ein Video zu sehen und B war ein Besuch bei Yahoo.)

Entscheidend ist: Auch wenn es keinen Zusammenhang zwischen A und B gibt - die blosse Tatsache, dass Sie Nutzer beobachten, die A machen, bedeutet, dass sie wahrscheinlich gerade einen ihrer aktiveren Tage haben und deshalb auch mit höherer Wahrscheinlichkeit B machen.

Bringen Suchmaschinen-Anzeigen Leute dazu, etwas zu kaufen?

Thomas Blake und seine Kollegen bei eBay haben mit ihren Experimenten mit Suchmaschinenwerbung auf Google und Bing den Effekt des Activity Bias weiter illustriert.

Vor den Experimenten hatte eBay ein breites Spektrum von Suchmaschinenwerbungen laufen lassen und sowohl gute Klickraten als auch signifikante Verkäufe mit den Nutzern registriert, die die Anzeigen angeklickt hatten. Bedeutet das, dass die Anzeigen ihr Geld wert waren? Nicht unbedingt.

Jetzt, wo wir vom Activity Bias wissen, erkennen wir: die blosse Tatsache, dass die Nutzer eBay-Anzeigen angeklickt haben, bedeutet, dass diese Nutzer wahrscheinlich einen ihrer hochaktiven Tage hatten. (An Tagen geringer Aktivität suchen die Leute weniger und klicken weniger Anzeigen an.) An Tagen hoher Aktivität werden die Nutzer auch mit höherer Wahrscheinlichkeit Sachen bei eBay kaufen.

Dass die Klicks auf die Anzeigen und die Käufe am gleichen Tag passierten, bedeutet also nicht, dass die Anzeigen die Verkäufe verursacht haben. Es ist auch möglich, dass beide Ereignisse dadurch verursacht wurden, dass die Nutzer besonders aktive Tage hatten und besonders viel im Internet gemacht haben.

Beim ersten Experiment haben Blake et al. einfach alle Anzeigen für Marken-Suchwörter bei Google und Bing abgeschaltet. (Markensuchen sind solche, bei denen die Suchabfrage der Nutzer den Firmennamen oder einen anderen Markennamen enthält - so zum Beispiel die Suche "eBay Schuhe" statt bloss "Schuhe" oder "Schuhe kaufen".)

Obwohl die von Anzeigen ausgelösten Besuche offensichtlich aufhörten, kamen die Leute dennoch zu eBay. Die Analyse der Autoren ergab, dass bei Bing nur 0.5% der erwarteten Klicks verloren gingen, bei Google 3%. In beiden Fällen gelangte die grosse Mehrheit der Nutzer, die sonst eine Anzeige angeklickt hätten, auf anderen Wegen zu eBay, normalerweise durch Anklicken eines organischen Suchergebnisses.

Bitte bedenken Sie, es ging dabei um Markensuchen; die Nutzer hatten sich also bereits entschieden, es mit eBay zu probieren, was sich aus der Tatsache ergibt, dass sie den Firmennamen in ihre Suchanfrage aufgenommen haben. Es überrascht also nicht, dass es eine Geldverschwendung war, Leuten Anzeigen anzubieten, die sich bereits dazu entschieden hatten, die Website zu besuchen.

(Ich glaube, dass einige Firmen Marken-Suchwortanzeigen laufen lassen, um die Zahl der Anzeigen von Wettbewerbern zu reduzieren, die die Leute zu sehen bekommen und die vielleicht potenzielle Kunden in der letzten Minute vom Wege abbringen könnten. Allerdings ist dies ein sehr teurer Weg, den Wettbewerb zu unterdrücken, der sich für Firmen mit grosser Markenreputation vielleicht gar nicht lohnt. Wenn sich Leute einmal entschieden haben, Ihre Angebote zu probieren, ist es unwahrscheinlich, dass sie sich von den Anzeigen anderer Firmen ablenken lassen.)

In einer zweiten, ausführlicheren Studie haben Blake et al. die Effektivität von markenlosen Suchwortanzeigen getestet. Hierbei haben sie in 65 zufällig ausgewählten Stadtregionen der USA die Suchwort-Anzeigen gestoppt. Dazu haben sie einen möglichst genau passenden Kontrollsatz von 68 anderen Stadtregionen ausgewählt, in denen die Suchwortanzeigen normal weiterliefen. Insgesamt schätzen die Autoren, dass die bezahlte Werbung die Verkäufe um 0.4% gesteigert hat und dass die Rendite so nahe bei null lag, dass sie statistisch nicht signifikant ist.

Das bedeutet nicht, dass nur 0.4% der Verkäufe von Leuten kamen, die Suchwortanzeigen angeklickt hatten; die Verkäufe an Anzeigen-Anklicker waren viel höher (wobei eBay die tatsächliche Zahl geheim hält). Der springende Punkt aber ist, dass viele dieser Verkäufe auch ohne Anzeigen stattfinden würden. In den Regionen, in denen die Anzeigen liefen, haben viele Nutzer sie angeklickt, weil das einfach war und sie sie direkt vor der Nase hatten. Die Nutzer sind faul, wie wir aus zahllosen Usability-Studien wissen. Dies hat die den Anzeigen zugeordneten Verkäufe hoch getrieben. Aber in den Regionen, wo keine Anzeigen liefen, haben die Nutzer die Website auf anderen Wegen erreicht und fast die gleiche Anzahl von Einkäufen getätigt.

In einer zusätzlichen Analyse haben die Autoren mit einbezogen, ob die Leute, die bei eBay etwas gekauft hatten, dort auch schon im Vorjahr eingekauft hatten. Bei Leuten, die im Vorjahr dort nichts gekauft hatten, haben die Suchwortanzeigen die Verkäufe erheblich stärker gesteigert als in der allgemeinen Schätzung. Bei Leuten, die im Vorjahr einen oder zwei Einkäufe gemacht hatten, gab es durch die Anzeige auch noch eine kleine Verkaufssteigerung. Für Kunden jedoch, die im Vorjahr drei oder mehr Einkäufe getätigt hatten, lag die Verkaufssteigerung durch die Suchwort-Anzeigen statistisch zu nahe bei null, um signifikant zu sein.

Dieses Ergebnis passt zum Ergebnis der Studie mit Markensuchen: Der Nutzen von Suchwortanzeigen resultiert aus der Begegnung mit Kunden, die Sie nicht kennen oder sich nicht an Sie erinnern. Leute, die die Marke kennen, werden von solcher Werbung kaum beeinflusst.

Die wichtigste Lektion aus dieser Studie: Activity Bias schlägt bei Marketing-Managern zu, die allzu simple Analysen von "attributed sales" (bestimmten Werbemassnahmen zugeordneten Verkäufen) vornehmen und von der Annahme ausgehen, dass die Verkäufe von dem verursacht werden, was auch immer gerade den letzten Klick des Nutzers auslöste. Viele Nutzer, die sowohl die Anzeige angeklickt als auch etwas gekauft haben, hätten letzteres auch dann getan, wenn sie keine Anzeige gesehen hätten. Ein kontrolliertes Experiment ist der einzige Weg, um die wirkliche Wirkung der Anzeige herauszufinden.

Warum gibt es Activity Bias?

Viele verschiedene Experimente habe eine starke Evidenz für Activity Bias ergeben, die so dominant war, dass sie die Schlussfolgerungen, die man aus einem allzu simplen Blick auf die Website-Analytics ziehen würde, grob verfälscht haben.

Warum ist Activity Bias im Nutzerverhalten so bedeutend? Wir wissen es nicht; weitere Forschung ist nötig. Allerdings kann ich natürlich darüber spekulieren. Hier einige mögliche Gründe für Activity Bias:

• An manchen Tagen haben die Leute viel Zeit, die sie am Computer totschlagen. An anderen Tagen, etwa an Urlaubstagen oder während Geschäftsreisen, wenn eine Deadline droht usw., haben sie Gründe, ihre Online-Zeit zu beschränken.
• Das Computer-Erlebnis kann fesselnd sein. Sie setzen sich hin, um eine Sache nachzuschauen, und wenn Sie nach einiger Zeit aufschauen, ist eine Stunde vergangen und Sie haben noch zwanzig andere Websites besucht. Eines hat zum anderen geführt. Ein anderes Mal müssen Sie eine Sache überprüfen und dann sofort mit Ihrem Chef diskutieren. Dann gibt es keine Chance, sich ins hypnotisierende Reich des Internets hineinziehen zu lassen.
• Manchmal treiben externe Faktoren - wie das Schreiben einer Forschungsstudie oder das Planen eine Reise - Leute zum heftigen Internet-Gebrauch.
• Die Stimmungen der Leute beeinflussen die Verwendung des Internets; wenn sie in guter Stimmung sind, sind sie mit einem Nutzererlebnis glücklich, das sie zu anderen Zeiten nervt und aus der Online-Welt vertreibt.
• Ereignisse der realen Welt treiben den Internet-Gebrauch an oder behindern ihn. Das kann alles sein von Netzausfällen (Null-Gebrauch) bis zu Stürmen (schwerer Gebrauch, während die Leute nicht nach draussen können und zu kommunizieren versuchen).

Wie gesagt, diese Gründe sind Spekulation. Wir wissen nur, dass die Aktivitätsverzerrung besteht und dass das Online-Verhalten der Nutzer klumpig ist. Wir sollten diese Tatsache berücksichtigen, wenn möglich bei unseren Designs Vorteile daraus ziehen und sie definitiv gegenchecken, wenn wir Analytics-Daten verwenden.

Referenzen

Thomas Blake, Chris Nosko, and Steven Tadelis: "Consumer heterogeneity and paid search effectiveness (PDF): A large scale field Experiment", National Bureau of Economic Research, Meeting on the Economics of Digitization (March 8, 2013).

Randall A. Lewis, Justin M. Rao, and David H. Reiley: "Here, there, and everywhere (PDF): Correlated online behaviors can lead to overestimates of the effects of Advertising", Proceedings International World Wide Web Conference WWW 2011 (March 28-April 1, 2011, Hyderabad, India).

(Die Referenz-Links führen zu englischen, akademischen Aufsätzen in PDF-Format.)

 

© Deutsche Version von Jakob Nielsens Alertbox. Institut für Software-Ergonomie und Usability AG. Alle Rechte vorbehalten.