A/B-Tests, Usability-Entwicklung oder radikale Neuerung: Was zahlt sich aus?

by Jakob Nielsen (deutsche Übersetzung) – 26.03.2012

Lassen Sie uns drei unterschiedliche Ansätze zur Verbesserung des Designs vergleichen:

Definitionen:

• Bei A/B-Tests werden die Zugriffe in zwei oder mehr Gruppen geteilt: Die meisten Nutzer sehen das Standarddesign («A»), nur ein kleiner Anteil sieht ein alternatives Design («B»). Nachdem aussagefähige Daten gesammelt wurden, wird das Design mit der höchsten Leistungskennzahl (KPI = Key Performance Indicator wie z. B. Konversions- oder Absprungrate) zum neuen Standard. (Man kann auch mehr als zwei Designvarianten gleichzeitig testen, in dem man die verwandte Methode des Multivariantentests verwendet; ich verwende hier der Einfachheit halber den Begriff A/B für beide Methoden, unabhängig von der Anzahl der Variablen, die getestet werden.)
• Usability bezieht sich auf das ganze Spektrum nutzerzentrierter Design-Aktivitäten (UCD): Nutzertests, Feldstudien, paralleles und iteratives Design, Prototypen auf niedrigem Niveau, Wettbewerbsstudien und viele andere Forschungsmethoden.
• Eine radikale Neuerung kreiert ein völlig neues Design, das von früheren Designs stark abweicht, statt sich, wie sonst bei normalen Umgestaltungsprojekten üblich, mühsam nur durch schrittweise Verbessererungen weiterzuentwickeln. Dazu gehören zum Beispiel bahnbrechende Erfindungen (die Dampfmaschine), neue Produktkategorien (die Lokomotive) und wichtige Neukonzipierungen bestehender Kategorien (das iPhone).

Die Kosten

Die Kosten für A/B-Tests sind sehr niedrig. Sie müssen einen Designer bezahlen, der das «B»-Design erstellt, aber die meisten Kosten entfallen auf die laufende Software und Analyse des Tests, was eine einmalige Ausgabe darstellt. Deshalb sollten Sie gleich sehr viele A/B-Tests durchführen, wenn Sie es schon machen wollen.

Die Kosten für Usability-Methoden reichen von $200 für ein paar schnelle Aktivitäten bis hin zu $38.000, um eine Website von einem unabhängigen Experten analysieren zu lassen. Aber selbst solche Usability-Kosten verblassen gegenüber den Gesamtkosten eines Unternehmensprojekts. Wie hoch ist das Budget, um die Website eines grossen Unternehmens für ein Jahr zu unterhalten? Da kommt man leicht auf eine Million, wenn man Lohnkosten und Verwaltung mit einrechnet.

Im Gegensatz dazu belaufen sich die Kosten für durchgreifende Innovationen leicht auf mehrere zig oder auch hundert Millionen Dollar für schicke Forschungslabors und Experimente – und selbst dann verlaufen die meisten Erfindungen im Sand. Natürlich kann ein Geistesblitz gelegentlich auch ohne ausgiebige Forschung eine wunderbare Erfindung hervorbringen. Die Erfindung von vulkanisiertem Gummi oder Penizillin sind typische Beispiele für radikale Neuerungen, die auf pures Glück zurückzuführen sind. Trotzdem trifft das Glück meist auf den gut vorbereiteten Geist, denn auch Sir Alexander Fleming hatte bereits viel Zeit mit erfolglosen bakteriellen Experimenten verbracht, als er auf Penizillin stiess.

Der Nutzen: Verbesserung von 1 bis 1000%

Es ist leicht, eine Staffelung der Auswirkungen zu erkennen, die man von den drei Ansätzen erwarten kann:

• A/B-Tests bringen für gewöhnlich kleinere Verbesserungsmöglichkeiten ans Licht, die den Abverkauf oder andere KPI um einige Prozent anheben. Manchmal hat man Glück und erreicht sogar 10% oder mehr. Der Vorteil der A/B-Tests liegt darin, dass sie die einzige, wirklich zuverlässige Methode sind, um das beste Design zu finden, wenn es nur kleine Unterschiede zwischen den Alternativen gibt. 1% klingt vielleicht nicht nach viel, aber wenn Sie solche Zugewinne ein Jahr lang jede Woche erzielen können, kassieren Sie mehr als 50%.
• Der vollständige Usability-Prozess dagegen verdoppelt normalerweise die von Ihnen angesetzten Zahlen (also erhalten Sie 100% Verbesserung). Zum Beispiel kann ein Unternehmenssoftware-Projekt die Ausbildungskosten halbieren oder die Produktivität der Angestellten verdoppeln. War das alte Design besonders schlecht, kann man manchmal auch Steigerungen von 1000% beobachten, aber das kommt selten vor. Im kleineren Massstab angesetzte Projekte, wie zum Beispiel die Verbesserung eines einzelnen Designelements, können zu einem zehnprozentigen Anstieg der gewünschten Messwerte führen.
• Radikale Neuerungen werden nach oben nur durch den Himmel begrenzt. Etwas hinreichend Gutes kann 1000% von dem erreichen, was vorher der Standard war. Wenn Sie eine völlig neue Produktkategorie definieren, können Sie von einem unendlich grossen Wachstum sprechen, da Sie vom Verkaufserlös Null auf einen Verkaufserlös X kommen. Realistischer ist es aber, mit den Opportunitätskosten des normalen Geschäfts zu vergleichen, die bei jedem Unternehmen höher als null sind, das es sich leisten kann, in radikale Neuerungen zu investieren.

Das Risiko

Es gibt so gut wie kein Risiko beim A/B-Test: Geht man davon aus, dass die statistische Analyse korrekt durchgeführt wurde, liegt die Wahrscheinlichkeit bei 100%, dass Sie die Designvariante auswählen, die das meiste Geld einbringen wird. Ist der Unterschied zwischen den beiden Varianten nur gering, kann es eine Weile dauern, bis Sie genug Trafficdaten gesammelt haben, um eine statistische Signifikanz zu erreichen. Aber wenn die Design-Alternative nur wenig besser ist (wenn überhaupt), haben Sie auch bei einem lang andauernden Test nur wenig Einbussen, wenn Sie beim alten Entwurf bleiben.

Die Usability-Methoden bergen ebenfalls nur ein geringes Risiko. Tatsächlich zeugt es von vorsichtigem Risikomanagement, wenn Sie alle Designs Usability-Studien unterziehen, bevor Sie damit an die Öffentlichkeit gehen. Schreckliche Ideen, die Ihnen im Fieberwahn gekommen sind, werden bei den Nutzertests von den echten Kunden zerpflückt werden.

Radikale Neuerungen sind extrem riskant. Ja, Sie könnten das nächste iPhone erfinden. Aber es ist wahrscheinlicher, dass Sie einen Newton erfinden (ein früherer, gescheiterter Versuch von Apple, einen digitalen persönlichen Assistenten zu entwickeln). Tatsächlich scheitern fast alle Erfindungen. Selbst eine gute Idee kann als Innovation zu früh am Markt sein. Pets.com ist zum Beispiel berühmt für die Handpuppenwerbung während der Dot-com-Blase und seine spektakuläre Pleite, aber andere Unternehmen, die auf den angeblichen «Vorteil» des Bahnbrechers verzichtet haben, verdienen nun Geld damit, Tiernahrung über das Internet zu verkaufen.

Wer kann dazu greifen?

Selbst Affen könnten A/B-Tests durchführen (vorausgesetzt, sie haben einen Universitätsabschluss in Statistik oder können Statistik-Software korrekt einsetzen). Sie müssen nichts von Designprinzipien oder Nutzerverhalten verstehen. Probieren Sie einfach etwas anderes als Ihr aktuelles Design. Schneidet es besser ab, behalten Sie es. Wenn nicht, versuchen Sie etwas Neues.

Fortgeschrittene Usability-Methoden erfordern oft den Einsatz eines qualifizierten Spezialisten, aber einfache Usability-Massnahmen können auch von jedem Mitglied des Designteams durchgeführt werden.

Um noch einmal auf das Thema Glück zurückzukommen: Es ist natürlich auch für Nicht-Genies möglich, einen Glückstreffer zu landen. Aber wenn Sie eine radikale Neuerung systematisch anvisieren, müssen Sie normalerweise die besten Leute für den Job engagieren. Fragen Sie sich selbst, ob Sie realistischerweise in der Lage sind, die Top-1%-Experten für Ihr Projekt zu rekrutieren. Selbst wenn Sie es könnten, ginge das nur bei 1% der Projekte. Die restlichen 99% der Projekte müssen mit Personal auskommen, das weniger genial, aber natürlich trotzdem talentiert und in der Lage, eher alltägliche Fortschritte zu realisieren ist – wie sie tatsächlich für die meisten Projekte benötigt werden, um erfolgreich zu sein.

Wie oft können Verbesserungen passieren?

Websites mit ausreichend Zugriffen können die meisten A/B-Studien in einem oder zwei Tagen hinkriegen. Der Faktor, der Sie am meisten einschränkt, ist Ihre Fähigkeit, sich neue Design-Variationen auszudenken. Die Designer brauchen ausserdem etwas Zeit, um jede Idee als integriertes Nutzererlebnis zu realisieren, damit sie neben der bestehenden Website bestehen kann. Aber eigentlich gibt es keinen Grund, warum Sie nicht jede Woche einen A/B-Test durchführen sollten.

Usability kann man sicher ebenfalls wöchentlich durchführen. Seit 1989 predige ich den Einsatz schnellerer und preiswerterer Usability-Methoden, als sie von den meisten Unternehmen eingesetzt werden. (User-Experience-Design mit agilen Methoden ist dagegen vergleichsweise ein Neuling). Ungeachtet meiner besten Bemühungen, die Usability auf ihrem Weg zu beschleunigen, ist ein monatlicher Rhythmus weiter verbreitet und steht deshalb in der Tabelle am Anfang dieses Artikels.

Realistisch muss man erkennen, dass etwas völlig Radikales nicht allzu oft vorkommen kann. Man kann natürlich Ausnahmen zu dieser Regel finden, aber die meisten Unternehmen können von Glück reden, wenn sie alle zehn Jahre eine radikale Neuerung hinbekommen. (Die meisten schaffen das nicht, auch dann nicht, wenn sie es versuchen; entweder sind ihre Innovationen doch nicht so durchgreifend oder sie scheitern völlig.)

Die ökonomische Wirkung

Zieht man das enorme Profitpotential einer erfolgreichen, radikalen Neuerung in Betracht, könnte man erwarten, dass dieser Ansatz auch weltwirtschaftlich gesehen die grösste Auswirkung hat. Aber die Erfahrung zeigt, dass der wirkliche Gewinn nicht im eigentlichen Durchbruch liegt, sondern in den Tausenden von kleinen Verbesserungen und Umsetzungen, die in den folgenden Jahrzehnten auf diesen Durchbruch aufbauen.

Radikale Neuerungen werden schnell zum Alltag: Jeder hat Elektrizität, Lokomotiven und Computer. Was zählt ist, was die Unternehmen daraus machen: das Bahnunternehmen, das einen besseren Weg findet, Getreide zu transportieren, wird am Ende vielleicht mehr verdienen als das Unternehmen, das die Lokomotive erfunden hat. Und obwohl das iPhone ein toller Fortschritt war, knabbern Android und andere Wettbewerber am Marktanteil.

Und auf der anderen Seite erwartet man von den A/B-Tests, die nur kleine Verbesserungen bringen, auch nur einen kleinen Beitrag zum Gewinn. Dem ist nicht so, da es eine Methode ist, die Sie systematisch wieder und wieder einsetzen können. So werden viele kleine Bäche zu einem gewaltigen Fluss.

Den Wert eines Ansatzes können Sie bestimmen, in dem Sie drei Faktoren multiplizieren:

V = G x F x N

mit

• V = Gesamtwert, bezogen auf den Beitrag zum BIP der Wirtschaft.
• G = Zugewinn aus jeder Verbesserung. Radikale Neuerungen räumen hier ab.
• F = Frequenz, in der die Verbesserungen vorkommen können. Hier gewinnen die A/B-Tests, und die Usability folgt ihnen dicht auf den Fersen. Die Neuerungen liegen hier etliche Runden zurück.
• N = Anzahl der Unternehmen, die überhaupt Innovationen schaffen. Hier gewinnen die Alltagsmethoden schon wieder, da sie immer von allen Unternehmen verwendet werden können. Arbeiten Sie an Software zur Lohnbuchhaltung? Die Usability macht dies deutlich leichter, aber in diesem Bereich werden wir sicher noch 50 Jahre auf radikale Verbesserungen warten. (Cloud-basierte Prozesse sind sicher etwas besser, aber gehen mittlerweile auch nicht mehr als «radikal» durch.)

Radikale Neuerungen sind viel wert, wenn sie denn vorkommen; doch das ist selten und hat daher nur einen mittleren Einfluss auf die Wirtschaft. Ebenso haben die A/B-Test nur mittlere Auswirkungen auf die Wirtschaft insgesamt, da viele Gewinne nur aus dem Hin und Her von Marktanteilen von Unternehmen bestehen. Die Usability bietet andauernde Produktverbesserungen über eine grosse Bandbreite hinweg; die Produktivitätsgewinne sind kumulativ und haben daher ein hohes Potential, das BIP anzuheben.

Nach einer groben Schätzung von Tom Landauer in The Trouble with Computers würde das BIP-Wachstum um einen Prozentpunkt steigen, wenn alle Unternehmen gute Usability-Methoden einsetzen würden. Das klingt vielleicht nicht nach besonders viel, aber es würde sich allein in den USA auf $2 Billiarden in den nächsten zehn Jahren summieren (und 1,5 Billiarden Euro in der EU).

Wofür soll man sich entscheiden?

Ich empfehle die Usability, da damit im Durchschnitt das meiste Geld zu verdienen ist. (Wenn Sie meine anderen Artikel gelesen haben, ist das keine Überraschung.)

Aber ehrlicherweise gibt es keinen Grund, warum Sie sich nur auf eine Strategie konzentrieren sollten, da sich die drei Ansätze gut ergänzen.

Wenn Sie das Budget (oder das Glück) haben, versuchen Sie sich ruhig an radikalen Neuerungen. Aber entwickeln Sie die Usability, um zu kontrollieren, ob Ihre Innovation überhaupt etwas taugt, bevor Sie ein Vermögen investieren, ein zum Scheitern verurteiltes Produkt an den Markt zu bringen. Und sobald Sie ein Produkt haben, sollten Sie es mit Usability und A/B-Tests verfeinern, so kontinuierliche Qualitätsverbesserung sicherstellen und der Konkurrenz immer einen Schritt voraus bleiben. Auf lange Sicht ist der kumulative Effekt vieler Qualitätsverbesserungen mehr wert als seltene Durchbrüche.

© Deutsche Version von Jakob Nielsens Alertbox. Institut für Software-Ergonomie und Usability AG. Alle Rechte vorbehalten.