Wöchentliche Nutzertests: TiVo macht's, und Sie können das auch

TiVo hat 12 Nutzertests in 12 Wochen durchgeführt, als die Firma ihre neue Website gestaltet hat. Wie die Erfahrungen von TiVo zeigen, halten häufige und regelmässige Tests die Usability des Designs ständig im Blickfeld.

 

by Jakob Nielsen (deutsche Übersetzung) - 28.07.2008

 

Ich habe schon immer schnelle und billige Nutzertests empfohlen, mit so vielen Durchläufen, wie Sie in Ihren Ablaufplan hineinkriegen. Am besten finde ich wöchentliche Tests: Sagen wir, Sie erklären jeden Mittwoch zu Ihrem Nutzertag und teilen vier Kunden zum Test ein.

Leider kenne ich nur wenige Projekte, die diesen Weg gegangen sind und viele davon waren meine Eigenen. Kürzlich aber bin ich einem Projekt begegnet, das wöchentliche Tests eingesetzt hat: das Redesign von tivo.com.

Ich bin schon lange ein Fan der Usability von TiVo. In der Tat, vor vier Jahren hat die New York Times mich zitiert mit dem Satz, der überdimensionale gelbe Pausenknopf in der Mitte von TiVo sei "der schönste Pausenknopf, den ich jemals gesehen habe".

Wie es der Zufall will, bestätigt die eigene Forschung der Nielsen Norman Group die Usability der neuen TiVo-Website. Bevor ich etwas über die Methodik des Design-Teams wusste, hatten wir die Website als beispielhaftes Objekt für unsere unabhängigen Studien ausgewählt, bei denen wir einen Haufen Websites miteinander vergleichen, um daraus allgemeine Lektionen zur Web-Usability abzuleiten. Tivo.com haben wir als Beispiel für ein flottes, spielerisches Design ausgewählt und die Website kam in unserer Studie unter die oberen 20%. Es ist definitiv möglich, eine gut aussehende, medienreiche Website zu gestalten, so lange man im gesamten Design-Prozess Usability als Ziel immer im Auge behält.

Nachdem ich davon gehört hatte, dass TiVo meinen Lieblings-Usability-Ansatz verfolgt, entschied ich mich, mehr darüber herauszufinden, wie sie das machen. Hier nun, was wir im Gespräch mit drei Schlüsselmitgliedern des TiVo-Teams erfahren haben.

Die Fallstudie TiVo

Zwar verfügt die Produkt-Oberfläche von TiVo-DVR (digitale Videorecorder) über eine gefeierte Usability, aber erst beim jüngsten Redesign hat die Firma die gleiche rigorose Nutzerforschung auf ihre Website angewandt. TiVo hat gemerkt, dass diese Situation schlecht zu einer Firma passt, die bekannt ist für das Einbeziehen von Nutzertests.

"Ich möchte Ihnen ein Produkt verkaufen, dessen wichtigstes Unterscheidungsmerkmal die Nutzerfreundlichkeit ist", sagt Margret Schmidt, stellvertretende Direktorin für User Experience (Nutzererlebnis) und Design. "Aber wenn die Website nicht nutzerfreundlich ist, wie sollen Sie dann glauben, dass das Produkt so ist? Wir haben also versucht, das auf die Website zu bringen."

12 Wochen, 12 Tests

Das Projektteam hatte für das umfassende Redesign einen knappen Zeitrahmen. Um diese Zeit optimal auszunutzen, haben die Teammitglieder einen Forschungsplan ausgearbeitet, der bis zum Relaunch der Website 12 aufeinanderfolgende Wochen mit Nutzertests vorsah. "Wir hatten einen fixen Termin für das Projekt", sagt Deborah Torres, Nutzerforscherin bei TiVo. "Wir haben vom Erscheinungsdatum an rückwärts geplant."

Für 8 der 12 Sitzungen haben Torres und ihr Team ferngesteuerte Testmethoden angewandt und die Nutzer über Online-Groupware-Werkzeuge wie Go-To Meeting oder WebEx eingebunden. "Wir haben überall im Land Nutzer getestet", sagt sie. "Der Mittlere Westen und die Ostküste haben die Designs und Inhalte ferngesteuert getestet; bei den ferngesteuerten Nutzertests haben wir mit geteilter Maus gearbeitet."

Bei den letzten Sitzungen hat das Team die Nutzer in das Usability-Labor der Firma eingeladen und im Direktkontakt getestet. "Wir haben verschiedene Akteure mit in den Raum geholt", sagt Torres und fügt hinzu, dass es gut für das Team war, "den Frust in den Gesichtern zu sehen" und nicht nur am Telefon zu hören.

Vorstandsmitglieder der Firma haben den Testaufwand abgesegnet, weil sie stark daran glauben, dass sich die Investitionen in den Beginn des Projekts dadurch auszahlen werden, dass es nach Veröffentlichung der Website weniger Änderungen geben wird. Und in der Tat haben, wie Schmidt bemerkt, die frühen Tests Dinge aufgedeckt, die man sonst erst nach der Implementierung gefunden hätte - zu einem Zeitpunkt, an dem die Probleme teurer und schwieriger zu beheben gewesen wären. "Es wäre schwer geworden, das später zu reparieren", sagt Schmidt. "Je mehr wir jetzt schon wissen, desto besser."

Umsetzbare Ergebnisse

Eines der wichtigsten Ergebnisse der Nutzertests war die Notwendigkeit eines neuen Ansatzes für die Inhalte, sowohl für den Text als auch für die Präsentation. Die Website war zwar gut gemeint, aber ihre Inhalte hatten bei den Nutzern kaum einen Widerhall.

"Die Texte, die die Agentur zuerst geschrieben hatte, klangen persönlich und brachten die Attribute der Marke auf den Punkt", sagt Schmidt. "Aber wenn Sie acht Leute sehen, die alle sagen: Ich lese kein Blabla, ich lese Stichpunkte (Bullets) - dann sieht die Sache anders aus."

Auf Grundlage der Testergebnisse änderte das Design-Team die Inhalte. In einigen Fällen kürzten sie die Absätze auf ein, zwei Sätze zusammen, gefolgt von Pünktchenlisten (Bullets). Keinerlei Prosa. In anderen Fällen änderten sie die Präsentation der Inhalte, die Wortwahl, die Platzierung - alles mit messbarem Erfolg.

"Unsere grösste Lektion war: Wenn die Leute einen DVR kaufen wollen, brauchen sie eine Menge Informationen und jede Menge Details, aber sie wollen auch ein sauberes, schlankes Design", sagt Torres.

Das Team hat diese beiden Anforderungen in Übereinstimmung gebracht, indem es detailliertere Informationen in Pop-up-Fenstern untergebracht hat, die über Textlinks innerhalb der Seite aufgerufen werden können. "Auf diese Weise können wir die Details liefern, ohne die Seite vollzustopfen und für Leute, die Informationen auf hohem Niveau wollen, unattraktiv zu machen", sagt sie. Durch Verwendung dieser einfachen Oberflächenlösung konnten sie den Käufern dieselben Informationen in verschiedenen Phasen des Kaufprozesses präsentieren.

Ausserdem fanden sie heraus, dass die Nutzer einen kritischen Link nicht fanden, weil er nicht gut bezeichnet und nicht gut auf der Seite platziert war. "Unterhalb der Bildschirmkante hatten wir einen Link: Sie haben bereits einen TiVo-DVR?", sagt Torres. "Er linkt zu Artikeln: Wie man das und das macht. Die Nutzer ignorierten das komplett. Sie dachten, das sieht nach Werbung aus. Doch die Informationen dahinter sind Faktoren im Kaufprozess."

Die Team-Mitglieder bekamen mit, dass die Nutzer sehr interessiert an solchen Inhalten waren, aber sie konnten sie nicht finden. Indem sie den Link umbenannten in Sie suchen Schritt-für-Schritt-Anleitungen? und ihn oben auf die Seite setzten, half das Team den Nutzern, ihn zu finden.

Solche Änderungen im Inhalt waren in der Regel klein. Aber ihre Auswirkungen auf den aufgabenbezogenen Erfolg waren immens.

"Die Nutzer haben es mit Wörtern und Sätzen zu tun", sagt Schmidt. "Mit Texten, von denen man dachte, sie stünden fest und dann sahen wir, wie die Leute an einer ganz einfachen Sache hängen blieben. Wenn wir die Rückmeldung nicht zeitgleich gehört hätten, hätten wir später nicht gewusst, warum die Website nicht funktioniert."

Dies ist vielleicht einer der zwingendsten Gründe dafür, diese Art von rigorosem Testen vor der Veröffentlichung durchzuführen. Ist eine Website einmal online, wissen Sie nicht, was hinter den Statistiken steckt, die das Nutzerverhalten widerspiegeln. Das heisst, sie wissen nicht, warum die Leute das tun, was sie tun.

"Es ist schwer, sich da hinein zu versetzen, warum die Leute etwas tun oder nicht tun", sagt Schmidt. "Es ist schwer, wenn man nur Analysen zur Verfügung hat. Wenn man die Menschen reagieren hört und sieht, kann man sich in sie hineinversetzen und auf dieser Grundlage Entscheidungen treffen."

Wie Schmidt richtig bemerkt, sind solche Informationen von unschätzbarem Wert. "Das ist grossartig", sagt sie. "Es ist leicht, jetzt einen anderen Weg einzuschlagen, und schwer, wenn die Sache fertig ist."

Vorteile für das Design-Team

Bei TiVo war das iterative (schrittweise) Testen eine gute Geschäfteentscheidung, die es erlaubt hat, schnelle Änderungen effektiv durchzuführen und längerfristige Projekte für die Website zu identifizieren. Die Tests waren auch ein grossartiges Werkzeug für die Designer - das heisst, sie waren sowohl nützlich als auch ermutigend.

"Es war erstaunlich: Sie konnten die Tests machen, sich umdrehen und hatten am nächsten Tag das Feed-back", sagt User-Interface-Designer Alex Logan. "Es ist ein informelles Feed-back, aber nützlich. Der Zeitplan ist straff, und das Feed-back hilft mir, mit der Arbeit voranzukommen."

Dieser Design-Ansatz war auch deshalb so erfolgreich für die Designer, weil die Forschung auf sich selbst aufbaute. "Ich hatte nie das Gefühl, dass die Ergebnisse von dieser Woche denen von letzter Woche widersprachen", sagt Logan. "Unser Design wurde durchgängig validiert. Meiner Meinung nach weiss man nie, ob ein Design funktionieren wird, bevor man es nicht Nutzern vorgesetzt hat."

Logan sagt, sie haben in kleinen Schritten gelernt, wodurch das Team sofort definierte Änderungen vornehmen konnte. "Mit jedem Test kommt man dem idealen Design näher", sagt er.

"Auch ganz kleine Tests haben manchmal Substanzielles zu bieten", sagt Logan und fügt hinzu, dass sie manchmal zwei oder drei Möglichkeiten hatten, aber nicht wussten, welche die Nutzer bevorzugen würden. Anstatt einfach eine herauszugreifen, sagt er: "Wir lassen die Nutzer entscheiden. Ich kann mir noch so brillant vorkommen, aber ich bin mir da nicht sicher, bevor die Leute mein Design vor der Nase haben."

Fünf Gründe für diesen Ansatz

• Er kostet das Unternehmen weniger Geld. Der Test-Ansatz von TiVo schloss viele ferngesteuerte Nutzersitzungen ein, so dass die Investition des Unternehmens hauptsächlich in der Arbeitszeit des Personals lag, mit nur geringfügigen Ausgaben für Belohnungen. Und die Rendite war grossartig. Wie Schmidt einwirft, "ein- oder zweitausend Dollar ist nicht viel für all das, was man dort lernt."
• Er motiviert. Rasche Testzyklen geben dem Design-Team die Rückversicherung, dass sie auf dem richtigen Weg sind. "Test für Test sieht man, dass man in die richtige Richtung geht", sagt Schmidt. "Das kann für das Team sehr motivierend sein."
• Er hilft beim Fällen geschäftlicher Entscheidungen. Weil das Feed-back wöchentlich in Echtzeit vorliegt, kann das Team in Echtzeit reagieren. Schmidt hat die Feed-back-Zyklen an die Geschäftsleitung weitergeleitet und gefragt: "Sollen wir wirklich so weitermachen, oder sollen wir erst die Fehler beheben? Die Nutzer sagen uns, wie sie im Feld damit umgehen würden."
• Er schafft eine Testkultur. Zugegeben, die Kultur von TiVo war auf Seiten der Produkte bereits nutzerzentriert, aber vor dieser Übung war die Firma, was die Website betrifft, noch nicht besonders nutzerzentriert. Nachdem sie die Ergebnisse der Testdurchläufe gesehen hatten, hat sich der ganze Vorstand dem Nutzererlebnis gewidmet. "Jetzt ist das Nutzererlebnis eine Schlüsselqualifikation", sagt Schmidt. "Es hat sich geändert, wie wir die Web-Projekte strukturieren, die wir gerade betreiben. Jedes neue Projekt soll das gleiche Testniveau bekommen wie unsere Produkte."
• Er baut internes Wissen auf. "Bauen Sie eine interne Wissensbasis auf", sagt Schmidt. "Greifen Sie auf interne Ressourcen zurück, interne Forschungsgruppen, die schnell vor Ort sind. Die Zeitpläne von Agenturen können lang sein und es braucht eine Zeitlang, bis neue Leute sich in die Themen eingearbeitet haben und auf Tempo kommen", sagt sie. "Wir präsentieren ein neues Design einem Forscher, der im Kontext mit anderen Projekten herausfinden kann, was daran stimmt und was nicht. Die Designer bauen ein Design-Gerüst", sagt sie. "Jedes Mal, wenn man zuhört, wird man besser als Designer."

Acht Schlüssel zu erfolgreichen Ergebnissen

1. Einfach machen. "Mach es und höre darauf", sagt Schmidt. "Du musst dein Ego aus dem Design heraushalten. Dein Design ist dann grossartig, wenn die Nutzer es grossartig finden."
2. Unterstützung durch Akteure gewinnen und einen Projekt-Champion finden. "Es ist sehr wertvoll, wenn man Akteure auf Vorstandsebene hat, die einem zuhören und auf das Feed-back reagieren", sagt Torres.
3. Zur Beteiligung ermutigen - in der gesamten Organisation. "Laden Sie jeden dazu ein, der ein Interesse daran haben könnte", sagt Torres. "Bei jeder Usability-Testsitzung war der Beobachtungsraum vollgepackt mit Designern, Produktmanagern und Redakteuren. Selbst bei den Fernsitzungen haben Manager zugesehen und mitgehört." Diese Art der Beteiligung stellt Rückhalt aus der gesamten Organisation sicher.
4. Prioritäten festlegen, um klare Ergebnisse zu bekommen. Stellen Sie zugespitzte Fragen und legen Sie für jede Bildschirmseite oder Aufgabe klare Forschungsziele fest, damit Sie sofort nach der Testsitzung umsetzbare Ergebnisse haben.
5. Die Ergebnisse rasch kommunizieren. Am Morgen nach jeder Testsitzung hat Torres eine knappe Zusammenfassung in Stichpunkten herausgegeben, um den Leuten mitzuteilen, was am Abend zuvor bei den Tests herausgekommen war. In der ganzen Organisation haben die Leute diese Zusammenfassungen begierig gelesen.
6. Die Forschungsmethode an das anpassen, was man entdecken will. Verschiedene Testmethoden passen zu verschiedenen Zielen. Das TiVo-Team hat eine ganze Palette von Methoden benutzt, von Fokusgruppen über Konzepttests (concept testing) bis hin zu ferngesteuerten Nutzertests und aufgabengestützten direkten Tests vor Ort. In dem es für jedes Ziel die passende Methode gewählt hat, hat das Team ein breites Spektrum an wertvollem Feed-back hereingeholt.
7. Konsequenzen aus den Ergebnissen einfordern. Laut Schmidt war es der effektivste Weg, um Konsequenzen zu erzielen - vor allem in einer kurzfristigen Testsituation -, die Ergebnisse zusammen mit einem Lösungsvorschlag zu präsentieren. "Wenn Sie die rohen Ergebnisse zeigen, ohne eine Lösung aufzuzeigen", sagt sie, "erregen sie Besorgnis. Es muss nicht sein, dass 20 Leute darüber diskutieren, wie man mit den Ergebnissen jetzt umgeht."
8. Einen Sinn für Humor und eine positive Haltung bewahren. Sorgen Sie für flexible Mitarbeiter, die willens sind, den Weg in unbekannte Gegenden mitzugehen. "Sie wissen nicht, was Sie als nächstes testen werden", sagt Torres. "Das war wirklich stressig für die Forscher. Manchmal wusste ich am Vorabend noch nicht, was wir anderntags testen würden, und ich musste das Protokoll aufsetzen und mich auf die Moderation des nächsten Tages vorbereiten."

Sie schaffen es

TiVo mag eine stärkere Tradition des nutzerzentrierten Designs haben, aber es gibt keinen Grund, warum Sie in Ihrem Unternehmen nicht genauso gut wöchentliche Tests einführen können. Wenn Sie die Konfrontation mit den Nutzern zu einem erwarteten Teil der Woche machen, sorgen Sie dafür, dass jeder die Kundenbedürfnisse im Blickfeld behält.

 

© Deutsche Version von Jakob Nielsens Alertbox. Institut für Software-Ergonomie und Usability AG. Alle Rechte vorbehalten.