Nutzertests sind keine Unterhaltung

by Jakob Nielsen (deutsche Übersetzung) – 11.09.2006

Ich beobachte den beunruhigenden Trend, dass man bei Nutzerstudien lieber einen unterhaltsamen Gang einlegt als den Gang, bei dem Kenntnisse über das zielgerichtete Design gewonnen werden. Leute, die solche Studien betreiben, haben die besten Absichten: Sie wollen ihren Kunden altbekannte Usability-Probleme eindrucksvoll präsentieren und so deren Unterstützung für Design-Verbesserungen gewinnen.

Ihre Philosophie geht davon aus, dass die meisten Webmanager keine Ahnung von Nutzern hätten und deshalb sei es das eigentliche Ziel von Usability-Tests, das Management weiterzubilden.

Jedoch: Wenn Sie Ihre Studie anlegen, um etwas zu demonstrieren, was Sie schon längst wissen, werten Sie Ihre Studie in zweierlei Hinsicht ab:

Es ist intellektuell unredlich, eine Studie zu betreiben, nur um ganz bestimmte Ergebnisse zu erzeugen. Es ist sehr einfach, die Studie so zu beeinflussen, dass die Ergebnisse nicht die Wirklichkeit widerspiegeln.
Wenn Sie schon vorher wissen, was Sie herausfinden wollen, übersehen Sie leicht andere Dinge, die sich als die grösseren Design-Probleme entpuppen könnten. Nach meiner Erfahrung liegt, wenn Kunden einen Teil ihrer Website untersucht haben wollen (z.B. die Navigation), das eigentliche Problem oft anderswo (z.B. beim Inhalt). Deshalb ist es notwendig, bei einem Nutzer-Test unvoreingenommen zu sein und das Unerwartete zu erwarten.

Typische Fehler

Nutzer-Tests, die sich auf den Unterhaltungswert konzentrieren, führen häufig zu Fehlern. Dazu gehören:

Man wählt aufgeschlossene, redegewandte Testpersonen aus, damit man aussagekräftigere Zitate und Kommentare erhält. Es ist zwar ansprechender für die Beobachter, Nutzer zu beobachten, die reden wie ein Wasserfall, aber es verzerrt tendenziell das Ergebnis. Richtlinie Nummer Eins von dem 233 Richtlinien, wie man Testpersonen auswählt, ist es, eine repräsentative Stichprobe der Kundschaft zusammenzustellen. Wenn Sie z.B. versuchen, Networked Storage an Unternehmen zu verkaufen, müssen Sie ein breites Spektrum von Systemadministratoren testen. Sie können nicht einfach introvertierte Computerfreaks ausschliessen, denn gerade die könnten die Hauptbeeinflusser sein, und sie könnten sich durchaus anders verhalten als lockere Typen unter den System-Admins.
Man beschränkt den Test auf die charmantesten Teile der Website und lässt diejenigen Teile aus, die den Nutzer dazu nötigen, detaillierte Beschreibungen von Produkten und Dienstleistungen zu lesen. Aber genau solche langweiligen Prozeduren schliessen den Kauf oft ab, besonders bei B-to-B-Websites, wo detaillierte Produktbeschreibungen einen Grossteil des Nutzer-Erlebnisses ausmachen.
Man fordert die Nutzer dazu auf, ausführlich zu einem Problem Stellung zu nehmen, welches das Designteam gerade diskutiert. Ja, es ist schon verlockend, auf diese Art an Input für Ihre nächste Entscheidung zu erzeugen. Solch ein Feedback ist allerdings nicht zuverlässig, wenn Sie die Aufmerksamkeit Ihrer Nutzer von den Test-Aufgaben ablenken, um sie über verschiedene alternative Design-Ideen auszuquetschen. Ihre Aufgabe ist es, die Nutzer zu beobachten, nicht ihnen dabei zuzuhören, wie sie über hypothetische Designs reden, die sie gar nicht nutzen. Es ist gut, zwei oder drei alternative Papier-Prototypen zu testen, die Sie schnell aufgezogen haben. Doch ist es nicht gut, wenn Sie die Nutzer fragen: «Wie würden Sie es finden, wenn die Website dieses und jenes täte…?». Denn was Leute dann sagen, ist nicht gleich dem, was sie tun würden, wenn sie solch eine Nutzeroberfläche bedienen müssten.

Wenn Sie sich dabei erwischen, wie Sie beim Testen ein Auge darauf werfen, wie die Versuchspersonen im Beobachtungsraum herumspielen könnten, machen Sie etwas falsch. Sie bekommen definitiv nicht die Daten, auf die Ihr Team angewiesen ist (und für die Ihr Kunde Sie bezahlt).

Usability als Showbiz

Es gibt Aspekte bei Usability, die eine gängigere Annäherung erfordern. Irving Berlin sagte: «Es gibt kein anderes Buiness als das Showbusiness» und lag damit falsch, denn jedes Business ist ein Showbusiness. In einer von Informationen überfluteten Businessumgebung müssen Sie die Leute beeindrucken und bewegen, um ihre Aufmerksamkeit auf Ihrer Botschaft zu belassen.

Wenn Sie Höhepunkte von Usability-Studien-Aufzeichnungen auswerten, sollten Sie nicht einen 10minuten-Clip aufnehmen, der einen Nutzer dabei zeigt, sich 20 falsche Sites anzugucken. Zeigen Sie die ersten ein oder zwei falschen Klicks, blenden Sie dann den Untertitel «9 Minuten später…» ein und schleissen Sie mit dem Clip, in dem der Nutzer sagt: «Dieses ist eine grauenhafte Website. Ich kann nichts finden. Hier werde ich nie wieder hinkommen.»

In einer Usability-Präsentation schlagen zwei unterhaltsame Minuten zehn langweilige. Ihre Mitarbeiter und Vorgesetzte werden Ihren Befunden nicht nur mehr Aufmerksamkeit schenken, sie werden Ihre nächsten Usability-Instruktionen auch lieber annehmen.

Schneiden Sie langweilige Stellen raus um die Spannung zu erhöhen. Ja, diese sehr häufig anfallenden Fehler zeigen Ihnen, warum die Nutzer nichts finden können, aber es gibt grundlegende Unterschiede darin, wie Sie Probleme entdecken, zeigen und dokumentieren.

Um Ergebnisse zu präsentieren ist es okay, den Schwerpunkt auf Material zu legen, welches Ihr Publikum beschäftigt und motiviert. Sie sollten z.B. kein Bündel an Clips zeigen, die Ihre zurückgezogensten Teilnehmer zeigen.
Um Ergebnisse zu finden, können Sie Ihre Studie nicht einfach verfälschen und nur die guten Teile zeigen. Das gilt aus drei Gründen:
- Erstens: Wenn Sie die Nutzer nicht zu den 20 falschen Seiten surfen lassen würden, würden Sie nicht so viel über die Fehler im Navigationsdesign lernen.
- Zweitens: Wenn Sie Nutzer durch «langweilige» Stellen durchschleusen würden, würden Sie nichts darüber erfahren, wie die Nutzer diese Stellen interpretieren würden.
- Drittens: Wenn Sie die Nutzer sofort zu den «interessanten» Stellen führen würden, würden sie mit einem ganz anderen mentalen Modell und einer anderen Einstellung an diese Stellen gelangen, als diejenigen, die sich durch einen Haufen irrelevanten Seiten durchkämpfen mussten. Nutzer neigen dazu, einen Bereich schneller zu verlassen, wenn sie umständlich zu ihm gelangt sind. Nutzer, die zu einem Bereich geführt wurden, werden also eine positivere Einstellung haben und mehr darin herumstöbern; der Bereich würde also (fälschlicherweise) erfolgreicher erscheinen als er ist.
Um Ergebnisse zu dokumentieren, sollte sich Ihr Vortrag auf die Bedeutung der Usability-Befunde für das gesamte Business richten, nicht darauf, welche Ergebnisse das bunteste Angebot aufstellte.

Schliesslich: Wenn Sie Ihre Studie als ein Unterhaltungsangebot anlegen, werden Sie Ihre Ergebnisse schwächen und eine Produktverbesserung gefährden. Alle Usability-Probleme, die Sie nicht vollkommen wissenschaftlich getestet haben, werden auf der Nutzeroberfläche wieder erscheinen. Und Ihre Vorgesetzten werden schlussfolgern, dass Usability keinen so hohen Return On Investment hat, wie ich es ihnen versprochen hatte.

Am Ende entscheidet das Geld und Sie optimieren Return On Investment, in dem Sie auf unverfälschte Studien und auf beobachtendes Verhalten Wert legen. In einem Design-Projekt ist die Rolle der Usability die Quelle der Wahrheit. Sie belegt, was wirklich funktioniert, im Gegensatz zu den Hoffnungen des Teams was funktionieren könnte. Je gründlicher Sie die Wahrheit aufdecken, desto wenige wird Ihr Unternehmen Sie auf längere Sicht brauchen.