Zusammenfassung
Betreiben Sie keine Studie zu Gunsten der Leute im Beobachtungsraum. Testen Sie, um die Wahrheit über das Design zu erfahren, auch wenn die Benutzeraufgaben langweilig anzuschauen sind.

Ich beobachte den beunruhigenden Trend, dass man bei Benutzerstudien lieber einen unterhaltsamen Gang einlegt als den Gang, bei dem Kenntnisse über das zielgerichtete Design gewonnen werden. Leute, die solche Studien betreiben, haben die besten Absichten: Sie wollen ihren Kunden altbekannte Usability-Probleme eindrucksvoll präsentieren und so deren Unterstützung für Design-Verbesserungen gewinnen

Ihre Philosophie geht davon aus, dass die meisten Webmanager keine Ahnung von Benutzern hätten, und deshalb sei es das eigentliche Ziel von Usability-Tests, das Management weiterzubilden. Aber aufgepasst! Wenn Sie Ihre Studie anlegen, um etwas zu demonstrieren, was Sie schon längst wissen, werten Sie Ihre Studie in zweierlei Hinsicht ab:

• Es ist intellektuell unredlich, eine Studie zu betreiben, nur um ganz bestimmte Ergebnisse zu erzeugen. 

• Es ist sehr einfach, die Studie so zu beeinflussen, dass die Ergebnisse nicht die Wirklichkeit widerspiegeln.

Wenn Sie schon vorher wissen, was Sie herausfinden wollen, übersehen Sie leicht andere Dinge, die sich als die grösseren Design-Probleme entpuppen könnten. Nach meiner Erfahrung liegt, wenn Kunden einen Teil ihrer Website untersucht haben wollen (z.B. die Navigation), das eigentliche Problem oft anderswo (z.B. beim Inhalt). Deshalb ist es notwendig, bei einem Benutzer-Test unvoreingenommen zu sein und das Unerwartete zu erwarten.

Typische Fehler

Benutzer-Tests, die sich auf den Unterhaltungswert konzentrieren, führen häufig zu Fehlern. Dazu gehören:

Man wählt aufgeschlossene, redegewandte Testpersonen aus, damit man aussagekräftigere Zitate und Kommentare erhält. Es ist zwar ansprechender für die Beobachter, Benutzer zu beobachten, die reden wie ein Wasserfall, aber es verzerrt tendenziell das Ergebnis. Richtlinie Nummer Eins von dem 233 Richtlinien, wie man Testpersonen auswählt, ist es, eine repräsentative Stichprobe der Kundschaft zusammenzustellen. Wenn Sie beispielsweise versuchen, Netzwerkspeicher an Unternehmen zu verkaufen, müssen Sie ein breites Spektrum von Systemadministratoren testen. Sie können nicht einfach introvertierte Computerfreaks ausschliessen, denn gerade die könnten die Hauptbeeinflusser sein, und sie könnten sich durchaus anders verhalten als die eher lockeren Typen unter den System-Administratoren.

Man beschränkt den Test auf die charmantesten Teile der Website und lässt derjenigen Teile aus, die den Benutzer dazu nötigen, detaillierte Beschreibungen von Produkten und Dienstleistungen zu lesen. Aber genau solche langweiligen Prozeduren schliessen den Kauf oft ab, besonders bei B-to-B-Websites, wo detaillierte Produktbeschreibungen einen Grossteil des Benutzer-Erlebnisses ausmachen.

Man fordert die Benutzer dazu auf, ausführlich zu einem Problem Stellung zu nehmen, das das Designteam gerade diskutiert. Ja, es ist schon verlockend, auf diese Art an Input für Ihre nächste Entscheidung zu erzeugen. Solch ein Feedback ist allerdings nicht zuverlässig, wenn Sie die Aufmerksamkeit Ihrer Benutzer von den Test-Aufgaben ablenken, um sie über verschiedene alternative Design-Ideen auszuquetschen. Ihre Aufgabe ist es, die Benutzer zu beobachten, nicht ihnen dabei zuzuhören, wie sie über hypothetische Designs reden, die sie gar nicht benutzen. Es ist gut, zwei oder drei alternative Papier-Prototypen zu testen, die Sie schnell erstellt haben. Doch ist es nicht gut, wenn Sie die Benutzer fragen: „Wie würden Sie es finden, wenn die Website dieses und jenes täte…?“. Denn was Leute dann sagen, ist nicht gleich dem, was sie tun würden, wenn sie solch eine Benutzeroberfläche bedienen müssten.

Wenn Sie merken, wie Sie beim Testen ein Auge darauf werfen, ob die Versuchspersonen im Beobachtungsraum gut herumspielen können, dann machen Sie etwas falsch. Sie bekommen definitiv nicht die Daten, auf die Ihr Team angewiesen ist (und für die Ihr Kunde Sie bezahlt).

Usability als Showbiz

Allerdings  gibt es tatsächlich Aspekte bei Usability, bei denen ein populärerer Ansatz richtig ist. Irving Berlin irrte mit dem Satz „There ist no business like show business“, denn jedes Business ist Showbusiness. In der von Informationsüberflutung geplagten Geschäftswelt müssen Sie die Leute verblüffen, wenn Sie Aufmerksamkeit für Ihre Botschaft erreichen wollen.

Wenn Sie die Höhepunkte einer Usability-Studie zusammenstellen, sollten Sie nicht einen 10-Minuten-Clip erstellen, bei dem ein Benutzer sich 20 verkehrte Seiten hintereinander anschaut. Zeigen Sie die ersten ein oder zwei falschen Klicks, blenden Sie dann den Untertitel „9 Minuten später…“ ein und schliessen Sie mit der Szene, in der der Benutzer sagt: „Das ist eine grauenhafte Website. Hier findet man gar nichts. Hier gehe ich bestimmt nie wieder hin.“

In einer Usability-Präsentation schlagen zwei unterhaltsame Minuten zehn langweilige. Ihre Mitarbeiter und Vorgesetzte werden Ihren Befunden nicht nur mehr Aufmerksamkeit schenken, sie werden Ihr nächstes Usability-Briefing auch lieber anhören.

Schneiden Sie langweilige Stellen heraus, um die Spannung zu erhöhen. Klar, die sich wiederholenden Fehler zeigen Ihnen, warum die Benutzer nichts finden können, aber es ist etwas grundlegend anderes, Probleme zu entdecken, zu zeigen oder zu dokumentieren.

Wenn Sie Ergebnisse präsentieren, ist es gut, den Schwerpunkt auf Material zu legen, welches Ihr Publikum beschäftigt und motiviert. Sie sollten z. B. nicht bundelweise Szenen mit Ihren introvertiertesten Teilnehmern zeigen.

Wenn Sie Ergebnisse finden wollen, können Sie Ihre Studie nicht einfach verfälschen und direkt zu den guten Teilen springen – aus drei Gründen:

• Erstens: Wenn Sie die Benutzer nicht zu den 20 falschen Seiten surfen lassen, lernen Sie nicht so viel über die Fehler im Navigationsdesign.

• Zweitens: Wenn Sie Benutzer durch „langweilige“ Stellen hindurchschleusen, erfahren Sie nichts darüber, wie die Benutzer diese Stellen interpretieren.

• Drittens: Wenn Sie die Benutzer sofort zu den „interessanten“ Stellen führen, kommen diese mit einem ganz anderen mentalen Modell und einer anderen Einstellung dorthin als diejenigen, die sich durch einen Haufen irrelevanten Seiten durchkämpfen mussten. Benutzer neigen dazu, einen Bereich schneller zu verlassen, wenn sie umständlich zu ihm gelangt sind. Benutzer dagegen, die mit Leichtigkeit zu einem Bereich geführt wurden, haben in der Regel eine positivere Einstellung und stöbern mehr darin herum; der Bereich erscheint also (fälschlicherweise) erfolgreicher, als er ist. 

Wenn Sie Ergebnisse dokumentieren, sollte sich Ihr Vortrag auf die Bedeutung der Usability-Befunde für den gesamten Geschäftsablauf konzentrieren und nicht darauf, welche Ergebnisse sich mit den farbigsten Zitaten untermauern lassen.

Schlussendlich: Wenn Sie Ihre Studie als ein Unterhaltungsangebot anlegen, verwässern Sie Ihre Ergebnisse und hintertreiben eine mögliche Verbesserung des Produkts. Alle Usability-Probleme, die Sie wegen schlechter Testmethoden übersehen haben, werden auf der Benutzeroberfläche stehen bleiben. Und Ihre Vorgesetzten werden schlussfolgern, dass Usability doch keinen so hohen Return On Investment hat, wie ich es ihnen versprochen hatte.

Am Ende entscheidet das Geld: Sie optimieren den Return On Investment, indem Sie darauf achten, dass Ihre Studien nicht verfälscht werden und dass Sie tatsächliches Verhalten beobachten. In einem Design-Projekt ist der Usability-Test die Quelle der Wahrheit darüber, was wirklich funktioniert, und nicht bloss in der Hoffnung des Teams. Je weniger gründlich Sie die Wahrheit aufdecken, desto weniger wird Ihr Unternehmen Sie auf längere Sicht brauchen.

Zurück zu Jakobs Alertbox
Zurück zur Homepage