Alle Akteure bei Nutzertests einbeziehen

by Jakob Nielsen (deutsche Übersetzung) – 24.05.2010

Seit Jahrzehnten habe ich immer wieder empfohlen, alle Mitglieder des Design-Teams und der verschiedenen Management-Ebenen weiter oberhalb zur Teilnahme an Usability-Sitzungen einzuladen. In der Tat ist die Möglichkeit, etliche Beobachter einzuladen, ohne die Testteilnehmer einzuschüchtern, einer der wichtigsten Gründe, in ein Usability-Labor zu investieren, sobald ein Unternehmen auf der Usability-Reifeskala voranschreitet. (Wenn Sie aber nur wenige Beobachter haben, kann jedes Zimmer, bei dem Sie die Tür schliessen können, Ihnen als Testraum dienen.)

In unserem Kurs zum Thema, wie man eigene Nutzertests durchführt, verbringen wir eine ganze Menge Zeit damit zu diskutieren, wie man mit diesen Beobachtern umgeht, die in der Regel nicht viel über Usability wissen. Das ist in der Tat eine wichtige Frage. Auf einer meiner jüngsten Konferenzen allerdings hat ein Zuhörer eine noch wichtigere Frage gestellt: Warum sollte man überhaupt solche «Outsider» zu einem Test einladen? Wäre es nicht effizienter, den Test einfach im kleinen Kreis durchzuführen, ohne sich Gedanken um Entwickler, Vorstände usw. machen zu müssen?

In vielen Fällen wäre es wahrscheinlich wirklich effizienter, die gesamten Usability-Aktivitäten einer einzelnen verantwortlichen Person zu überlassen und alle anderen in ihren Büros bleiben zu lassen.

Die wichtigste Ausnahme ist der häufig vorkommende Fall, wenn man fehlerbehaftete Software-Prototypen testet. In solchen Fällen ist es nützlich, wenn ein paar Entwickler anwesend sind, damit man mit den unvermeidlichen Abstürzen klarkommt. (Wie Sie wissen, ist es wichtig, Software im frühen Stadium zu testen, je primitiver, desto besser, weil frühzeitige Usability-Rückmeldungen das Endprodukt viel stärker beeinflussen als Ergebnisse, die zu spät kommen, um noch implementiert werden zu können.)

Achtsamkeit im Team aufbauen

In Organisationen der Echtwelt wird die Effizienz von Usability-Prozessen nicht in Mannstunden pro Menge der ermittelten Daten gemessen. Man misst sie in Mannstunden im Verhältnis zum erreichten Grad der Produktverbesserung. Bündelweise Daten zu ermitteln bleibt nutzlos, wenn die resultierenden Empfehlungen nicht umgesetzt werden.

Der Hauptgrund dafür, Teammitglieder zur Beobachtung von Usability-Sitzungen einzuladen, besteht darin, dass dadurch die Akzeptanz für Usability-Ergebnisse erheblich verbessert wird. Sehen heisst Glauben. Und etwas live zu sehen wirkt noch stärker.

Sicher, wir können auch Videos von Kunden aufzeichnen, die Probleme mit einer Website haben, und Ausschnitte davon beim Meeting zeigen. Das ist durchaus wirksam, und wir machen das auch definitiv in unseren Seminaren, um die Wirkung und Erinnerbarkeit unserer Ergebnisse zu steigern.

Es ist aber noch viel wirksamer, wenn die Teammitglieder die gleichen Usability-Probleme live während einer Testsitzung mit Nutzern selber sehen. Das Problem ist nicht, dass sie uns verdächtigen, die Testvideos zu fälschen. (Was Sie natürlich niemals tun dürfen; werden Sie einmal mit gefälschten Daten erwischt, bringen Sie Ihre zukünftigen «Ergebnisse» um jede Glaubwürdigkeit.) Wirklich anwesend zu sein, während etwas passiert, hat eine viel stärkere Wirkung, als hinterher eine Aufnahme davon zu sehen, oder sogar bloss davon zu lesen.

Es hat viele Vorteile, wenn Teammitglieder während der Usability-Sitzungen anwesend sind:

Glaubwürdigkeit. Weil sie gesehen haben, wie Sie Ihre Einsichten gewinnen, glauben sie künftig Ihren Usability-Ergebnissen und -Berichten (und denken nicht mehr, dass Sie bloss Wind machen oder Ihre persönlichen Meinungen und Vorlieben äussern).
Beteiligung. Sie sollten die Teammitglieder nicht nur zum Beobachten einladen, sondern auch zu einer Nachbesprechung, bei der Sie diskutieren, was während der Testsitzungen passiert ist und gemeinsam die ersten Schlussfolgerungen ziehen. Wenn die Leute an der Analyse selber teilnehmen, werden sie viel eher die Empfehlungen akzeptieren und sich danach richten.
- Bedenken Sie: Das ist nicht nur ein Trick, um Ihre Design-Ratschläge zu bekräftigen. Die tatsächlichen Ergebnisse fallen besser aus, wenn eine breitere Expertise beim Analysieren der Beobachtungen hilft. Ausserdem wird jedes zusätzliche Augenpaar ein zusätzliches Detail beobachten.
Erinnerbarkeit. Es ist schwierig, sich an Ergebnisse zu erinnern, die man nur in einer PowerPoint-Präsentation oder in einem langen Bericht gesehen hat. Es ist leichter, sich an Ergebnisse zu erinnern, wenn man sie mit der persönlichen Erfahrung beim Beobachten der Nutzersitzungen verknüpfen kann, auf denen die Ergebnisse beruhen.
Empathie. Wenn Sie zusehen müssen, wie hübsche Menschen unter Ihrem Design leiden, ist das ein starkes Motiv, es künftig richtig zu machen. Auch die Ausrede, dass «nur dumme Nutzer da etwas falsch machen können», wird von Teammitgliedern nicht mehr verwendet (auch nicht unbewusst), die gehört haben, wie die gleichen Nutzer auf vollkommen vernünftige Weise Anforderungen an ein Design formulieren, das ihren Bedürfnissen entsprechen würde.
Weniger Designfehler. Wenn Designer und Entwickler ihre wirklichen Kunden gesehen haben, wird es weniger wahrscheinlich, dass sie sich Design-Ideen hingeben, die bei Nutzern wahrscheinlich nicht funktionieren. Je besser die erste Version der Nutzeroberfläche ist, desto weniger Reparaturen sind nach der nächsten Runde von Nutzertests nötig.

Vorstandsmitglieder zur Teilnahme an Nutzertests einzuladen, hat viele ganz ähnliche Vorteile. Die Wahrscheinlichkeit steigt, dass sie nach einer Begegnung mit Nutzern dem Nutzererlebnis eine höhere Priorität geben. Und es wird weniger wahrscheinlich, dass sie künftig noch den aufgeblasenen Sprüchen von Werbeagenturen glauben werden, dass ein aufgemotztes Design «die Marke promoten» werde, wenn sie einmal mit eigenen Ohren gehört haben, mit welchen Worten ihre zahlenden Kunden solche Designs abfertigen. Und wenn es schliesslich an der Zeit ist, das Budget des nächsten Jahres zu verteilen, dann kann Ihnen gar nichts anderes passieren, als dass Sie mehr bekommen, wenn das Management versteht, was Sie tun – und das wird passieren, weil sich live erlebte Nutzersitzungen so fest im Gedächtnis einbrennen.

Die Risiken partieller Beobachtungen

Es ist Ihr Job, die Nutzertests durchzuführen. Die anderen Mitglieder des Designteams haben viele andere Dinge zu tun, und die Vorstandsmitglieder sind noch stärker beschäftigt.

Sie können oft darauf zählen, dass die Designer der aktuellen Nutzeroberfläche an allen Nutzerstudien teilnehmen, bei denen ihre eigenen Designs getestet werden, aber auch diese kommen bei Wettbewerbstests vielleicht nur zu einer oder zwei Sitzungen. Auf der anderen Seite kommt der Marketing-Manager vielleicht zu allen Sitzungen der Wettbewerbstests, aber vor dem fünften iterativen Test einer sich als sperrig entpuppenden Funktion wird er die Biege machen.

Die meisten Mitglieder des Teams werden nicht die Zeit haben, an allen Nutzersitzungen teilzunehmen. Schreiben Sie auf jeden Fall in Ihre Einladung, dass die Leute auch dann willkommen sind, eine oder zwei Sitzungen zu beobachten, wenn sie keine Zeit für weitere haben. Allerdings sind einige Probleme zu beachten, wenn die Leute nicht bei der ganzen Studie dabei waren:

Vorschnelle Schlussfolgerungen aus einer Teilstichprobe. Es reicht zwar, fünf Nutzer zu testen, um einen guten Eindruck von den wichtigsten Usability-Einsichten zu bekommen. Aber es reicht nicht, einen oder zwei Nutzer zu testen, wenn Sie reale Trends und Muster identifizieren wollen. Jeder, der nur wenige Nutzer sieht, kann sich bei der Identifikation der wichtigsten Usability-Themen vertun und hat möglicherweise zu wenig Einsichten gewonnen, um die Lösungen korrekt zu analysieren.
Verzerrte Erinnerungen. In unserem Seminar »Das menschliche Bewusstsein und die Usability« diskutieren wir genauer, dass unser Gedächtnis vielen Verzerrungen unterliegt und ziemlich schlecht ist beim Erinnern von Abstraktionen. Das Schöne beim Beobachten von Nutzersitzungen ist, dass Usability-Themen besser erinnert werden, weil Sie sie aus erster Hand beobachten können. Dadurch entsteht aber die Gefahr, dass Sie sich an die Usability-Probleme, die Sie selbst gesehen haben, viel besser erinnern als an jene, über die Sie nur etwas im Bericht über die ganze Studie gelesen haben.
Verzerrte Empathien. In ähnlicher Weise werden Designer, Entwickler und Manager unbewusst das Gefühl haben, dass es wichtiger sei, jenen Nutzern entgegenzukommen, die sie selbst gesehen haben, als die Bedürfnisse von anderen, genauso wichtigen Nutzersegmenten zu befriedigen, von denen sie aber nur gehört haben.

Diese Probleme sind unvermeidlich, aber Sie können sie entschärfen, wenn Sie darauf achten und auch die anderen Akteure davor warnen. In jedem Fall werden die Nachteile von den Vorteilen einer Einladung an Kollegen und Vorstandsmitglieder, so viele Nutzertests wie möglich zu beobachten, bei weitem aufgewogen. Für die meisten von ihnen ist es die einzige Chance, einen leibhaftigen Kunden live zu erleben, und deshalb werden sie Ihnen dankbar sein – was ein weiterer Grund ist, das zu tun.