Formeller Usability-Bericht oder Ergebnisprotokoll auf die Schnelle?

by Jakob Nielsen (deutsche Übersetzung) – 25.04.2005

Kürzlich habe ich 258 Usability-Spezialisten befragt, auf welche Art sie die Ergebnisse ihrer Studien kommunizieren:

42% produzieren einen formellen schriftlichen Testbericht mit allen methodischen Details
36% verfassen ein Ergebnisprotokoll auf die Schnelle
24% lassen eine E-Mail zirkulieren, die die wichtigsten Ergebnisse der Studie auflistet
15% kreieren eine Tabelle mit den Ergebnissen
14% erfassen die Usability-Ergebnisse in einer Fehler-Datenbank
21% präsentieren die Ergebnisse formell in einer Sitzung
27% diskutieren die Ergebnisse bei einem informellen Treffen oder einer Abschlussbesprechung
1% zeigen Videos von den Testsitzungen in voller Länge
4% zeigen Videos mit den Highlights der Testsitzungen
3% entwerfen und zeigen Poster oder andere physische Exponate.

Es gibt keinen klar überlegenen Ansatz, um die Ergebnisse von Usability-Studien zu kommunizieren. Die meisten Leute verwenden mehr als eine Methode, je nach Firmenkultur oder und Ansatz im Usability-Lifecycle.

Wie dem auch sei, die Befragung hat ergeben, dass formelle Berichte und Kurzberichte die beiden häufigsten Mittel sind, Usability-Ergebnisse bekanntzumachen. Beide Ansätze haben ihre Berechtigung.

Wann verwendet man Kurzberichte?

Man kann die Qualität von Nutzeroberflächen maximieren, indem man als Teil eines iterativen Designprozesses viele Testrunden durchführt. Um schnell zu sein und die meisten Tests innerhalb eines gegebenen Zeitrahmens und Budgets abzuwickeln, sind informelle Berichte die beste Option.

Eine formelle Präsentation auf Folienbasis anzulegen, zieht die Sache in die Länge. Ebenso, wenn man Videos oder Statistiken verwendet. Halten Sie stattdessen eine schnelle Abschlussbesprechung gleich nach dem Test ab und strukturieren Sie sie anhand der informellen Testnotizen zum Nutzerverhalten. Lassen Sie dem Treffen eine kurze E-Mail an das ganze Team folgen (je kürzer sie ist, desto grösser die Wahrscheinlichkeit, dass sie gelesen wird).

Manche Organisationen halten sich an formelle Präsentationen oder daran, Folienpräsentationen zirkulieren zu lassen. Aus meiner Sicht ist das eine schlechte Methode, Usability-Ergebnisse zu dokumentieren. Man kann die Feinheiten des Nutzerverhaltens nicht in Aufzählungszeichen fassen, und es ist bereits wenige Monate nach ihrer Erstellung fast unmöglich, eine Folienpräsentation zu interpretieren.

Extrem kurze Mitschriften eignen sich bei Studien, die zum Ziel haben, in wiederholten Designschritten jeweils die gröbsten Fehler einer Oberfläche zu finden. Solche Studien müssen meist nicht lange halten; sobald man die nächste Designversion erstellt hat, sind die Ergebnisse nur noch selten von Nutzen. Solange Sie nicht vorhaben, Material mit langfristigem Lerneffekt zu erstellen, verlieren Sie nicht viel, wenn Sie zu diesen höchst informellen Berichten greifen.

Zudem kommt es vor, dass ein altes Usability-Thema im letzten Stadium des Projektes noch einmal sein hässliches Haupt erhebt. Wenn das passiert, ist es viel nützlicher, eine kurze Beschreibung des Problems aus einer alten Studie zur Verfügung zu haben als bloss einen Punkt in der Präsentation, der das Thema anschneidet, ohne aber irgendein Detail des Nutzerverhaltens zu verraten.

Videoclips und Poster sind relativ selten, aber sie haben natürlich grossen propagandistischen Wert und helfen deshalb dabei, in der Organisation Usability-Anhänger zu gewinnen. Ich möchte Sie dazu ermutigen, solche nicht-schriftlichen Berichtsformate auszuprobieren.

Wann sollte man formell berichten?

Der formelle Bericht bleibt das meistverbreitete Format, aber ich denke, er wird überstrapaziert, und bevorzuge persönlich rascheres Berichten und häufigeres Testen. Gleichwohl hat der formelle Bericht seine Berechtigung in Fällen wie den folgenden:

Benchmark-Studien oder andere quantitative Tests. Wenn Sie die Messmethoden nicht im Detail dokumentieren, können Sie die Zahlen nicht beurteilen. Ausserdem misst man ein Benchmark (einen Indikator) hauptsächlich deshalb, um ihn später noch einmal zu messen und die Ergebnisse zu vergleichen. Wenn man das tut, muss man alles über die ursprüngliche Studie wissen.
Wettbewerbsstudien. Wenn Sie eine breite Stichprobe alternativer Designs testen, sind die daraus gewonnenen Lektionen gewöhnlich so fundamental und interessant, dass sie einen kompletten Bericht mit vielen Screenshots und tiefgehenden Analysen rechtfertigen.
Feldstudien. Die meisten Organisationen führen nur selten Studien an den Aufenthaltsorten der Kunden durch; wenn sie es doch tun, erheischen die Ergebnisse einen archivierbaren Bericht, auf den man jahrelang zurückgreifen kann. Zudem ergeben sich aus Feldstudien meist wichtige Einsichten, die zu komplex sind, als dass man sie in einer kurzen Mitschrift erläutern könnte.
Beratungsprojekte. Wenn Sie einen teuren Berater engagieren, um das Erlebnis Ihrer Nutzer zu bewerten, sollten Sie für längere Zeit von den gewonnenen Einsichten zehren können. Die Aussensicht ist aber nur dann von Wert, wenn sie in der Organisation verbleibt, nachdem der Berater weg ist. Um das sicher zu stellen, brauchen Sie einen Bericht, der sowohl umfassend ist als auch voller Einsichten.

Alle diese Fälle erfordern eine archivierbare Version der Ergebnisse, die dem Zahn der Zeit widersteht. Tiefgehende und umfassende Studien enthalten nicht bloss eine Liste von Korrekturen an der letzten Designversion. Wenn neue Leute ins Team kommen, sollten sie diverse konzeptionelle Berichte dieser Art lesen, um etwas über die Hintergründe der aktuellen Design-Richtungen zu erfahren. Wenn sie das grosse Ganze in Sachen Usability verstehen, hilft das den Neuen, eine Menge Fehler zu vermeiden.

Die besten Usability-Berichte sind Lernwerkzeuge und können einem ganzen Team helfen, ein gemeinsames Verständnis zu entwickeln. Die Anstrengung lohnt sich, jedes Jahr ein paar formelle Berichte zu produzieren. Ein Weg, Ressourcen dafür frei zu bekommen und einige Berichte speziell gut hinzukriegen, liegt darin, Ihre Ambitionen für die alltäglichen Berichte herunterschrauben und sie informell auf die Schnelle machen.