Präzision oder Einsichten bei der quantitativen Usability

In der quantitativen Usability ist es besser, eine grössere Fehlerspanne zu akzeptieren, als das gesamte Budget darauf zu verwenden, mit höchster Präzision zu wenige Dinge zu erfahren.

 

by Jakob Nielsen (deutsche Übersetzung) - 21.11.2011

 

Letzte Woche habe ich eine Folie für das neue Nutzererlebnis-Basistraining angefertigt, auf der ich die empfohlene Anzahl von Testnutzern für verschiedene Arten von Studien zeige. Ich mag es, grundlegende Kurse zu unterrichten, da sie mir diese einzigartige Möglichkeit bieten - nämlich 25 Jahre Usability-Forschung in eine einzige Tabelle einfliessen zu lassen. Wenn komplexe Themen auf die absolute Essenz reduziert werden, kristallisieren sich Muster heraus.

Warum empfehlen wir zum Beispiel, beim Card-Sorting mehr Nutzer zu testen als in einer Usability-Studie? Weil die einfache Regel "Wir testen nicht Sie, sondern das System" beim Card-Sorting nicht zutrifft. Wenn wir mentale Modelle ermitteln wollen, testen wir in der Tat die einzelnen Nutzer und nicht ein zuvor definiertes künstliches Produkt und deshalb ist dann die Variabilität grösser.

Was mich an meiner Folie besonders überrascht hat: Ich empfehle, die meisten quantitativen Nutzertests mit einer Probandenzahl durchzuführen, die normalerweise zu einer Fehlerspanne von 19% führt.

19% - das klingt nach Schlamperei. Wie kann ein so niedriges Präzisionsniveau ausreichen, die quantitative Usability richtig einzuschätzen?

Aus zwei Gründen:

• Ein Konfidenzintervall von 19% steht für den ungünstigsten Fall. Normalerweise ist der Fehler deutlich kleiner.
• Der durchschnittliche Usability-Unterschied zwischen zwei beliebigen Websites liegt bei 64%, so dass wir selbst in den wenigen Fällen, in denen der Messfehler tatsächlich bei 19% liegt, den Gewinner richtig erkennen.

Diese mathematischen Aspekte reichen aus, um das Konzept zu unterstützen, das Budget zu schonen und die quantitativen Studien auf mittlere Stichprobengrössen zu beschränken.

Aber es gibt zwei schlagkräftige Argumente, die noch wichtiger sind.

Konzentrieren Sie sich auf grosse Probleme

Sie sollten sich in der Usability nicht um kleine Probleme kümmern. Zurzeit gilt es noch, grössere Fische zu fangen. Wenn Sie eine Website neu gestalten, liegt die durchschnittliche Verbesserung der wichtigsten Leistungsindikatoren bei 83%. Offensichtlich haben die meisten Websites immer noch furchtbare Usability-Probleme. Bei Intranets, mobilen Sites oder Apps ist es oft noch schlimmer.

Ihr Fokus sollte auf den wirklich grossen Design-Problemen liegen, bei denen das Nutzererlebnis nicht den Anforderungen der Kunden entspricht. Normalerweise gibt es nur wenige Punkte, die am Ende wirklich einen grossen Unterschied machen. Investieren Sie lieber in diese wichtigen Verbesserungen, als sich mit Veränderungen herumzuschlagen, die Ihnen nur ein oder zwei Prozent zusätzlich einbringen.

Wenn Sie ihr Budget für übermässig präzise Messungen verschwenden, kann Sie das schnell von den wichtigen Punkten ablenken; und auf jeden Fall haben Sie dann weniger Budget übrig, um an ihnen zu arbeiten.

Vielleicht werden in 20 Jahren die Nutzerschnittstellen so gut sein, dass uns nur noch die Feineinstellung bleibt, um auch noch die letzten Prozente an Qualität herauszuholen. Das ist heute aber definitiv nicht der Fall.

Stellen Sie mehr Fragen, um mehr herauszukriegen

Wenn Sie nur eine Frage stellen, bekommen Sie auch nur eine Antwort. Darum ist es besser, jedes Budget, das man zur Verfügung hat, auf eine grössere Anzahl von Nutzerstudien zu verteilen, anstatt es komplett dafür auszugeben, das Konfidenzintervall für eine einzige Messgrösse immer weiter zu verkleinern.

Schlimmer noch: Wenn Sie nur diese eine Antwort haben, wissen Sie vielleicht nicht, was die eigentliche Frage ist. So gesehen ist quantitative Usability-Forschung wie Jeopardy. Die Studie kommt zu der Antwort 42 - aber warum? Was sollten Sie jetzt am Design ändern, damit beim nächsten Mal 50 herauskommt?

Darum empfehle ich, stattdessen in paralleles und iteratives Design zu investieren, das die verschiedenen Lösungsmöglichkeiten für eine Nutzeroberfläche im grellen Licht der Nutzertests betrachtet. Natürlich wird, wenn Sie viele Untersuchungen machen, jede einzelne weniger umfangreich sein, aber das macht nichts, da Ihre Erkenntnisse sich über die gesamten Studien hinweg summieren werden. Mehr Forschung = mehr Fragen = mehr Antworten = besseres Design.

Davon abgesehen gibt es natürlich auch Fälle, bei denen es sich auszahlt, in "Luxus-Usability" zu investieren - besonders in den rar gesäten Organisationen, die im Bereich der Nutzererlebnis-Methodologie einen hohen Reifegrad erreicht haben.

Aus kleinen Studien wachsen grosse Bäume

Ein letztes Argument, warum man Studien klein und finanziell überschaubar halten sollte, ist der Wert der kumulativen Erkenntnisse, die man im Verlauf vieler Studien gewinnt. Jahr für Jahr häufen Sie durch die Forschungen an Ihrer Website und Ihren Kunden Wissen an.

Zum Beispiel hat die Nielsen-Norman-Gruppe während unserer verschiedenen Forschungsarbeiten und Kundenprojekte 1600 Websites mit 4090 Nutzern getestet. Und obwohl wir nicht jede einzelne Website mit Hunderten von Nutzern getestet haben, haben wir doch bestimmte Formen des Nutzerverhaltens viele tausend Mal beobachtet. Wenn wir also sagen, dass die Nutzer Texte auf Webseiten nur überfliegen und auf mobilen Seiten noch weniger lesen, basiert diese Aussage nicht nur auf einer einzigen Studie, deren 20 Teilnehmer durch Zufall alle nur ungern lasen.

Wenn Sie dasselbe Verhalten auf vielen verschiedenen Websites mit unterschiedlichen Nutzerprofilen sehen, häufen sich die Beweise an und wiegen schwerer als das Konfidenzintervall jeder einzelnen Studie, die dazu beigetragen hat.

 

© Deutsche Version von Jakob Nielsens Alertbox. Institut für Software-Ergonomie und Usability AG. Alle Rechte vorbehalten.