Varianz in der Nutzerleistung

Beim Bearbeiten von Aufgaben auf Websites brauchen die langsamsten 25% der Nutzer 2,4 Mal so lange wie die schnellsten 25%. Diese Differenz ist viel höher als bei anderen Tätigkeiten am Computer; lediglich das Programmieren zeigt eine noch grössere Ungleichheit.

 

by Jakob Nielsen (deutsche Übersetzung) - 15.05.2006

 

Jeder, der schon einmal das Nutzerverhalten erforscht hat, weiss, dass gewaltige individuelle Unterschiede zwischen einzelnen Nutzern bestehen. Manche fliegen über die Nutzeroberflächen, während andere irgendwo stecken bleiben. Sogar wenn Sie selbst noch nie eine Studie mit regelkonformen Messungen durchgeführt haben, werden Sie bemerkt haben, dass die schnellsten Nutzer um einiges schneller sind als die Langsamsten.

Um diese Varianz besser zu erfassen, können wir uns auf Basis einer Studie, bei der die Zeit pro Aufgabe gemessen wurde, das Verhältnis zwischen dem höchsten und dem niedrigsten Quartil (Viertel) anschauen:

• Q3 ist die längste Zeit im dritten Viertel (die langsamsten 25% der Nutzer).
• Q1 ist die längste Zeit im ersten Viertel (die schnellsten 25% der Nutzer).

Genauer gesagt: Am Punkt Q1 sind 25% der Nutzer schneller und 75% langsamer; am Punkt Q3 sind 75% schneller und 25% langsamer. Also liegt die Hälfte der Nutzer zwischen Q1 und Q3 und die andere Hälfte liegt zu gleichen Teilen ausserhalb dieses Intervalls. Wir teilen Q3 durch Q1, und das Verhältnis Q3:Q1 dient uns als Mass für die individuellen Unterschiede zwischen den leistungsschwächsten und -stärksten Nutzern.

Exemplarische Studienergebnisse

Die folgende Grafik zeigt ein Beispiel von Q1 und Q3 bei einer unserer Eyetracking-Studien, bei der 76 Nutzer versucht haben, den Firmenstandort von Agere Systems herauszufinden, indem sie die Website dieser Gesellschaft nutzten. Die Daten beziehen sich auf die 48 Nutzer, die die richtige Stadt identifizieren konnten. (Die Zeiten der 28 Nutzer, die die Aufgabe nicht bewältigt hatten, haben wir nicht benutzt. Natürlich ist es auch wichtig zu verstehen, warum sie das nicht geschafft haben; siehe dazu unsere Alertbox zur Frage, wie man die "Über uns"-Infos einer Website verbessern kann.

Verteilung der Nutzerleistung, bezogen auf eine Website. Jede Säule zeigt die Zeit pro Aufgabe für einen Nutzer an. Grüne Säulen stehen für das erste Quartil (die schnellsten 25% der Nutzer); rote Säulen stehen für das letzte Quartil (die langsamsten 25%); und blaue Säulen für die beiden mittleren Quartile. Q1 ist die Zeit, die die grünen von den blauen Säulen trennt. Q3 ist die Zeit, die die blauen von den roten Säulen trennt.

Das Verhältnis Q3:Q1 zeigt, wie viel besser ein schneller Nutzer im Vergleich zu einem langsamen ist. D.h., es vergleicht einen relativ schnellen Nutzer (25% sind sogar noch schneller, aber 75% sind langsamer) mit einem relativ langsamen Nutzer (25% sind noch langsamer, aber 75% sind schneller). Das Verhältnis berücksichtigt nicht die allerschnellsten und die allerlangsamsten Nutzer, da es sich dabei wahrscheinlich um Ausreisser handelt.

In der Darstellung entspricht Q1 65 Sekunden und Q3 188 Sekunden, also ist das Verhältnis Q3:Q1 gleich 2,9. Der schnellste Nutzer hat den Standort in 28 Sekunden gefunden, während der langsamste Nutzer 420 Sekunden für diese Aufgabe benötigte. Folglich war das Verhältnis Maximun:Minimum gleich 15. Weil wir normalerweise mehr am Nutzererlebnis der grossen Masse interessiert sind, gehe ich hier auf das Verhältnis Q3:Q1 ein und nicht auf die Extreme an den Enden der Skala.

Unsere letzten Messungen von 70 Website- und Intranet-Aufgaben haben im Durchschnitt ein Verhältnis Q3:Q1 von 2,4 ergeben. Mit anderen Worten: Langsame Nutzer haben mehr als doppelt so viel Zeit für die gleiche Aufgabe gebraucht wie schnelle Nutzer.

Vergleich mit anderen Nutzeroberflächen

Wir können das Verhältnis Q3:Q1 für Nutzung des Webs mit anderen Nutzeroberflächen vergleichen, indem wir uns auf Studienergebnisse über traditionellen Computer-Gebrauch stützen. Dennis Egan hat Studien über drei Typen an Interaktionen zusammengestellt: Textverarbeitung, Recherche und Programmieren. In meiner eigenen unveröffentlichten Studie von 1994 habe ich Leistungsergebnisse für geläufige PC-typische Aufgaben auf drei verschiedenen Systemen gesammelt: Macintosh System 7, NeXTStep (die Grundlage für Mac OSX) und Windows 3.1. Die Studie enthielt Beispielaufgaben wie: Verkaufszahlen addieren und die Ergebnisse per E-Mail verschicken.

Die folgende Tabelle zeigt das durchschnittliche Verhältnis Q3:Q1 bei traditionellen Gebrauchsstudien, verglichen mit der des Web-Gebrauchs.

Art des Gebrauchs	Q3 / Q1
Textverarbeitung	1.8
PC-typische Aufgaben	1.9
Recherche	2.2
Webnutzung	2.4
Programmieren	3.0

Textverarbeitung ist die einfachste Aufgabe in der Tabelle und ist hauptsächlich abhängig von physischen Fähigkeiten wie Tippgeschwindigkeit und Homing-Zeit (für das Bewegen der Hand zwischen Maus und Tastatur). Die Studien untersuchten mechanische Tätigkeiten wie das Verschieben von Absätzen, das Fettsetzen von Wörtern, die Korrektur von Tippfehlern usw. Die Studien haben nicht untersucht, wie lange es dauern würde, tatsächlich einen ganzen Brief oder ein Buch zu schreiben, wobei sicher weitaus grössere Unterschiede zwischen den Nutzern herauskommen würden.

PC-typische Aufgaben sind ein bisschen schwieriger und können viele komplizierte Aufgaben einschliessen, wie das Nutzen von Formularen der Tabellenkalkulation oder das Kombinieren mehrerer Anwendungen, um ein einzelnes Ziel zu erreichen. Allerdings hat sich meine Studie lediglich mit grundlegenden Büro-Aufgaben befasst - und nicht mit verwickelten Problemen wie dem Konfigurieren einer Firewall. Weil der grundlegende PC-Gebrauch von den meisten Leuten beherrscht wird, ist die Varianz hier ziemlich gering.

Die letzten drei Typen der Computernutzung zeigen eine hohe Varianz, weil sie höhere mentale Prozesse erfordern wie z. B. abstraktes Denken, das Planen mehrerer Schritte, das Jonglieren mit zahlreichen Beobachtungen im Kurzzeitgedächtnis oder das Interpretieren neuer Informationen vor dem Hintergrund vorhandenen Wissens.

Informationssuche und Web-Gebrauch sind ziemlich ähnlich, was nicht verwunderlich ist, denn das Suchen von Informationen macht einen Grossteil des Web-Gebrauchs aus. Jedoch erfordert das Nutzen von Websites, über den simplen Gebrauch einer Suchmaschine hinaus, viele Arten von Listen zu sortieren, zu überfliegen und zu interpretieren - von Nachrichten-Überblicken bis hin zu Kategorie-Übersichten mit ähnlich erscheinenden Produkten. Zudem müssen Websitenutzer die Informationen, sobald sie sie gefunden haben, regelrecht interpretieren. Ausserdem müssen Websitenutzer häufig entscheiden, wie sie an zusätzliche Informationen herankommen (wenn es z. B. ihrer ersten Lösung an Glaubwürdigkeit mangelt oder sie überhaupt nichts Passendes gebracht hat).

Zu guter Letzt verlangt Programmieren am meisten von den Nutzern und zeigt deshalb die höchste Varianz. Diese Tabelle zeigt, warum es Management-Richtlinie Nr. 1 für die Software-Entwicklung ist, die besten Entwickler einzustellen: Gute Entwickler sind dreimal schneller als langsame und bringen den Gesellschaften riesigen Gewinn - auch wenn sie höhere Gehälter bekommen. (Der Unterschied zwischen den besten und den schlechtesten Entwicklern liegt normalerweise um den Faktor 20. Leider kann nicht jeder die besten 1% der Entwickler einstellen. Aber Sie können sich auf jeden Fall bemühen, Leute von den besten 25% einzustellen.)

Das Web ist schwierig

Je schwieriger ein Problem ist, desto mehr individuelle Unterschiede können wir ausmachen. Da wir uns den Grenzen menschlicher Fähigkeiten nähern, wächst der Nutzen zusätzlicher Kompetenzen - mentaler Fähigkeiten, Talente oder wie Sie es auch nennen wollen.

Wenn man eine Website nutzt, ist z. B. ein Nutzer, der sechs Wissenshäppchen im Kurzzeitgedächtnis behalten kann, einem Nutzer, der sich nur vier Sachen merken kann, hoch überlegen. Der Nutzer mit dem besseren Gedächtnis wird wahrscheinlich seltener einen falschen Pfad bis zum Ende verfolgen und wird wahrscheinlich öfter richtig einschätzen können, was eine bestimmte Seite mit vorangegangenen Seiten zu tun hat. Im Gegensatz dazu hilft ein besseres Kurzzeitgedächtnis bei einfachen Textverarbeitungsaufgaben nicht viel, vorausgesetzt, man hat ein ordentliches Textverarbeitungsprogramm, das nicht von einem verlangt, sich beim Verschieben eines Absatzes sechs Dinge zu merken.

Wie die Grafik zeigt, hat das Web die zweithöchste individuelle Varianz unter den fünf Computernutzungsarten.

Diese hohe Varianz ist schlecht, da sie aus einem minderwertigen Nutzererlebnis für manche Leute resultiert. Schliesslich zeigen die gemessenen schnellen Leistungen, dass es möglich ist, eine Website-Aufgabe innerhalb dieser Zeit zu lösen. Alles Langsamere ist das Ergebnis von Nutzern, die von Usability-Problemen aufgehalten oder abgelenkt wurden. Auf der perfekten Nutzeroberfläche sollten die Leute zu keiner Zeit daran zweifeln, was zu tun ist, und niemals das Risiko eingehen, eine falsche Bewegung zu machen. Wenn das so wäre, würden sich alle Nutzer ungefähr gleich verhalten, mit nur geringen Unterschieden durch Faktoren, wie schnell man z. B. mit der Maus klicken kann.

Programmieren hat die grössten individuellen Unterschiede und umfasst die schwierigsten Aufgaben. Doch ist Programmieren nicht das schlimmste Problem, da wir unsere Programmierer mit gutem Recht aus denen auswählen können, die die beste Leistung erbringen. Die Lösung ist also simpel: Stellen Sie keine schlechten Programmierer ein.

Bei Websites haben wir nicht den Luxus, nur die besten Nutzer auszuwählen. Wir müssen alle Leute befriedigen, die unsere Website besuchen, ungeachtet ihrer Fähigkeit zum abstrakten Denken. Die Menschen aus dem letzten Quartil sind auch Kunden.

Auch für Intranets ist es inakzeptabel, wenn sie hohe Qualifikationen bei den Nutzern voraussetzen. Intranets sind für alle Arbeitnehmer da, und in manchen Arbeitsbereichen sind fortgeschrittene Computer-Fähigkeiten nicht das wichtigste Kriterium für die Einstellung.

Bei Verwaltungs-Websites ist es wortwörtlich zu verstehen, dass sie alle Nutzer bedienen müssen: Wir alle bezahlen Steuern, und wir alle haben im Gegenzug Anspruch auf anständigen Service.

Kommerzielle Websites brauchen dagegen nicht immer ein breites Publikum anzusprechen - bei B-to-B-Seiten z. B. können gewisse Fachkenntnisse in der Besonderheit der Seite des Öfteren vorausgesetzt werden. Aber auch, wenn Sie, sagen wir, Temperaturmesssonden verkaufen und Ihr Zielpublikum Mess-Ingenieure sind, können Sie nicht davon ausgehen, dass diese alle aus den besten 25% der Ingenieure stammen. Es wird Unterschiede bei den Fähigkeiten und Kenntnissen geben, und einige zukünftige Kunden werden Ihren Sondentyp zum ersten Mal in ihrer Karriere kaufen

Da Website-Oberflächen anspruchsvoll sind und Publikum, das nicht zur Elite gehört, bedienen sollen, ist es besonders wichtig, dass wir das Web-Nutzererlebnis enger fassen und die Varianz bei der Nutzerleistung reduzieren.

Referenz: Egan, D. "Individual Differences in Human-Computer Interaction", in Handbook of Human Computer Interaction, Helander M. (ed.), Elsevier Science Publishers, 1988, pp. 543-568.

 

© Deutsche Version von Jakob Nielsens Alertbox. Institut für Software-Ergonomie und Usability AG. Alle Rechte vorbehalten.