Nutzertests mit Experten
Es ist schwieriger, Usability-Studien mit erfahrenen Nutzern durchzuführen als mit Anfängern und die Verbesserungen fallen gewöhnlich kleiner aus. Dennoch lohnt es sich oft, die Leistung der Experten zu verbessern.
by Jakob Nielsen (deutsche Übersetzung) - 25.01.2010
Alice Davey hat mir folgende Frage gestellt:
Ich habe einige Kurse besucht, darunter zum Thema Applikations-Design, die sehr gut waren. Ich bin gerade dabei, eine XXX-Applikation zu entwickeln, bei der die Nutzer schnell zu Experten werden können, wenn sie sie häufig nutzen.
Ich möchte schon in einem frühen Stadium Usability-Tests durchführen, aber ich frage mich, wie ich herausfinden kann, ob die Applikation auch die „Experten“ unter den Nutzern gut bedienen wird. Denn per Definition werden alle meine Test-Teilnehmer Anfänger sein…
Dieses Thema wird immer wichtiger, weil sich das Gleichgewicht zwischen Anfängern und Experten unter den Nutzern in Richtung Experten verschiebt.
Bevor wir allerdings über Usability für Experten diskutieren, sollten wir daran denken, dass niemand zum Experten wird, ohne zuvor Anfänger gewesen zu sein. Sie dürfen also die Usability für neue Nutzer nicht vergessen, ausser in jenen seltenen Fällen, bei denen Ihre Nutzerpopulation sich nicht mehr verändert und Sie nicht erwarten, dass Sie noch ein einziges Exemplar ihres Produktes verkaufen oder noch einen einzigen neuen Mitarbeiter einstellen werden, um einen vorhandenen Mitarbeiter zu ersetzen.
Im Internet ist das anfängliche Nutzererlebnis besonders wichtig: Leute mit 10 Jahren Erfahrung beim Nutzen anderer Websites sind, bezogen auf Ihre Website, Anfänger, sobald sie die zum ersten Mal von einer Suchmaschine aus anklicken. Wenn Ihre Website deren Erwartungen nicht entspricht oder nicht sofort verstanden wird, sind sie ganz schnell wieder zurück bei den Websites, die sie schon kennen.
Nutzertests mit Experten: Grundlagen
Die Grundlagen bei Nutzertests mit Experten sind die gleichen wie bei anderen Nutzertests:
repräsentative Nutzer rekrutieren
ihnen realistische Aufgaben geben
sie bitten, laut zu denken (während Sie den Mund halten und darauf achten, dass Sie das Verhalten der Nutzer nicht mit Hinweisen zur Unzeit beeinflussen).
Auch ist es gewöhnlich am besten, zunächst mit einer Handvoll Nutzern zu testen und dann vor der nächsten Testrunde das Design erst einen Schritt weiterzuentwickeln. Diese kleinen Studien sollten Sie so früh wie möglich im Design-Prozess, mithilfe von groben Design-Prototypen, durchführen. Papier-Prototypen könnten mit erfahrenen Nutzern sogar noch besser funktionieren als mit Anfängern, weil die Experten daran gewöhnt sind, Testaufgaben durchzuführen. Dadurch können sie sich besser auf das Problem konzentrieren, um das es gerade geht, und nicht auf Dinge wie die Frage, ob ein Dialogfeld auf einer Karteikarte gezeigt wird oder als Rechteck auf dem Bildschirm.
Ein Unterschied zu Nutzertests mit Anfängern ist, dass die "realistischen Aufgaben" für Experten natürlich komplexer sein können. So können Sie tiefer graben und grössere, schwierigere Probleme lösen lassen.
Ein zweiter Unterschied ist vielleicht nicht so offensichtlich: Wir bitten die Nutzer fast immer, ihre Gedanken in einem fortlaufenden Monolog zu verbalisieren, während sie ein Design nutzen. Dieser Prozess des lauten Denkens sagt Ihnen, wie die Leute die Design-Elemente interpretieren, ob sie verwirrend sind und welche davon anziehend oder abstossend sind. Auch wenn die Test-Situation ein bisschen künstlich ist, können ein guter Leiter und Aufgaben, mit denen man sich identifizieren kann, die Nutzer dazu bringen, ihre Zweifel auszublenden und Ihnen die ungeschminkte Wahrheit zu sagen.
Nutzer, die Experten sind, machen allerdings Schwierigkeiten bei Studien mit lautem Denken:
Routiniertes Verhalten ist oft automatisches Verhalten. Wenn die Leute nicht darauf achten, was sie bei einem bestimmten Verhalten denken, können sie die Gedanken hinter ihren Handlungen nicht verbalisieren. Denken Sie zum Beispiel daran, wie es ist, wenn Sie Auto fahren: Wenn ein Testleiter Sie bitten würde, laut zu denken, während Sie zur Arbeit fahren, würden Sie normalerweise nicht die Schritte beschreiben, mit denen Sie das Auto beschleunigen oder abbremsen. Wenn Sie allerdings normalerweise einen Automatikwagen fahren und für die Studie einen Wagen mit Schaltknüppel bekommen würden, würden Sie wahrscheinlich Ihre Gedanken über die Verwendung der Kupplung verbalisieren. Wenn Sie dagegen täglich ein Auto mit manueller Schaltung fahren, ist zu erwarten, dass Sie beim lauten Denken die Kupplung nicht erwähnen werden. Um dieses Problem mit Experten zu bewältigen, können Sie ausgefeiltere Usability-Methoden verwenden, bei denen Sie langsam (und langwierig) Zeitlupen-Aufnahmen der Interaktionen analysieren und so ermitteln, was in den Fällen passiert ist, bei denen die Nutzer nichts gesagt haben.
Experten als Nutzer können zu Design-Kritikern werden und Ihnen die Ohren vollquatschen mit ihren Meinungen über das Produkt (da sie es ja so gut kennen), anstatt in der Nutzerrolle zu bleiben und sich wirklich mit den Funktionen zu befassen. Nehmen Sie ihre Kommentare dankbar auf, während Sie daran denken, dass, was die Leute sagen und was sie tun, sehr verschiedene Dinge sein können. Der Zweck von Usability-Studien ist das Sammeln von Verhaltensdaten, deshalb führen Sie Ihre Teilnehmer so schnell wie möglich zurück in die Rolle eines Nutzers des Designs zurück.
Wie man Experten rekrutiert
Wenn Sie ein existierendes Produkt neu gestalten, haben Sie Glück: Es gibt bereits Experten unter den Nutzern in freier Wildbahn. Sie brauchen sie nur noch für einen ein- oder zweistündigen Besuch zu rekrutieren. Dabei können Sie die traditionellen Methoden für das Rekrutieren von Testteilnehmern anwenden, mit ein paar zusätzlichen Kniffen. Oft kann eine Liste registrierter Teilnehmer den langwierigen Prozess der kalten Telefonakquise von Interessenten abkürzen. Manchmal können Sie auch mit Vertriebsmanagern zusammenarbeiten, um Kontakt zu einigen Nutzern Ihres Produktes aufzunehmen. (Betonen Sie in diesem Fall, dass Sie durchschnittliche Nutzer brauchen - und nicht die "Star Performers", die die Manager oft gerne vorzeigen möchten.)
Bei einer Website können Sie existierende Nutzer zum Beispiel dadurch rekrutieren, dass Sie eine Anfrage nach Freiwilligen in Ihrer Website oder in Ihrem E-Mail-Newsletter platzieren (was den Zusatznutzen hat, dass Sie Ihre loyalsten Nutzer erreichen).
Andere Möglichkeiten, Nutzer mit Expertise zu rekrutieren, sind Branchenmessen (besonders wenn Ihre Firma einen Messestand hat), Treffen von Nutzergruppen und soziale Medien (besonders die sozialen Medienfunktionen Ihrer eigenen Website).
Schnelle Anzucht von Experten
Bei der Frage, die diese Kolumne ausgelöst hat, ging es um ein neues Produkt. In diesem Fall existieren noch keine Nutzer mit Expertise, weil das Produkt überhaupt noch keine Nutzer hat.
Sie können keine Leute rekrutieren, die noch gar nicht existieren, also müssen Sie Ihre erfahrenen Nutzer selbst erzeugen. Zunächst können Sie gegen die Regel verstossen, niemals das eigene Personal zu testen. Für gewöhnlich wollen wir niemanden testen, der mit einem Designprojekt oder mit der Firma selbst zu tun hat (ausser bei Intranet-Studien natürlich). Diese Leute wissen zu viel, so dass wir bei ihnen keine Usability-Probleme entdecken können, die aus den Missverständnissen externer Nutzer stammen.
Bei Studien mit Experten allerdings wird der Umstand, zu viel zu wissen, teilweise zur Tugend. Interne Nutzer sind auch dann keine idealen Testteilnehmer, weil ihr mentales Modell des Systems viel besser strukturiert sein wird als irgendetwas, das organisch durch blosse Konfrontation mit der Nutzer-Oberfläche gewachsen ist.
Denken Sie zum Beispiel an die Struktur einer Website: Auswärtige Nutzer müssen die Struktur aus dem Navigationsdesign ableiten. Eine gute Navigation gibt den Nutzern zwar Hinweise auf die Informationsarchitektur, aber das ist nicht ihr primärer Zweck. Die Nutzer sind auf einer Website, um dort Dinge zu erledigen; deshalb neigen sie nicht dazu, der Website-Struktur viel Aufmerksamkeit zu widmen, noch behalten sie von einem Besuch bis zum nächsten viel davon. Interne Nutzer dagegen wissen etwas über die Produktlinie und die Art und Weise des Unternehmens, seine Geschäfte zu erledigen, haben deshalb ein gedankliches Modell im Kopf, das ihnen hilft, ein besseres mentales Modell von der Website-Struktur zu entwickeln.
Wenn Sie also interne Experten testen, denken Sie daran, dass diese mehr wissen und sich anders verhalten als externe Experten.
Ein zweiter und besserer Ansatz ist es, frische Experten mithilfe eines Schnell-Trainings für neue Nutzer heranzuziehen. Sie können ihnen einen persönlichen Tutor zur Seite stellen, der die Testteilnehmer durch das Design hindurchführt und alle ihre Fragen beantwortet. (Normalerweise beantworten wir keine Fragen von Nutzern, weil wir ihr Verhalten nicht verfälschen wollen, aber wenn wir den erfahrenen Gebrauch testen wollen und nicht den anfänglichen Gebrauch, ist es nicht so wichtig, wie die Leute mit den frühen Schwierigkeiten fertig werden. Deshalb ist in diesem Fall Coaching erlaubt.)
Sie können den Testteilnehmern viel Zeit geben, Erfahrungen mit ihrem Design zu sammeln, bevor sie die Studie starten. Dies kann effizient sein, weil Sie sie während solcher Praxissitzungen nicht ständig beobachten müssen. Natürlich müssen Sie, wenn die Nutzer einer Woche Praxis brauchen, um Expertise zu gewinnen, ihnen eine Woche Arbeitszeit bezahlen, aber Sie müssen nicht selbst die ganze Woche bei ihnen bleiben. Geben Sie ihnen einen kleinen Arbeitsplatz und schauen Sie periodisch nach dem Rechten (und geben Sie ihnen eine Hotline-Nummer, damit sie den Tutor anrufen können, wenn sie Fragen haben).
Schulungen und Handbücher
Ein Spezialtraining ist ein Weg, um schnell neue Experten zu produzieren. Sie können aber auch reguläre Schulungskurse oder Anleitungsmaterial dazu verwenden, wenn Sie ein Produkt testen, zu dem solche Serviceleistungen dazugehören. Bei einem neuen Produkt können Sie das sogar zum Teil des Testplans machen und empirische Daten über die Usability des Schulungsmaterials selbst gewinnen.
Die Rahmenrichtlinie bei aller Nutzerforschung lautet, sich der Echtwelt so eng wie möglich anzunähern. Wenn Sie also ein Handbuch haben oder Schulungskurse anbieten, ist es gut, den Testteilnehmern diese Ressourcen zugänglich zu machen.
Leider werden in der Echtwelt nicht alle Nutzer eine Schulung besuchen, selbst wenn Sie sie bei der Markteinführung der Applikation anbieten. Neue Angestellte, die im folgenden Jahr an Bord kommen, können glücklich sein, wenn ihre Kollegen sich die Zeit nehmen, ihnen etwas von dem weiterzugeben, was sie aus der Schulung behalten haben. (Leider behalten die meisten Leute sehr wenig von einem Kurs, den sie ein Jahr zuvor besucht haben.)
Ähnlich sieht es aus, wenn Sie ein Handbuch oder eine Bedienungsanleitung beim Kauf mitliefern, denn diese Dokumentation kann schon lange verloren gegangen sein, wenn neue Angestellte gebeten werden, die Maschine oder Anwendung zu bedienen.
Deshalb ist es gewöhnlich am besten, wenn Sie einige Usability-Sitzungen mit den Dokumentationen und Schulungen und andere ohne diese Informationen durchführen.
Kleinere Verbesserungen sind zu erwarten
Die Rendite von Usability liegt, über den Daumen gepeilt, bei einer Verdopplung des erwünschten geschäftlichen Werts (wie zum Beispiel der Konversionsrate), wenn Sie zum ersten Mal Nutzertests durchführen. Besonders bei Websites finden Sie gewöhnlich wenigstens ein furchtbar abschreckendes Design-Element, das Insider niemals problematisch gefunden haben, das das Unternehmen aber jede Menge entgangene Geschäfte kostet.
Bei Nutzern mit Expertise sind die Verbesserungen durch Nutzerforschung normalerweise kleiner. Die gute Nachricht ist: Menschen sind unglaublich flexible und anpassungsfähige Geschöpfe. Wir leben von Grönland bis Äquatorial-Guinea und wir können sogar mit Linux arbeiten, wenn wir es lange genug versuchen. Leute, die ein Software-Produkt 10 Jahre lang genutzt haben, haben sich Hilfskonstruktionen und Tricks ausgedacht, um seine Designschwächen zu überwinden. Und sie haben viele der willkürlichen Regeln im Hintergrund der Nutzeroberfläche internalisiert. Viele Leute sind geradezu wild auf Strafen und lieben ein schlechtes Design mit der Zeit so sehr, dass sie sich gegen den Wechsel zu etwas Besserem sträuben. Denn schliesslich wissen sie bereits, wie man die schwierige Nutzeroberfläche benutzt; warum also zu einer einfachen wechseln, für die man erst noch etwas lernen muss? (Die Nutzer haben eine starke Präferenz dafür, etwas zu tun, anstatt "Zeit damit zu verschwenden", etwas zu lernen.)
Weil erfahrene Nutzer sich an das alte Design gewöhnt haben, liegt das Potenzial für eine Verbesserung ihrer Leistung gewöhnlich unter den 100 Prozent, die wir bei neuen Website-Besuchern finden. Im Schnitt ist eine Verbesserung um ein Drittel realistischer.
Soll man etwas für Experten tun?
Es ist teurer, Usability-Studien für Nutzer mit Expertise zu machen, und die zu erwartende Verbesserung ist kleiner. Warum also sollte man das tun? Dafür gibt es mehrere Gründe:
- Die Nutzer sind nur für kurze Zeit Anfänger und für lange Zeit Experten - zumindest bei Produkten, die sie kontinuierlich verwenden. Deshalb kann sich der (kleinere) Nutzen einer besseren Experten-Usability über viele Jahre hinweg anhäufen und sich eventuell zu einer viel grösseren Summe aufaddieren als der einmalige Nutzen einer Verbesserung für Anfänger.
- Manche Produkte haben eine grosse Basis an Installationen mit einer grossen, bereits gegebenen Menge von Nutzern, die erwartungsgemäss nicht mehr stark wachsen wird. Um den wirklichen Gewinn von Usability-Vorteilen zu berechnen, müssen Sie den Gewinn pro Nutzer mit der Anzahl der Nutzer multiplizieren, so dass auch dieses Szenario für einen Schwerpunkt auf Nutzer mit Expertise spricht.
- Manche Produkte werden ständig und sehr intensiv verwendet. Klassisches Beispiel ist eine Anwendung für Call-Center-Mitarbeiter. Andere Produkte werden vielleicht nur sporadisch verwendet, aber die Auswirkung des Unterschieds zwischen guter und schlechter Nutzerleistung ist immens. Ein gutes Beispiel die Handhabung von Fehlern in Kontrollräumen der Industrie. In solchen Fällen sind die Nutzer meist gut trainiert, und Anfänger-Usability mag keine Rolle spielen, aber es ist von entscheidender Bedeutung, die Usability für Experten festzunageln.
- Schliesslich kann es sein, dass Vielnutzer einen überdurchschnittlich grossen Anteil des Umsatzes liefern, besonders bei solchen E-Commerce-Websites, die loyale Kunden kultivieren. Auf solchen Websites möchten Sie wiederholte grosse Einkäufe den Leuten besonders leicht machen.
Was auch immer der Grund ist, oft lohnt es sich, in zusätzliche Usability-Ressourcen zu investieren, um das Nutzererlebnis für Experten zu verbessern.
© Deutsche Version von Jakob Nielsens Alertbox. Institut für Software-Ergonomie und Usability AG. Alle Rechte vorbehalten.
Kommentare auf diesen Beitrag