Teilnehmer für Usability-Studien rekrutieren

Das einfache Rekrutieren von Testanwendern ist entscheidend für einen effektiven Usability-Prozess. Die durchschnittlichen Kosten belaufen sich pro Anwender auf $171, schwanken aber stark und sind sehr von den Örtlichkeiten und der Zielgruppe abhängig.

 

by Jakob Nielsen (deutsche Übersetzung) - 20.01.2003

 

Die meisten Firmen akzeptieren heutzutage die Notwendigkeit, die Usability ihrer Website, des Intranets, des Soft- und Hardwaredesigns und anderer Projekte mit einem User Interface zu verbessern. Viele Firmen wissen auch, dass Anwendertests die schnellste und einfachste Methode aus der gesamten "Usability Engineering Toolbox" ist. (Leider kennen viele die anderen Methoden der Toolbox noch nicht oder wissen nicht, wie sie die einzelnen Methoden effektiv miteinander durch einen Usability Lifecycle verbinden können. Dies ist jedoch eine andere Geschichte).

Viele Leute glauben zwar an Anwendertests, aber in wirklichen Designprojekten werden nicht allzu viele Tests durchgeführt. Warum existiert diese Diskrepanz zwischen Wissen und Handeln? Hauptsächlich aufgrund des Unvermögens, schnell einen kleinen Test durchzuführen, wenn eine Designentscheidung getroffen werden muss. Nur wenige Firmen schaffen es, solche Tests innerhalb der vorgegebenen Projektmeilensteine im schnell vorwärts laufenden Projekt durchzuführen. Dieses Fehlen der Test-Bereitschaft hat zur Folge, dass das Testen zu einem seltenen und wertvollen Ereignis wird, welches im besten Falle einmal während des Projektes stattfindet.

Leider verschieben diese Einzeltest-Vorhaben das Testen der Usability unveränderlich bis zu dem Zeitpunkt, an dem das fertige Design zur Verfügung steht. Dieses Vorgehen existiert leider immer noch, obwohl 20 Jahre Erfahrung zeigen, dass erstens die meisten Projekte mehrere Test- und Redesignrunden durchlaufen müssen, bis sie eine akzeptable Anwendererfahrungsqualität erreichen und zweitens, dass es hundert mal günstiger ist, Usability-Probleme am Anfang eines Projektes zu beheben als am Schluss.

Die Vereinfachung von Anwendertests

Um die Anzahl Firmen, die die Usability-Methoden richtig anwenden zu erhöhen, müssen wir "das Richtige zu tun" vereinfachen und kostengünstiger machen. Die drei Hauptrichtlinien für die Vereinfachung von Anwendertests sind:

1. Nehmen Sie repräsentative Anwender
2. Lassen Sie diese repräsentative Aufgabenstellungen mit dem Design durchführen
3. "Shut up" und lassen Sie die Anwender sprechen

Die dritte Regel ist überraschend schwierig und auch die Regel Nr. 2 verlangt einige Erfahrung im Durchführen von Tests. Das grösste Hindernis für schnelle und häufige Anwendertests ist jedoch die Schwierigkeit, Personen für die Regel Nr. 1 zu finden. Die meisten Firmen verfügen über keinen Prozess, der Ihnen ermöglicht, dass zum Beispiel am nächsten Mittwoch 5 Kunden zu speziell vereinbarten Zeiten an einem Test teilnehmen. Das wäre aber genau das, was es für eine erfolgreiche Usability-Studie brauchen würde.

Die Rekrutierung von Teilnehmern ist die Basis jedes Anwendertests. Ohne Rekrutierung keine Testteilnehmer. Ein Rekrutierungsprogramm wird einen grossen Einfluss darauf haben, wie viele Usability-Tests Ihre Organisation durchführen wird und die Qualität Ihrer Rekrutierung wird somit die Qualität Ihrer Testresultate unmittelbar beeinflussen.

Rekrutierung: The-state-of-the-Art

Um den Zustand der aktuellen Rekrutierungspraxis festzuhalten, hat die Norman Nielsen Group Ende 2002 201 Usability Fachleute befragt. Weil wir berichten wollten, wie die aktuelle Rekrutierungspraxis in heutigen Designprojekten aussieht, haben wir bewusst ein voreingenommenes Sample befragt, das aktiv in Usability-Tests und den Rekrutierungsprozess involviert ist. Natürlich, weil viele Firmen im Moment keine Usability-Tests durchführen, rekrutieren sie auch keine Teilnehmer. Die hier präsentierten Resultate repräsentieren deshalb nur die Praktiken derjenigen Firmen, die zum Zeitpunkt der Befragung Usability-Tests durchgeführt haben. Von den Personen, die unsere Fragen beantwortet haben, kamen 54% aus den USA, 8% aus den UK, 7% aus Kanada und 5% aus Australien. Europa war mit 14% vertreten. Auch Brasilien, China, Ecuador, Indien, Israel, Mexiko, Neuseeland, Singapur und Südafrika war vertreten. Denn es ist klar, Usability-Testen und deshalb auch die Rekrutierung von Anwendern ist ein weltweites Phänomen.

Spezialisierte Rekrutierungsagenturen

Die meisten Firmen rekrutieren ihre Testteilnehmer selbst, hauptsächlich aufgrund der anfallenden Kosten für die Nutzung einer spezialisierten Rekrutierungsagentur. Nur 36% der Befragten nutzten eine externe Rekrutierungsagentur. Diese Firmen führten typischerweise auch ihre eigene Personalrekrutierung durch; nur 9% nutzten aussen stehende Firmen, um all ihre Testpersonen zu finden.

Die Kosten der Rekrutierungsfirmen können substanziell sein: Die durchschnittlichen Gebühren lagen bei $107 pro Teilnehmer. Die Gebühren variierten stark je nach Ort und Lage, mit den höchsten Gebühren der Welt an der Westküste der USA mit einem Durchschnitt von $125. Wie wir selbst aufgrund schmerzvoller Erfahrungen bestätigen können, ist das Sillicon Valley nicht nur ein teures Pflaster, was das Business betrifft, es ist auch ein Ort, wo man einen zusätzlichen Aufwand leisten muss, um Anwender zu finden, die nicht schon zu Tode analysiert wurden.

Firmen, die ihre eigene Rekrutierung vorgenommen haben, berichteten über durchschnittliche 1.15 Stunden Aufwand für jede einzelne Teilnehmerrekrutierung. 24% der Befragten meldeten jedoch einen Aufwand von mehr als 2 Stunden pro Teilnehmer. Wenn man also keinen optimierten Rekrutierungsprozess mit ausgebildeten Rekrutierungsspezialisten hat, zahlt es sich unter Umständen nicht aus, den Rekrutierungsprozess inhouse durchzuführen.

Die Rekrutierungsgebühren hängen auch stark vom Nutzerprofil ab. Es ist keine grosse Überraschung, dass die Agenturen einem doppelt so viel für die Rekrutierung einer hochkarätigen Fachperson ($161 pro Person) als für die Rekrutierung eines durchschnittlichen Kunden oder Studenten ($84 pro Person) verrechnen.

Anreize für Testteilnehmer

Firmen offerierten für interne Studien, zum Beispiel für das Intranet oder das MIS, nur gerade 10% ihrer Teilnehmer monetäre Anreize. Diese Ergebnisse stimmen sehr gut mit meinen Empfehlungen überein, internen Mitarbeitern für die Teilnahme an Usability-Tests nichts zu bezahlen, da sie indirekt bereits für ihre aufgewendete Zeit bezahlt werden.

Ungefähr ein Drittel (35%) der Firmen haben ihren internen Testteilnehmern andere Anreize offeriert. Typischerweise ein kleines Geschenk, wie zum Beispiel einen Gutschein für ein Buch oder ein Mittagessen in der hauseigenen Cafeteria.

Demgegenüber haben Firmen ihren externen Testteilnehmern im Normalfall Cash für die Teilnahme am Test angeboten: 63% der externen Anwender erhielten eine monetäre Entschädigung, 41% nicht monetäre Anreize und 9% haben gar nichts erhalten. (Diese Zahlen liegen über 100% weil glückliche 13% der externen Teilnehmer sowohl Geld als auch nicht-monetäre Anreize erhalten haben.)

Der durchschnittliche Anreiz, der für externe Anwender bezahlt wurde, liegt bei $64 pro Stunde Testzeit. Wiederum lag die Obergrenze mit $81 pro Stunde an der Westküste der USA. Die Anreize waren sogar noch mehr vom Nutzerprofil abhängig: Hochkarätige Fachleute erhielten fast viermal mehr als Nicht-Fachleute (durchschnittlich $118 vs. $32 pro Stunde).

"No-Show" Raten

Die Befragten teilten uns eine durchschnittliche "No-Show"-Rate von 11% mit, was sich so übersetzen lässt, dass von 9 Testteilnehmern 1 nicht wie versprochen zum Test erscheint. Aufgrund unkontrollierbarerer Ereignisse, wie zum Beispiel das Wetter, der Verkehr und kurzfristig anberaumte Personalanlässe, können diese "No-Show"-Raten von einem Test zum anderen stark variieren. Es gibt zahlreiche Tricks, wie man die "No-Show"-Rate und deren Auswirkungen vermindern kann, aber leider kann man dieses Problem nicht vollständig eliminieren. "No-Shows" sind ziemlich störend und auch ein Grund dafür, dass ich eine relativ grosszügige Bezahlung der Testteilnehmer empfehle, sogar auch dann, wenn ihr normaler Stundenlohn relativ gering ist.

Das Einführen systematischer Rekrutierung

Ich empfehle sehr, dass man die Testteilnehmer als eine wichtige Komponente des Anwendererfahrungsprozesses behandelt. Je mehr der Rekrutierungsvorgang etabliert und systematisiert wird, desto einfacher wird es, Studien durchzuführen, wenn man Usability-Daten benötigt.

Bei kleinen Firmen oder für den Fall, dass in der Vergangenheit noch nicht viele Anwendertests durchgeführt wurden, empfehle ich die Berücksichtigung einer Agentur, die sich auf das Rekrutieren spezialisiert hat. Falls man sich die Gebühren für die Agentur nicht leisten kann oder wenn man zu wenig Studien durchführt, um inhouse einen erfahren Spezialisten anzustellen, kann man im schlimmsten Fall die Testteilnehmer selbst rekrutieren. Mit zunehmender Erfahrung wird dies auch zunehmend einfacher.

Auf jeden Fall wird die Befolgung der Rekrutierungs-"Best Practises" die Kosten des gesamten Usability-Programms senken und die Validierung der Testresultate erhöhen. Wenn man die falschen oder nicht genügend Anwender für den Test hat, werden die Usability-Studien nicht die Resultate hervorbringen, die man als Tester verdient hat und die Glaubwürdigkeit könnte als Resultat davon leiden.

 

© Deutsche Version von Jakob Nielsens Alertbox. Institut für Software-Ergonomie und Usability AG. Alle Rechte vorbehalten.