|
Zusammenfassung
Das einfache Rekrutieren
von Testanwendern ist entscheidend für einen
effektiven Usability-Prozess. Die durchschnittlichen
Kosten belaufen sich pro Anwender auf $ 171,
schwanken aber stark und
sind sehr von den
Örtlichkeiten und der Zielgruppe abhängig.
|
Die meisten Firmen akzeptieren heutzutage die Notwendigkeit, die
Usability ihrer Website, des Intranets, des Soft- und
Hardwaredesigns und anderer Projekte mit einem User Interface zu verbessern. Viele Firmen wissen
auch, dass Anwendertests die schnellste und einfachste Methode
aus der gesamten "Usability Engineering Toolbox" ist. (Leider kennen
viele die anderen Methoden der Toolbox noch nicht oder wissen
nicht, wie sie die einzelnen Methoden effektiv miteinander
durch einen Usability Lifecycle verbinden können. Dies ist
jedoch eine andere Geschichte).
Viele Leute glauben zwar an Anwendertests, aber in
wirklichen Designprojekten werden nicht allzu viele Tests
durchgeführt. Warum
existiert
diese Diskrepanz zwischen Wissen und Handeln? Hauptsächlich aufgrund
des Unvermögens, schnell
einen kleinen Test durchzuführen, wenn eine
Designentscheidung getroffen werden muss. Nur wenige Firmen schaffen es, solche Tests innerhalb der
vorgegebenen Projektmeilensteine im schnell vorwärts
laufenden
Projekt durchzuführen. Dieses Fehlen der Test-Bereitschaft
hat zur Folge, dass das Testen zu einem seltenen und wertvollen Ereignis
wird, welches im besten Falle einmal während des Projektes
stattfindet.
Leider verschieben diese Einzeltest-Vorhaben das Testen der
Usability
unveränderlich bis zu dem Zeitpunkt, an dem das fertige Design zur Verfügung steht. Dieses
Vorgehen existiert leider immer noch,
obwohl 20 Jahre Erfahrung zeigen, dass erstens die meisten Projekte
mehrere Test- und Redesignrunden durchlaufen müssen, bis sie
eine akzeptable Anwendererfahrungsqualität erreichen und
zweitens, dass es hundert mal günstiger
ist, Usability-Probleme am Anfang eines Projektes zu beheben
als am Schluss.
Die Vereinfachung von Anwendertests
Um die Anzahl Firmen, die die Usability-Methoden richtig
anwenden zu erhöhen, müssen wir "das Richtige zu
tun" vereinfachen und kostengünstiger machen. Die drei
Hauptrichtlinien für die Vereinfachung von Anwendertests
sind:
- Nehmen Sie repräsentative Anwender
- Lassen Sie diese repräsentative Aufgabenstellungen
mit dem Design durchführen
- "Shut up" und lassen Sie die Anwender
sprechen
Die dritte Regel ist überraschend schwierig und auch die
Regel Nr. 2 verlangt einige Erfahrung im Durchführen von Tests. Das grösste Hindernis für schnelle und häufige
Anwendertests ist jedoch die Schwierigkeit, Personen für die
Regel Nr. 1 zu finden. Die meisten Firmen verfügen über keinen
Prozess, der Ihnen ermöglicht, dass zum Beispiel am nächsten
Mittwoch 5 Kunden zu speziell vereinbarten Zeiten an einem Test
teilnehmen. Das wäre aber genau das, was es für
eine erfolgreiche Usability-Studie brauchen würde.
Die Rekrutierung von Teilnehmern ist die
Basis jedes Anwendertests. Ohne Rekrutierung
keine Testteilnehmer. Ein Rekrutierungsprogramm wird
einen grossen Einfluss darauf haben, wie viele Usability-Tests
Ihre Organisation durchführen wird und die Qualität Ihrer Rekrutierung
wird somit die Qualität Ihrer Testresultate
unmittelbar beeinflussen.
Rekrutierung: The-state-of-the-Art
Um den Zustand der aktuellen Rekrutierungspraxis
festzuhalten, hat die Norman Nielsen Group Ende 2002 201
Usability Fachleute befragt. Weil wir berichten wollten, wie
die aktuelle Rekrutierungspraxis in heutigen Designprojekten
aussieht, haben wir bewusst ein voreingenommenes Sample
befragt, das aktiv in Usability-Tests und den
Rekrutierungsprozess involviert ist. Natürlich, weil viele
Firmen im Moment keine Usability-Tests durchführen, rekrutieren
sie auch keine Teilnehmer. Die hier präsentierten Resultate
repräsentieren deshalb nur die Praktiken derjenigen Firmen,
die zum Zeitpunkt der Befragung Usability-Tests durchgeführt
haben. Von den Personen, die unsere Fragen beantwortet haben,
kamen 54% aus den USA, 8% aus den UK, 7% aus Kanada und 5 %
aus Australien. Europa war mit 14% vertreten. Auch Brasilien,
China, Ecuador, Indien, Israel, Mexiko, Neuseeland, Singapur
und Südafrika war vertreten. Denn es ist klar,
Usability-Testen und deshalb auch die Rekrutierung von
Anwendern ist ein weltweites Phänomen.
Spezialisierte Rekrutierungsagenturen
Die meisten Firmen rekrutieren ihre Testteilnehmer
selbst,
hauptsächlich aufgrund der anfallenden Kosten für die Nutzung
einer spezialisierten Rekrutierungsagentur. Nur 36 % der
Befragten nutzten eine externe Rekrutierungsagentur. Diese Firmen
führten typischerweise auch ihre eigene Personalrekrutierung
durch; nur 9% nutzten aussen stehende Firmen, um all ihre
Testpersonen zu finden.
Die Kosten der Rekrutierungsfirmen können substanziell
sein: Die durchschnittlichen Gebühren lagen bei $ 107 pro
Teilnehmer. Die Gebühren variierten stark je nach Ort und
Lage, mit den höchsten Gebühren der Welt an der Westküste
der USA mit einem Durchschnitt von $ 125. Wie wir selbst
aufgrund schmerzvoller Erfahrungen bestätigen können, ist
das Sillicon Valley nicht nur ein teures Pflaster, was das
Business betrifft, es ist auch ein Ort, wo man einen
zusätzlichen Aufwand leisten muss, um Anwender zu finden, die
nicht schon zu Tode analysiert wurden.
Firmen, die ihre eigene Rekrutierung vorgenommen haben,
berichteten über durchschnittliche 1.15 Stunden Aufwand für
jede einzelne Teilnehmerrekrutierung. 24% der Befragten
meldeten jedoch einen Aufwand von mehr als 2 Stunden pro
Teilnehmer. Wenn man also keinen optimierten
Rekrutierungsprozess mit ausgebildeten
Rekrutierungsspezialisten hat, zahlt es sich unter Umständen
nicht aus, den Rekrutierungsprozess inhouse durchzuführen.
Die Rekrutierungsgebühren hängen auch stark vom
Benutzerprofil ab. Es ist keine grosse Überraschung, dass die
Agenturen einem doppelt so viel für die Rekrutierung einer
hochkarätigen Fachperson ($ 161 pro Person) als für die
Rekrutierung eines durchschnittlichen Kunden oder Studenten
($84 pro Person) verrechnen.
Anreize für Testteilnehmer
Firmen offerierten für interne Studien, zum Beispiel für
das Intranet oder das MIS, nur gerade 10% ihrer Teilnehmern
monetäre Anreize. Diese Ergebnisse stimmen sehr gut mit
meinen Empfehlungen überein, internen Mitarbeitern für die
Teilnahme an Usability-Tests nichts zu bezahlen, da sie
indirekt bereits für ihre aufgewendete Zeit bezahlt werden.
Ungefähr ein Drittel (35%) der Firmen haben ihren internen
Testteilnehmern andere Anreize offeriert. Typischerweise ein
kleines Geschenk, wie zum Beispiel einen Gutschein für ein
Buch oder ein Mittagessen in der hauseigenen Cafeteria.
Demgegenüber haben Firmen ihren externen Testteilnehmern
im Normalfall Cash für die Teilnahme am Test angeboten: 63%
der externen Anwender erhielten eine monetäre
Entschädigung, 41% nicht monetäre Anreize und 9% haben gar
nichts erhalten. (Diese Zahlen liegen über 100% weil
glückliche 13% der externen Teilnehmer sowohl Geld als auch
nicht-monetäre Anreize erhalten haben.)
Der durchschnittliche Anreiz, der für externe Anwender
bezahlt wurde, liegt bei $ 64 pro Stunde Testzeit. Wiederum
lag die Obergrenze mit $ 81 pro Stunde an der Westküste der
USA. Die Anreize waren sogar noch mehr vom Benutzerprofil
abhängig: Hochkarätige Fachleute erhielten fast vier mal
mehr als Nicht-Fachleute (durchschnittlich $ 118 vs. $ 32 pro
Stunde).
"No-Show" Raten
Die Befragten teilten uns eine durchschnittliche "No-Show"-Rate
von 11% mit, was sich so übersetzen lässt, dass von 9
Testteilnehmern 1 nicht wie versprochen zum Test
erscheint. Aufgrund unkontrollierbarerer Ereignisse, wie zum
Beispiel das Wetter, der Verkehr und kurzfristig anberaumte
Personalanlässe, können diese "No-Show"-Raten von
einem Test zum anderen stark variieren. Es gibt zahlreiche
Tricks, wie man die "No-Show"-Rate und deren
Auswirkungen vermindern kann, aber leider kann man dieses
Problem nicht vollständig eliminieren. "No-Shows"
sind ziemlich störend und auch ein Grund dafür, dass ich
eine relativ grosszügige Bezahlung der Testteilnehmer
empfehle, sogar auch dann, wenn ihr normaler Stundenlohn
relativ gering ist.
Das Einführen systematischer Rekrutierung
Ich empfehle sehr, dass man die Testteilnehmer als eine
wichtige Komponente des Anwendererfahrungsprozesses behandelt.
Je mehr der Rekrutierungsvorgang etabliert und systematisiert
wird, desto einfacher wird es, Studien durchzuführen, wenn man
Usability-Daten benötigt.
Bei kleinen Firmen oder für den Fall, dass in der
Vergangenheit noch nicht viele Anwendertests durchgeführt
wurden, empfehle ich die Berücksichtigung einer Agentur, die
sich auf das Rekrutieren spezialisiert hat. Falls man sich die
Gebühren für die Agentur nicht leisten kann oder wenn man zu
wenig Studien durchführt, um inhouse einen erfahren
Spezialisten anzustellen, kann man im schlimmsten Fall die
Testteilnehmer selbst rekrutieren. Mit zunehmender Erfahrung
wird dies auch zunehmend einfacher.
Auf jeden Fall wird die Befolgung der
Rekrutierungs-"Best Practises" die Kosten des
gesamten Usability-Programms senken und die Validierung der
Testresultate erhöhen. Wenn man die falschen oder nicht
genügend Anwender für den Test hat, werden die
Usability-Studien nicht die Resultate hervorbringen, die man
als Tester verdient hat und die Glaubwürdigkeit könnte als Resultat davon
leiden.
Mehr darüber
Der komplette 145-Seiten Report
mit 233 Tipps für die Rekrutierung von Test-Teilnehmern steht zum Download
bereit. Die Rekrutierung ist eines der Themen, die in unseren
ganztätigen Tutorials über Anwendertests behandelt werden (New York und London, März 2003).
|
