Pilot-Tests: So machen Sie von Anfang an alles richtig

Pilot-Tests helfen Ihnen dabei, dass fine-tuning Ihrer Usability-Studien zu optimieren, was zu verlässlicheren Resultaten führt. Sie bieten Ihnen die Gelegenheit, die Formulierung von Aufgaben zu überprüfen, die für die Tests benötigten Zeiten zu ermitteln und könnten, falls alles nach Plan läuft, sogar zusätzliche Daten liefern.

 

by Amy Schade (deutsche Übersetzung) - 05.04.2015

 

Der Tag der Usability-Studie ist gekommen. Der erste Teilnehmer trifft ein. Sie geben Anweisungen, erklären den Testverlauf und beginnen mit der Studie. Erst jetzt bemerken Sie, dass der Teilnehmer die soeben erklärte Aufgabe nicht versteht. Es ist kein Problem des Designs der Website - das Problem ist die Studie selbst. Sie haben Ihre Studie gerade erst begonnen, stecken aber bereits in einem tiefen Loch und müssen schnell herauszufinden, wie Sie die Sitzung retten können. Was nun?

Für qualitative Usability-Studien werden häufig nur eine Handvoll Nutzer angeworben. Eine geringe Anzahl von Nutzern kann genaue Einblicke in die Stärken und Schwächen des Designs und der Usability liefern. Falls Nutzer allerdings keine Probleme mit dem Design der Website, sondern mit dem Design Ihrer Studie haben, kann es schwierig sein, die notwendigen Resultate zu erhalten. Die erhobenen Daten müssen in diesem Fall - abhängig von der Schwere des Problems - manchmal sogar verworfen werden.

Pilot-Tests können solche Probleme effektiv reduzieren. Bei einem Pilot-Test führt der Usability-Spezialist (und, falls möglich, sein Team) einen oder zwei Tests vor der eigentlichen Studie durch. Normalerweise sind nur sehr wenige Sitzungen notwendig, um sich auf die eigentliche Studie vorzubereiten und sicherzustellen, dass alles in Ordnung ist. Das Ziel des Versuchs ist es, die Studie zu testen und 1-2 Sitzungen durchzuführen, um sicherzustellen, dass die komplette Befragung so problemlos wie möglich abläuft.

Pilot-Tests sind besonders wichtig, falls Sie:

 

• Noch nie einen Usability-Test durchgeführt haben. Es ist besser, die ersten Versuche bei einem Test durchzuführen, der bei Bedarf verworfen werden kann.
• Tests in einem unbekannten Fachgebiet durchführen. Falls es sich um Ihren ersten Test einer Website handelt, die zum Beispiel auf Raketenwissenschaftler oder Nuklearphysiker abzielt, und Sie kein Experte des Gebiets sind, können Ihnen Pilot-Tests helfen, sich darauf vorzubereiten. (Machen Sie sich zudem im Vorfeld mit den Themen und Fachbegriffen vertraut, zum Beispiel, indem Sie sich mit Experten des Fachgebietes, Designern und Entwicklern treffen.)
• Eine unmoderierte Remote-Studie (engl.) durchführen. Immer, wenn Studienanleitungen selbsterklärend sein müssen, müssen sie unbedingt getestet werden, um die Wahrscheinlichkeit von Fehlinterpretationen zu reduzieren. Falls Sie eine Tagebuchstudie, eine unmoderierte Online-Studie oder eine Studie per E-Mail durchführen, sollte jegliche Kommunikation - von Rekrutierungsinformationen über Bestätigungsemails und Studienanleitungen bis hin zu Nachfassfragen - per Pilot-Test getestet werden. Diese Anleitungen müssen selbsterklärend sein, da keine Person anwesend ist, um Fragen zu beantworten oder Dinge klarzustellen, falls Teilnehmer Probleme haben.
• Eine quantitative Studie durchführen. Gross angelegte Studien werden normalerweise durchgeführt, um statistisch signifikante Resultate zu erhalten. In solchen Studien muss jede Sitzung auf dieselbe Weise ablaufen, weshalb ein solides Skript erstellt und getestet werden muss.
• Ein Vorzeigeprojekt testen. Auch wenn Sie seit Jahren im Usability-Bereich tätig sind, gibt es gelegentlich Vorzeigeprojekte, die mit besonderer Sorgfalt behandelt werden müssen. Vielleicht werden die Resultate direkt an den CEO weitergeleitet. Vielleicht geht es um einen Test des Premium-Produkts des Unternehmens. Natürlich ist jedes Usability-Projekt notwendig, einige könnten aber etwas wichtiger als andere sein.
• Ein einmaliges Forschungsprojekt durchführen. Falls Sie mehrere Runden iterativer Tests durchführen, ist der Schaden, den einige Fehler im ersten Test anrichten können, begrenzt. Die zweite Studie wird besser sein. Falls für ein Designprojekt allerdings nur einmal Nutzerforschung durchgeführt wird, sollte sie beim ersten Mal korrekt sein, da es kein zweites Mal geben wird.

Sogar erfahrene Usability-Experten können von Pilot-Tests profitieren. Je länger Sie in der Branche tätig sind, desto besser können Sie klare Aufgaben und Anleitungen formulieren - es schadet aber dennoch nicht, einem Teilnehmer den Testplan im Voraus zu präsentieren. Wird für jede Usability-Studie ein Pilot-Test benötigt? Nein, aber sie ist eine zusätzliche Bestätigung, dass die Studie reibungslos ablaufen wird, was es Ihrem Team ermöglicht, sich auf die Resultate, nicht die Studie, zu konzentrieren.

Vorteil #1: Generalprobe

Pilot-Tests sind eine Generalprobe der Studie. Es ist ein toller Probelauf, um sicherzustellen, dass der Studienleiter und das Team bereit für die Studie sind. Sind die Materialien ausgedruckt? Einverständniserklärungen kopiert? Bezahlung vorbereitet? Website bereit und funktionell? Checklisten können zwar helfen, die Studie zuerst in einer Umgebung mit geringem Erwartungsdruck zu testen, ist aber eine tolle Möglichkeit, um sicherzustellen, dass das Team bereit ist.

Vorteil #2: Die Aufgaben testen

Falls ein Nutzer an einer schlecht formulierten Aufgabe (engl.) scheitert, geht wertvolle Zeit verloren, die ansonsten für das Studium der Nutzeroberfläche genutzt werden kann. Der Leiter muss zuerst bemerken, dass der Teilnehmer die Aufgabe nicht wie beabsichtigt verstanden hat, und danach Zeit aufwenden, um sie dem Nutzer erneut zu erklären. Alle spontanen Veränderungen haben zur Folge, dass dem Nutzer versehentlich Hinweise zur Erledigung einer Aktivität gegeben werden könnten, oder dass der Nutzer das Gefühl hat, einen Fehler gemacht zu haben. Aufgaben können Ihnen und Ihrem Team eindeutig erscheinen, könnten aber für Teilnehmer verwirrend oder irreführend sein. Finden und lösen Sie Probleme mit den Aufgaben vor Ihrer Studie, um einen reibungslosen Test und bessere Resultate zu gewährleisten.

Vorteil #3: Timing

Es kann schwierig sein, zu ermitteln, wie viel Zeit Nutzertests in Anspruch nehmen werden. Werden die Teilnehmer im Verlauf der Sitzung 3 oder 7 Aufgaben durchführen? Die Aufgaben selbst zu absolvieren und etwas mehr Zeit einzuplanen, ist nur eine grobe Annäherung an die geschätzte Dauer der Aufgabe. Die gesamte Studie von 1 oder 2 Testnutzern absolvieren zu lassen, gibt Ihnen ein besseres Gefühl dafür, wie viel Zeit der Nutzer dafür benötigen wird. Das ermöglicht es Ihnen, die Aufgaben der echten Studie effektiv mit Prioritäten zu versehen.

Vorteil #4: Daten, die Sie (eventuell) verwenden können

Falls die Probebefragung gut - oder relativ gut - verläuft, starten Sie mit einem Frühstart in die restliche Studie. Gestalten Sie die Sitzung, als ob es sich um die echte Studie handeln würde. Falls es keine grossen Probleme gibt, bedeutet das, dass Sie die Daten verwenden können. Auch wenn eine oder zwei Aufgaben schieflaufen, können Sie eventuell dennoch einige Informationen der Sitzung retten. Verwerfen Sie keine Erkenntnisse, nur weil es sich um eine Probebefragung handelte. Gleichzeitig sollten Sie nicht übereifrig versuchen, die Sitzung zu einem Teil der Endresultate zu machen, falls die Sitzung nicht gut läuft oder es am Anfang Probleme gibt, die die Verlässlichkeit des Rests der Studie beeinträchtigen (wie zum Beispiel zu genaues Anleiten des Nutzers oder das zu ausführliche Erklären eines Angebots oder einer Nutzeroberfläche.)

Tipps für Pilot-Tests

Um den grösstmöglichen Nutzen aus einem Pilot-Test zu ziehen, sollten Sie sie mindestens 1 Tag vor der geplanten Studie durchführen - länger, falls Sie die Anleitung einer unmoderierten Studie testen, deren Vorgaben Sie eventuell mehrmals testen müssen, bevor sie eindeutig genug sind, um verwendet werden zu können. Das ermöglicht es Ihnen und Ihrem Team, die notwendigen Änderungen vorzunehmen. (Nehmen Sie an, dass es Änderungen geben wird - das ist fast immer der Fall.)

Rekrutieren Sie für den Pilot-Test Teilnehmer, die Ihrem Zielprofil entsprechen. Dadurch wird das Feedback - zur Studie oder der getesteten Website - relevanter. Im Notfall ist es aber meist besser, jemanden anzuwerben, der dem Profil nicht genau entspricht, als den Pilot-Test gar nicht durchzuführen - die Resultate dieser Sitzungen sollten aber nicht für die endgültige Studie berücksichtigt werden.

Nimmt ein Pilot-Test zusätzliche Zeit in Anspruch? Natürlich. Die Unterlagen müssen früher fertig werden, zusätzliche Teilnehmer müssen gefunden werden und es muss Zeit eingeplant werden, um die Sitzungen durchzuführen. Der Lohn ist aber, dass die Studie reibungsloser abläuft, was es Ihnen vereinfacht, jene Resultate zu erhalten, für Ihr Team - und schliesslich Ihr Produkt - von Interesse sind.

 

© Deutsche Version. Institut für Software-Ergonomie und Usability AG. Alle Rechte vorbehalten.