Wann welche User Experience Forschungsmethoden angewandt werden sollten

Moderne UX-Forschungsmethoden beantworten eine grosse Anzahl von Fragen. Um festzustellen, wann welche Methode verwendet werden sollte, werden 20 Methoden in 3 Dimensionen und über den Verlauf der Zeit in einem typischen Produktentwicklungsprozess dargestellt.

 

by Christan Rohrer (deutsche Übersetzung) - 12.10.2014

 

Dem Fachgebiet der User Experience steht eine Vielzahl von Forschungsmethoden zur Verfügung. Von altbewährten, wie laborbasierten Usability-Studien, bis hin zu vor kurzem entwickelten Techniken, wie unmoderierte online UX-Bewertungen.

Obwohl es nicht realistisch ist, alle Methoden für ein einzelnes Projekt anzuwenden, profitieren fast alle Projekte von mehreren Forschungsmethoden und einer Kombination der Insights. Leider verwenden viele Designteams nur eine oder zwei Methoden, die sie gut kennen. Die Schlüsselfrage ist, was wann angewandt werden sollte. Um zu verstehen, wann welche Methode verwendet werden sollte, hilft es, sie in einem dreidimensionalen Framework mit folgenden Achsen zu betrachten.

• Einstellung vs. Verhalten
• Qualitativ vs. quantitativ
• Anwendungskontext

Der folgende Chart zeigt, wo 20 beliebte Methoden in diesen Dimensionen erscheinen:

Jede Dimension bietet die Möglichkeit zwischen Studien zu unterscheiden, in Bezug auf die Fragen, welche sie beantworten müssen, und den Zweck für den sie am besten geeignet sind.

Die Dimension Einstellung vs. Verhalten

Diese Unterscheidung kann zusammengefasst werden, indem die Dinge, die Menschen sagen, den Dingen, die Menschen tun, gegenübergestellt werden (wobei sich diese häufig stark unterscheiden). Die Forschung über die Einstellung, die ein Mensch zu etwas hat, hat normalerweise den Zweck, die genannten Ansichten zu verstehen oder zu messen. Deshalb wird diese sogenannte Einstellungsforschung häufig in Marketingabteilungen angewandt.

Obwohl sich die meisten Usability-Studien mehr auf das Verhalten konzentrieren (engl.) sollten, können auch Methoden, die sogenannte "self-reported" Informationen verwenden, für Designer relativ nützlich sein. Das Card Sorting bietet zum Beispiel Einblicke in das mentale Modell eines Informationsraums des Nutzers und kann dabei helfen, die beste Informationsarchitektur für Ihr Produkt, Ihre Anwendung oder Ihre Webseite zu bestimmen. Umfragen (engl.) messen und kategorisieren Einstellungen oder sammeln Daten, die dabei helfen können, wichtige Probleme zu verfolgen oder zu entdecken. Fokusgruppen (engl.) sind aus verschiedenen Gründen tendenziell weniger nützlich für Usability-Zwecke, sie bieten aber in einer Gruppensituation einen Einblick darin, was Menschen spontan über eine Marke oder ein Produktkonzept denken.

Am anderen Ende dieser Dimension versuchen Methoden, die sich vor allem auf das Verhalten konzentrieren, zu verstehen, was Menschen mit den untersuchten Produkten oder Services "tun". Ein A/B Test präsentiert zum Beispiel zufällig ausgewählten Besuchern einer Webseite Änderungen des Designs der Seite, versucht allerdings, alle anderen Faktoren unverändert zu lassen, um die Effekte verschiedener Seitendesignfaktoren auf das Verhalten zu bestimmen, während das Eye Tracking zu verstehen versucht, wie Nutzer visuell mit dem Design von Nutzeroberflächen interagieren.

Zwischen diesen beiden Extremen liegen die beiden beliebtesten Methoden, die wir verwenden: Usability-Studien und Feldstudien (engl.). Sie verwenden eine Mischung aus "self-reported" und verhaltensbasierten Daten und können sich in Richtung der beiden Enden dieser Dimension bewegen - generell wird aber empfohlen, sich in Richtung der Verhaltensseite zu orientieren.

Die qualitative vs. quantitative Dimension

Diese Unterscheidung ist sehr wichtig und geht weit über die restriktive Charakterisierung von qualitativ als "offen" - zum Beispiel in offenen Fragen in Umfragen - hinaus. Studien, die qualitativer Natur sind, generieren normalerweise Daten über Verhaltensweisen oder Einstellungen basierend auf direkten Beobachtungen, während die Daten über die untersuchten Verhaltensweisen und Einstellungen in quantitative Studien normalerweise indirekt, per Messung oder mit Hilfe eines Instruments, wie einer Umfrage oder eines Analysetools (engl.), gesammelt werden. Bei Feldstudien und Usability-Studien beobachtet der Forscher zum Beispiel direkt, wie Menschen Technologien verwenden (oder nicht verwenden), um ihre Bedürfnisse zu erfüllen. Das gibt ihm die Möglichkeit, Fragen zu stellen, Verhaltensweisen zu erforschen oder sogar das Studienprotokoll anzupassen, damit es die Ziele besser erfüllt. Die Analyse der Daten ist normalerweise nicht mathematisch.

Im Gegensatz dazu basieren die Einblicke quantitativer Methoden normalerweise auf mathematischen Analysen, da das Instrument, mit dem Daten erfasst werden (z.B. Umfragetool oder Webserver-Log), so viele Daten sammelt, dass diese ganz einfach numerisch codiert werden können.

Aufgrund der Charakteristik ihrer Unterschiede eignen sich qualitative Methoden wesentlich besser, um die Frage, warum oder wie man ein Problem lösen kann, zu beantworten, während sich quantitative Methoden besser eignen, um Fragen der Kategorien "wie viele" und "wie viel" zu beantworten. Solche Zahlen helfen dabei, Ressourcen mit Prioritäten zu versehen und sich zum Beispiel auf die Probleme mit dem grossen Einfluss zu konzentrieren. Der folgende Chart zeigt, wie die ersten beiden Dimensionen die Art der Fragen, die gestellt werden können, beeinflussen:

Der Kontext der Produktanwendung

Die dritte Unterscheidung hat damit zu tun, wie und ob Teilnehmer der Studie das untersuchte Produkt oder den Service verwenden. Diese Nutzung kann wie folgt beschrieben werden:

• Natürliche oder fast natürliche Verwendung des Produkts
• Skriptbasierte Verwendung des Produkts
• Keine Verwendung des Produkts während der Studie
• Ein Hybrid der oben stehenden Punkte

Während der Analyse der natürlichen Verwendung des Produkts ist es das Ziel, die Beeinflussung durch die Studie zu minimieren, um das Verhalten oder die Einstellung so realitätsgetreu wie möglich beobachten zu können. Das liefert eine erhöhte Gültigkeit, bietet aber weniger Kontrolle über die Themen, über die Sie mehr erfahren werden. Viele ethnografische Feldstudien entscheiden sich für diese Methode, obwohl es immer eine gewisse Beobachtungsverzerrung gibt. Abfangstudien und Data-Mining oder andere analytische Techniken sind quantitative Beispiele dafür.

Eine skriptbasierte Studie der Produktverwendung wird durchgeführt, um Einblick in einen bestimmten Aspekt der Nutzung, wie einen neu designten Informationsfluss, zu erhalten. Das Ausmass des Skripts kann leicht variieren und hängt von den Zielen der Studie ab. Eine Benchmark-Studie wird zum Beispiel meist sehr genau gescripted und ist eher quantitativer Natur, damit sie verlässliche Usability-Metriken (engl.) liefert.

Studien, bei denen das Produkt nicht verwendet wird, werden durchgeführt, um Probleme zu beurteilen, die über Nutzung und Usability hinausgehen - zum Beispiel in einer Studie über die Marke oder breitere kulturelle Verhaltensweisen.

Hybride Methoden nutzen eine kreative Form der Produktverwendung, um ihre Ziele zu erreichen. Partizipative Methoden ermöglichen es den Nutzern zum Beispiel, mit Designelementen, die Teil eines Produkterlebnisses sein könnten, zu interagieren und diese neu zu arrangieren, um danach zu diskutieren, wie die vorgeschlagenen Lösungen ihre Bedürfnisse besser erfüllen können und warum bestimmte Entscheidungen getroffen wurden. Konzepttests verwenden eine grobe Annäherung an ein Produkt oder einen Service, die den Kern des Angebots repräsentiert (und keine Details des Erlebnisses enthält), um zu verstehen, ob Nutzer ein derartiges Produkt oder einen solchen Service wünschen bzw. benötigen.

Die meisten Methoden im Chart können sich entlang einer oder mehrerer Dimensionen bewegen, wobei das einige sogar in derselben Studie tun - normalerweise um mehrere Ziele zu erreichen. Feldstudien können sich zum Beispiel darauf konzentrieren, was Menschen sagen (ethnografische Interviews) oder was sie tun (erweiterte Beobachtungen). Desirability-Studien und Card Sorting weisen sowohl qualitative als auch quantitative Versionen auf, während das Eyetracking entweder gescripted oder nicht gescripted sein kann.

Phasen der Produktentwickelung (die Zeitdimension)

Eine weitere wichtige Unterscheidung, die bei der Entscheidung zwischen Forschungsmethoden berücksichtigt werden sollte, ist die Phase der Produktentwicklung und ihre jeweiligen Ziele.

1. STRATEGIEENTWICKLUNG: In der Anfangsphase der Produktentwicklung beurteilen Sie normalerweise neue Ideen und Möglichkeiten für die Zukunft. Die Forschungsmethoden variieren in dieser Phase stark.
2. AUSFÜHRUNG: Irgendwann erreichen Sie einen "Go/No-go" Entscheidungspunkt, an dem Sie in eine Phase übergehen, in der Sie die gewählte Designrichtung ständig verbessern. Die Forschung ist in dieser Phase vor allem formativ und hilft Ihnen dabei, das Risiko der Ausführung zu reduzieren.
3. BEURTEILUNG: Irgendwann wird das Produkt oder der Service genügend Nutzern zur Verfügung stehen, um messen zu können, wie viel Erfolg Sie damit haben. Diese Untersuchungen sind normalerwiese summativer Natur und können mit den eigenen historischen Daten des Produkts oder mit der Konkurrenz verglichen werden.

Die unten stehende Tabelle zeigt eine Zusammenfassung dieser Ziele und enthält typische Forschungszugänge und -methoden, die mit jedem Ziel in Verbindung gebracht werden können:

Phase der Produktentwicklung

	Strategieentwicklung	Ausführung	Beurteilung
Ziel:	Inspirieren, entdecken und neue Richtungen bzw. Möglichkeiten wählen	Informieren und Designs optimieren, um das Risiko zu reduzieren und die Nutzerfreundlichkeit zu verbessern.	Leistung des Produkts im Vergleich mit sich selbst oder der Konkurrenz ermitteln
Zugang:	Qualitativ und quantitativ	Vor allem qualitativ (formativ)	Vor allem quantitativ (summativ)
Typische Methoden:	Feldstudien, Tagebuchstudien, Umfragen, Data Mining oder Analysen	Card Sorting, Feldstudien, partizipatives Design, Papier-Prototypen und Usability-Studien, Desirability-Studien, Kundenemails	Usability-Benchmarking, online Beurteilungen, Umfragen, A/B-Tests

 

Kunst oder Wissenschaft?

Während viele Forschungsmethoden zur Beurteilung von Nutzererlebnissen ihre Wurzeln in wissenschaftlichen Praktiken haben, sind ihre Ziele nicht ausschliesslich wissenschaftlich und müssen angepasst werden, um die Bedürfnisse der Projektbeteiligten zu erfüllen. Deshalb ist die hier verwendete Charakterisierung der Methoden als allgemeine Richtlinie und nicht als starre Klassifizierung zu betrachten.

Am Ende wird der Erfolg Ihrer Arbeit dadurch bestimmt, wie viel Einfluss sie auf die Verbesserung des Nutzererlebnisses der jeweiligen Webseite oder des Produkts hat. Das Ziel dieser Klassifizierung ist es, Ihnen dabei zu helfen, zur richtigen Zeit die beste Entscheidung zu treffen.

20 UX-Methoden kurz zusammengefasst

Hier ist eine kurze Beschreibung der in der oben stehenden Tabelle enthaltenen Forschungsmethoden:

Usability-Laborstudien: Die Teilnehmer werden einzeln mit einem Forscher in ein Labor gebracht und erhalten mehrere Szenarien, die zu Aufgaben und Anwendungen führen (engl.), die für ein Produkt oder Service von speziellem Interesse sind.

Ethnografische Feldstudien: Forscher treffen sich mit Teilnehmern und studieren sie in ihrer natürlichen Umgebung, wo sie wahrscheinlich mit dem untersuchten Produkt oder Service konfrontiert werden.

Partizipatives Design: Teilnehmer erhalten Designelemente oder kreative Materialien, um ihr ideales Erlebnis auf konkrete Weise darzustellen und somit auszudrücken, was ihnen am wichtigsten ist und warum diese Aspekte wichtig sind.

Fokusgruppen: Gruppen von 3-12 Teilnehmern werden durch eine Diskussion über mehrere Themen geführt und geben bei Diskussionen und Übungen mündliches und schriftliches Feedback ab.

Interviews: Ein Forscher trifft sich mit einzelnen Teilnehmern, um ausführlich zu diskutieren, was der Teilnehmer über das untersuchte Thema denkt.

Eyetracking: Ein Eyetracking-Gerät wird so konfiguriert, dass es genau misst, wo Teilnehmer hinsehen, während Sie Aufgaben erfüllen oder auf natürliche Weise mit Webseiten, Anwendungen, physischen Produkten oder Umgebungen interagieren.

Usability-Benchmarking: Genau gescriptete Usability-Studien werden mit mehreren Teilnehmern durchgeführt, wobei präzise und vorher festgelegte Leistungsparameter verwendet werden.

Moderierte Remote-Usability-Studien: Usability-Studien, die aus der Ferne (engl.) mit Hilfe von Instrumenten, wie Screen-Sharing Software und Fernsteuerungsmöglichkeiten durchgeführt werden.

Nicht moderierte Remote-Längsschnittuntersuchung: Eine Gruppe ausgebildeter Teilnehmer, auf deren persönlichen Geräten eine Videoaufzeichnungs- und Datenerfassungssoftware installiert wurde, verwendet eine Webseite oder ein Produkt und denkt währenddessen laut darüber nach. Das Erlebnis wird zur sofortigen Wiedergabe und Analyse durch den Forscher oder das Unternehmen aufgezeichnet.

Konzepttests: Ein Forscher stellt eine Annäherung an ein Produkt oder einen Service zur Verfügung, die die Schüsselbestandteile (den Mehrwert) eines neuen Konzepts oder Produkts repräsentiert, um festzustellen, ob es die Bedürfnisse der Zielgruppe erfüllt. Diese Tests können One-on-One oder mit mehreren Teilnehmern und entweder persönlich oder online durchgeführt werden.

Tagebuch-/Kamerastudien: Teilnehmer erhalten einen Mechanismus (Tagebuch oder Kamera), um Aspekte ihres Lebens aufzuzeichnen und zu beschreiben, die relevant für ein Produkt oder einen Service bzw. wichtig für das Zielpublikum sind. Tagebuchstudien sind normalerweise Längsschnittstudien und können nur mit Daten durchgeführt werden, die von Teilnehmern problemlos aufgezeichnet werden können.

Kundenfeedback: Offene und/oder geschlossene Informationen, die von einer selbstselektierten Stichprobe von Nutzern zur Verfügung gestellt werden - häufig über einen Feedback-Link, eine Schaltfläche, ein Formular oder eine E-Mail.

Desirability-Studien: Teilnehmern werden verschiedene visuelle Designalternativen angeboten, wobei jede Alternative mit mehreren Attributen in Verbindung gebracht werden muss, die aus einer geschlossenen Liste ausgewählt werden. Diese Studien können sowohl qualitativ und quantitativ sein.

Card Sorting: Eine quantitative oder qualitative Methode, bei der Nutzer gebeten werden, Objekte in Gruppen zusammenzufassen und jeder Gruppe Kategorien zuzuteilen. Diese Methode hilft dabei, die Informationsarchitektur einer Seite zu erstellen oder zu verfeinern, indem die mentalen Modelle der Nutzer offengelegt werden.

Klickanalyse: Analysiert die Bildschirme oder Seiten, auf die Nutzer klicken und die sie sehen, während sie eine Webseite oder ein Software-Produkt verwenden. Die Seite muss dafür angemessen ausgerüstet sein bzw. muss für Anwendungen die Sammlung von Telemetriedaten aktiviert werden.

A/B Tests (auch als "multivariate Testverfahren", "Live-Tests" oder "Bucket-Tests" bekannt): Eine Methode der wissenschaftlichen Erprobung verschiedener Designs einer Webseite, indem nach dem Zufallsprinzip Nutzergruppen ausgewählt werden, die mit jedem der verschiedenen Designs interagieren, wonach die Auswirkung dieser Zuteilung auf das Nutzerverhalten gemessen wird.

Nicht moderierte UX-Studien: eine quantitative oder qualitative automatisierte Methode, die spezielle Forschungsinstrumente verwendet, um das Verhalten (über Software, die auf den Computern/Browsern der Teilnehmer installiert wird) und die Einstellung (über integrierte Umfragen) der Teilnehmer zu erfassen - normalerweise indem Teilnehmern Ziele oder Szenarien präsentiert werden, die mit einer Webseite oder einem Prototyp erreicht werden müssen.

True-Intent Studien: Eine Methode, bei der zufällig ausgewählte Besucher der Webseite nach ihren Ziele oder Absichten beim Aufrufen der Seite gefragt werden, ihr nachfolgendes Verhalten gemessen wird und sie gefragt werden, ob sie ihre Ziele beim Verlassen der Seite erreichen konnten.

Intercept-Befragungen: Eine Umfrage, die während der Nutzung einer Webseite oder Anwendung angezeigt wird.

E-Mail Umfragen: Eine Umfrage, für die die Teilnehmer über eine E-Mail Nachricht rekrutiert werden.

Vertiefungskurs

Ein ganztägiger Trainingskurs über Forschung (engl.), die über Anwendertests hinausgeht.

 

© Deutsche Version. Institut für Software-Ergonomie und Usability AG. Alle Rechte vorbehalten.