Wie iterative Tests die Support-Anrufe auf der Mozilla Support Website um 70% reduzierten

by Susan Farrell (deutsche Übersetzung) - 02.08.2015

Eine der häufigsten Fragen, die wir von unseren Kunden oder von unseren Seminarteilnehmer gestellt bekommen ist: "Ist ein Redesign für die Usability lohnenswert?" Mit anderen Worten, was ist der Return-on-Investment (ROI) eines Redesigns?

In den letzten Jahren haben wir einen Rückgang des Usability-ROIs festgestellt, höchstwahrscheinlich weil wir uns der Obergrenze der möglichen Usability-Verbessserungen angenähert haben: Mit mehr als 20 Jahren Webdesign-Erfahrung haben Designer ein paar Dinge gelernt und viele Probleme gelöst. Aber ein Redesign mit Fokus auf die Usability kann Ihnen immer noch helfen, eine erhebliche Menge an Geld einzusparen.

In diesem Artikel zeigen wir die Geschichte der Support-Website von Mozilla auf, die in der Lage war, mit einem Redesign für die Usability einen ROI von 233% zu erzielen. Das heisst, wir können sagen, dass die neu gestaltete Website etwa 3-mal besser als die Original-Website ist.

Die Kosten für das Redesign beliefen sich auf 14 Personen-Wochen, d.h. 560 Personenstunden.

Lohnt es sich, 14 Personen-Wochen zu investieren, um 3x besser zu werden? Das hängt natürlich vom Stundenansatz Ihrer Mitarbeiter ab und dem Wert Ihrer Website und somit kann die Frage nicht allgemein beantwortet werden. Für eine Site wie die von Mozilla, die über eine riesige Menge an Traffic verfügt, sind die Verbesserungen sicher die Mühe wert. Genau so wie für jede andere grosse Website oder für Firmen, die einen Grossteil ihres Business online abwickeln.

Was hat Mozilla also gemacht? Und woraus bestand das Redesign?

Wer ist Mozilla

Mozilla ist ein grosses, internationales Open-Source Softwareunternehmen, deren Ressourcen sowohl aus Mitarbeitern als auch aus Freiwilligen bestehen. Es macht nebst vielen nützlichen Produkten und Dienstleistungen auch einen der beliebtesten Web-Browser (Firefox).

Problemstellung

Millionen von Menschen gelangen jedes Jahr auf die Support-Website, um Hilfe in Bezug auf Firefox oder den anderen Produkten und Dienstleistungen zu erhalten. Wenn die Nutzer aufgrund der auf der Website aufgeführten Informationen keine Antwort auf ihre Frage erhalten, versuchen die Mozilla Mitarbeiter die Fragen in einem Support-Forum zu beantworten, um auf Fragen so schnell wie möglich zu reagieren. 

Da die Mozilla-Website organisch gewachsen ist, bekundeten Nutzer Schwierigkeiten, Informationen zu finden und das Personal konnte nicht Schritt halten mit der Menge gestellter Fragen in den Foren. Genau gesagt:

• Mit einem Umfang von ca. 400 Seiten wurde die Hilfe-Dokumentation zu einer schwierigen Quelle, um bestimmte Informationen schnell zu finden.
• Die Forums-Mitarbeiter (Mitarbeiter und Freiwillige) hatten aufgrund der steigenden Anzahl eintreffender Fragen zu der häufig aktualisierten Firefox-Site Probleme damit, Fragen schnell genug zu beantworten.
• Aufgrund des überlasteten Forums hatten die Mitarbeiter kaum Zeit, um neue Artikel für FAQ’s zu schreiben. Weitere Artikel könnten helfen, aber die zunehmende Anzahl Artikel führte dann wieder zu Auffindbarkeits-Problemen.

Aktionsplan

Mozilla beschloss, in Forschung und iterative Usability-Tests zu investieren, um die IA seiner Support-Website zu verbessern. Die Forschungsfragen waren ausgerichtet, um zu verstehen (1), wie Menschen (Nutzer und Mitarbeiter) das Support-System verwenden; (2) welche Arten von Informationen wirklich wichtig waren.

Top Research-Fragen

• Wie interagieren Nutzer und Mitarbeiter mit dem Support-System?
• Welche Probleme sind die Wichtigsten, die im Redesign angegangen werden sollten?
• Welche Informationen sind die meist gesuchten?
• Welche Suchbegriffe werden verwendet?
• Welche Information scheinen zu fehlen?
• Wie können die Informationen am besten organisiert und präsentiert werden, um die Nutzerbedürfnisse optimal abzudecken.

Die UX-Team

Die UX-Team bestand aus 3 Mitgliedern:

• Susan Farrell, Senior User Experience Specialist, Nielsen Norman Group. Susan führte die Forschungsarbeiten durch, hat das Data Discovery und die Datenanalyse gemacht und gab anschliessend die Empfehlungen für die Design-Änderungen ab.
• Kristall Beasley, Produktdesigner, Mozilla. Kristall war Projektleiter, koordinierte die Aktivitäten mit den Mozilla-Stakeholdern und nahm in den Papier-Prototyp-Tests die Rolle des Computers war.
• Bram Pitoyo, Web User Experience Designer, Mozilla. Bram entwarf die Task-Flows und Prototypen und überwachte die Anpassungen des Interaktionsdesigns. Er testete auch die bisherige IA, damit wir die Ergebnisse mit den Tests der vorgeschlagenen neuen IA vergleichen konnten.

Die einzelnen Schritte

Wir verwendeten eine Vielzahl von Forschungsmethoden, die uns helfen sollten, die Nutzerbedürfnisse zu verstehen, und die IA und die Arbeitsabläufe der Support-Website neu zu gestalten.

• Daten-Discovery und Analyse, um zu verstehen, wie Nutzer sich auf der Support-Website verhalten und warum.
• Insbesondere haben wir uns eine Vielzahl von Datenquellen angeschaut, um die Top-Aufgaben der Nutzer zu identifizieren und auch die Schwierigkeiten, die sie mit der aktuellen Site hatten. Die folgende Tabelle fasst die Methoden, die wir verwendet haben zusammen.

• Testen der alten und neuen Navigationsschemata mit Cardsorting and Tree-Testing, um die IA zu verbessern
• Papierprototyp-Tests der wichtigsten Arbeitsabläufe für die Desktop- und die mobile Web-Designs

Wir haben die Papierprototypen-Forschungsarbeiten mit Nutzern in Portland, Oregon, USA durchgeführt. Bram gestaltete die sich entwickelnden Prototypen in Jakarta (Indonesien) nachdem er sich die Videos der Sitzungen täglich angeschaut hat.

Bram änderte die Entwürfe und schickte sie dann zu uns im PDF-Format zurück. Die haben wir dann zu einem Geschäft für Bürobedarf geschickt, damit sie diese für uns auf Ihrem Grossformat-Drucken ausdrucken konnten. Wegen des 14-Stunden Zeitunterschieds war es möglich, dass wir an den meisten Tagen rund um die Uhr arbeiten konnten.

Mit der Überarbeitung der Entwürfe zwischen den Testtagen waren wir in der Lage, Schlüsselseiten in der Gestaltung durch 7-Versionen in nur 2 Testwochen zu erstellen. Die gesamte Prototyp-Design Zeit, inklusive Tests und finale Überarbeitung betrug 9 Wochen.

Auch wenn nicht jedes Projekt 7 Design-Versionen in 2 Wochen testen kann, ist dieses Beispiel sicherlich Beweis dafür, dass Usability agile sein kann (ob mit einem kleinen a oder einem grossen A), wenn das Team ausreichend effizient ist und somit ein guten Durchsatz unterstreicht und sich für schnelle Forschungsmethoden entscheidet. 

Redesign Ergebnisse

Eine 70% Abnahme der Support-Fragen bedeutet, dass Mitarbeiter weniger überfordert und somit in der Lage sind, schneller zu reagieren.

Nach den Prototyp-Tests,  aber vor der Umsetzung des neuen Designs, haben die Mozilla-Mitarbeiter eine temporäre Quicklink-Navigation auf der Homepage online gestellt, um zu testen, ob der direkte Zugang zu den identifizierten, meist gesuchten Inhalten das Volumen der neuen Fragen im Forum verringern würde. Quicklinks sind oft ein Workaround für schlechte Navigationsstrukturen, deshalb empfehlen wir sie normalerweise auch nicht. Aber in diesem Fall war es wichtig, um die zentralen Forschungsergebnisse vor der Umsetzung zu testen.

Als Ergebnis unserer Aufwendungen für das Website-Redesigns und die Verbesserungen der Inhalte, wurde die Mozilla Support-Hilfe erweitert, um die allgemeinsten Fragen abzudecken, die wir während der Forschung identifiziert haben. Weil die Artikel zu den grundlegenden und häufigen Fragen jetzt auffindbarer sind, fragen die Nutzer weniger Fragen und bei ihren Fragen geht es um spezifischere Themen.

Die Abbildung des Mozilla KPI-Dashboards zeigt das Volumen der Fragen (in blau) im Mozilla-Support-Forum vor, während und nach den 3-Monats-UX-Aktivitäten (roter Kasten).

Einen einfachen Zugang zu den meist gesuchten Informationen zu bieten, führte zu einem sofortigen Rückgang neuer Fragen um etwa 70% (Von ca. 7000 auf ca. 2000 Fragen pro Monat). Dies führte dann dazu, dass die Mitarbeiter des Forums ihre Qualitätsziele übertreffen. Einen Monat, nachdem wir unsere UX-Aktivitäten abgeschlossen haben, überarbeiteten die Mozilla-Mitarbeiter die Support-Dokumentation, um die Inhalte leichter auffindbar zu machen. Die laufende Datenanalyse ermöglicht es, die Hot Topics laufend wie gewünscht anzupassen.

Das Redesign erhöhte die 24-Stunden-Antwortrate signifikant, von 40 bis 60% auf 80-90% der Fragen. Diese Ansicht der 4 Monate während der UX-Aktivitäten und der anfänglichen Redesign Umsetzung zeigt die eingehenden Forumsfragen in blau mit einem kürzeren, sich überlappenden Antworts-Volumen in grün. Der Rückgang von 5000 Fragen pro Monat an sich ist bereits sehr positiv, aber dass die Anzahl der Fragen und Antworten im rechten Bereich konvergieren (was der Fall ist), zeigt eine gute Übereinstimmung zwischen den Nutzern und der Kapazität des Kundenservices nach dem Redesign.

Lessons Learned

Support-Websites bestehen aus Antworten zu häufig gestellten Fragen, die sich laufend ändern können. Durch ein periodisches Analysieren unterschiedlicher Nutzerdaten kann der Kunden-Service die Standard-Antworten dokumentieren, welche die Nutzer brauchen. Dadurch ermöglichen Sie den Support-Mitarbeitern, sich auf neue Themen und Fragen zu konzentrieren, die spezifische Antworten verlangen. 

Daten sind der Schlüssel zur Gewinnung der benötigten Ressourcen. Data Mining bewies die existierenden Probleme und die Analysen bewiesen die Lösungen, die funktionieren. Es war leicht für die Support-Site Stakeholders, die Impulse und die Ressourcen zu bekommen, um die empfohlenen Änderungen umzusetzen, sobald die Korrekturen ihre Schwachstellen messbar adressiert haben. Diese frühen Erfolge führten zu mehr Unterstützung für UX-Aktivitäten und zur Einstellung neuer Ressourcen: Ein Informationsarchitekt und ein Content-Manager, der jetzt den Inhalt, die Navigation und die Suche optimiert.

Die Zusammenarbeit hat im Laufe der Zeit dazu beigetragen, dass das UX-Team, die Support-Mitarbeiter und Entwickler, die an vielen Orten auf der ganzen Welt verteilt sind, Wissen teilen und eine gemeinsame Vision entwickeln. Diese Vereinheitlichung führte zu einem grossartigen Webdesign, welches alle Bedürfnisse erfüllt.

Offensichtlich hat sich das Investment in UX-Design für Mozilla ausbezahlt, und es zeigte praktisch sofort messbare Verbesserungen. Wir hoffen, dass Ihnen dieses Beispiel Ihnen hilft, selbst einen Argumente für den ROI des Nutzererlebnisses und des Papierprototypen-Testings zu finden  - zu Gunsten eines iterativen, nutzerzentrierten Designs. 

Wir möchten uns herzlichen bei Mozilla bedanken, dass wir diese Erfahrung mit der UX-Community teilen dürfen. 

© Deutsche Version. Institut für Software-Ergonomie und Usability AG. Alle Rechte vorbehalten.