Die Intranet-Usability zeigt gewaltige Fortschritte

Die gemessene Usability hat sich im Vergleich zu unserer letzten gross angelegten Intranet-Studie um 44% verbessert. Die neue Untersuchung hat fünfmal mehr Intranet-Design-Richtlinien identifiziert als die erste Studie.

 

by Jakob Nielsen (deutsche Übersetzung) - 09.10.2007

 

In den fünf Jahren zwischen unseren beiden Intranet-Testrunden hat die Welt eine dramatische Verbesserung der Intranet-Usability erfahren.

Unser einfachstes Usability-Mass ist die Erfolgsrate, die misst, ob die Nutzer ihre Aufgaben mit Hilfe der Nutzeroberfläche erledigen können. In unserer ersten Studie lag die durchschnittliche Erfolgsrate bei 74%; in der zweiten Studie lag sie bei 80%. Eine Steigerung von 74 auf 80% sieht vielleicht nicht so gross aus, aber das liegt daran, dass die Erfolgsrate schon in der ersten Studie ziemlich hoch lag, so dass es schwer war, sie weiter zu steigern.

Unsere Tests im öffentlichen Internet zeigen Erfolgsraten, die dramatisch niedriger liegen als die, die wir bei Intranets ermitteln. In unserem Buch Prioritizing Web Usability präsentieren wir detaillierte Ergebnisse einer Studie, bei der wir die Nutzer gebeten haben, im Web bestimmte Aufgaben zu erledigen, ohne sie auf eine bestimmte Website zu führen. Eine solche Aufgabe testet, wie die Leute normalerweise das Web nutzen und hierbei lag die Erfolgsrate bei nur 60%.

Intranet-Erfolgsraten liegen normalerweise um rund 33% höher als die im Web; dies aus zwei Gründen:

• Es gibt keine Zweifel, wo man hingehen soll. Das Intranet der Firma ist das Intranet der Firma - die Nutzer müssen sich bei ihrem Weg durchs Web keine Sorgen machen, ob sie auf einer Betrüger-Website oder einer unglaubwürdigen Quelle landen. Das erste Problem beim Nutzen des Webs ist es, eine gute Website für die aktuelle Frage zu finden; bei Intranets gibt es diese Hürde nicht. (Ja, die Nutzer müssen sich auch im Intranet erst zurechtfinden, aber das entspricht dem Navigieren innerhalb einer Website, nicht dem Finden und Beurteilen einer Website und ihrer Glaubwürdigkeit.)
• Die Erfahrung der Mitarbeiter mit dem Intranet ihrer Firma verbessert sich kontinuierlich, weil es nur die eine Website gibt. Im Internet dagegen flattern die Nutzer von Website zu Website und verbringen auf jeder einzelnen Website nur wenig Zeit. In der Folge lernen die Leute nur selten die Komplikationen der Oberfläche einer einzelnen Website kennen und lassen sich dadurch leichter verwirren.

Die Variabilität der Erfolgsraten zwischen den Intranets war in der zweiten Studie substanziell geringer als in der ersten. Die Standardabweichung relativ zum Mittelwert betrug in der ersten Studie 15%, in der zweiten nur 8%. Mit anderen Worten, nach dieser verbreiteten Variabilitätsmasszahl hat sich die Variabilität bei den Intranets fast halbiert. Das zeigt ausserdem den Nutzen von Intranet-Usability-Richtlinien.

Unsere erste Studie haben wir zu einem Zeitpunkt durchgeführt, als noch gar keine Intranet-Richtlinien verfügbar waren. (In der Tat, es war ja gerade der Zweck dieser ersten Forschung, einen ersten Satz von Richtlinien zu identifizieren.) Ohne solche Richtlinien konnten sich die Designer allein auf lokale Beobachtungen in ihrem eigenen Intranet verlassen und nicht von den Usability-Ergebnissen aus anderen Intranets profitieren. Bei einem derart kargen Usability-Wissensstand fielen die Design-Entscheidungen hochgradig variabel aus.

Die zweite Studie dagegen haben wir durchgeführt, nachdem wir auf der Basis der ersten Forschungsrunde allgemeine Intranet-Usability-Richtlinien veröffentlicht hatten. Die Arbeit auf dieser breiteren Wissensbasis hat die Unterschiede im Informationsstand der verschiedenen Firmen gemildert. Natürlich gab es immer noch eine gewisse Variabilität, weil die Ressourcen der verschiedenen Intranet-Design-Teams unterschiedlich waren und weil verschiedene Design-Entscheidungen unterschiedliche Wirkungen hatten.

Insgesamt aber gilt: Je mehr wir über Intranet-Usability wissen, desto weniger ist man beim Intranet-Design auf Vermutungen angewiesen. Hoffentlich wird die Veröffentlichung unserer neuen Ausgabe von Berichten mit ihren detaillierteren Ergebnissen und zusätzlichen Richtlinien die Variabilität in der Intranet-Qualität weiter reduzieren.

Nutzerforschung in Intranets

Wir haben zwei Runden internationaler Erforschung der Intranet-Usability durchgeführt und dabei 28 Nutzertests mit den Mitarbeitern von 27 Unternehmen gestartet (bei einem Unternehmen haben wir das Intranet zweimal getestet: einmal in ihrer amerikanischen Zentrale und einmal in einem anderen Land, um Informationen über die internationale Usability in multinationalen Intranets zu sammeln).

Wir haben die Tests in den USA (20 Stück), in Europa (6), Asien (1) und Kanada (1) durchgeführt. Unsere erste Forschungsrunde in 2002 hatte sich auf traditionelle laborgestützte Nutzertests gestützt. In der zweiten Forschungsrunde haben wir die meisten der laborgestützten Testaufgaben aus Studie 1 wiederholt, neue Aufgaben hinzugefügt, um Änderungen im Intranet-Gebrauch abzubilden, und zusätzlich Feldstudien durchgeführt.

In allen Fällen haben wir die Nutzerforschung vor Ort im Unternehmen oder in der Organisation vorgenommen, um deren Intranet es ging, und repräsentative Mitarbeiter als Testteilnehmer verwendet. In den laborgestützten Sitzungen haben wir die Nutzer gebeten, eine Serie standardisierter Aufgaben zu lösen, die ein Spektrum verbreiteter Intranet-Anwendungsfälle abdeckten. Das Zuweisen vorgegebener Aufgaben erlaubte uns, die Usability-Leistungen von Intranet zu Intranet zu vergleichen und festzustellen, wie sich die Usability in den Jahren zwischen Studie 1 und Studie 2 entwickelt hat.

Für die Sitzungen der Feldstudien haben wir repräsentative Mitarbeiter dabei beobachtet, wie sie ihrer normalen Arbeit nachgegangen sind. Wir haben uns so wenig wie möglich eingemischt und ihnen keine spezifischen Aufgaben gestellt. In diesen Sitzungen haben die Leute in den verschiedenen Unternehmen naturgemäss sehr unterschiedliche Dinge mit ihren Intranets gemacht, was formelle Vergleiche erschwert. Doch Feldstudien sind immer noch von unschätzbarem Wert; sie zeigen uns ein viel breiteres Spektrum von Verhaltensweisen, als wir sie in den Labors zu sehen bekommen, und geben uns die Möglichkeit, sich ändernde Kontexte und andere ethnographische Variablen einzuschätzen.

Wachsendes Wissen über Intranet-Usability

Die folgende Tabelle vergleicht die Berichte und Intranet-Usability-Richtlinien, die wir im Ergebnis der beiden Forschungsrunden veröffentlicht haben:

	Erste Ausgabe	Zweite Ausgabe
Getestete Intranets	14	27*
Seitenzahl der Berichte	231	1160
Design-Richtlinien	111	614
Screenshots	164	701

* Das Intranet einer Firma haben wir in zwei Ländern getestet, um Zusatzinformationen über die internationale Usability eines multinationalen Intranets zu sammeln. Folglich haben wir Daten aus 28 Tests in 27 Organisationen.

Wenn man bedenkt, dass wir unsere Forschung lediglich verdoppelt haben, wie kommt es dann, dass wir in der zweiten Ausgabe fünfmal so viele Usability-Ergebnisse haben? Das hat verschiedene Gründe:

• Zusätzlich zu den 28 Intranet-Tests, die wir öffentlich diskutieren können, haben wir eine Menge weiterer Intranets für unsere Beratungskunden getestet. Ausserdem haben wir im Rahmen unserer Intranet-Design-Jahreswettbewerbe mehr als 1000 Intranet-Designs analysiert. Während die Eigenschaften dieser zusätzlichen Intranets vertraulich bleiben müssen, können wir uns auf viele allgemeine Lektionen stützen, die wir daraus gezogen haben.
• Studie 1 war der erste Versuch der Geschichte, systematisch die Intranet-Usability über viele Intranets hinweg zu testen mit dem Ziel, daraus verallgemeinerbare Usability-Richtlinien abzuleiten. Wegen des Mangels an historischen Vorbildern war diese erste Forschungsrunde schwer zu planen und auszuführen und wir mussten uns darauf konzentrieren, die grössten Intranet-Usability-Themen zu identifizieren. Jetzt dagegen können wir auf viel festeren Grundlagen aufbauen, was es uns erleichtert hat, ein breiteres Spektrum von Themen zu identifizieren. Wenn der konzeptionelle Rahmen einmal gesetzt ist, wird es einfacher, in einer Studie auf Einzelheiten zu achten.
• Bei Studie 2 mussten wir für den Vergleich mit den Ergebnissen von Studie 1 lediglich überprüfen, ob diese Themen immer noch Usability-Probleme erzeugen. Deshalb waren die meisten Projektressourcen frei, um neue Themen zu identifizieren.
• In Studie 2 haben wir Feldstudien ergänzt. Diese sind zwar weniger strukturiert als Labor-Ergebnisse, liefern aber breitere Erkenntnisse in Hinsicht auf Nutzerverhalten und -bedürfnisse im Kontext.
• Intranets haben heutzutage viel mehr Komponenten und Funktionen als damals bei der ersten Studie. Je mehr Funktionen man studiert, desto mehr Usability-Themen findet man.
• Intranets haben heutzutage eine bessere Usability. Die Nutzer können deshalb leichter in die Tiefen vordringen und legen ein fortgeschrittenes Nutzerverhalten an den Tag. Das ist gut so, aber wenn die Nutzer mehr Dinge erledigen wollen, begegnen sie auch zusätzlichen Usability-Themen, die früher nicht so wichtig waren, als die Nutzer von krasseren Usability-Problemen ausgebremst wurden.

Verbesserungen der gemessenen Intranet-Usability

Von den 18 üblichen Intranet-Aufgaben, die wir getestet haben, haben wir elf sowohl in Studie 1 als auch in Studie 2 getestet. Dadurch konnten wir die Veränderung der Nutzerproduktivität zwischen den beiden Studien abschätzen.

Das folgende Diagramm zeigt den Trend für Intranets auf drei verschiedenen Usability-Niveaus:

• Q1 (das erste Quartil): die aufgabenbezogene Arbeitszeit, die die besten 25% der Intranets von den schlechteren 75% unterscheidet. Diese Zahl erlaubt es, die Arbeitszeit einzuschätzen, die man an Intranets mit guter Usability braucht.
• Mittelwert: die aufgabenbezogene Arbeitszeit, bei der 50% der Intranets besser und 50% schlechter abschneiden. Diese Zahl erlaubt es, die Arbeitszeit einzuschätzen, die man an Intranets mit durchschnittlicher Usability braucht.
• Q3 (das dritte Quartil): die aufgabenbezogene Arbeitszeit, die die besten 75% der Intranets von den schlechteren 25% scheidet. Diese Zahl erlaubt es, die Arbeitszeit einzuschätzen, die man an Intranets mit schlechter Usability braucht.

Die Anzahl von Arbeitsstunden, die ein durchschnittlicher Mitarbeiter pro Jahr brauchen würde, um die 11 verbreiteten Intranet-Aufgaben zu lösen, die wir in beiden Testrunden unserer Forschung getestet haben.

• Die obere (rote) Linie zeigt die aufgabenbezogene Arbeitszeit bei den schlechtesten (langsamsten) 25% der Intranets,
• die mittlere (blaue) Linie zeigt die aufgabenbezogene Arbeitszeit bei einem durchschnittlichen Intranet,
• die untere (grüne) Linie zeigt die aufgabenbezogene Arbeitszeit bei den besten (schnellsten) 25% der Intranets.

Zwei Schlussfolgerungen ergeben sich eindeutig aus diesem Diagramm:

• Die Intranet-Usability hat sich substanziell verbessert, die Aufgaben werden schneller erledigt, die Produktivität der Mitarbeiter ist gestiegen. Die Stunden, die den Leuten durch schnelleren Intranet-Gebrauch erspart werden, stehen für ihre "echte" Arbeit zur Verfügung. Beim Mittelwert-Intranet ist die Produktivität um 44% gestiegen.
• Die dramatischsten Verbesserungen hat es bei Intranets mit schlechter Usability gegeben; hier ist die Produktivität um 69% gestiegen. Intranets mit guter Usability haben sich ebenfalls verbessert, aber nicht annähernd so stark wie die schlechten Intranets.

Zahlt sich Intranet-Usability immer noch aus?

Da nun die Intranets leichter zu nutzen sind, stellt sich die Frage, ob die Unternehmen immer noch in bessere Intranet-Usability investieren sollten. Ein Weg, diese Frage zu erörtern, besteht darin, die Kosten der Arbeitszeit zu betrachten, die die Mitarbeiter beim Verwenden des Intranets aufwenden.

Bei den 18 verbreiteten Intranet-Aufgaben, die wir in Studie 2 getestet haben, können wir die Kosten der Arbeitszeit der Mitarbeiter berechnen, indem wir die Anzahl der Stunden, die ein Mitarbeiter pro Jahr für diese Aufgaben aufwendet, mit den Kosten multiplizieren, die erforderlich sind, um den Mitarbeiter zu beschäftigen. Jedes Unternehmen kann diese Rechnung auf Basis seiner eigenen Gehälter und Nebenkosten vornehmen, aber zum Zweck des Argumentierens gehen wir hier von 30 $ pro Stunde aus, was dem durchschnittlichen Stundengehalt für amerikanische Angestellte entspricht, plus 50% Nebenkosten.

Die folgende Tabelle zeigt die jährlichen Kosten der Arbeitszeit, die für die 18 Intranet-Aufgaben nötig ist, für ein Unternehmen mit 10.000 Intranet-Nutzern:

gute Intranet-Usability (Q1)	7.5 Mio. $/Jahr
durchschnittliche Intranet-Usability (Q2) (Mittelwert/Median)	9.9 Mio. $/Jahr
schlechte Intranet-Usability (Q3)	12.9 Mio. $/Jahr

Ein Unternehmen mit schlechter Intranet-Usability würde also 3 Mio. $ pro Jahr einsparen, wenn es seine Intranet-Usability auf ein durchschnittliches Niveau verbessert. Ein Unternehmen mit durchschnittlicher Intranet-Usability würde 2,4 Mio. $ pro Jahr einsparen, wenn es seine Intranet-Usability auf jenes Niveau verbessern würde, das wir bei den besten 25% gefunden haben.

Diese Zahlen schätzen lediglich die Produktivitätsgewinne für die verbreiteten Intranet-Aufgaben ein, die wir getestet haben. Dazu kommen aber in den meisten Unternehmen eigene, spezielle, etappenkritische Intranet-Aufgaben, die per Definition nicht organisationsübergreifend getestet werden können, die aber gewöhnlich eine viel grössere Auswirkung auf die Gesamtleistung der Mitarbeiter haben als die verbreiteten Intranet-Aufgaben. Der gesamte Produktivitätszuwachs aus einer verbesserten Intranet-Usability wird also bei den meisten Unternehmen um ein Vielfaches höher liegen als in diesen Schätzungen.

In Studie 1 haben wir 16 verbreitete Intranet-Aufgaben getestet. Damals haben wir die zu erwartenden Produktivitätszuwächse aus verbesserter Intranet-Usability in einem Unternehmen mit 10.000 Mitarbeitern wie folgt eingeschätzt: für den Schritt vom schlechten Niveau zum Durchschnitt auf 10 Mio. $ pro Jahr; für den Schritt vom Durchschnitt zum guten Niveau auf 5 Mio. $ pro Jahr.

Da sich die getesteten Aufgaben in Studie 1 und Studie 2 etwas unterscheiden, sind die Produktivitätszuwächse nicht direkt vergleichbar, aber das Gesamtbild ist klar: Die Produktivitätszuwächse aus der Verbesserung der Intranet-Usability sind jetzt erheblich kleiner als damals.

Das sollte kaum erstaunen - schliesslich haben wir die schlimmsten Fehler in der Intranet-Usability bereits eliminiert, die meisten der sprichwörtlich tief hängenden Trauben also bereits geerntet.

Die Schattenseite der enormen Intranet-Usability-Verbesserungen der vergangenen Jahre ist, dass es in Zukunft nicht mehr das gleiche Potenzial für Zugewinne gibt.

Sollten wir also das Handtuch werfen und die Intranets der Welt auf ihrem gegenwärtigen Usability-Niveau stabilisieren? Keinesfalls.

Drei Gründe sprechen für eine kontinuierliche Arbeit an der Verbesserung der Intranet-Usability:

• Wir schätzen die Produktivitätsgewinne bei verbreiteten Intranet-Aufgaben auf 2-3 Mio. $ pro Jahr und auf ein Vielfaches dieser Summe bei firmenspezifischen Intranets. Im Vergleich dazu kostet ein Projekt zur Verbesserung der Intranet-Usability für eine Firma mit 10.000 Mitarbeitern, wie wir sie als Beispiel genommen haben, weniger als eine halbe Mio. $. Grössere Firmen haben grössere Ausgaben, aber sie werden auch proportional grössere Produktivitätszuwächse erzielen. Ein Unternehmen mit 100.000 Mitarbeitern wird aus Intranet-Verbesserungen den zehnfachen Nutzen ziehen, aber nur etwa das Vierfache Budget dafür brauchen, um die Gewinne zu realisieren (also eine Rendite von 20-30 Mio. $ auf eine Investition von 2 Mio. $).
• In unserer Diskussion über »schlechte Intranet-Usability« haben wir die Daten des Q3-Leistungsniveaus betrachtet, die die Scheidelinie zwischen den besten 75% und den schlechteren 25% repräsentieren. Aber viele Unternehmen mit schlechter Intranet-Usability liegen weit unter diesem Q3-Niveau, besonders wenn sie die Intranet-Usability bis heute völlig ignoriert haben. Die gute Nachricht dabei ist: Auf sie warten immer noch die entsprechend enormen Produktivitätszuwächse, sobald sie ein Usability-Projekt beginnen.
• Unsere Schätzung zur »guten Intranet-Usability« betrachtet ausschliesslich die aktuellen besten Praktiken, aber nicht das theoretisch optimale Design. Es gibt keinen Grund für die Annahme, dass unsere Q1-Zahlen das letzte Wort in Sachen Intranet-Usability darstellen. Unsere Erfahrungen bei den Intranet-Design-Jahreswettbewerben machen uns an dieser Stelle sehr optimistisch, denn jedes Jahr können wir zusehen, wie die allerbesten Intranets noch besser werden.

Es gibt also gute Gründe für die Annahme, dass Intranet-Usability-Projekte weiterhin eine gute Rendite abwerfen werden, auch wenn die Verbesserungen nicht mehr so enorm ausfallen wie beim ersten Usability-Projekt eines Unternehmens.

Besser, aber nicht gut

Die Intranet-Usability hat sich substanziell verbessert, ja. Aber ist sie gut genug? Nein. Wir sind von einem extrem niedrigen Niveau gestartet, mit Intranets, die die armen Vetter der Websites waren: keine Unternehmens-Investitionen in Design und Usability, das pure Chaos in Navigation und Architektur. In der Tat sieht die Sache heute besser aus - 77% der Intranet-Teams sagen, dass sie vom Management adäquate Unterstützung bekommen. Doch in den meisten Unternehmen ist das Intranet-Nutzererlebnis immer noch weit von dem entfernt, was nötig wäre, um die Produktivität der Mitarbeiter zu maximieren.

 

© Deutsche Version von Jakob Nielsens Alertbox. Institut für Software-Ergonomie und Usability AG. Alle Rechte vorbehalten.