Im UX Research wollen wir objektive Erkenntnisse zum Verhalten, zu den Bedürfnissen und den Motivationen von Usern erhalten. UX Research ist für UX Design und für die Entwicklung wichtig, um sicherzustellen, dass immer im Sinne des Users entschieden wird. Da UX Research aber von Menschen gemacht wird, sind diese Erkenntnisse immer von Cognitive Bias (z. Dt. kognitiven Verzerrungen) geprägt. Wie können wir als UX Researcher den Einfluss dieser Verzerrungen auf ein Minimum reduzieren? Und was ist ein Cognitive Bias überhaupt?
Was ist ein Cognitive Bias?
Ein Cognitive Bias ist ein unbewusster Denkfehler, der dazu führt, dass Informationen aus der Umgebung falsch interpretiert und die Rationalität und Genauigkeit von Entscheidungen und Urteilen beeinträchtigt wird (Ruhl, 2021).
Diese Definition klingt erst mal recht abstrakt. Ein typisches Alltagsbeispiel für eine kognitive Verzerrung ist der Attributionsfehler (Ross, 1977). Dieser bezeichnet die Tendenz, Verhaltensweisen anderer auf deren Persönlichkeit und Einstellungen zurückzuführen („Die Person vor mir an der Kasse war ganz schön kurz angebunden im Gespräch mit dem Kassierer, was für ein unfreundlicher Mensch.“), während man seine eigenen Verhaltensweisen auf situative Faktoren zurückführt („Ich habe gar keine Lust auf Small Talk mit dem Kassierer, ich hatte einen langen und anstrengenden Tag und möchte einfach nur nach Hause aufs Sofa.“). Der Attributionsfehler lässt sich damit erklären, dass man selbst sehr viele Informationen zu seinem eigenen Verhalten und Beweggründen hat, während man deutlich weniger Informationen dazu von anderen Personen hat. Es ist für uns viel einfacher, unser eigenes Verhalten situativ zu begründen als das Verhalten anderer Personen.
In der psychologischen Forschung wurden bereits viele verschiedene Arten von Cognitive Bias entdeckt und erforscht – wer sich davon überzeugen lassen möchte, wie viele Arten es gibt, kann sich den Cognitive Bias Codex anschauen und entdecken, in wie vielen Arten und Weisen unser Denken und Schlussfolgern verzerrt ist:
Abbildung: Cognitive Bias Codex von John Manoogian (hier mit näheren Informationen zu den einzelnen Biasarten)
Wenn man sich den Cognitive Bias Codex etwas genauer angeschaut hat, könnte man schlussfolgern, dass Menschen grundsätzlich unlogisch oder fehlerhaft denken und schlussfolgern. Cognitive Biases sind aber menschlich – sie entstehen aus dem (nicht unbedingt bewussten) Versuch der Psyche, die kognitive Belastung möglichst niedrig zu halten. Man kann sagen, dass unsere Psyche es vermeidet, eine große Menge an Informationen immer wieder gründlich zu analysieren, und sich daher den Cognitive Biases bedient (Shatz, 2023) – einfach weil es ökonomischer ist.
Denn auch wenn kognitive Verzerrungen zu (kleineren oder auch größeren) Fehleinschätzungen führen können, haben Sie einen weiteren entscheidenden Vorteil: Da unsere zur Verfügung stehende Aufmerksamkeit und Entscheidungsfähigkeit begrenzt sind, helfen uns kognitive Verzerrungen ressourcenschonend mit unserer Aufmerksamkeit umzugehen und schnell und einfach Entscheidungen zu treffen (Dwyer, 2018). Bei kognitiven Verzerrungen handelt es sich also weniger um Verzerrungen, sondern eher um kognitive Abkürzungen, die uns eine schnellere und effizientere Entscheidungsfindung ermöglichen (Ruhl, 2021). Es wäre einfach zu anstrengend, bei jeder Entscheidung alle zur Verfügung stehenden Informationen grundlegend zu analysieren oder sich sogar neue Informationen suchen zu müssen. Diese kognitiven Abkürzungen führen oft zu hilfreichen und effizienten Entscheidungen – oft genug aber auch zu weniger hilfreichen Entscheidungen. Und diese sollten in Situationen, in denen objektive Fakten wichtig sind, z. B. im UX Research, möglichst vermieden werden!
Cognitive Bias im UX Research
Wie vorher bereits erwähnt: Das Auftreten von Cognitive Bias ist menschlich. Alle Stakeholder gehen mit ihrer Persönlichkeit, ihren Erfahrungen, ihren Einstellungen und auch ihren eigenen kognitiven Verzerrungen in den UX Research. Es kann helfen, sich dies bewusst zu machen, aber den Einfluss ganz auszuschließen, ist uns nicht möglich (Hall, 2019).
Trotzdem sollten wir es versuchen! Wir möchten im UX Research möglichst objektive Erkenntnisse gewinnen. Deshalb können wir durch Wissen und kleinen Kniffen dafür sorgen, dass sich der Einfluss kognitiver Verzerrungen bei UX Researchern, Proband*innen und anderen Stakeholdern reduziert. Dadurch kommen wir zu objektiveren Ergebnissen im UX Research – und unserem Ziel, eine gute Usability und User Experience zu ermöglichen, ein gutes Stück näher. Im Folgenden stelle ich ein paar konkrete Arten von Cognitive Bias im UX Research vor und gebe Vorschläge dafür, wie ihr Einfluss reduziert werden kann.
Bestätigungsfehler (Confirmation Bias)
Der Bestätigungsfehler (Wason, 1968) bezeichnet die Tendenz, v. a. die Informationen auszuwählen und zu interpretieren, welche die eigenen Erwartungen und Annahmen bestätigen. Wenn wir beispielsweise zu einem bestimmten Thema etwas recherchieren, neigen wir dazu, uns die Informationen „rauszupicken“, die unsere bisherigen Annahmen bestätigen. Das ist kognitiv ressourcenschonend – wir müssen nicht unsere kompletten Annahmen revidieren und ggf. neu ausarbeiten, sondern können einfach weiterhin das glauben, was wir vorher schon geglaubt haben und fühlen uns jetzt durch die (verzerrte) Faktenlage bestätigt. Im UX Research könnte das so aussehen: Ein UX Researcher schaut sich vor einer Reihe Usability Tests eine App an. Bestimmte Aspekte der App gefallen ihm sehr gut, andere sieht er als problematisch an. Er geht mit seinen persönlichen Eindrücken in die Testungen und schenkt den Aspekten, die seine persönlichen Eindrücke bestätigen, mehr Aufmerksamkeit, während er Aspekte, die seinen persönlichen Eindrücken eher widersprechen, vernachlässigt.
Es ist also für UX Researcher sehr wichtig, möglichst unbefangen in Usability Tests zu gehen und persönliche Meinungen bestmöglich auszuklammern. Es hilft auch, sich den Bestätigungsfehler bewusst zu werden und zu hinterfragen, ob die Testung wirklich die eigenen Annahmen bestätigt hat oder ob sich vielleicht doch ganz andere Erkenntnisse ergeben haben. Eine andere Möglichkeit kann auch sein, projektunabhängige UX Researcher für die nächsten Testungen in das Projekt zu holen, da diese womöglich noch nicht so viele eigene Annahmen zu dem Testgegenstand haben.
Framing-Effekt
Der Framing-Effekt bezeichnet den Effekt, dass unterschiedliche Formulierungen und Präsentationen das Urteils- und Entscheidungsverhalten von Personen beeinflussen können (vgl. Müsseler & Rieger, 2017, S. 652). Es macht einen Unterschied, ob man fragt:
„Was findest du am nervigsten am User Interface?“ oder „Was würdest du am User Interface als positiv bewerten? Was ist dir eher negativ aufgefallen?“. Die erste Frage lenkt den Teilnehmenden dazu, dass User Interface eher als negativ zu bewerten, während die zweite Frage sowohl positive als auch negative Aspekte des User Interfaces beleuchtet.
Es macht auch einen Unterschied, ob man bei der Vorstellung der Ergebnisse sagt:
„80% der User fanden sich im Prototyp problemlos zurecht“ oder: „Ganze 20% der User hatten Probleme damit, sich im Prototyp zurechtzufinden!“. Mit der ersten Aussage könnte man Zuhöher*innen dazu verleiten zu denken, dass der Prototyp für die User bereits recht verständlich und intuitiv ist, während die zweite Aussage impliziert, dass der Prototyp noch nicht verständlich und intuitiv genug ist – obwohl es sich um dieselben Ergebnisse handelt!
Es besteht ein feiner Grat dazwischen, die richtigen Informationen zu erhalten und die Antwort der Teilnehmenden in eine bestimmte Richtung zu lenken. Um den Framing-Effekt zu verhindern, sollte man bereits vor dem Interview oder der Testung eine Liste mit Fragen vorbereiten. Diese sollten möglichst neutral formuliert sein. Wenn das nicht möglich ist, sollte man sowohl negative als auch positive Seiten eines bestimmten Aspekts beleuchten. Außerdem sollte man sich Feedback von Kolleg*innen einholen, um herauszufinden, ob die Fragen spezifisch, aber neutral genug formuliert sind. Bei der Vorstellung der Ergebnisse sollten UX Researcher darauf achten, die Erkenntnisse aus dem Research möglichst objektiv und faktenbasiert zu präsentieren und Handlungsempfehlungen immer basierend auf konkreten Beobachtungen abzuleiten.
Primacy-Recency-Effekt
Der Primacy-Recency-Effekt bezeichnet den Effekt, dass aus einer Reihe von Informationen jene am besten erinnert werden, die zu Beginn (Primacy-Effekt) oder gegen Ende (Recency-Effekt) der Informationsreihe dargestellt werden (vgl. Stangl, 2023). Dieser Effekt kann im UX Research dafür sorgen, dass man sich beispielsweise nach einem Interview besonders gut an die ersten und letzten Aussagen des Interviewpartners erinnert, während die Aussagen im mittleren Teil des Interviews weniger gut erinnert werden. Auch bei einer Reihe von Interviews oder Testungen kann der Effekt auftreten: Man erinnert sich an das erste und letzte Interview aus einer Reihe besonders gut. Dies kann dazu führen, dass die ersten und letzten Eindrücke aus dem UX Research besonders stark ins Gewicht fallen.
Um den Einfluss des Primacy-Recency-Effekts zu verringern, sollten während der Testungen oder Interviews detaillierte Notizen gemacht werden. Es besteht auch die Möglichkeit, unter Einwilligung aller Beteiligten und unter Berücksichtigung des Datenschutzes, Videoaufzeichnungen der Testungen oder Interviews vorzunehmen, sodass man im Nachgang bestimmte Teile nochmal nachschauen kann. Egal wie dokumentiert wurde, es hilft, sich nach der Testungsreihe die Informationen in einer anderen Reihenfolge anzuschauen. So erhalten vielleicht wichtige Aspekte, die vor allem in den mittleren Testungen aufgekommen sind, mehr Aufmerksamkeit.
Verzerrung durch soziale Erwünschtheit (Social desirability bias)
Die Verzerrung durch soziale Erwünschtheit tritt dann auf, wenn Teilnehmende aufgrund von Angst vor sozialer Verurteilung ihre Antworten an soziokulturell verbreitete Normen und Erwartungen anpassen (vgl. Bortz & Döring, 2016, S. 232–233). Stellen wir uns vor, dass Person A ab und zu an eine gemeinnützige Organisation spendet, während Person B regelmäßig Müll auf die Straße schmeißt – wie wahrscheinlich ist es, dass Person A die Häufigkeit ihrer Spenden übertreibt, während Person B eher untertreibt, wie häufig sie Müll auf die Straße schmeißt (oder es gar verleugnet)? Da Menschen soziale Wesen sind, ist es klar, dass sie sich stets im besten Licht darstellen wollen (Hall, 2019).
Dieser Bias spielt im UX Research vor allem dann eine Rolle, wenn Teilnehmende Aussagen zu sozial erwünschtem oder unerwünschtem Verhalten treffen sollen. Er kann auch dann auftreten, wenn Vorgesetzte oder andere Kolleg*innen des Teilnehmenden in den Research-Terminen mit dabei sind. Hier ist es wieder besonders wichtig zu betonen, dass die erhobenen Daten anonym sind und vertraulich behandelt werden. Es sollte auch betont werden, dass UX Researcher nicht das Ziel haben, die Teilnehmenden in irgendeiner Form zu beurteilen.
Eine weitere Möglichkeit, um den Einfluss von sozialer Erwünschtheit zu reduzieren, sind Kontrollskalen wie z. B. der SDS-CM (Lück & Timaeus, 1997). Es handelt sich dabei um eine Skala, welche dazu dient, die Tendenz hin zur Verzerrung durch soziale Erwünschtheit bei Versuchspersonen zu erfassen. So würde eine Person, die eine starke Verzerrung durch soziale Erwünschtheit aufweist, vermutlich das Item „Ich bin immer höflich, auch zu unangenehmen Leuten.“ mit „Ja“ beantworten, während sie das Item „Manchmal bestehe ich auf Genugtuung und kann nicht vergeben und vergessen.“ mit „Nein“ beantworten würde. Diese Kontrollskala ermöglicht es, den Einfluss sozialer Erwünschtheit bei quantitativen Daten herauszurechnen oder Versuchspersonen mit starker Verzerrung durch soziale Erwünschtheit aus der Auswertung auszuschließen. Auch bei qualitativen Daten kann die Skala miterhoben werden, um einen möglichen Einfluss durch soziale Erwünschtheit abschätzen zu können. Der Einsatz von Kontrollskalen zur Erfassung der sozialen Erwünschtheit lohnt sich dann, wenn im Vorhinein klar ist, dass es im UX Research um Themen gehen wird, die durch soziale Erwünschtheit verzerrt dargestellt werden könnten.
Hawthorne-Effekt
Beim Hawthorne-Effekt handelt es sich weniger um einen Cognitive Bias und mehr um eine Verzerrung, die durch die soziale Dynamik zwischen Researcher und Probanden entstehen kann. Der Hawthorne-Effekt geht auf Experimente zurück, die von zwei US-amerikanischen Forschern in den 1920er und 1930er in den Hawthorne-Werken der Western Electric Company in Cicero (Illinois, USA) durchgeführt wurden (Roethlisberger et al., 1976). Sie versuchten herauszufinden, wie man die Arbeitsleistung der Arbeiter*innen steigern kann. Dafür durchliefen sie verschiedene Versuchsbedingungen, in denen bestimmte Faktoren (u. a. Arbeitsstunden, Pausen, Bezahlung) variiert wurden. Es zeigte sich, dass trotz objektiver Verschlechterung der Arbeitsbedingungen die Produktivität in jeder Bedingung anstieg. Dies ließ sich dadurch erklären, dass alleine die Anwesenheit und Aufmerksamkeit der Forscher und das Wissen, Versuchsperson in einem Experiment zu sein, das Verhalten der Arbeiter*innen veränderte – dieser Effekt wird in der Psychologie heute als Hawthorne-Effekt bezeichnet (Stapf, 2021).
Besonders in Situationen, in denen UX Researcher Personen in ihrem (Arbeits-)alltag beobachten, wirkt der Hawthorne-Effekt. Die Personen wissen, dass sie beobachtet werden und passen sich daran an. Sie scherzen eventuell weniger mit ihren Kolleg*innen herum und achten besonders darauf, konzentriert zu arbeiten und produktiv ihren Aufgaben nachzugehen.
Wie kann man dem Hawthorne-Effekt entgegenwirken? Transparente Kommunikation ist hier wichtig: Den Teilnehmenden sollte klar sein, was das Ziel der Untersuchung ist, dass die gesammelten Erkenntnisse vertraulich sind und dass UX Researcher ihr Verhalten nicht beurteilen. Es kann auch helfen, die Teilnehmenden aktiv dazu zu ermutigen, möglichst ihrem normalen Tagesablauf nachzugehen (Hall, 2019). Außerdem sollte man sich während der Beobachtung möglichst darum bemühen, still zu beobachten und in den Hintergrund zu treten. Bei Remote-Beobachtungen sollten alle Beobachter*innen, außer der*die Moderator*in, sich möglichst ohne Kamera dazuschalten. Je mehr man als Beobachter*in in den Hintergrund tritt, desto mehr werden die Teilnehmenden vergessen, dass sie beobachtet werden.
Fazit
Ich hoffe, ich konnte euch einen kleinen Einblick in ein paar für den UX Research wichtige Arten von Cognitive Biases geben. Ihr wisst jetzt zwar deutlich mehr über das Thema, seid euch aber bewusst, dass es viel Übung und Wiederholung bedarf, um sich zu offenerem und weniger verzerrtem Denken zu trainieren. Und passt auf, dass ihr jetzt nicht dem Bias Blind Spot (Pronin et al., 2002) unterliegt – die Tendenz, das Vorhandensein von kognitiven Verzerrungen viel stärker bei anderen als bei sich selbst wahrzunehmen und sich selbst als viel weniger beeinflusst einzuschätzen.
Literatur
Bortz, J., & Döring, N. (2016). Forschungsmethoden und Evaluation: Für Human- und Sozialwissenschaftler (5. Aufl). Springer.
Hall, E. (2019). Just Enough Research (2. Aufl.). A Book Apart.
Lück, H., & Timaeus, E. (1997). Soziale Erwünschtheit SDS-CM. Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/ZIS170
Müsseler, J., & Rieger, M. (Hrsg.). (2017). Allgemeine Psychologie (3. Auflage). Springer. https://doi.org/10.1007/978-3-642-53898-8
Pronin, E., Lin, D. Y., & Ross, L. (2002). The Bias Blind Spot: Perceptions of Bias in Self Versus Others. Personality and Social Psychology Bulletin, 28(3), 369–381. https://doi.org/10.1177/0146167202286008
Roethlisberger, F. J., Dickson, W. J., & Wright, H. A. (1976). Management and the Worker: An Account of a Research Program Conducted by the Western Electric Company, Hawthorne Works, Chicago. Harvard University Press.
Ross, L. (1977). The Intuitive Psychologist And His Shortcomings: Distortions in the Attribution Process. In Advances in Experimental Social Psychology (Bd. 10, S. 173–220). Elsevier. https://doi.org/10.1016/S0065-2601(08)60357-3
Ruhl, C. (2021, Mai 4). What Is Cognitive Bias? Simply Psychology. www.simplypsychology.org/cognitive-bias.html
Shatz, I. (2023). Cognitive Biases: What They Are and How They Affect People. Effectiviology. https://effectiviology.com/cognitive-biases/#Who_experiences_cognitive_biases
Stangl, W. (2023). Primacy-Recency-Effekt. In Lexikon der Psychologie. https://lexikon.stangl.eu/10733/primacy-recency-effekt
Stapf, K.-H. (2021). Hawthorne-Effekt. In M. A. Wirtz (Hrsg.), Dorsch—Lexikon der Psychologie. Dorsch. https://dorsch.hogrefe.com/stichwort/hawthorne-effekt
Wason, P. C. (1968). Reasoning about a Rule. Quarterly Journal of Experimental Psychology, 20(3), 273–281. https://doi.org/10.1080/14640746808400161
Wir haben Dein Interesse geweckt? Schau Dir unsere Leistungen an!
