Wie kann ChatGPT den UX Research unterstützen? Ich habe mit ChatGPT ein fiktives UX Research-Projekt durchgeführt, um mehr darüber herauszufinden, welche Stärken (und Schwächen) ChatGPT aktuell bei der Durchführung von UX Research-Aufgaben hat.
Einleitung
AI ist gefühlt aktuell das Thema in der UX-Welt – spätestens, seitdem AI-Tools wie ChatGPT, Midjourney und DALL-E für die breite Masse zugänglich und nutzbar geworden sind, stellt sich die Frage, wie AI die Arbeit von UX Professionals zukünftig verändern wird. In einem vorherigen Blogartikel ist Thomas bereits auf die Implikationen von AI für die Arbeit von UX Professionals eingegangen.
UX Research und AI
Auch im UX Research gibt es erste Ansätze, AI zu integrieren. Es gibt sogar Tools, die anbieten, echten UX Research durch den Einsatz von AI ersetzen zu können. Mithilfe von AI und Computerlinguistik werden synthetische User generiert, die echtes menschliches Verhalten imitieren sollen. Dazu müssen lediglich einige Merkmale der Persona, die Probleme der Persona und ein Lösungsansatz eingegeben werden, und das Modell „führt virtuelle Nutzerinterviews durch“, erhält Feedback von den synthetischen Personas und fasst diese in einem Bericht zusammen. User Research ganz ohne die User – basierend auf Large Language Models (LLMs) und ihren Trainingsdaten. Niloufar Salehi, Assistant Professor im Bereich der Human-Computer-Interaction an der UC Berkeley School of Information, hat in ihrem Blogartikel das Grundproblem solcher Tools gut zusammengefasst: Ein LLM weiß im Wesentlichen nichts über die reale Welt und kann keine Erkenntnisse produzieren, die über die in ihren Trainingsdaten vorhandenen Muster hinausgehen. Auch wenn echtes menschliches Verhalten imitiert werden kann, ändert das nichts daran, dass die Informationen aus den „Interviews“ lediglich auf den Trainingsdaten basieren. Die Antworten solcher synthetischen User auf Interviewfragen beruhen also darauf, was – gegeben der vorhandenen Trainingsdaten – statistisch am wahrscheinlichsten ist. Das Ergebnis sind oberflächliche und stereotype „Erkenntnisse“ über die User. Je spezifischer und komplexer der Nutzungskontext, desto stärker ist die Notwendigkeit für echten UX Research. Es braucht einfach den Input von echten Menschen, um neue und relevante Erkenntnisse über den Nutzungskontext und die Probleme der User zu erlangen.
ChatGPT als UX Researcher? – Ein Experiment
Wir brauchen also weiterhin den Input echter User und müssen weiterhin unsere Annahmen über Benutzer validieren, indem wir beispielsweise Interviews oder Befragungen durchführen. Trotzdem sollten UX Researcher das Potential von AIs nutzen, z.B. um Arbeitsschritte zu automatisieren oder Inspiration beim Schreiben von Interviewleitfäden oder Testszenarios zu erhalten. Um mehr darüber zu lernen, wie uns zum Beispiel ChatGPT im UX Research unterstützen kann, habe ich ein fiktives UX Research-Projekt mithilfe von ChatGPT durchgeführt.
Das fiktive Start Up kurzreisenbuddy möchte eine App entwickeln, die personalisierte Tages- oder Wochenendausflüge für ihre Nutzer*innen anbietet. Die personalisierte Planung der Tages- oder Wochenendausflüge sollte für die Nutzer*innen interessante Sehenswürdigkeiten, Restaurantbesuche und An- und Abreise durch ÖPNV berücksichtigen. Dabei sollen verschiedene Faktoren, wie z.B. die Interessengebiete der Nutzer*innen, die verfügbare Zeit und das Budget berücksichtigt werden. Lokale Unternehmen im Bereich des Tourismus und der Gastronomie sollen die App nutzen können, um Tourist*innen auf sich aufmerksam zu machen.
Stakeholder
Als erstes bitte ich ChatGPT darum, mir relevante Stakeholder für das Projekt zu nennen.
ChatGPT gibt eine nachvollziehbare und vollständige Liste der Stakeholder aus. Besonders spannend finde ich, dass als weitere Stakeholder die Stadt-/Gemeindeverwaltungen und mögliche Investoren hinzugefügt wurden, da ich diese im Prompt nicht benannt habe. ChatGPT kann also auf jeden Fall dabei helfen, relevante Stakeholder für ein Projekt zu identifizieren.
Protopersonas
Als nächstes bitte ich ChatGPT darum, zu dem vorherigen Prompt relevante Personas zu generieren. Wichtig ist es an dieser Stelle darauf hinzuweisen, dass es sich nicht um durch UX Research verifizierte Personas, sondern um Protopersonas handelt. Protopersonas basieren auf den Annahmen eines Teams (oder in diesem Fall eines LLMs und seiner Trainingsdaten) darüber, wer die Benutzer sind und was sie wollen. Diese Annahmen können als Hypothesen für den UX Research genutzt werden, um beispielsweise in Interviews mehr über die Nutzer*innen und ihren Nutzungskontext zu lernen. Im Anschluss können diese Annahmen verifiziert bzw. falsifiziert oder ergänzt werden, um aus den Erkenntnissen des UX Research eine verifizierte Persona zu generieren.
ChatGPT generiert insgesamt drei Protopersonas – Julia (28), Marketing-Managerin, Hans (60), Rentner und Maria (23), Studentin im Tourismusmanagement. Die Protopersonas wirken auf den ersten Blick recht passend und zeigen einige Punkte auf, die ich selbst noch nicht berücksichtigt hatte. Beispielsweise, dass eine mögliche Frustration von Reisenden, die Tagesausflüge planen, lange Warteschlangen an den Sehenswürdigkeiten sein könnten.
Es fallen allerdings auch Unstimmigkeiten auf – Hans hat IT-Grundkenntnisse und eine seiner Frustrationen ist, dass er überfordert durch Technologie sei. Gleichzeitig wird ihm als Persönlichkeitseigenschaft zugeschrieben, dass er technik-affin sein. Außerdem wird Hans als Motivation zugeschrieben einen einfachen und benutzerfreundlichen Reiseplaner zu suchen, der ihm alle notwendigen Informationen bietet. Das ist etwas zu weitgegriffen – man könnte annehmen, dass Hans‘ Motivation ist, einen schönen Tagesausflug zu verbringen, Informationen dazu zu haben ist lediglich Mittel zum Zweck – und noch weniger sinnvoll ist es anzunehmen, dass Hans motiviert sei, einen einfachen und benutzerfreundlichen Reiseplaner zu finden.
Als nächsten Schritt frage ich ChatGPT nach passenden Zitaten für unsere Protopersonas, pflege diese bei LeanScope ein und versehe sie mit einem passenden Foto.
Ist-Szenario
Als nächstes bitte ich ChatGPT, ein Ist-Szenario für Julia zu erstellen. Auch hier gilt, ähnlich wie bei den Protopersonas, dass es sich bei dem Ist-Szenario im ersten Schritt nur um Annahmen über das Ziel und das aktuelle Vorgehen der Persona handelt. Diese Annahmen müssen ebenfalls im UX Research validiert werden.
ChatGPT bezieht in dem Szenario bereits die fertig entwickelte App mit ein, obwohl im ersten Prompt definiert wurde, dass diese App von dem fiktiven Start Up noch entwickelt werden muss. Ich versuche ChatGPT zu korrigieren, indem ich ChatGPT eine Definition für ein Ist-Szenario nenne.
Wieder bezieht ChatGPT die App mit ein. Ich versuche es ein drittes Mal:
Hurra, ein Ist-Szenario! Das Vorgehen, wie Julia aktuell einen Tagesausflug plant klingt auf den ersten Blick plausibel. Aber auch hier fällt eine Unstimmigkeit auf: Warum ist Julia im Schritt 8 frustriert, dass sie so viel Zeit damit verbringt, Informationen zu sammeln, anstatt den Tagesausflug zu planen? Ist das Sammeln von Informationen nicht ein Teil der Aktivität, den Tagesausflug zu planen? Außerdem würde ich gerne mehr darüber wissen, warum Julia sich im Schritt 10 überfordert und unorganisiert fühlt, obwohl sie einen guten Tag hat.
Das Ist-Szenario liefert insgesamt aber eine relativ realistische Darstellung davon, wie Julia aktuell einen Tagesausflug planen könnte, bleibt aber recht oberflächlich. Dennoch kann ChatGPT einen guten Anhaltspunkt für die Formulierung eines Ist-Szenarios liefern. Auch hier gilt es, die Schritte des Ist-Szenarios als Annahmen zu verstehen, die im UX Research überprüft werden müssen.
Für die weitere Arbeit pflege ich auch das Ist-Szenario in LeanScope ein.
Generierung von Interview-Fragen
Im nächsten Schritt möchte ich schauen, wie ChatGPT mich bei der Vorbereitung von Interviews unterstützen kann:
Viele der Fragen sind sehr sinnvoll. Beispielsweise die Einstiegsfrage, ob die Person bereits Erfahrungen mit der Planung von Tages- oder Wochenendausflügen gemacht hat. Besonders im vierten Abschnitt „Fragen zur Planung von Tages- oder Wochenendausflügen“ schlägt ChatGPT viele offene und neutrale Fragen vor, mit denen man viele Information zum aktuellen Nutzungskontext sammeln könnte. Bei der zweiten Frage wäre es allerdings sinnvoll, keine Beispiele zu nennen, um die Antwort der Person nicht in eine bestimmte Richtung zu lenken.
Die Fragen aus dem dritten Abschnitt „Fragen zur Bedienung der App“ sollte man eher nicht stellen. Sie bestehen größtenteils aus hypothetischen Fragen, die man im UX Research vermeiden sollte, da Nutzer ihr zukünftiges Verhalten, ihre zukünftigen Präferenzen und die zukünftigen Umstände nur schlecht vorhersagen können.
Auch die Abschlussfrage „Wie gefällt Ihnen die Idee der personalisierten Planung von Tages- oder Wochenendausflügen?“ ist eher weniger sinnvoll, da sie die Frage impliziert, ob die Person ein solches Feature auch nutzen würde. In 90% der Fälle würde die gefragte Person wahrscheinlich sagen, dass ihr die Idee gefällt – aus Höflichkeit oder weil sie vermuten, dass so ein Feature für sie zukünftig interessant sein könnte.
Auswertung des Interviews
Um zu schauen, wie ChatGPT bei der Auswertung von Interviews unterstützen kann, führe ich das Interview fast wie vorgeschlagen durch – nur den dritten Abschnitt lasse ich aus den vorher genannten Gründen raus.
Ich denke mir eine fiktive Userin und Interviewteilnehmerin aus – Sophie, 23 Jahre alt, studiert Pädagogik, Hobbys: Reisen, Kochen, Wandern. Um ein halbwegs realistisches Interviewprotokoll zu erstellen, nutze ich die Diktierfunktion von Word und interviewe ich mich selbst in der Rolle als Sophie.
Zunächst bitte ich ChatGPT darum, eine Liste mit Stichpunkten der wichtigsten Erkenntnisse aus dem Interviewprotokoll zu generieren.
Die Zusammenfassung ist ziemlich gut und fasst all die wichtigsten Punkte zusammen, die im zweiseitigen Interviewprotokoll genannt wurden. ChatGPT kann also auf jeden Fall dabei unterstützen, die wichtigsten Aussagen aus längeren Texten zu extrahieren.
Im nächsten Schritt versuche ich herauszufinden, ob ChatGPT es schafft, die Annahmen über die Protopersona Julia zu verifizieren oder zu falsifizieren.
ChatGPT „halluziniert“ neue Annahmen über Julia (z.B. Annahme 2), die vorher nicht so in der Persona definiert wurden. Ich versuche es mit einem zweiten Prompt, in dem ich die wichtigsten Annahmen über Julia zusammenfasse:
ChatGPT verifiziert alle Annahmen über die Persona, indem auf Aussagen aus dem Interviewprotokoll verwiesen wird, die nicht gemacht wurden. Im Interviewprotokoll steht nichts davon, dass die Teilnehmerin häufig nach lokalen Veranstaltungen sucht, um neue Erfahrungen zu sammeln. Außerdem steht im Interviewprotokoll nichts über lange Warteschlangen oder davon, Orte früh am Morgen oder spät am Abend zu besuchen, um den Ansturm zu vermeiden. Das Phänomen, dass eine AI überzeugend-klingenden, aber durch die Trainingsdaten nicht begründeten Output auf Fragen oder Aufgaben generiert wird als „Halluzinieren“ bezeichnet. Besonders bei LLMs ist das Halluzinieren aktuell eine der größten Herausforderungen. Die Verbesserung der Trainingsdaten und die Einbeziehung von menschlichem Feedback zur Richtigkeit des Outputs wird die Schwere und Häufigkeit von Halluzinationen bei AI vermutlich in Zukunft verbessern.
Ich gebe es aber an dieser Stelle auf, das Interviewprotokoll von ChatGPT hinsichtlich der Verifizierung und Falsifizierung unserer Annahmen zu Persona und Ist-Szenario auswerten zu lassen. Ich hatte geplant, das Ist-Szenario ebenfalls anhand des Interviewprotokolls zu überprüfen und die Ergebnisse in LeanScope zu übertragen. Je weiter sich ChatGPT entwickelt und je besser die Prompts werden, die wir schreiben, desto eher wird aber auch die Überprüfung der Annahmen in der Zukunft möglich sein.
ChatGPT und Datenschutz
Bis hierhin können wir also feststellen: ChatGPT kann einige Aufgaben im UX Research ganz gut unterstützen, während andere aktuell eher weniger gut funktionieren. Eine wichtige Einschränkung für die Nutzung von ChatGPT für den UX Research haben wir aber noch nicht berücksichtigt: Wie sieht es datenschutzrechtlich mit dem Einsatz von ChatGPT im UX Research aus?
Die Informationen, die wir im UX Research von unseren Teilnehmer*innen und Kunden erhalten sind vertraulich. Sowohl teilnehmer- als auch kundenseitig ist es essenziell, den Daten- und Informationsschutz zu wahren. OpenAI verwendet die in ChatGPT gesammelten, persönlichen Daten für verschiedene Zwecke, unter anderem für die Weiterentwicklung der AI-Modelle. Es ist aktuell noch nicht klar, ob diese gesammelten Daten zukünftig auch für andere Zwecke eingesetzt werden könnten. Deutsche Datenschutzbehörden prüfen aktuell, ob ChatGPT gegen die DSGVO verstößt. Außerdem hatte ChatGPT im März 2023 eine Datenschutzpanne, bei der einige User Chattitel und teilweise auch Nachrichten in neu erstellten Chats anderer User einsehen konnten. Bevor sichergestellt ist, dass ChatGPT DSGVO-konform ist und Informationssicherheit garantieren kann, sollte man davon absehen, echte Interview- oder Testprotokolle mit ChatGPT zu verarbeiten. Vielleicht wird es in Zukunft eine Möglichkeit sein, unter Berücksichtigung des Aufwands und der Kosten, cloud-provided oder self-hosted LLMs für die Analyse von UX Research einzusetzen und dadurch den Datenschutz und die Informationssicherheit sicherzustellen.
Fazit
Mit dem „Experiment“ zum Einsatz von ChatGPT im UX Research konnte ich einen kleinen Einblick dazu geben, wie LLMs zukünftig für UX Research-Aufgaben genutzt werden könnten. Allerdings kann ich das Thema nur anreißen – die Thematik um die Einsatzmöglichkeiten von AI ist zu komplex, um es in einem einzigen Blogartikel umfassend zu besprechen.
Das größte Potential von ChatGPT im UX Research liegt aktuell vor allem darin, lange Texte wie z.B. Interviewprotokolle zu analysieren und auf die wichtigsten Schlüsselpunkte herunterzubrechen. Auch bei der Generierung von Protopersonas und Ist-Szenarien kann ChatGPT gute Anhaltspunkte für die weitere Ausarbeitung und Überprüfung liefern.
Für die Analyse von Annahmen über Nutzer*innen und Szenarien ist ChatGPT aktuell nicht geeignet – es treten zu häufig Halluzinationen auf und man macht sich mehr Arbeit damit, die Analyse von ChatGPT auf Richtigkeit zu prüfen, als dass man sich Zeit spart. Dies könnte sich allerdings mit der Weiterentwicklung der AI-Modelle ändern.
Das größte Problem liegt momentan im unzureichenden Datenschutz. Wenn LLMs für UX Research-Aufgaben eingesetzt werden, muss sichergestellt werden, dass die Daten der Kunden und Teilnehmenden sicher sind, und es muss klar sein, wie die Daten weiterverarbeitet werden. Wie das erreicht werden kann, wird sich in den nächsten Monaten und Jahren zeigen.
