![\"Illustration](\"https:\/\/www.centigrade.de\/wordpress\/wp-content\/uploads\/Bild11-1-1500x857.jpg\")
<\/p>\n<\/p>\n
Chatbots und Conversational AIs sind in aller Munde und finden sich inzwischen in zahlreichen Anwendungen und Oberfl\u00e4chen wieder. Doch stellt sich die Frage: Sind Conversational AIs wirklich immer die beste Wahl?<\/strong><\/p>\n Wenn Nutzer*innen Unterst\u00fctzung bei der Erledigung ihrer Aufgaben brauchen und sich an einen Support-Bot wenden, scheinen viele m\u00f6glichst schnell an einen Menschen weitergeleitet werden zu wollen, statt sich mit dem Chatbot auseinanderzusetzen.<\/strong><\/p>\n Abbildung 1: Quelle: https:\/\/www.linkedin.com\/posts\/patricia-roller-a2047a_chatbot-research-answers-from-this-week-activity-7274889958262243329-fupV<\/a><\/p><\/div>\n Wie wir bereits in unserem Artikel \u201eWelche Faktoren die UX zu Conversational AI beeinflussen<\/a>\u201c sehen konnten, gibt es verschiedene Faktoren, die die Nutzung und User Experience von Conversational AI beeinflussen. Nun m\u00f6chten wir uns anschauen, was passiert, wenn wir UX Research zu Conversational AIs durchf\u00fchren. Welche Herausforderungen k\u00f6nnen uns dabei begegnen? Wie m\u00fcssen wir unsere Research-Methoden anpassen, um valide und zuverl\u00e4ssige Ergebnisse herauszubekommen?<\/p>\n Nochmal als kurze Erinnerung:<\/p>\n \u201eConversational Artificial Intelligence (AI) umfasst Technologien wie Chatbots oder virtuelle Agenten, mit denen Nutzer*innen sprechen k\u00f6nnen. Sie nutzen gro\u00dfe Datenmengen, maschinelles Lernen und Natural Language Processing (NLP), um menschliche Interaktionen zu imitieren, Sprache und Texteingaben zu erkennen und deren Bedeutung in verschiedene Sprachen zu \u00fcbersetzen.\u201c[1]<\/a><\/p>\n Gute UX liegt immer auch UX Research zugrunde, also die Einbeziehung echter Nutzer*innen mit dem Ziel, deren Bed\u00fcrfnisse, Motivationen und Frustrationen herauszuarbeiten. Auch bei Research zu Conversational AI bleiben die grundlegenden Fragestellungen von UX Research erhalten:<\/p>\n Bei Research zu Conversational AI gibt es jedoch einige Besonderheiten, auf die wir besonders achten sollten.<\/p>\n Ein wesentlicher Unterschied zwischen Conversational UIs und herk\u00f6mmlichen UIs ist, dass die Interaktion auf einem dialogbasierten Ansatz beruht, der auf Text- und Sprachinteraktion <\/strong>setzt. Dies bedeutet zum einen, dass multimodale Interaktionsformen m\u00f6glich sind (also z.B. geschriebener Text und gesprochene Sprache), aber auch, dass Nutzer*innen sehr unterschiedlichen Input geben. W\u00e4hrend Nutzer*in A beispielsweise einfach anf\u00e4ngt zu sprechen und m\u00f6glicherweise einen ungenauen Prompt verwendet und sogar F\u00fcllw\u00f6rter verwendet, tippt Nutzer*in B kurz und knackig ein, was gew\u00fcnscht wird.<\/p>\n Abbildung 2: eigene Abbildung<\/p><\/div>\n Sprache hat Varianz und wird unterschiedlich genutzt, Inputs unterscheiden sich, auch z.B. in Sprachstilen. Zudem ist Sprache auch immer mehrdeutig, was Missverst\u00e4ndnisse hervorrufen kann \u2013 anders als beim Klick auf einen Button. Ein weiterer Punkt, der unbedingt mitgedacht werden sollte, ist: Sprache \u2013 sowohl geschrieben als auch gesprochen \u2013 kann eine Barriere f\u00fcr die Nutzung von Conversational UIs darstellen, insbesondere wenn sie nicht auf die Bed\u00fcrfnisse der Zielgruppe abgestimmt ist.<\/p>\n Obwohl unsere Ziele beim Research zu Conversational AI prinzipiell die gleichen bleiben, gibt es Themen und Bereiche, die dazukommen oder st\u00e4rker beleuchtet werden sollten; kurz um, unser<\/strong> Fokus erweitert sich um neue Aspekte<\/strong>. Im bereits erw\u00e4hnten Artikel meiner Kollegin<\/a>\u00a0wird deutlich, welche Faktoren besonderen Einfluss auf die Nutzung von Conversational AI haben. Diese und noch weitere Themenbereiche bieten sich auch an, im UX Research tangiert zu werden. Psychologische, ethische und sicherheitsrelevante Fragen geraten in den Fokus.<\/p>\n Bei der Durchf\u00fchrung von Interviews und Usability-Tests f\u00fcr Conversational AI ist es wichtig, flexibel zu sein und auf die unvorhersehbaren Wege der Interaktion einzugehen, die sich von denen bei traditionellen UIs unterscheiden. Dies m\u00fcssen wir auffangen und darauf reagieren k\u00f6nnen. Technik entwickelt sich rasant weiter, was zum einen bedeutet, dass Prototypen f\u00fcr Usability Tests zu Conversational AI technisch eher weit entwickelt sein m\u00fcssen, w\u00e4hrend man bei \u201eherk\u00f6mmlichen\u201c UIs auch reine Konzepte testen kann. Zum anderen ben\u00f6tigen wir anpassungsf\u00e4hige Research-Methoden, um mit neueren Entwicklungen \u00fcberhaupt Schritt halten zu k\u00f6nnen. Daher ist es notwendig, neue Metriken einzubeziehen oder zu entwickeln, um Aspekte wie Vertrauen und den Fluss der Konversation zu messen. Und, technische Herausforderungen (bei remote Research), wie Hintergrundger\u00e4usche oder Spracherkennung, spielen bei Conversational AI eine noch gr\u00f6\u00dfere Rolle.<\/p>\n Im Folgenden m\u00f6chte ich bei den drei klassischen Research-Methoden Interviews, Usability Tests und Befragungen\/Frageb\u00f6gen vorstellen, worauf man bei der jeweiligen Methode besonders achten sollte, wenn man sie beim UX Research zu Conversational AI anwendet. Um dies zu veranschaulichen, werde ich die Vorgehensweise jeweils an einem Beispiel erkl\u00e4ren: unser Assistentbot f\u00fcr Abwesenheit \u201eStevie Sloth\u201c. Die Idee daf\u00fcr war aufgekommen, als immer wieder von Unsicherheiten unserer Mitarbeitenden rund um An- und Abwesenheitszeiten berichtet wurde. Obwohl die Informationen dazu als bekannt erwartet wurden, kamen Fragen auf, die deshalb manchmal unangenehm zu stellen waren. Unser Ziel bei der Entwicklung des Bots war es, die Unsicherheit bei basalen Fragen zu An- und Abwesenheiten abzubauen.<\/p>\n Interviews sind eine UX Research Methode, bei der einige sorgf\u00e4ltig ausgew\u00e4hlte Personen eingehend befragt werden, mit dem Ziel, ein besseres Verst\u00e4ndnis des Nutzungskontextes zu erlangen.[2]<\/a><\/p>\n Bevor wir die Interviews durchf\u00fchren, m\u00fcssen wir zun\u00e4chst kl\u00e4ren, was wir in den Gespr\u00e4chen herausfinden wollen. Zentrale Themen sind hierbei die Erforschung des mentalen Modells der Nutzer*innen, ihre bisherigen Erfahrungen und die Herausarbeitung von User Needs, also den Bed\u00fcrfnissen der Nutzer*innen. Sp\u00e4ter wird dann entschieden, welche User Needs mit dem Produkt \u00fcberhaupt bedient werden sollen und ob eine Conversational AI \u00fcberhaupt die richtige L\u00f6sung ist. Zus\u00e4tzlich zu unseren regul\u00e4ren Fragen zum Nutzungskontext gilt es im Kontext von Conversational AI noch Weiteres zu erfragen, z.B. Besonderheiten im Sprachgebrauch\/Prompting, oder auch Einstellungen zu ethischen Fragestellungen, also Daten- und Informationsschutz, Verantwortlichkeit und Transparenz, sowie Ressourcenverbrauch.<\/p>\n Auch f\u00fcr unser internes Projekt, einen Assistentbot zum Thema \u201eAbwesenheit\u201c, haben wir UX Research durchgef\u00fchrt: Vier neue Kolleg*innen hatten sich bereit erkl\u00e4rt, im Januar 2024 Interviews durchzuf\u00fchren. Den daf\u00fcr erstellten Interviewleitfaden haben wir auf folgende drei Themen fokussiert:<\/p>\n Aus diesen Interviews konnten wir wichtige Erkenntnisse f\u00fcr die Entwicklung des Assistentbots herausziehen. Wichtig war z.B. f\u00fcr die Interviewpartner*innen, dass sie die Antwort auf eine Frage in dem Moment bekommen, in der sie auftaucht, anstatt beim Onboarding die Intranet-Seite zu Urlaubsantr\u00e4gen zu lesen und wieder zu vergessen. Auch wurde klar, dass Nutzer*innen individuelle, rollen- und themenspezifische Beantwortungen der Fragen ben\u00f6tigen, unter Ber\u00fccksichtigung des eigenen Arbeitsmodells, Arbeitszeit, Termin-Engp\u00e4ssen und Ressourcenplanung. Ein weiterer Punkt, den wir sicher vorher nicht auf dem Schirm hatten, war: Nutzer*innen m\u00f6chten selbst entscheiden, wen sie fragen; bei manchen Fragen kann es angenehmer sein, einen Chatbot zu fragen, anderes m\u00f6chte man lieber mit einem*einer Kolleg*in besprechen.<\/p>\n Auf Basis der Interviews haben wir User Needs abgeleitet und uns somit f\u00fcr die Konzeptionierung des Assistentbots auf drei Punkte fokussiert: Support und gutes Gef\u00fchl in dem Moment erhalten, wenn Fragen aufkommen, verbindliche Informationen (z.B. zu pers\u00f6nlichen Fristen) priorisiert erhalten, und selbstbestimmt eigenm\u00e4chtig und zielgerichtet-kommunikativ Urlaub beantragen.<\/p>\n Abbildung 3: Screenshot aus LeanScope AI<\/a><\/p><\/div>\n Entstanden ist aus diesen Ergebnissen \u2013 wie schon oben erw\u00e4hnt \u2013 unser neuer \u201eKollege\u201c Stevie Sloth. Stevie Sloth hat eine klare Roadmap mit aktivem Support und\/oder Hilfe zur Selbsthilfe. Er bietet Transparenz und Erwartungsmanagement zu n\u00e4chsten Schritten, User k\u00f6nnen selbst w\u00e4hlen, wie viel Support sie brauchen und er schickt Quellen zum Nachlesen mit. Bei der Entwicklung wurde ein Fokus auf \u201eTaking Turns\u201c gelegt, d.h., dass der Bot R\u00fcckfragen stellt, nachfragt, wie viel Support der*die Nutzer*in braucht (kurze oder lange Antwort), er selbst auf R\u00fcckfragen reagiert und Informationen \u00e0 la \u201eK\u00f6nnte dich auch interessieren\u201c anbietet. Dadurch werden Nutzer*innen mehr involviert, ihnen aktiv schneller Support geboten und Learnings gest\u00e4rkt.<\/p>\n In Usability Tests f\u00fchren repr\u00e4sentative Nutzer*innen ausgew\u00e4hlte Aufgaben in einem interaktiven System aus, mit dem Ziel, Probleme zu analysieren und Effektivit\u00e4t, Effizienz und Zufriedenstellung zu messen. [2]<\/a><\/p>\n Um Usability Tests durchzuf\u00fchren, m\u00fcssen wir zun\u00e4chst einmal definieren, wer an den Tests teilnehmen soll. Daf\u00fcr werden Screening-Kriterien f\u00fcr Proband*innen an die definierte Nutzendengruppe angepasst und dann entschieden, welche Anwendungsf\u00e4lle getestet werden sollen. Diese bereitet man dann in einem Testszenario vor mit einem Pre-Interview, dem Hauptteil mit den Aufgaben, sowie einem Post-Interview. Bei Usability Tests zu Conversational AI sollen Aufgaben durchaus auch vordefiniert werden, aber bestenfalls so, dass das Prompting vollst\u00e4ndig den Proband*innen \u00fcberlassen werden kann.<\/p>\n W\u00e4hrend der Durchf\u00fchrung wird gerne die Methode des lauten Denkens (\u201eThink aloud protocol\u201c) angewendet, d.h. dass Proband*innen zu Beginn des Tests gebeten werden, w\u00e4hrenddessen laut zu denken, also ihre Gedanken zu verbalisieren, w\u00e4hrend sie sich durch das User Interface bewegen. Wichtig bei Conversational AI ist es, Flexibilit\u00e4t zuzulassen, da viele verschiedene Interaktionswege m\u00f6glich sind, und keine Hinweise aufs Prompting zu geben. Bei Bedarf sollte man gezielte (R\u00fcck-)fragen stellen, um das zugrundeliegende mentale Modell aufzudecken. Bei der Beobachtung sollte der Fokus auf das Verhalten und Reaktionen der Proband*innen und auftretende Usability-Probleme gelegt werden, aber besonders auch auf den sprachlichen Ausdruck der Proband*innen in der Kommunikation mit der Conversational AI geachtet werden.<\/p>\n Diese Methode beschreibt ein Test-Vorgehen, bei dem Proband*innen mit einem Interface interagieren, das scheinbar autonom ist, aber (ganz oder teilweise) von einem Menschen gesteuert wird.[3]<\/a><\/p>\n Die Methode ist eine Abwandlung des klassischen Usability Tests und erfordert weniger technischen Aufwand, da eben eine weitere Person das Interface, in dem Fall die Conversational AI, steuert und die Antworten gibt. Sie bietet so die M\u00f6glichkeit, fr\u00fch in der Produktentwicklung Erkenntnisse \u00fcber die Interaktion mit Conversational AI zu sammeln und sehr detailliert zu erfassen, welche Erwartungen Nutzer*innen haben, wie sie Prompts formulieren und v.a. wie sie auf verschiedene Outputs reagieren.<\/p>\n Die erste Version von Stevie Sloth wurde auch direkt mit Usability Tests getestet, dabei sollten die Proband*innen zwei konkrete Aufgaben bearbeiten:<\/p>\n Beobachtungen, weitere R\u00fcckfragen zur wahrgenommenen User Experience und Screenshots, die zeigten, wie Proband*innen Prompts geschrieben haben, haben uns wertvolle Erkenntnisse geliefert, mit denen wir dann den Assistentbot verbessern konnten. Wer noch mehr zu Stevie Sloth und weiteren Assistentbot-Projekten erfahren will, kann gerne den Blogartikel meiner Kollegin Sarah<\/a> lesen.<\/p>\n Frageb\u00f6gen erlauben eine weniger detailliertere, aber daf\u00fcr breiter gestreute Erfassung von Daten, Fakten und Meinungen.<\/p>\n Zur Erfassung der UX von User Interfaces wird h\u00e4ufig der UEQ (User Experience Questionnaire)[4]<\/a> genutzt, denn er erfasst valide mehrere Facetten von Usability und User Experience: Attraktivit\u00e4t, Durchschaubarkeit, Effizienz, Steuerbarkeit, Stimulation und Originalit\u00e4t. Durch Alessandras Artikel<\/a> wissen wir, dass es bei Conversational AI weitere Faktoren gibt, die Einfluss auf die Nutzung und das Nutzungserlebnis haben. Hier bieten sich Frageb\u00f6gen an, um herauszufinden, wie die verschiedenen Faktoren empfunden werden und welche Rolle sie in einer definierten Nutzendengruppe spielen.<\/p>\n Der UEQ l\u00e4sst sich als UEQ+[5]<\/a> modular erweitern, mit Fragen, die zur Conversational AI passen; ob und wie genau Anweisungen verstanden werden, inwiefern der AI vertraut wird und sie als sicher, seri\u00f6s und transparent eingesch\u00e4tzt wird, oder auch ob das Antwortverhalten als nat\u00fcrlich und passend empfunden wird.<\/p>\n Es ist aber auch m\u00f6glich, spezifische Frageb\u00f6gen zu verwenden, wie die \u201eSemantic Differential Scale for AI Trust\u201c, in der kognitives und affektives Vertrauen \u00fcber verschiedene Subskalen und semantische Differentiale erfasst wird. Inzwischen existieren sogar Frageb\u00f6gen, die speziell die UX von Conversational AI messen m\u00f6chten, z.B. CASUX[6]<\/a>, in dem die Autor*innen auch Anthropomorphismus ber\u00fccksichtigen indem sie die \u201eMenschlichkeit\u201c der Conversational AI erfassen.<\/p>\n UX Research zu Conversational AI bringt Herausforderungen mit sich, f\u00fcr die man gewappnet sein sollte, die aber durch kleine Anpassungen \u2013 besonders in der Vorbereitung \u2013 gut umzusetzen sind. Wichtig ist es vor allem, Themen wie Vertrauen und zu bedenken, und insbesondere bei Usability Tests einen gewissen Grad an Flexibilit\u00e4t bereitzuhalten.<\/p>\n Essenziell ist aber vor allem \u00fcberhaupt UX Research durchzuf\u00fchren, denn nat\u00fcrlich kann dieser auch zu der Erkenntnis f\u00fchren, dass Conversational AI nicht die richtige L\u00f6sung ist, um die bestehenden User Needs zu bedienen. Conversational AI ist keine Universall\u00f6sung.<\/p>\n [1]<\/a> What is conversational AI? (2021, September 28). IBM<\/em>. https:\/\/www.ibm.com\/think\/topics\/conversational-ai<\/a><\/p>\n [2]<\/a> UXQB e.V. (2023). CPUX-F Curriculum Version 4.01.<\/em> UXQB. Abgerufen am 06.August 2025, von https:\/\/uxqb.org\/public\/documents\/CPUX-F_DE_Curriculum-und-Glossar.pdf<\/a><\/p>\n [3]<\/a> Paul, S., & Rosala, M. (2024, April 19). The Wizard of Oz Method in UX. Nielsen Norman Group.<\/em> https:\/\/www.nngroup.com\/articles\/wizard-of-oz\/<\/a><\/a><\/p>\n [4] Laugwitz, B., Held, T., & Schrepp, M. (2008, November). Construction and evaluation of a user experience questionnaire. In\u00a0Symposium of the Austrian HCI and usability engineering group<\/em>\u00a0(pp. 63-76). Berlin, Heidelberg: Springer Berlin Heidelberg.<\/p>\n [5]<\/a> Schrepp, M. (2021, October). Measuring user experience with modular questionnaires. In\u00a02021 International Conference on Advanced Computer Science and Information Systems (ICACSIS)<\/em>\u00a0(pp. 1-6). IEEE.<\/p>\n [6]<\/a> Faruk, L. I. D., Pal, D., Funilkul, S., Perumal, T., & Mongkolnam, P. (2024). Introducing CASUX: A Standardized Scale for Measuring the User Experience of Artificial Intelligence Based Conversational Agents. International Journal of Human\u2013Computer Interaction<\/em>, 1\u201325. https:\/\/doi.org\/10.1080\/10447318.2024.2359206<\/a><\/p>\n","protected":false},"author":76,"featured_media":0,"template":"","tags":[1002,1003,419,756],"class_list":["post-17824","blog","type-blog","status-publish","hentry","tag-bot","tag-chatbot","tag-user-research-de","tag-ux-research-de-2"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.centigrade.de\/de\/wp-json\/wp\/v2\/blog\/17824","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.centigrade.de\/de\/wp-json\/wp\/v2\/blog"}],"about":[{"href":"https:\/\/www.centigrade.de\/de\/wp-json\/wp\/v2\/types\/blog"}],"author":[{"embeddable":true,"href":"https:\/\/www.centigrade.de\/de\/wp-json\/wp\/v2\/users\/76"}],"version-history":[{"count":8,"href":"https:\/\/www.centigrade.de\/de\/wp-json\/wp\/v2\/blog\/17824\/revisions"}],"predecessor-version":[{"id":17847,"href":"https:\/\/www.centigrade.de\/de\/wp-json\/wp\/v2\/blog\/17824\/revisions\/17847"}],"wp:attachment":[{"href":"https:\/\/www.centigrade.de\/de\/wp-json\/wp\/v2\/media?parent=17824"}],"wp:term":[{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.centigrade.de\/de\/wp-json\/wp\/v2\/tags?post=17824"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}![\"LinkedIn](\"https:\/\/www.centigrade.de\/wordpress\/wp-content\/uploads\/Bild22-1-1500x593.png\")
Was ist Conversational AI?<\/h2>\n
\n
Welche Herausforderungen und Unterschiede gibt es beim UX Research zu Conversational AI?<\/h2>\n
![\"Zitat](\"https:\/\/www.centigrade.de\/wordpress\/wp-content\/uploads\/Bild33-1.png\")
Interviews im Kontext von Conversational AI<\/h2>\n
Unser Assistentbot f\u00fcr Abwesenheit: Interviews<\/h2>\n
\n
![\"Screenshot](\"https:\/\/www.centigrade.de\/wordpress\/wp-content\/uploads\/Bild44-1-1500x650.png\")
Usability Tests im Kontext von Conversational AI<\/h2>\n
Wizard-of-Oz-Methode als Abwandlung des klassischen Usability Tests<\/h2>\n
Unser Assistentbot f\u00fcr Abwesenheit: Usability Tests<\/h2>\n
\n
Frageb\u00f6gen<\/h2>\n
Fazit<\/h2>\n
Quellen<\/h2>\n