Wie KI das Zuhören verändert

Sie haben vor rund zwei Jahren begonnen, Freitextkommentare mithilfe von KI auszuwerten. Aus welchen Quellen stammen diese Kommentare, und wie häufig werden sie erhoben?

Timm Süss: Wir arbeiten schon sehr lange und regelmässig mit Mitarbeiterumfragen. Wir unterscheiden zwei Arten von Umfragen: die klassischen Engagement-Umfragen und die Employee-Experience-Umfragen, die kontinuierlich über das Jahr laufen. Beide generieren Freitexte und ergänzen sich. Mit systematischen KI-basierten Auswertungen sind wir ca. 2023 gestartet. Die KI ist seither ein zusätzliches Tool neben unseren klassischen quantitativen Analysen.

Désirée Abric: Wir haben mehrere Umfrageformate, weshalb sehr viele Kommentare entstehen. So führen wir nicht nur eine jährliche Mitarbeiterbefragung durch, sondern bis zu vier Umfragen pro Jahr, wobei es gruppenübergreifende und länderspezifische Fragen gibt. Die Employee-Experience-Umfragen werden zwölf Mal pro Jahr durchgeführt, und zwar jeweils auf einer zehnprozentigen Stichprobe. Die Stichprobe ist so aufgebaut, dass niemand zweimal hintereinander befragt wird. In all diesen Formaten gibt es Freitextfelder. Die Kommentare exportiere ich jeweils in einen Report und analysiere sie dann mit Copilot. In einer aktuellen Umfrage hatten wir rund 5900 Kommentare. Das kann man qualitativ gar nicht mehr von Hand auswerten.

Wie arbeiten Sie konkret mit Copilot, wenn Sie die Freitextkommentare analysieren?

Abric: Mit Copilot zu arbeiten, ist keine Ein-Prompt-Aufgabe. Es ist eine echte Konversation. Das war eines meiner grössten Learnings. Der gleiche Prompt liefert nicht immer dasselbe Ergebnis, und KI neigt dazu, impliziten Annahmen zuzustimmen. Man muss also sehr präzise fragen. Ich gehe in mehreren Schritten vor. Zuerst gebe ich alle Kommentare in Copilot ein und bitte um eine Übersicht: Was sind die Themen? Welche Gefühle und Stimmungen tauchen auf? Welche Nuancen gibt es? Dann vertiefe ich: Was wird zu jeder einzelnen Fragenkategorie gesagt? Welche übergreifenden Themen gibt es? Welche Zusammenhänge und Muster kommen vor? Und wenn ein Thema wichtig erscheint, lasse ich mir prototypische Aussagen dazu herausfiltern. Copilot findet diese prototypischen Aussagen zuverlässig. Aber: Er fasst manchmal Kommentare zusammen. Das kann sinnvoll sein, wenn jemand einen ellenlangen Kommentar schreibt und nur ein Satz relevant ist. Wenn ich allerdings einen Beispielwortlaut brauche, muss ich immer den Originaltext prüfen. Die Analyse ist also eine Konversation, kein automatisierter Vorgang. Und es braucht Erfahrung im Umgang mit KI, vor allem, weil man die Ergebnisse immer verifizieren muss.

Was hat sich qualitativ verändert, seit Sie KI im Employee-Listening einsetzen?

Süss: KI hilft uns, die Brücke zwischen qualitativen und quantitativen Daten viel besser zu schlagen. Früher bestand die Gefahr eines Halo-Effekts: man liest einen besonders positiven oder negativen Kommentar und generalisiert diesen auf die gesamte Population. Heute können wir qualitative Daten systematisch kategorisieren und daraus wieder quantitative Trends ableiten. Das macht die Analyse viel robuster.

Abric: Wir erhalten sehr viel schneller einen Überblick: Was bewegt die Menschen? Welche Stimmungen liegen vor? Welche Themen tauchen quer zu den eigentlichen Fragestellungen auf? Ohne KI wäre das kaum machbar. Aber: KI ersetzt nicht die menschliche Interpretation.

Können Sie das anhand eines Beispiels illustrieren?

Abric: Ich habe zum Beispiel in einer Kategorie eine auffällige Tonalität in den Kommentaren festgestellt. Das sind wichtige Signale, gerade in Veränderungszeiten. Die KI hätte mir diese Tonalität nicht explizit als zentrales Muster herausgehoben. Das erkennt man erst, wenn man wirklich liest. «Know your data» bleibt zentral.

Wie gehen Sie intern mit den Ergebnissen um? Wer sieht was?

Abric: Mitarbeitende können die quantitativen Ergebnisse ihrer Teams einsehen. Führungspersonen sehen auch die anonymisierten Kommentare ihrer Teams. Ich selbst analysiere die gruppenübergreifenden Fragen und bereite die wichtigsten Erkenntnisse für das Group Strategy Board auf, inklusive exemplarischer – natürlich anonymisierter – Kommentare. Auf Anfrage führe ich zusätzliche Analysen durch, etwa für einzelne Bereiche oder Ländereinheiten.

Süss: Wir arbeiten mit einem Self-Service-Dashboard. Früher mussten wir PDF-Berichte verschicken, das ist jetzt zum Glück vorbei. Führungskräfte können Analysen selbst zusammenstellen, Präsentationsvorlagen nutzen und mit ihren Teams diskutieren. HR Business Partner haben zusätzliche eingeschränkte Filtermöglichkeiten für einige wenige demografische Gruppen, aber alles unter strengen Anonymisierungsregeln, so dass keine Rückschlüsse auf einzelne Personen gezogen werden können.

Welches Tool nutzen Sie für das Dashboard?

Abric: Für die Engagement-Umfragen verwenden wir Glint, und Glint erstellt auch das Dashboard. Die Employee-Experience-Umfragen laufen über eine separate Infrastruktur auf eigenen Servern mit strengeren Anonymisierungs­regeln.

Wie stellen Sie sicher, dass datenschutzrechtliche Vorgaben eingehalten werden?

Süss: Jede neue Technologie durchläuft bei uns ein Gremium, in dem unter anderem Datenschutz und Informationssicherheit vertreten sind. Wir arbeiten intensiv mit unserem Datenschutzbeauftragten zusammen. In Deutschland kommt der Austausch mit dem Betriebsrat dazu. Wir haben eine vertragliche und eine technische Firewall: Glint sammelt die Daten, darf sie aber nicht individuenbezogen an uns weitergeben. Auswertungen sind erst ab einer Mindestanzahl möglich. Filter lassen sich nicht so kombinieren, dass jemand identifizierbar würde. Das ist zentral: ohne Vertrauen füllt niemand eine Umfrage aus.

Abric: Und es braucht Sensibilität im Umgang mit den Daten. Zugriff erfolgt bei uns strikt auf einer Need-to-know-Basis.

Wie verhindern Sie Verzerrungen – durch unterschiedliche Gruppen oder durch die KI selbst?

Abric: In der Kommentaranalyse nutze ich keine demografischen Daten, sondern nur den Text. KI kann dennoch verzerren, indem sie zum Beispiel immer wieder dieselben Kommentare als Beispiele nutzt. Genau deshalb mache ich mehrstufige Analysen und verifiziere die Ergebnisse immer wieder an den Originaltexten.

Süss: Vor der Nutzung von KI war die Verzerrungsgefahr grösser, weil qualitative Daten nur exemplarisch genutzt wurden. Heute können wir qualitative Daten viel präziser kategorisieren und quantitativ auswerten. Das macht die Analysen stabiler.

Haben KI-Analysen Ihnen geholfen, Fluktuationsprognosen zu verbessern?

Süss: Für Prognosen stützen wir uns primär auf validierte quantitative Fragen zur Verweilmotivation. KI wird relevant, wenn es darum geht, Gründe zu verstehen, warum jemand sagt, dass er oder sie möglicherweise bald geht. Dort liefern die Freitextkommentare wertvolle Hinweise.

Abric: Glint bietet zudem Treiberanalysen, die zeigen, ­welche Faktoren bestimmte Werte besonders stark beeinflussen.

Welche Schritte empfehlen Sie Unternehmen, die neu mit KI-gestützten Textanalysen starten wollen?

Süss: Zuerst braucht es ein klares Konzept: Was wollen wir erreichen? Dann eine rechtliche Abklärung, gerade mit Blick auf Datenschutz und EU-AI-Act. Und es braucht eine technische Umgebung, die diese Anforderungen erfüllt und Vertrauen schafft.

Abric: Es ist wichtig zu klären: Wer macht die Analyse? Es braucht Expertise im Umgang mit KI und mit Dateninterpretation. Die Analyse ist schonungslos, und dann heisst es: Handeln! Wenn nichts passiert, hören Mitarbeitende irgendwann auf zu kommentieren. Der wichtigste Tipp ist: Wenn man Daten erhebt, muss man auch etwas damit ­machen.