ChatGPT auf dem Management-Prüfstand: der„Elchtest reloaded“

ChatGPT ist ein Chatbot, der auf maschinellem Lernen beruht und mit künstlicher Intelligenz in den textbasierten Dialog mit dem User tritt. Das System wird vom amerikanischen Unternehmen OpenAI vorangetrieben, erstmals öffentlich zugänglich war es im November 2022.

In den vergangenen Wochen hat sich ChatGDP zum öffentlichen Paradebeispiel für Künstliche Intelligenz entwickelt und die Diskussion über diese Entwicklungsstufe der Digitalisierung in die Breite getragen und beflügelt. Doch was kann das System wirklich – vor allem aus Businesssicht? Kann es das Management unterstützen und entlasten? Oder vielleicht sogar substituieren? Und kann man dazu mit einem einfachen User-Test auch wirklich brauchbare Einschätzungen gewinnen?

Ich habe am 24. Jänner 2023 einen ersten User-Test gemacht, ob und wie sich ChatGPT ggf. als Unterstützer für Managementaufgaben einsetzen lässt (hier zum LInkedin-Article: bit.ly/40mHuVY). Dazu habe ich dem System drei Aufgaben gestellt und seine Performance bewertet. Eines vorweg: Mein Beitrag unter dem Titel „ChatGTP als Instrument für das Management? Ein Elchtest…“ löste eine Welle an direkten persönlichen Rückmeldungen aus – von wichtigen Infos, die meine Bewertung nachträglich in ein anderes Licht rückten über die Frage, warum ich eine Anweisung an ein technisches System mit den Worten „bitte“ versehe bis hin zum Ersuchen an mich, doch früher als geplant einen Retest zu machen und zu veröffentlichen.

Daher hier mit diesem Beitrag ein „Elchtest reloaded“ – bereits nur gut eine Woche nach dem ersten Test und nicht wie ursprünglich geplant im 2. Quartal 20223! :)

Bei meinem ersten Test ging ich sehr ad-hoc an das Thema heran. Das ist auch legitim. Denn man kann damit argumentieren, dass man ein KI-System so bedient, wie es im Alltag als durchaus realistisch erscheint: schnell, unstrukturiert, undetailliert.

Man kann oder besser muss die Argumentation aber auch umdrehen: Durch das gezielte eigene Verhalten im Umgang mit dem KI-Tool kann man dessen Performance exorbitant erhöhen. Das ist ein wichtiger Aspekt, der noch mehr in den Mittelpunkt zu rücken ist: „Nicht das System ist schuld, sondern der User!“ Das gilt zwar nicht als automatische Grundregel, aber in vielen Fällen suboptimaler Systemperformance ist dazu sehr viel dran.

Plakatives analoges Beispiel aus der analogen Welt: Ein Auto mit Handschaltung fahre ich auch nicht durchgängig im 4. Gang, sondern hole die beste Leistung durch angepasstes Schaltverhalten heraus. Versuche ich im 4. Gang wegzufahren, was so seitens der Autokonstrukteure auch nicht vorgesehen ist, wird das Auto zwar nach vorne springen, ein Anfahren mit dem 1. Gang – wie vorgesehen – und ein sukzessives Hochschalten bringt aber die mögliche optimale Performance.

Was heißt das übersetzt auf die Anwendung von ChatGPT – zumindest in der Theorie vor meinem Retest? Beim ersten Testlauf habe ich bewusst kurze und eher überblicksmäßige Aufgabenstellungen bei ChatGPT platziert – und habe dabei „menschlich gedacht“: Gibt man einem Menschen eine eher allgemeine Aufgabe, dann überlässt man ihm damit Interpretations- und Gestaltungsspielraum und es sollte ihm so in der Regel etwas leichter fallen, die Aufgabe gut zu lösen. Vor allem dann, wenn er im Thema nicht so gut drinnen ist. Mangelnde Präzision in der Aufgabenstellung kann also dabei helfen, die Performance zu verbessern.

Bei KI ist es, zumindest der Theorie nach, genau umgekehrt: Je präziser, detaillierter und strukturierter der Input durch den User, desto besser und treffender der Output durch die KI. Denn umso besser kann KI aus ihrer verfügbaren Datensammlung extrahieren und verknüpfen.

Learning: Denke im Umgang mit KI wie ein präzises System. ;-)

…zumindest wenn man Anwendungsbeispiele von ChatGPT verfolgt. So kann das System beispielsweise Aufgaben in Excel übernehmen und den User spürbar entlasten ( bit.ly/3DDAKJt – vielen Dank an Petra Drews-Milalkovits für diesen Input). Das ist eine Anwendung von ChatGPT, die zumindest ich vorher nicht am Radarschirm hatte – ein Chatbot und ein Tabellenkalkulationsprogramm? Klingt spannend, ist letztlich aber dann doch gar nicht so überraschend, denn die digitalen Wurzeln sind dieselben.

Oder ein anderes konkretes Beispiel: Kürzlich rauschte der mediale Blätterwald mit der Meldung, dass ChatGPT einen MBA-Kurs der renommierten Wharton School in den USA  erfolgreich absolvieren konnte. (z. B. hier ein Bericht der Süddeutschen Zeitung dazu: bit.ly/3jtT94K).

Auch wenn sich die Aufgabenstellung einigen Berichten folgend als deutlich weniger elitär entpuppte, als der Name Wharton School annehmen lässt, so zeigt dieses Beispiel, dass ChatGPT schon jetzt Hürden gehobener menschlicher Bildungssysteme schafft.

Learning: “KI? Think really big!”

Ein Feedback nach meinem ersten User-Test ließ mich schmunzelnd zurück – adressiert aber ein spannendes Thema: Warum ich denn eine künstliche Intelligenz in meinem Befehl um etwas bitte?

Meine Antwort dazu ist klar: Ein höflicher Ton ist für mich eine Art „Hygienefaktor“ bzw. Grundkultur. Auch wenn ich nicht muss, finde ich Wertschätzung einfach besser – und das ziehe ich durch. Das „Bitte“ kam bei meiner Anweisungsformulierung an ChatGPT automatisch, ich hatte nicht großartig darüber nachgedacht, bewusst eine andere Formulierung zu wählen, nur weil ich jetzt mit einer KI kommuniziere… ;-)  

Klar ist: ChatGPT kann bei wertschätzender Formulierung deswegen nicht besser performen. Menschen schon. Es wird nicht mehr lange dauern und wir werden in Interaktionen nicht mehr wissen, ob wir einen Menschen oder eine Künstliche Intelligenz als Interaktionspartner vor uns haben.

Kein Learning, aber eine Empfehlung: Also warum nicht gleich generell wertschätzend agieren und damit positive Vibes verbreiten – sogar Richtung einer KI? Hilft es dieser nichts, hilft es zumindest einem selbst. Positives vibes und so… :)

Starten wir also mit dem Retest. Ich habe für ChatGPT dieses Mal zwei Aufgaben vorbereitet und möchte dabei das Userverhalten stärker anpassen, um gute Performancebedingungen für chatGPT zu sichern.

Ich füttere ChatGPT mit einigen grundlegenden von mir erfundenen Daten zu einer fiktiven Firma:

Die Kokosnuss AG hat ihre Zentrale in Wien und Zweigstellen in Dornbirn, Eisenstadt und Klagenfurt. Die AG hat 1.250 Mitarbeiter. Das Unternehmen erzeugt Leuchtstoffröhren. Der Umsatz betrug 2020 250 Mio Euro und 2021 265 Mio Euro. Das EBIT wurde 2020 mit 1,2 Mio Euro ausgewiesen, 2022 mit 1,65 Mio Euro. Die AG ist zu 35 % im Besitz der Familie Maierhofer, die restlichen 65 % sind in Streubesitz.

Dann ersuche ;-) ich das KI-System um folgende Bearbeitung:

Bitte schreibe ein kurzes Vorwort für den Geschäftsbericht der Kokosnuss AG.

In der ersten Antwort verfasst ChatGPT ein sehr allgemeines Vorwort, in dem die Kokosnuss AG zwar namentlich vorkommt, aber sonst keine weitere der eingebrachten Informationen verarbeitet ist.

Ich wiederhole die Aufgabenstellung nochmals, dann bekomme ich als Antwort von ChatGPT folgenden Entwurf:

Antwort ChatGPT:

Sehr geehrte Leserinnen und Leser,

ich freue mich, Ihnen den Geschäftsbericht der Kokosnuss AG für das Jahr 2022 vorzulegen. Die Kokosnuss AG, mit Hauptsitz in Wien und Zweigstellen in Dornbirn, Eisenstadt und Klagenfurt, ist ein führendes Unternehmen in der Herstellung von Leuchtstoffröhren. Mit 1.250 Mitarbeitern hat das Unternehmen eine solide Basis für kontinuierliches Wachstum.

Ich bin stolz darauf, dass die Kokosnuss AG im Jahr 2022 einen Umsatz von 265 Millionen Euro erzielen und ein EBIT von 1,65 Millionen Euro ausweisen konnte. Dies ist ein Beleg für die hohe Qualität unserer Produkte und den Einsatz unserer Mitarbeiter.

Die Kokosnuss AG ist zu 35 % im Besitz der Familie Maierhofer und 65 % sind im Streubesitz. Wir glauben an eine transparente und offene Kommunikation mit allen Aktionären und Stakeholdern.

Ich danke Ihnen für Ihr Interesse an der Kokosnuss AG und freue mich auf eine erfolgreiche Zusammenarbeit in der Zukunft.

Mit freundlichen Grüßen,

[Name des CEO oder Vorstandsvorsitzenden]

Fazit: ChatGPT unterstreicht mit der Lösung dieser ersten Aufgabe des Retests, was sich schon im ersten Test schon abgezeichnet hat: Seine Mächtigkeit hängt in hohem Maße davon ab, wie man als User das System informiert und einsetzt. Ich habe mich bei dieser ersten Aufgabe nicht alleine auf die verfügbare – für mich „amorphe“, weil schon alleine aufgrund der Größe nicht transparenten – Datenlage verlassen, auf die ChatGPT zurückgreifen kann, sondern dem System noch detailliertere Infos als Briefingbasis beigestellt. Und dann im zweiten Schritt die Aufgabe an ChatGPT gestellt.

Bewertung: Die von mir ins Rennen geschickte Aufgabenstellung ist nicht sehr komplex, dennoch muss man sich vor Augen halten: Eine nicht menschliche und nicht lebendige Intelligenz lernt durch meine Eingabe neue Daten und verknüpft sie mit emotionalen und in Summe gut passenden Botschaften zu einem beauftragten (sorry, darum gebetenen ;-)) Content.

Es gäbe viele Menschen, die diese Aufgabenstellung nicht so gut und vor allem auch nicht so rasch umsetzen könnten. Denn der Beitrag wird in gefühlten rund 30 Sekunden erstellt. Man kann ChatGTP beim Schreiben auf dem Bildschirm zusehen.

Daher: "Gut". Nicht „Sehr gut“, weil es – für mich persönlich – vom Stil her etwas zu blumig für einen Geschäftsbericht ist und mir einige „Management-Buzzwords“ fehlen. Und weil ChatGPT beim ersten Versuch doch deutlich daneben lag, außer dem Firmennamen hatte das System keine weiteren von mir beigestellten Daten verwendet. Erst eine Wiederholung brachte das hier präsentierte Ergebnis.

Das war aber wohl einer Überlastung des Systems geschuldet. Beides zeigt aber auch die Grenzen von ChatGPT auf. Wobei: Auch menschliche Performance ist ganz klar limitiert. Und Geschmäcker beim Stil können durchaus verschieden sein…

Damit komme ich meiner 2. Aufgabe. Beim ersten Test im Jänner 2023 habe ich ChatGPT mit einer Recherche, ebenfalls einer Content-Creation und einer Basiskonzeption auf die Probe gestellt. Als Aufgabe 2 möchte ich dieses Mal ein neues Themenfeld probieren: eine Business-Analyse.

Den eigenen Learnings folgend versuche ich ein Szenario aufzubauen, das einen detaillierteren themenspezifischen Datenkomplex bereitstellt, den ChatGTP mit seinem riesigen eigenen Datenpool abgleichen kann. Kann er daraus auch Rückschlüsse und analytische Aussagen treffen? Damit es etwas schwieriger ist, streue ich Informationen ein, die für die Analyse nicht wirklich von Relevanz sind. Ich bin gespannt…

Ich gebe ChatGPT wieder ein fiktives Datenset als Grundlage für die Aufgabe:

Die ABC GmbH wurde am 01. Februar 2010 in Wien von Hans-Peter Daniel und Andrea Kralowitsch als Designagentur gegründet. Hans-Peter Daniel hat Industriedesign an der Universität für angewandte Kunst in Wien studiert, Andrea Kralowitsch Betriebswirtschaft in Linz. Die beiden Unternehmensgründer bringen jeweils EUR 50.000,- in das Unternehmen ein, das Unternehmen gehört jedem der beiden zu 50 %. Das Unternehmen hat so ein Startkapital von EUR 100.000,-. In der Zeitspanne Februar bis Dezember 2010 setzt die ABC GmbH EUR 80.000,- um. In dieser Zeit fallen Kosten in Höhe von insgesamt EUR 65.000,- an. Im Rumpfjahr 2010 beträgt der Gewinn der ABC GmbH EUR 15.000,-.

2011 beträgt der Jahresumsatz EUR 270.000,-. Die Kosten steigen 2011 auf EUR 155.000,-. Der Gewinn 2011 beträgt EUR 115.000,-.

2012 setzt die ABC GmbH EUR 190.000,- um, die Kosten belaufen sich aufgrund von Sonderausgaben auf EUR 225.000,-. Der Verlust im Jahr 2012 beträgt für die ABC GmbH EUR 35.000,-.

2013 kann das Unternehmen EUR 340.000,- umsetzen, die Kosten in diesem Jahr belaufen sich auf EUR 280.000,-. Das Unternehmen macht 2013 einen Gewinn von EUR 60.000,-.

Mit Jahresende 2013 schließen Hans-Peter Daniel und Andrea Kralowitsch das Unternehmen.

Dann bitte das KI-System um folgende Bearbeitung:

Erstelle bitte für die ABC GmbH eine kurze Bilanzanalyse und führe zum Schluss an, wie viel Kapital Hans-Peter Daniel und Andrea Kralowitsch nach der Schließung des Unternehmens ausgezahlt bekommen. Zieh für die Berechnung der Auszahlung nur die Kapitaleinzahlung bei der Unternehmensgründung und die Gewinne bzw. Verluste der ABC GmbH bis zur Schließung des Unternehmens 2013 heran. Verfasse deine Antwort auf Deutsch.

Antwort ChatGPT:

Bilanzanalyse ABC GmbH:
In den Jahren 2010 bis 2013 hatte die ABC GmbH einen Gesamtumsatz von EUR 800.000, wobei in den Jahren 2010 und 2011 ein Gewinn erwirtschaftet wurde und in 2012 ein Verlust angefallen ist. Mit einem Gesamtgewinn von EUR 130.000 in den Jahren 2010 und 2011, sowie einem Verlust von EUR 35.000 im Jahr 2012, beträgt das Kapital am Ende des Jahres 2013 EUR 195.000.
Auszahlung für Hans-Peter Daniel und Andrea Kralowitsch:

Da die beiden Gründer zu gleichen Teilen Eigentümer des Unternehmens sind, bekommen sie jeweils die Hälfte des verbleibenden Kapitals ausgezahlt, was EUR 97.500 beträgt.
Zusammenfassend haben Hans-Peter Daniel und Andrea Kralowitsch nach der Schließung des Unternehmens insgesamt EUR 97.500 ausgezahlt bekommen.

Fazit: Ganz offen, nachdem ChatGDP auswirft, bin ich erst einmal baff, denn zwischen dem Briefing und dem Ergebnis liegt doch ein ganz schönes Stück an Analyse- und Interpretationsarbeit. ChatGPT kann mit den ihm vorliegenden Angaben Gewinne bzw. Verluste bewerten, Summen bilden und erkennt aufgrund der genannten Eigentumsverteilung, dass eine Kapitalaufteilung zu je 50 % korrekt ist.

Mein „Briefing mit Daten“ verarbeitet ChatGPT, indem es die englische Übersetzung anzeigt.

Dieses Mal muss ich dem System noch ergänzend anführen, es möge die Antwort auf Deutsch geben. Was es dann auch macht – beim ersten Versuch war die Antwort auf meine Aufgabe 2 noch auf Englisch ausgeführt.

ChatGPT schnalzt die Antwort wiederum in gefühlten 30 Sekunden auf den Screen. Und ad hoc sieht alles korrekt aus. Der Aufbau der Bilanzanalyse ist schlüssig. Keine Frage: Es hätten noch KPIs berechnet werden können, aber die Grundlagen und vor allem die Kernaufgabenstellung mit der Angabe eines Auszahlungsbetrages für die beiden Unternehmenseigentümer*innen hat das System geliefert.

Nun mache ich mich daran, die Zahlen zu berechnen und die Angaben von ChatGPT zu verifizieren. Und ehrlich: Ich brauche für die Berechnung des Ergebnisses mit dem Taschenrechner länger als 30 Sekunden… und hätte dann noch immer keinen einzigen Satz als kurze Bilanzanalyse verfasst, ChatGPT ist zu diesem Zeitpunkt schon längst fertig. Also wow!

Jetzt folgt allerdings das ABER: Die von ChatGPT als Ergebnis angegebenen Beträge sind teilweise falsch! Der Gesamtumsatz beträgt korrekt EUR 880.000,- und nicht wie ChatGPT angibt EUR 800.000,-. Bei der Gewinnbetrachtung lässt ChatGPT den Jahresgewinn 2013 über EUR 60.000,- unter den Tisch fallen: Der Gesamtgewinn beträgt demnach EUR 155.000,- und nicht EUR 95.000,-. Das insgesamt zu verteilende Kapital macht so EUR 255.000,- aus und nicht EUR 195.000,-, die beiden Gesellschafter erhalten letztlich je EUR 127.500,- und nicht EUR 97.500,-.

Bewertung: ChatGTP hat den Kern der Aufgabe falsch gelöst: Wesentliche Zahlen sind nicht korrekt, das gilt auch für den erfragten Auszahlungswert, den die beiden Unternehmenseigentümer nach Schließung des Unternehmens erhalten sollen. Trotzdem finde ich Geschwindigkeit, Struktur und grundsätzliche Logik bemerkenswert, die „intelligente Leistung dahinter“ ist aus meiner Sicht beeindruckend. Daher nicht „Nicht genügend“, sondern „Genügend“ – verbunden mit dem Eindruck, dass diese Fehler aufgrund der rasanten Entwicklung bei KI bald der Vergangenheit angehören werden.

KI wie ChatGPT werden unsere Welt radikal verändern – das kann man ohne Übertreibung heute feststellen. Und das teasert der zweite „Elchtest“ vehement an. KI ist definitiv ein GameChanger. Wir sollten dabei weltweit darauf achten und darauf Wert legen, dass sich zwar das Spiel ändert, wir aber weiterhin die Regeln bestimmen – zu 100 %.

Doch das war nicht Teil der "Forschungsfrage" bei diesem kleine Restest. Meine Frage lautete: Kann ChatGPT dem Management einer Organisation Nutzen bringen und es unterstützen? Kann es ein Managementtool darstellen? Und diese Antwort lautet schon jetzt: ja.

• Wenn man das System richtig bedient: Je unpräziser und vager die Vorgaben, desto schlechter das Ergebnis. Aber ist das nicht immer so, egal ob der "Befehlsempfänger" ein Mensch oder ein System ist? Der Mensch kann hier Ungenauigkeiten und Freiräume meines Erachtens allerdings momentan noch deutlich besser nützen als eine KI.
• Wenn man beim Briefing auf Validität, Genauigkeit und bestmögliche Vollständigkeit achtet – was man bei Briefings ohnehin tun sollte, auch wenn im daily business viel zu oft das Gegenteil der Fall ist.
• Und wenn man das Ergebnis kritisch reflektiert. Denn aktuell sind Antworten von ChatGTP noch fehleranfällig. Doch man kann davon ausgehen, dass die Qualität mit jedem Tag der Forschung und Entwicklung besser werden wird.

Mit anderen Worten: Man muss mit KI als Managementtool so umgehen wie schon jetzt mit anderen Tools auch. Es kommt auf den Input und die Basis an. Und auf die Kontrolle. Der Prozess selbst wird mit jedem Tag besser.

KI ist also schon jetzt in der Lage, dem Management zuzuarbeiten. Es ist aber zum heutigen Zeitpunkt noch nicht in der Lage, Management im Sinne von Leadership zu ersetzen. Ob das ein Ziel sein soll, kann man diskutieren. Ob KI es jemals von ihrer Performance schaffen würde oder wird, scheint aber meines Erachtens sehr wahrscheinlich zu sein.

Als im wahrsten Sinne des Wortes kongenialer Counterpart – und das nicht nur im Management – wird KI aber schon bald mit extrem hoher, beeindruckender Leistung als Assistent und Performancebeschleuniger in der Breite zur Verfügung stehen. Schon jetzt setzen viele Unternehmen in unterschiedlichsten Prozessen auf KI.  Künstliche Intelligenz wie ChatGPT macht aber eine zusätzliche Türe für neue Entwicklungsfelder auf. 

Die Zeichen stehen auf "(digital) world reloaded"...