/ Kommunikation & Strategie

ChatGPT auf dem Management-PrĂŒfstand: der„Elchtest reloaded“

MMag. Dr. Peter Weixelbaumer
Strategie & Consulting, CEO cs2 Communication & Strategy Services

ChatGPT „hyped“ bis tief hinein in Gesellschaftsschichten, die beim Begriff „KĂŒnstliche Intelligenz“ bis dato eher an den Film „Terminator“ als an eine reale Anwendung gedacht haben. Doch kann ChatGPT das Management unterstĂŒtzen? Oder ist es mehr ein Spielzeug als ein Tool? Hier mein Retest


Was bisher geschah


ChatGPT ist ein Chatbot, der auf maschinellem Lernen beruht und mit kĂŒnstlicher Intelligenz in den textbasierten Dialog mit dem User tritt. Das System wird vom amerikanischen Unternehmen OpenAI vorangetrieben, erstmals öffentlich zugĂ€nglich war es im November 2022.

In den vergangenen Wochen hat sich ChatGDP zum öffentlichen Paradebeispiel fĂŒr KĂŒnstliche Intelligenz entwickelt und die Diskussion ĂŒber diese Entwicklungsstufe der Digitalisierung in die Breite getragen und beflĂŒgelt. Doch was kann das System wirklich – vor allem aus Businesssicht? Kann es das Management unterstĂŒtzen und entlasten? Oder vielleicht sogar substituieren? Und kann man dazu mit einem einfachen User-Test auch wirklich brauchbare EinschĂ€tzungen gewinnen?

Ich habe am 24. JĂ€nner 2023 einen ersten User-Test gemacht, ob und wie sich ChatGPT ggf. als UnterstĂŒtzer fĂŒr Managementaufgaben einsetzen lĂ€sst (hier zum LInkedin-Article: bit.ly/40mHuVY). Dazu habe ich dem System drei Aufgaben gestellt und seine Performance bewertet. Eines vorweg: Mein Beitrag unter dem Titel „ChatGTP als Instrument fĂŒr das Management? Ein Elchtest
“ löste eine Welle an direkten persönlichen RĂŒckmeldungen aus – von wichtigen Infos, die meine Bewertung nachtrĂ€glich in ein anderes Licht rĂŒckten ĂŒber die Frage, warum ich eine Anweisung an ein technisches System mit den Worten „bitte“ versehe bis hin zum Ersuchen an mich, doch frĂŒher als geplant einen Retest zu machen und zu veröffentlichen.

Daher hier mit diesem Beitrag ein „Elchtest reloaded“ – bereits nur gut eine Woche nach dem ersten Test und nicht wie ursprĂŒnglich geplant im 2. Quartal 20223! :)

Beim Testen steht auch der Tester selbst am PrĂŒfstand


Bei meinem ersten Test ging ich sehr ad-hoc an das Thema heran. Das ist auch legitim. Denn man kann damit argumentieren, dass man ein KI-System so bedient, wie es im Alltag als durchaus realistisch erscheint: schnell, unstrukturiert, undetailliert.

Man kann oder besser muss die Argumentation aber auch umdrehen: Durch das gezielte eigene Verhalten im Umgang mit dem KI-Tool kann man dessen Performance exorbitant erhöhen. Das ist ein wichtiger Aspekt, der noch mehr in den Mittelpunkt zu rĂŒcken ist: „Nicht das System ist schuld, sondern der User!“ Das gilt zwar nicht als automatische Grundregel, aber in vielen FĂ€llen suboptimaler Systemperformance ist dazu sehr viel dran.

Plakatives analoges Beispiel aus der analogen Welt: Ein Auto mit Handschaltung fahre ich auch nicht durchgĂ€ngig im 4. Gang, sondern hole die beste Leistung durch angepasstes Schaltverhalten heraus. Versuche ich im 4. Gang wegzufahren, was so seitens der Autokonstrukteure auch nicht vorgesehen ist, wird das Auto zwar nach vorne springen, ein Anfahren mit dem 1. Gang – wie vorgesehen – und ein sukzessives Hochschalten bringt aber die mögliche optimale Performance.

Learning: Denke daran, was KI zum Performen braucht

Was heißt das ĂŒbersetzt auf die Anwendung von ChatGPT – zumindest in der Theorie vor meinem Retest? Beim ersten Testlauf habe ich bewusst kurze und eher ĂŒberblicksmĂ€ĂŸige Aufgabenstellungen bei ChatGPT platziert – und habe dabei „menschlich gedacht“: Gibt man einem Menschen eine eher allgemeine Aufgabe, dann ĂŒberlĂ€sst man ihm damit Interpretations- und Gestaltungsspielraum und es sollte ihm so in der Regel etwas leichter fallen, die Aufgabe gut zu lösen. Vor allem dann, wenn er im Thema nicht so gut drinnen ist. Mangelnde PrĂ€zision in der Aufgabenstellung kann also dabei helfen, die Performance zu verbessern.

Bei KI ist es, zumindest der Theorie nach, genau umgekehrt: Je prĂ€ziser, detaillierter und strukturierter der Input durch den User, desto besser und treffender der Output durch die KI. Denn umso besser kann KI aus ihrer verfĂŒgbaren Datensammlung extrahieren und verknĂŒpfen.

Learning: Denke im Umgang mit KI wie ein prÀzises System. ;-)

Die Performance von ChatGPT scheint vielfÀltig - und unglaublich



zumindest wenn man Anwendungsbeispiele von ChatGPT verfolgt. So kann das System beispielsweise Aufgaben in Excel ĂŒbernehmen und den User spĂŒrbar entlasten ( bit.ly/3DDAKJt – vielen Dank an Petra Drews-Milalkovits fĂŒr diesen Input). Das ist eine Anwendung von ChatGPT, die zumindest ich vorher nicht am Radarschirm hatte – ein Chatbot und ein Tabellenkalkulationsprogramm? Klingt spannend, ist letztlich aber dann doch gar nicht so ĂŒberraschend, denn die digitalen Wurzeln sind dieselben.

Oder ein anderes konkretes Beispiel: KĂŒrzlich rauschte der mediale BlĂ€tterwald mit der Meldung, dass ChatGPT einen MBA-Kurs der renommierten Wharton School in den USA  erfolgreich absolvieren konnte. (z. B. hier ein Bericht der SĂŒddeutschen Zeitung dazu: bit.ly/3jtT94K).

Auch wenn sich die Aufgabenstellung einigen Berichten folgend als deutlich weniger elitĂ€r entpuppte, als der Name Wharton School annehmen lĂ€sst, so zeigt dieses Beispiel, dass ChatGPT schon jetzt HĂŒrden gehobener menschlicher Bildungssysteme schafft.

Learning: “KI? Think really big!”

Höflich zu einer KI
spinnst du?

Ein Feedback nach meinem ersten User-Test ließ mich schmunzelnd zurĂŒck – adressiert aber ein spannendes Thema: Warum ich denn eine kĂŒnstliche Intelligenz in meinem Befehl um etwas bitte?

Meine Antwort dazu ist klar: Ein höflicher Ton ist fĂŒr mich eine Art „Hygienefaktor“ bzw. Grundkultur. Auch wenn ich nicht muss, finde ich WertschĂ€tzung einfach besser – und das ziehe ich durch. Das „Bitte“ kam bei meiner Anweisungsformulierung an ChatGPT automatisch, ich hatte nicht großartig darĂŒber nachgedacht, bewusst eine andere Formulierung zu wĂ€hlen, nur weil ich jetzt mit einer KI kommuniziere
 ;-)  

Klar ist: ChatGPT kann bei wertschĂ€tzender Formulierung deswegen nicht besser performen. Menschen schon. Es wird nicht mehr lange dauern und wir werden in Interaktionen nicht mehr wissen, ob wir einen Menschen oder eine KĂŒnstliche Intelligenz als Interaktionspartner vor uns haben.

Kein Learning, aber eine Empfehlung: Also warum nicht gleich generell wertschĂ€tzend agieren und damit positive Vibes verbreiten – sogar Richtung einer KI? Hilft es dieser nichts, hilft es zumindest einem selbst. Positives vibes und so
 :)

Auf zum Retest


Starten wir also mit dem Retest. Ich habe fĂŒr ChatGPT dieses Mal zwei Aufgaben vorbereitet und möchte dabei das Userverhalten stĂ€rker anpassen, um gute Performancebedingungen fĂŒr chatGPT zu sichern.

Aufgabe 1: Business-Content erstellen - Vorwort fĂŒr einen GeschĂ€ftsbericht

Ich fĂŒttere ChatGPT mit einigen grundlegenden von mir erfundenen Daten zu einer fiktiven Firma:

Die Kokosnuss AG hat ihre Zentrale in Wien und Zweigstellen in Dornbirn, Eisenstadt und Klagenfurt. Die AG hat 1.250 Mitarbeiter. Das Unternehmen erzeugt Leuchtstoffröhren. Der Umsatz betrug 2020 250 Mio Euro und 2021 265 Mio Euro. Das EBIT wurde 2020 mit 1,2 Mio Euro ausgewiesen, 2022 mit 1,65 Mio Euro. Die AG ist zu 35 % im Besitz der Familie Maierhofer, die restlichen 65 % sind in Streubesitz.

Dann ersuche ;-) ich das KI-System um folgende Bearbeitung:

Bitte schreibe ein kurzes Vorwort fĂŒr den GeschĂ€ftsbericht der Kokosnuss AG.

In der ersten Antwort verfasst ChatGPT ein sehr allgemeines Vorwort, in dem die Kokosnuss AG zwar namentlich vorkommt, aber sonst keine weitere der eingebrachten Informationen verarbeitet ist.

Ich wiederhole die Aufgabenstellung nochmals, dann bekomme ich als Antwort von ChatGPT folgenden Entwurf:

Antwort ChatGPT:

Sehr geehrte Leserinnen und Leser,

ich freue mich, Ihnen den GeschĂ€ftsbericht der Kokosnuss AG fĂŒr das Jahr 2022 vorzulegen. Die Kokosnuss AG, mit Hauptsitz in Wien und Zweigstellen in Dornbirn, Eisenstadt und Klagenfurt, ist ein fĂŒhrendes Unternehmen in der Herstellung von Leuchtstoffröhren. Mit 1.250 Mitarbeitern hat das Unternehmen eine solide Basis fĂŒr kontinuierliches Wachstum.

Ich bin stolz darauf, dass die Kokosnuss AG im Jahr 2022 einen Umsatz von 265 Millionen Euro erzielen und ein EBIT von 1,65 Millionen Euro ausweisen konnte. Dies ist ein Beleg fĂŒr die hohe QualitĂ€t unserer Produkte und den Einsatz unserer Mitarbeiter.

Die Kokosnuss AG ist zu 35 % im Besitz der Familie Maierhofer und 65 % sind im Streubesitz. Wir glauben an eine transparente und offene Kommunikation mit allen AktionÀren und Stakeholdern.

Ich danke Ihnen fĂŒr Ihr Interesse an der Kokosnuss AG und freue mich auf eine erfolgreiche Zusammenarbeit in der Zukunft.

Mit freundlichen GrĂŒĂŸen,

[Name des CEO oder Vorstandsvorsitzenden]

Fazit: ChatGPT unterstreicht mit der Lösung dieser ersten Aufgabe des Retests, was sich schon im ersten Test schon abgezeichnet hat: Seine MĂ€chtigkeit hĂ€ngt in hohem Maße davon ab, wie man als User das System informiert und einsetzt. Ich habe mich bei dieser ersten Aufgabe nicht alleine auf die verfĂŒgbare – fĂŒr mich „amorphe“, weil schon alleine aufgrund der GrĂ¶ĂŸe nicht transparenten – Datenlage verlassen, auf die ChatGPT zurĂŒckgreifen kann, sondern dem System noch detailliertere Infos als Briefingbasis beigestellt. Und dann im zweiten Schritt die Aufgabe an ChatGPT gestellt.

Bewertung: Die von mir ins Rennen geschickte Aufgabenstellung ist nicht sehr komplex, dennoch muss man sich vor Augen halten: Eine nicht menschliche und nicht lebendige Intelligenz lernt durch meine Eingabe neue Daten und verknĂŒpft sie mit emotionalen und in Summe gut passenden Botschaften zu einem beauftragten (sorry, darum gebetenen ;-)) Content.

Es gĂ€be viele Menschen, die diese Aufgabenstellung nicht so gut und vor allem auch nicht so rasch umsetzen könnten. Denn der Beitrag wird in gefĂŒhlten rund 30 Sekunden erstellt. Man kann ChatGTP beim Schreiben auf dem Bildschirm zusehen.

Daher: "Gut". Nicht „Sehr gut“, weil es – fĂŒr mich persönlich – vom Stil her etwas zu blumig fĂŒr einen GeschĂ€ftsbericht ist und mir einige „Management-Buzzwords“ fehlen. Und weil ChatGPT beim ersten Versuch doch deutlich daneben lag, außer dem Firmennamen hatte das System keine weiteren von mir beigestellten Daten verwendet. Erst eine Wiederholung brachte das hier prĂ€sentierte Ergebnis.

Das war aber wohl einer Überlastung des Systems geschuldet. Beides zeigt aber auch die Grenzen von ChatGPT auf. Wobei: Auch menschliche Performance ist ganz klar limitiert. Und GeschmĂ€cker beim Stil können durchaus verschieden sein


Damit komme ich meiner 2. Aufgabe. Beim ersten Test im JÀnner 2023 habe ich ChatGPT mit einer Recherche, ebenfalls einer Content-Creation und einer Basiskonzeption auf die Probe gestellt. Als Aufgabe 2 möchte ich dieses Mal ein neues Themenfeld probieren: eine Business-Analyse.

Den eigenen Learnings folgend versuche ich ein Szenario aufzubauen, das einen detaillierteren themenspezifischen Datenkomplex bereitstellt, den ChatGTP mit seinem riesigen eigenen Datenpool abgleichen kann. Kann er daraus auch RĂŒckschlĂŒsse und analytische Aussagen treffen? Damit es etwas schwieriger ist, streue ich Informationen ein, die fĂŒr die Analyse nicht wirklich von Relevanz sind. Ich bin gespannt


Aufgabe 2: Business-Analyse - pointierte Bilanzanalyse

Ich gebe ChatGPT wieder ein fiktives Datenset als Grundlage fĂŒr die Aufgabe:

Die ABC GmbH wurde am 01. Februar 2010 in Wien von Hans-Peter Daniel und Andrea Kralowitsch als Designagentur gegrĂŒndet. Hans-Peter Daniel hat Industriedesign an der UniversitĂ€t fĂŒr angewandte Kunst in Wien studiert, Andrea Kralowitsch Betriebswirtschaft in Linz. Die beiden UnternehmensgrĂŒnder bringen jeweils EUR 50.000,- in das Unternehmen ein, das Unternehmen gehört jedem der beiden zu 50 %. Das Unternehmen hat so ein Startkapital von EUR 100.000,-. In der Zeitspanne Februar bis Dezember 2010 setzt die ABC GmbH EUR 80.000,- um. In dieser Zeit fallen Kosten in Höhe von insgesamt EUR 65.000,- an. Im Rumpfjahr 2010 betrĂ€gt der Gewinn der ABC GmbH EUR 15.000,-.

2011 betrÀgt der Jahresumsatz EUR 270.000,-. Die Kosten steigen 2011 auf EUR 155.000,-. Der Gewinn 2011 betrÀgt EUR 115.000,-.

2012 setzt die ABC GmbH EUR 190.000,- um, die Kosten belaufen sich aufgrund von Sonderausgaben auf EUR 225.000,-. Der Verlust im Jahr 2012 betrĂ€gt fĂŒr die ABC GmbH EUR 35.000,-.

2013 kann das Unternehmen EUR 340.000,- umsetzen, die Kosten in diesem Jahr belaufen sich auf EUR 280.000,-. Das Unternehmen macht 2013 einen Gewinn von EUR 60.000,-.

Mit Jahresende 2013 schließen Hans-Peter Daniel und Andrea Kralowitsch das Unternehmen.

Dann bitte das KI-System um folgende Bearbeitung:

Erstelle bitte fĂŒr die ABC GmbH eine kurze Bilanzanalyse und fĂŒhre zum Schluss an, wie viel Kapital Hans-Peter Daniel und Andrea Kralowitsch nach der Schließung des Unternehmens ausgezahlt bekommen. Zieh fĂŒr die Berechnung der Auszahlung nur die Kapitaleinzahlung bei der UnternehmensgrĂŒndung und die Gewinne bzw. Verluste der ABC GmbH bis zur Schließung des Unternehmens 2013 heran. Verfasse deine Antwort auf Deutsch.

Antwort ChatGPT:

Bilanzanalyse ABC GmbH:
In den Jahren 2010 bis 2013 hatte die ABC GmbH einen Gesamtumsatz von EUR 800.000, wobei in den Jahren 2010 und 2011 ein Gewinn erwirtschaftet wurde und in 2012 ein Verlust angefallen ist. Mit einem Gesamtgewinn von EUR 130.000 in den Jahren 2010 und 2011, sowie einem Verlust von EUR 35.000 im Jahr 2012, betrÀgt das Kapital am Ende des Jahres 2013 EUR 195.000.
Auszahlung fĂŒr Hans-Peter Daniel und Andrea Kralowitsch:

Da die beiden GrĂŒnder zu gleichen Teilen EigentĂŒmer des Unternehmens sind, bekommen sie jeweils die HĂ€lfte des verbleibenden Kapitals ausgezahlt, was EUR 97.500 betrĂ€gt.
Zusammenfassend haben Hans-Peter Daniel und Andrea Kralowitsch nach der Schließung des Unternehmens insgesamt EUR 97.500 ausgezahlt bekommen.

Fazit: Ganz offen, nachdem ChatGDP auswirft, bin ich erst einmal baff, denn zwischen dem Briefing und dem Ergebnis liegt doch ein ganz schönes StĂŒck an Analyse- und Interpretationsarbeit. ChatGPT kann mit den ihm vorliegenden Angaben Gewinne bzw. Verluste bewerten, Summen bilden und erkennt aufgrund der genannten Eigentumsverteilung, dass eine Kapitalaufteilung zu je 50 % korrekt ist.

Mein „Briefing mit Daten“ verarbeitet ChatGPT, indem es die englische Übersetzung anzeigt.

Dieses Mal muss ich dem System noch ergĂ€nzend anfĂŒhren, es möge die Antwort auf Deutsch geben. Was es dann auch macht – beim ersten Versuch war die Antwort auf meine Aufgabe 2 noch auf Englisch ausgefĂŒhrt.

ChatGPT schnalzt die Antwort wiederum in gefĂŒhlten 30 Sekunden auf den Screen. Und ad hoc sieht alles korrekt aus. Der Aufbau der Bilanzanalyse ist schlĂŒssig. Keine Frage: Es hĂ€tten noch KPIs berechnet werden können, aber die Grundlagen und vor allem die Kernaufgabenstellung mit der Angabe eines Auszahlungsbetrages fĂŒr die beiden UnternehmenseigentĂŒmer*innen hat das System geliefert.

Nun mache ich mich daran, die Zahlen zu berechnen und die Angaben von ChatGPT zu verifizieren. Und ehrlich: Ich brauche fĂŒr die Berechnung des Ergebnisses mit dem Taschenrechner lĂ€nger als 30 Sekunden
 und hĂ€tte dann noch immer keinen einzigen Satz als kurze Bilanzanalyse verfasst, ChatGPT ist zu diesem Zeitpunkt schon lĂ€ngst fertig. Also wow!

Jetzt folgt allerdings das ABER: Die von ChatGPT als Ergebnis angegebenen BetrĂ€ge sind teilweise falsch! Der Gesamtumsatz betrĂ€gt korrekt EUR 880.000,- und nicht wie ChatGPT angibt EUR 800.000,-. Bei der Gewinnbetrachtung lĂ€sst ChatGPT den Jahresgewinn 2013 ĂŒber EUR 60.000,- unter den Tisch fallen: Der Gesamtgewinn betrĂ€gt demnach EUR 155.000,- und nicht EUR 95.000,-. Das insgesamt zu verteilende Kapital macht so EUR 255.000,- aus und nicht EUR 195.000,-, die beiden Gesellschafter erhalten letztlich je EUR 127.500,- und nicht EUR 97.500,-.

Bewertung: ChatGTP hat den Kern der Aufgabe falsch gelöst: Wesentliche Zahlen sind nicht korrekt, das gilt auch fĂŒr den erfragten Auszahlungswert, den die beiden UnternehmenseigentĂŒmer nach Schließung des Unternehmens erhalten sollen. Trotzdem finde ich Geschwindigkeit, Struktur und grundsĂ€tzliche Logik bemerkenswert, die „intelligente Leistung dahinter“ ist aus meiner Sicht beeindruckend. Daher nicht „Nicht genĂŒgend“, sondern „GenĂŒgend“ – verbunden mit dem Eindruck, dass diese Fehler aufgrund der rasanten Entwicklung bei KI bald der Vergangenheit angehören werden.

Conclusio – der GameChanger ist da, let’s define the rules!

KI wie ChatGPT werden unsere Welt radikal verĂ€ndern – das kann man ohne Übertreibung heute feststellen. Und das teasert der zweite „Elchtest“ vehement an. KI ist definitiv ein GameChanger. Wir sollten dabei weltweit darauf achten und darauf Wert legen, dass sich zwar das Spiel Ă€ndert, wir aber weiterhin die Regeln bestimmen – zu 100 %.

Doch das war nicht Teil der "Forschungsfrage" bei diesem kleine Restest. Meine Frage lautete: Kann ChatGPT dem Management einer Organisation Nutzen bringen und es unterstĂŒtzen? Kann es ein Managementtool darstellen? Und diese Antwort lautet schon jetzt: ja.

  • Wenn man das System richtig bedient: Je unprĂ€ziser und vager die Vorgaben, desto schlechter das Ergebnis. Aber ist das nicht immer so, egal ob der "BefehlsempfĂ€nger" ein Mensch oder ein System ist? Der Mensch kann hier Ungenauigkeiten und FreirĂ€ume meines Erachtens allerdings momentan noch deutlich besser nĂŒtzen als eine KI.
  • Wenn man beim Briefing auf ValiditĂ€t, Genauigkeit und bestmögliche VollstĂ€ndigkeit achtet – was man bei Briefings ohnehin tun sollte, auch wenn im daily business viel zu oft das Gegenteil der Fall ist.
  • Und wenn man das Ergebnis kritisch reflektiert. Denn aktuell sind Antworten von ChatGTP noch fehleranfĂ€llig. Doch man kann davon ausgehen, dass die QualitĂ€t mit jedem Tag der Forschung und Entwicklung besser werden wird.

Mit anderen Worten: Man muss mit KI als Managementtool so umgehen wie schon jetzt mit anderen Tools auch. Es kommt auf den Input und die Basis an. Und auf die Kontrolle. Der Prozess selbst wird mit jedem Tag besser.

KI ist also schon jetzt in der Lage, dem Management zuzuarbeiten. Es ist aber zum heutigen Zeitpunkt noch nicht in der Lage, Management im Sinne von Leadership zu ersetzen. Ob das ein Ziel sein soll, kann man diskutieren. Ob KI es jemals von ihrer Performance schaffen wĂŒrde oder wird, scheint aber meines Erachtens sehr wahrscheinlich zu sein.

Als im wahrsten Sinne des Wortes kongenialer Counterpart – und das nicht nur im Management – wird KI aber schon bald mit extrem hoher, beeindruckender Leistung als Assistent und Performancebeschleuniger in der Breite zur VerfĂŒgung stehen. Schon jetzt setzen viele Unternehmen in unterschiedlichsten Prozessen auf KI.  KĂŒnstliche Intelligenz wie ChatGPT macht aber eine zusĂ€tzliche TĂŒre fĂŒr neue Entwicklungsfelder auf. 

Die Zeichen stehen auf "(digital) world reloaded"...

Verwandte Nachrichten