Folge 12 13 Minuten

KI-Pilotprojekt: Woran Sie nach acht Wochen Erfolg messen

KI-Pilotprojekt mit klarem Ergebnis: Wie Sie in acht Wochen messen, ob sich KI in Ihrem Betrieb lohnt. Danach haben Sie zwei Messgrößen mit Ist-Wert, drei festgelegte Ausgänge und ein Budget mit fünf Zeilen auf einer Seite. hagel IT setzt Ihren Pilot mit Ihnen auf und begleitet Sie bis zur Entscheidung in Woche acht.

Mit Henrik und Ole

Checkliste

Drei Punkte zum Mitnehmen

  1. Zwei Messgrößen festlegen – Minuten je Vorgang und Fehlerquote – und zwei Wochen vor dem Start den Ist-Wert erfassen, am besten mit Vergleichsgruppe.

  2. Vor dem Start drei Ausgänge mit Zahlen (ausrollen, einmal umbauen, beenden) und drei Notbremsen aufschreiben; die Geschäftsführung entscheidet an einem festen Termin in Woche acht.

  3. Budget mit fünf Zeilen statt nur Lizenzen: Lizenzen, interne Stunden, Datenaufbereitung und Anbindung, externe Hilfe, Puffer – und vor dem Kauf die Lizenzlaufzeit klären.

Kapitel

Transkript lesen 1.796 Wörter · etwa 8 Minuten Lesezeit

Worum es geht

Ole Wir wollen nächsten Monat einen KI-Pilot im Kundendienst starten. Beim letzten Test fanden alle es gut, und am Ende hatte ich keine einzige Zahl.

Henrik Genau an dieser Stelle entscheidet sich ein Pilotprojekt. Nach dieser Folge wissen Sie, welche drei Dinge vor dem Start auf eine Seite gehören, damit Sie nach acht Wochen sauber entscheiden.

Ole Wie oft geht so ein Pilot denn schief?

Henrik Das Marktforschungshaus Gartner hat vorhergesagt, dass mindestens dreißig Prozent der Projekte mit generativer KI nach dem Machbarkeitstest aufgegeben werden. Gemeint war der Zeitraum bis Ende zweitausendfünfundzwanzig.

Ole Generative KI und Machbarkeitstest heißt was genau?

Henrik Generative KI erzeugt selbst Texte oder Antworten, etwa Copilot oder ChatGPT. Der Machbarkeitstest ist der kleine Versuch, ob das im eigenen Betrieb überhaupt funktioniert.

Ole Und woran scheitern diese Projekte?

Henrik Gartner nennt vier Gründe: schlechte Datenqualität, unzureichende Risikokontrollen, steigende Kosten und unklaren Geschäftsnutzen. Fast alles davon können Sie vor dem Start regeln.

Ole Dass mir die Kosten davonlaufen, ist ehrlich gesagt meine größte Sorge.

Henrik Damit sind Sie nicht allein. In einer Bitkom-Umfrage vom September zweitausendsechsundzwanzig nennen vierundfünfzig Prozent der KI-Anwender schwer kalkulierbare Kosten als Hemmnis.

Ole Gleichzeitig höre ich überall, man müsse jetzt einsteigen. Wie passt das zusammen?

Henrik Der Nutzen ist da, wenn man ihn sucht. Laut derselben Umfrage sehen fünfundvierzig Prozent der Anwender einen messbaren Beitrag zum Unternehmenserfolg.

Ole Und die übrigen fünfundfünfzig Prozent?

Henrik Die Umfrage sagt nicht, warum sie keinen Beitrag sehen. Wer aber nie gemessen hat, kann ihn auch nicht belegen.

Ole Warum ausgerechnet acht Wochen? Unser letzter Test lief ein halbes Jahr.

Henrik Acht Wochen reichen, damit sich die Leute eingewöhnen und danach echte Zahlen entstehen. Länger lohnt sich nur, wenn vorher feststeht, wofür.

Ole Und was geht dabei typischerweise schief?

Henrik Drei Fehler sehen wir immer wieder. Gemessen wird die Nutzung statt des Nutzens, es fehlt eine Grenze zum Aufhören, und das Budget kennt nur Lizenzen.

Fall 1: Nutzung statt Nutzen

Ole Fangen wir mit dem Messen an. Unsere IT kann mir doch jede Woche zeigen, wie oft das Werkzeug genutzt wird.

Henrik Ein typischer Fall: Die Auswertung zeigt, dass achtzig Prozent der Pilotgruppe das Werkzeug täglich öffnen. Ob eine einzige Kundenanfrage dadurch schneller beantwortet ist, steht dort nicht.

Ole Woher kommt so eine Auswertung überhaupt?

Henrik Für Copilot bietet Microsoft das Copilot-Dashboard an, eine fertige Übersicht ohne zusätzliche Lizenz. Es zeigt Kennzahlen zu Bereitschaft, Einführung, Auswirkung und Stimmung.

Ole Auswirkung klingt doch nach Nutzen.

Henrik Es zeigt, wie Copilot in den Microsoft-Programmen eingesetzt wird. Ob Ihre Kunden schneller eine richtige Antwort bekommen, misst nur Ihr eigener Ablauf.

Ole Also brauche ich eigene Zahlen. Welche?

Henrik Zwei Zahlen und eine Voraussetzung. Erstens die Minuten je Vorgang, zweitens die Fehlerquote, also wie viele Ergebnisse nachgearbeitet werden müssen.

Ole Und die Voraussetzung?

Henrik Die Nutzung: Sie ist kein Erfolg, aber ohne sie gibt es keinen. Wer das Werkzeug nicht nutzt, spart auch keine Zeit.

Ole Warum die Fehlerquote? Schneller werden ist doch das Ziel.

Henrik Schnell und falsch kostet mehr als langsam und richtig. Geht eine falsche Lieferzeit an den Kunden, frisst die Reklamation die gesparte Zeit wieder auf.

Ole Wie sähe das konkret bei uns im Kundendienst aus?

Henrik Rechnen wir ein Beispiel: Ihr Team beantwortet vierhundert Anfragen pro Woche, je acht Minuten. Das sind gut dreiundfünfzig Stunden pro Woche.

Ole Und das zähle ich einfach vorher und nachher?

Henrik Ja, wobei das Vorher der wichtige Teil ist. Zwei Wochen vor dem Start erfassen Sie die Ist-Werte, sonst haben Sie nach acht Wochen nichts zum Vergleichen.

Ole Meine Leute werden sich freuen, wenn sie jetzt Minuten aufschreiben sollen.

Henrik Oft liefert Ihr Ticketsystem die Zeiten schon, also das Programm, in dem Anfragen eingehen und abgeschlossen werden. Für die Fehlerquote prüft die Teamleitung jede zehnte Antwort.

Ole Reicht vorher und nachher wirklich? Im Dezember läuft bei uns ohnehin alles anders als im Oktober.

Henrik Deshalb lohnt sich eine Vergleichsgruppe. Arbeitet die eine Hälfte des Teams mit KI und die andere wie bisher, sehen Sie den Unterschied in derselben Woche.

Ole Und welches Ziel schreibe ich auf?

Henrik Eine Zahl mit Bedingung, etwa ein Viertel weniger Minuten je Anfrage bei gleicher Fehlerquote. Das ist ein Beispiel, Ihre Zielgröße setzen Sie selbst.

Ole Was wäre das in Stunden?

Henrik Im Rechenbeispiel gut dreizehn Stunden pro Woche. Ob es bei Ihnen so kommt, zeigt erst die Messung.

Ole Und wer wertet das am Ende aus? Doch nicht die Leute, die das Projekt gern verlängern wollen.

Henrik Am besten jemand ohne eigenes Interesse am Ergebnis, etwa aus dem Controlling. Das Projektteam liefert die Zahlen, bewertet sie aber nicht selbst.

Ole Was mache ich am Montag?

Henrik Legen Sie für den Pilot die zwei Zahlen fest, Minuten je Vorgang und Fehlerquote. Und lassen Sie ab sofort zwei Wochen lang die Ist-Werte erfassen.

Fall 2: Keine Grenze zum Aufhören

Ole Zweiter Fehler, die fehlende Grenze. Warum soll ich vor dem Start schon ans Aufhören denken?

Henrik Ein typischer Fall: Nach acht Wochen sind die Zahlen mittelmäßig, und das Team bittet um drei Monate mehr. Danach noch einmal, und nach einem Jahr läuft der Pilot immer noch.

Ole Das erinnert mich an unseren letzten Test. Was ist daran so schlimm?

Henrik Er bindet Leute und Geld, ohne dass jemand entscheidet. Und ohne Grenze kann niemand sagen, ob mittelmäßig gut genug ist.

Ole Wie sieht so eine Grenze aus?

Henrik Sie schreiben vor dem Start drei Ausgänge auf. Ausrollen, wenn das Ziel erreicht ist, einmal umbauen, wenn es knapp verfehlt ist, und beenden, wenn es klar verfehlt ist.

Ole Und was heißt knapp, was heißt klar?

Henrik Das legen Sie in Zahlen fest. Im Beispiel heißt das: ab einem Viertel weniger Minuten ausrollen, unter zehn Prozent beenden, dazwischen einmal umbauen.

Ole Was bedeutet umbauen in der Praxis?

Henrik Sie ändern genau eine Sache, etwa die Vorlagen für die Antworten oder die Auswahl der Anfragen. Dann messen Sie vier Wochen weiter und entscheiden endgültig, ohne weitere Verlängerung.

Ole Gibt es auch Gründe, schon vor Woche acht aufzuhören?

Henrik Ja, und auch die stehen vorher fest. Ich empfehle drei Notbremsen: Die Fehlerquote steigt deutlich, vertrauliche Daten landen am falschen Ort, oder kaum jemand nutzt das Werkzeug.

Ole Kaum jemand heißt wie viele?

Henrik Zum Beispiel weniger als die Hälfte der Pilotgruppe in Woche vier. Das ist kein Randproblem, denn bei Bitkom nennen zweiundvierzig Prozent der KI-Anwender fehlende Akzeptanz der Beschäftigten als Hemmnis.

Ole Und wenn die Leute es nicht nutzen, weil die Ergebnisse schlecht sind?

Henrik Dann zeigt Ihnen das die Stichprobe der Teamleitung. Über schlechte Qualität der Ergebnisse klagen laut Bitkom übrigens nur sechsundzwanzig Prozent der Anwender.

Ole Gartner hatte auch die Datenqualität genannt. Wann prüfe ich die?

Henrik In der ersten Woche. Liegen die Lieferzeiten, die der Kundendienst braucht, nicht verlässlich im System, hilft auch die beste KI nicht.

Ole Wer entscheidet am Ende? Das Projektteam will natürlich weitermachen.

Henrik Sie, an einem festen Termin in Woche acht, der heute schon im Kalender steht. Das Team legt die Zahlen vor, die Entscheidung trifft die Geschäftsführung.

Ole Und wenn ich beende, habe ich Geld verbrannt.

Henrik Nein, Sie haben für eine Antwort bezahlt. Ein beendeter Pilot mit klaren Zahlen ist billiger als ein Jahr ohne Entscheidung.

Ole Was sage ich dem Team, damit ein Ende nicht als Niederlage gilt?

Henrik Sagen Sie vor dem Start, dass alle drei Ausgänge ein Ergebnis sind. Dann muss niemand mittelmäßige Zahlen schönreden.

Ole Was mache ich am Montag?

Henrik Schreiben Sie die drei Ausgänge mit Zahlen und die drei Notbremsen auf eine Seite. Und tragen Sie den Entscheidungstermin für Woche acht in Ihren Kalender ein.

Fall 3: Budget nur für Lizenzen

Ole Bleibt das Geld. Ich hatte für den Pilot fünfzehn Lizenzen eingeplant, und das war es.

Henrik Ein typischer Fall: Die Lizenzen sind bezahlt, aber nach drei Wochen zeigt sich, dass die Daten erst aufbereitet werden müssen. Dafür gibt es kein Budget, und der Pilot stockt.

Ole Was kostet denn so eine Lizenz?

Henrik Microsoft nennt für Copilot Business gut achtzehn Euro pro Nutzer und Monat, zuzüglich Mehrwertsteuer. Bis Ende Dezember zweitausendsechsundzwanzig gilt ein Aktionspreis von gut fünfzehn Euro.

Ole Fünfzehn Leute mal achtzehn Euro zwanzig sind gut zweihundertsiebzig Euro im Monat. Das ist doch überschaubar.

Henrik Achten Sie auf die Laufzeit. Diese Preise gelten für ein Jahresabonnement mit jährlicher Abrechnung, das sich automatisch verlängert, auch der Aktionspreis.

Ole Also kaufe ich für acht Wochen Test ein ganzes Jahr?

Henrik Zum Listenpreis wären das knapp dreitausenddreihundert Euro im Jahr. Microsoft bietet aber auch ein Monatsabonnement für einundzwanzig Euro vierundachtzig, das ist für acht Wochen deutlich günstiger.

Ole Und was kommt außer den Lizenzen noch dazu?

Henrik Mehr, als die meisten denken. In der Bitkom-Umfrage nennen nur einundzwanzig Prozent der Anwender Abos und Lizenzen als großen Kostenpunkt.

Ole Wo liegt dann das Geld?

Henrik Bei der Infrastruktur wie Cloud und Rechenleistung mit einundfünfzig Prozent und bei der Datenaufbereitung mit fünfzig Prozent. Die Anbindung an bestehende Systeme nennen einundvierzig Prozent.

Ole Was davon trifft einen Pilot mit fünfzehn Leuten?

Henrik Vor allem Datenaufbereitung und Zeit. Sollen die Antworten auf Ihre Sendungsdaten zugreifen, muss jemand diese Anbindung bauen oder die Daten bereitstellen.

Ole Und mit Zeit meinen Sie meine eigenen Leute?

Henrik Ja, und diese Zeit steht in keinem Angebot. Die Förderbank KfW nennt es eine besondere Herausforderung im Mittelstand, neben dem Tagesgeschäft Kraft für solche Vorhaben freizumachen.

Ole Mit wie viel Zeit rechne ich?

Henrik Mit zwei Stunden Schulung je Teilnehmer und vier Stunden pro Woche für den Verantwortlichen. Diese Stunden gehören schriftlich in den Plan.

Ole Das sind wie viele Stunden?

Henrik Dreißig Stunden Schulung und zweiunddreißig Stunden Betreuung über acht Wochen. Dazu kommen die Messung und die Stichproben der Teamleitung.

Ole Und dann gibt es noch die Kosten, die man vorher gar nicht sieht.

Henrik Auch darauf weist Microsoft hin: Für einige KI-Funktionen wird zusätzlich nach Nutzung abgerechnet. Legen Sie deshalb einen Puffer fest und eine Obergrenze, ab der Sie gefragt werden.

Ole Wie sieht das Budget dann auf dem Papier aus?

Henrik Fünf Zeilen: Lizenzen, interne Stunden, Datenaufbereitung mit Anbindung, externe Hilfe und ein Puffer für nutzungsabhängige Kosten. Externe Beratung nennen bei Bitkom genauso viele als großen Kostenpunkt wie Lizenzen.

Ole Und woher weiß ich, ob sich das am Ende lohnt?

Henrik Sie überschlagen schon vorher, was das Ausrollen kostet. Bekämen alle vierzig Büroarbeitsplätze eine Lizenz, wären das zum Listenpreis gut achttausendsiebenhundert Euro im Jahr.

Ole Und dagegen rechne ich die gesparte Zeit.

Henrik Ja, die gemessenen Stunden mal Ihre internen Kosten je Stunde. Liegt das klar über den Kosten, begründen Sie das Ausrollen mit eigenen Zahlen statt mit Gefühl.

Ole Was mache ich am Montag?

Henrik Schreiben Sie die fünf Budgetzeilen auf, einschließlich der internen Stunden. Und klären Sie vor dem Kauf, wie lange Sie die Lizenzen binden.

Zum Mitnehmen

Ole Fassen Sie es für mich zusammen. Was gehört vor dem Start auf die eine Seite?

Henrik Erstens zwei Messgrößen mit Ist-Wert: Minuten je Vorgang und Fehlerquote, zwei Wochen vor dem Start erfasst, am besten mit Vergleichsgruppe.

Ole Zweitens?

Henrik Drei Ausgänge mit Zahlen, also ausrollen, einmal umbauen oder beenden, dazu drei Notbremsen. Entschieden wird an einem festen Termin in Woche acht, von der Geschäftsführung.

Ole Und drittens?

Henrik Ein Budget mit fünf Zeilen statt nur Lizenzen, mit den eigenen Stunden und der Laufzeit der Lizenzen. Dazu der Überschlag, was das Ausrollen kosten würde.

Ole Und wenn ich mir diese eine Seite allein nicht zutraue?

Henrik Dann holen Sie sich Begleitung für genau diese Seite und den Termin in Woche acht. hagel IT setzt den Pilot mit Ihnen so auf, dass Sie nach acht Wochen sicher entscheiden.

Auch als Untertitel-Datei: WebVTT herunterladen

Quellen

Jede Zahl der Folge ist belegt. Die Redaktion hat diese Quellen geöffnet und geprüft.

  1. Gartner: Gartner Predicts 30% of Generative AI Projects Will Be Abandoned After Proof of Concept By End of 2025 (Pressemitteilung, 29.07.2024; Archivfassung vom 19.10.2026) web.archive.org/web/20261019230124/https://www.gartner.com/en/newsroom/press-releases/2024-07-29-gartner-predicts-30-percent-of-generative-ai-projects-will-be-abandoned-after-proof-of-concept-by-end-of-2025 (öffnet in neuem Tab)
  2. Bitkom: Erstmals nutzt die Mehrheit der Unternehmen KI (Presseinformation, 14.09.2026) bitkom.org/Presse/Presseinformation/Erstmals-nutzt-Mehrheit-Unternehmen-KI (öffnet in neuem Tab)
  3. KfW Research: Künstliche Intelligenz im Mittelstand, Fokus Volkswirtschaft Nr. 554 (PDF, 29.07.2026) kfw.de/PDF/Download-Center/Konzernthemen/Research/PDF-Dokumente-Fokus-Volkswirtschaft/Fokus-2026/Fokus-Nr.-554-Juli-2026-KI_Mittelstand.pdf (öffnet in neuem Tab)
  4. Microsoft Learn: Herstellen einer Verbindung mit dem Microsoft Copilot-Dashboard für Microsoft 365-Kunden (ms.date 29.09.2026) learn.microsoft.com/de-de/viva/insights/org-team-insights/copilot-dashboard (öffnet in neuem Tab)
  5. Microsoft: Microsoft Copilot-Pläne und Preise, Business, Ansicht „Monatlich“ microsoft.com/de-de/copilot/pricing/business?market=de (öffnet in neuem Tab)
  6. gartner.com gartner.com/en/newsroom/press-releases/2024-07-29-gartner-predicts-30-percent-of-generative-ai-projects-will-be-abandoned-after-proof-of-concept-by-end-of-2025 (öffnet in neuem Tab)

Keine Folge verpassen

Nächste Folge am – jeden Dienstag und Freitag neu.

Ihre nächste Weiche

Diese Weiche stellen wir gern mit Ihnen.

Sie wollen KI im eigenen Unternehmen sauber an den Start bringen? hagel IT begleitet Sie von der ersten Aufgabe bis zur messbaren Entlastung.

Unverbindlich, mit klarer Einschätzung – oder direkt anrufen: 040 284 10 26-0

Gesprochen von KI-Stimmen, recherchiert und geprüft von der hagel-IT-Redaktion. Die Fälle sind typische Beispiele, keine Kundengeschichten.