KI im Unternehmensalltag

Hallo und herzlich willkommen zu einer neuen Folge HITcast, der IT-Podcast für Entscheider. Nach langer Pause sind wir zurück. An meiner Seite, wie auch vor zwei Jahren, weiterhin Philip. Hallo Philip.

Vielen Dank, Dennis, für die Einleitung. Ja, zwei Jahre ist es her, dass wir die letzte Folge veröffentlicht haben. Ziemlich genau zwei Jahre. Schon ganz schön lange her.

Das ist absolut richtig. Nichtsdestotrotz sind wir jetzt zurück. Quasi neues Modell, Originalteile. Das ist glaube ich mal so ein Film, der hat ähnlich geheißen. Und womit könnte man besser wieder rein starten, als mit dem Thema überhaupt? Nämlich im weitesten Sinne soll es heute um KI gehen. Ziemlich genau um KI-Chatbots. Philip, es wäre nett, wenn du quasi wieder mein Experte bist, ich dich ein bisschen mit Fragen löchern darf. Und du versuchst, das Ganze nach bestem Wissen und Gewissen zu beantworten.

Ja, ich gebe mir größte Mühe. Das haben wir die letzten, ich glaube, über 50 Folgen haben wir aufgenommen, haben wir das gut hinbekommen. Und ich denke, das schaffen wir auch zukünftig weiter.

Ja, stark. Ich würde direkt starten. Ich glaube, viel mehr gibt es nicht zu besprechen. KI, großes Thema, großes Buzzword im weitesten Sinne. Ich habe mir gedacht, wir starten vielleicht einmal. Die gängigsten Begriffe sind KI, Large Language Models und so weiter, Chat GPT. Was genau ist da eigentlich was?

Ja, also genau, KI ist auf jeden Fall großes Buzzword, hast du eben schon gesagt. Riesenthema. Jeder braucht KI, jeder hat KI und überall muss KI drin sein. Und ja, ein LLM ist eigentlich das, womit wir am meisten in Kontakt kommen. Wenn man, du hast eben Chat GPT schon genannt oder Claude und Gemini, was es alles gibt. Das sind alles Large Language Models. Das sind LLMs im Hintergrund, also LLMs. Und das sind im Endeffekt KI-Modelle, die darauf trainiert sind, mit menschlicher Sprache klarzukommen. Also die Eingabe in Textform oder auch gesprochener Form verarbeiten können und auch genauso antworten können.

Ja, genau. Du hast schon quasi den Stichpunkt gegeben, die können Fragen beantworten. Das hat bei vielen schon sowas wie Google ersetzt, möchte ich behaupten. Woran liegt das? Also was glaubst du, was ist der signifikante Unterschied zwischen der einfachen Google-Abfrage oder wenn ich jetzt sage Chat GPT beantworte mir mal die gleiche Frage, die ich ja im Prinzip auch Google stellen könnte. Ist es mehr als nur, das nimmt mir quasi das ab, dass ich mich durch jedes Suchergebnis klicken muss?

Ja, genau das ist es. Also es ist natürlich, klar kann ich eigentlich die meisten Fragen, die ich in Chat GPT reingebe, kann ich auch bei Google irgendwie rausfinden. Das, was es natürlich einfacher macht. Das, was es einfacher macht ist, ich brauche mir nicht so wahnsinnig viel Mühe geben, wie ich die Frage formuliere. Es ist egal, ob ich einen halben Roman da reinschreibe oder ob ich nur zwei, drei Worte reinschreibe. Und das LLM wird daraus irgendwie eine sinnvolle Frage konstruieren und dann aus den Daten, auf die es trainiert wurde, irgendwie eine halbwegs sinnvolle und hoffentlich richtige Antwort darauf formulieren und mir zurückgeben. Und das macht natürlich, das vermeide ich viel, viel leichter an Informationen zu gehören.

Ja, jetzt hast du was Interessantes. Du hast ja gesagt, also wir sind ja ein Business-Podcast. Es soll ja darum gehen, wie kann ich hier mein Geschäft ein bisschen auf Vordauern bringen. Sag ich einfach mal, ein bisschen vorantreiben. Und das ist natürlich ein interessanter Punkt. Du hast gerade gesagt, ich fütter ja so ein Large-Language-Model dann mit Daten, wenn ich die da reintippe. Und im Zweifel behält es ja diese Daten für vielleicht etwaige andere Anfragen von anderen Usern etc. Das Ganze ist vielleicht im Unternehmenskontext ein bisschen schwierig, oder wie würdest du das einschätzen? Also wenn ich jetzt, angenommen, ich will eine Mail formulieren an Kunden. Ich müsste ja quasi streng genommen immer darauf achten, dass ich nichts Personalisiertes in meine Anfrage schreibe, oder?

Ja, ich würde einen Schritt weiter gehen. Nicht du müsstest, sondern du musst. Okay. Also in dem Moment, wo du ein Large-Language-Model, ein Chatbot wie ChatGPT, Gemini, Cloud, wen auch immer nutzt und dort Daten einträgst, musst du davon ausgehen, dass diese Daten im Hintergrund auch irgendwie ausfallen. Und dass sie dann auch ausgewertet werden. Ob die fürs Training der Modelle verwendet werden, oder ob einfach nur im Hintergrund Analysten dahinter sitzen, oder automatisierte Programme, die die Daten dann analysieren und darauf basierend die Modelle weiter verbessern können, ist im Endeffekt egal. Daten, die du einmal eingibst, sind mit an Sicherheit grenzender Wahrscheinlichkeit irgendwo und werden verarbeitet. In welcher Form auch immer. Das heißt, erstmal darfst du da keine personenbezogene Daten und sowieso scheinen keine geheimen Daten irgendwie eintragen. Genau. Und genau, da muss man auf jeden Fall darauf achten, wenn man die nutzt. Und da gibt es natürlich jetzt auch so ein paar Anforderungen für. Es gibt den EU-AI-Act, der ja auch eine Schulung der Mitarbeiter vorschreibt, um genau sowas natürlich auch zu schulen. Damit eben nicht jeder sagt, naja, ich habe mir hier ChatGPT in den Account gemacht, ist ja kostenlos, kann ich einfach machen, auf meine private E-Mail-Adresse, ich trage da irgendwie lustig Daten ein und schreibe damit Mails und dann sind da irgendwie plötzlich Firmengeheimnisse drin.

Ja, aber das heißt ja für mich jetzt... Als Laienbetrachtung bedeutet das, ich kann es im Prinzip für meine Arbeit eigentlich gar nicht nutzen, oder?

Ja, du musst zumindest sehr, sehr aufpassen. Also du musst stark aufpassen und darauf achten, was gibst du da ein. Du musst eben darauf achten, dass du Daten pseudonymisierst. Wenn du E-Mails schreibst, dann eben gucken, dass da keine personenbezogene Daten drinstehen, keine geheim zu haltenden Daten. Und das schränkt natürlich die Nutzungsmöglichkeiten dann schon ein. Nein, weil auf eine E-Mail mit, vielen Dank für Ihre E-Mail, ich werde Ihre Anfrage bearbeiten. Für diese E-Mail brauche ich erstmal kein Large Language. Da reicht auch einfach die Tastatur und 30 Sekunden Eingabe.

Also kann man schon sagen, für die Sachen, für die es eigentlich benutzen wollen würde, kann ich es im Unternehmenskontext nicht benutzen. Das kann man schon so sagen.

Zumindest nicht ohne weiteres, ja.

Und jetzt will ich das aber doch. Also das wollen ja im Prinzip alle. Kann ich das? Also gibt es eine Möglichkeit zu sagen, okay, ich hätte schon gerne so ein Large Language Model, aber quasi mein eigenes. Also kann ich mein eigenes Large Language Model bauen?

Ja, der Do-It-Yourself-Baukasten, der ist da möglich. Beziehungsweise je nachdem, was man möchte. Also es gibt verschiedene Möglichkeiten, damit umzugehen. Zum einen gibt es erstmal von den meisten Anbietern und Betreibern solche Large Language Models. Gibt es auch Business-Versionen, Enterprise-Versionen und auch Modelle, die über eine API, also eine Programmierungsstelle zugänglich sind. Und je nachdem, welchen Vertrag man da abschließt, stehen dahinter auch immer andere Nutzungsbedingungen. Und bei manchen dieser Varianten wird dann eben auch ganz klar kommuniziert, dass keine Daten verarbeitet werden, die da übermittelt werden. Das ist schon mal eine Möglichkeit.

Kann man darauf vertrauen?

Naja, was heißt vertrauen? Also ich meine Microsoft.

Ich dachte, kann ja in der Theorie auch alles lesen.

Es wird halt in einem entsprechend rechtlichen Rahmen, wird das kommuniziert und wird das festgelegt. Und darauf muss man sich natürlich dann verlassen in dem Zweifel, wenn man das möchte. Also wenn da im Vertrag drinsteht, die Daten werden nicht genutzt, dann muss ich mich darauf verlassen können, dass die das auch nicht werden. Überprüfen kann man das sicherlich schwer.

Ja, denke ich auch.

Und deswegen gibt es eben auch weitere Möglichkeiten. Ich kann so ein Large Language. Model auch selber betreiben. Das wird sicherlich in nächster Zeit noch populärer werden, schätze ich mal, weil die Hardware Anforderungen momentan noch sehr hoch sind. Ist es noch recht kostspielig. Aber ich kann mir theoretisch eben einen relativ performanten Server oder PC irgendwo hinstellen. Ich brauche vor allem viel Grafikleistung und dann kann ich darauf ein Large Language Model betreiben. Und das hat erst mal keine Verbindung zur Außenwelt, wenn ich das nicht möchte. Das lade ich da einmal rauf. Installiert das. Installiert noch ein bisschen Software mit, der ich darauf zugreifen kann, vereinfacht gesagt. Und dann habe ich quasi mein eigenes Chat GPT.

Okay, das ist dann auch ein richtiges Chat GPT. Also wie muss ich mir das vorstellen, wenn du sagst, ich installiere mir dann quasi so ein Large Language Model. Aber dann weiß das ja erst mal noch gar nichts, oder?

Ja, es gibt diese KI-Modelle auch als Open Source Modelle. Das ist natürlich dann kein Chat GPT von OpenAI, also kein GPT-4O. Oder ein Cloud 3.7 oder ähnliches. Sondern das sind dann andere Large Language Models, die ich mir dann installieren kann, die häufig auch ein bisschen weniger leistungsfähig sind. Weil so ein GPT-4O, da reicht halt nämlich nicht ein bisschen performanter Server für. Da bräuchte man schon noch ein bisschen mehr.

Aber es ginge theoretisch. Genau, es ginge.

Die sind dann auch schon vortrainiert mit bestimmten Daten. Das kann man dann auch bei den Open Source Modellen eben einsehen, mit was für Daten die trainiert wurden. Und damit kann man auch arbeiten. Man muss immer für seinen jeweiligen Anwendungsfall halt schauen, welches Modell passt dazu. Es gibt ganz, ganz viele verschiedene. Und man muss dann schauen, welches Modell passt da am besten. Theoretisch kann man die auch noch weiter trainieren mit eigenen Daten.

Okay, ich brauche performanter Server, das ist klar. Kann ich mir aber im Prinzip aussuchen, ob ich die jetzt bei mir in die Absteckkammer stellen will oder mir da in der Cloud irgendwo irgendwas anmiete? Oder gibt es da vielleicht Fertigungsdaten? Oder gibt es da auch noch einige Sachen, dass man da so ein Gefühl für kriegt?

Genau, es wird immer mehr. Es gibt natürlich, klar, du kannst dir das einfach in die Absteckkammer stellen. Ein bisschen Strom, ein bisschen Klimatisierung, ein bisschen Internet dazu und dann kann man das schon zusammenmischen. Es gibt inzwischen auch bei vielen Anbietern Server, virtuelle Server, die man sich dafür anmieten kann, die eben dann eine Grafikleistung haben. Das wird sicherlich auch noch mehr werden in nächster Zeit. Und es gibt eben auch jetzt schon Anbieter, die, die solche Open Source Modelle bereitstellen in der Cloud als per Programmierungs-Schnittstelle nutzbare Modelle, die aber auch dann mit den Daten eben nicht weiter trainiert werden und DSG-Füro-konform bereitgestellt werden.

Ja, okay, wenn man sagt performant, ist das wahrscheinlich schwer davon abhängig,

wie oft benutze ich das, wie viele Mitarbeiter habe ich,

wie oft benutzen die Mitarbeiter, die ich habe, dann, ich sage mal, das LLM, was ich mir da selber gebastelt habe, oder?

Ja, da sind ganz, ganz viele Faktoren. Du hast es angesprochen natürlich, wie viele Mitarbeiter nutzen das, wie umfangreich sind die Abfragen, die da reingestellt werden, wie viele Abfragen passieren gleichzeitig damit, wie leistungsfähig ist die Hardware, wie ressourcenhungrig ist das Modell, was darauf läuft. Also da kommen ganz viele Faktoren zusammen und je nachdem, was du für einen Anwendungsfall hast, dafür muss man dann eben gucken, was für ein System braucht man und was reicht, was reicht nicht.

Okay, das heißt aber im Prinzip, ich habe einmalige Kosten für die Hardware, und muss dann wahrscheinlich aber dem LLM, für was auch immer ich mich da entscheide, auch eine gewisse Art von Gebühr bezahlen, oder?

Na ja, wenn du es selber bereitstellst mit dem Open Source Modell, dann zahlst du für das LSDL-English-Modell selber nichts. Das ist ein Open Source Modell, das ist kostenfrei. Du musst die Hardware beschaffen, du musst sie betreiben und du musst sie natürlich auch warten lassen. Also die Hardware selber kostet Geld, die muss leistungsfähig sein, die braucht dann also auch Strom, die muss gegebenenfalls gekühlt werden, wenn sie in deiner Abstellkammer steht, da ist vielleicht ein bisschen warm und stickig sonst drin, und die muss natürlich auch gewartet werden, heißt, da müssen Updates installiert werden, die muss abgesichert werden, also es kostet schon laufend Geld.

Okay, das heißt aber dann bin ich ja quasi, ich sag mal, auf Nummer sicher, was den Gebrauch von den personalisierten Daten in meinem LLM angeht, weil dieses Open Source Modell ja dann lokal sozusagen läuft, ob das in der Cloud läuft oder bei mir in der Abstellkammer, spielt ja keine Rolle in dem Kontext, und da liest dann niemand mit.

Genau, also die Daten sind dann privat, bleiben bei dir, das LLM verarbeitet diese Daten lokal.

Ja, ich glaube, man muss jetzt kein kaufmännisches Genie sein, um rausgehört zu haben, dass das schon ein bisschen nach Kosten klingt, auch im weitesten Sinne, also ich sag mal, so ein Chat-GPT-Abo, das kostet irgendwie 30 Dollar im Monat, und wenn ich jetzt möchte, dass alle meine Mitarbeiter quasi ein sorgenfreies LLM haben,

wo sie nicht aufpassen müssen, was schreibe ich da jetzt rein, was schreibe ich da jetzt rein,

Müller, Meier, Schmidt, wie auch immer die Kunden heißen, dann komme ich aber wahrscheinlich nicht aus, wenn ich sage, ich möchte für jeden 30 Dollar im Monat bezahlen.

Naja, das kommt darauf an, wie viele Mitarbeiter du tatsächlich hast. Also es ist natürlich auch ein Chat-GPT-Abo mit 30 Dollar im Monat nicht unbedingt günstig. Man muss ja immer gucken, wie viel wird es genutzt, also nutzt wirklich jeder Mitarbeiter im Unternehmen diese 30 Dollar, Anführungszeichen, auch ab? Also das ist ja eine einfache Frage, in der Regel nein. Und dann muss man gucken, wie viel wird genutzt, also nutzt wirklich jeder Mitarbeiter im Unternehmen diese 30 Dollar, Anführungszeichen, auch ab? Was kostet die Anschaffung entsprechender Hardware oder die monatliche Miete solcher Hardware? Was kostet mich der Betrieb? Und dann kann ich das gegenrechnen. Und natürlich ist es so, dass in vielen Fällen rauskommen wird, dass es teurer ist, als wenn ich mir das Chat-GPT-Plus-Abo, Pro-Abo oder ähnliches kaufe. Aber du hast eben den Vorteil, das Ganze bleibt bei dir, die Daten bleiben bei dir und werden nicht von irgendeinem anderen Konzern weiterverarbeitet oder fürs Training verwendet. Ja.

Und sind in diesem Beispiel grundsätzlich die initialen Kosten höher oder die laufenden Kosten? Also worauf ich hinaus will ist, okay, ich habe jetzt die Idee, ich will das mal machen und stelle aber fest, das brauchen am Ende vielleicht doch nicht alle Mitarbeiter oder das Anfragevolumen ist viel geringer, als ich vorher gedacht habe. Dann wäre es ja auch sinnvoll zu wissen, komme ich denn, ich sage mal, relativ zügig von den hohen Kosten vielleicht auf ein paar geringere Kosten?

Genau. Also wenn du eigene Hardware kaufst, dann sind die Anschaffungskosten initial schon der höchste Punkt davon. Wenn du das mietest, dann hast du relativ konstant gleichbleibende Kosten.

Und wahrscheinlich auch entspannte, in Anführungszeichen, Kündigungsfristen. Also man kann ja wahrscheinlich dann so einen Server irgendwo mieten bei einem x-beliebigen Dienstleisterrechenzentrum und da hat man ja relativ entspannte Kündigungsfristen im Zweifel.

Genau. In vielen Fällen hast du da monatliche Kündigungsfristen. Teilweise musst du Jahresverträge abschließen, je nach Dienstleister und Anbieter. Aber genau. Das kannst du relativ schnell abschließen. Und dann kannst du relativ frei entscheiden.

Okay. Das heißt im Prinzip, um mal so ein grobes Gefühl für so einen Fahrplan zu kriegen, ich müsste mir überlegen, wie viele Leute habe ich? Benutzt das jeder von den Leuten, die ich habe? Kann ich ungefähr schätzen, wie hoch das Anfragevolumen, nenne ich es einfach mal, ist? Und dann kann ich mich eben auf die Suche nach entsprechender Hardware machen und müsste mich dann aber ja noch entscheiden, welches dieser Open Source Modelle ich nehme. Da macht es wahrscheinlich Sinn, wenn man jemanden fragt, der sich damit auskennt, oder?

Ja, das macht sicherlich Sinn. Und dann würde ich immer empfehlen, dass man irgendwie im besten Fall eine Testphase auch macht, dass man so ein bisschen für sich evaluiert, welches Modell passt dann auch. Klar, erstmal Gedanken machen, was will ich eigentlich damit anstellen? Will ich ein reines Chatmodell haben, mit dem eben chatbasiert so Informationen ausgetauscht werden können? Möchte ich das eigene Daten des Unternehmens da mit reinkommen, sodass ich also auch unternehmensinterne Daten von diesem Chatmodell abfragen kann? Okay, darf ich ganz kurz einhaken? Ja, bitte.

Also du meinst im Prinzip, ich habe jetzt so etwas wie ein, ein CRM oder sonst irgendwas, das könnte ich in der Theorie mit anbinden und könnte mein eigenes ChatGPT, um mal bei dem geläufigsten Namen einfach zu bleiben, nach Dingen aus meinem CRM fragen?

Zum Beispiel, genau. Das ist ein gängiger Anwendungsfall, dass man eben die Daten dann mit anreichert aus solchen Systemen und dann kann man eben auch dem LLM konkret Anweisung geben, schreib eine E-Mail an Peter Müller und dann kann er eben diese E-Mail auch anreichern, jedenfalls mit Daten von Peter Müller aus dem CRM. Das ist möglich.

Okay. Sonst irgendwas, worauf man achten sollte, was wir jetzt noch nicht besprochen haben? Ich glaube, das ist aber für das erste Gefühl schon ganz brauchbar hier.

Na, ich würde sagen, man sollte sich auf jeden Fall Gedanken darüber machen, wie man das im Unternehmen nutzen möchte. Denn man muss sich einer Sache bewusst sein, viele Mitarbeiter werden das jetzt schon nutzen. Mhm. Wenn ich nichts anbiete, dann werden sie sich selber was suchen. Mhm. Im Zweifel ist es dann eben ChatGPT oder Cloud. Einer der großen Marken an der Stelle, die sie dann nutzen in der Free-Version. Aber es wird passieren. Also egal, was ich mache, die Leute werden es nutzen. Vielleicht nicht alle, aber ein Teil davon, gerade von den Jüngeren eben. Und auf der anderen Seite muss ich mir natürlich auch überlegen, vielleicht will ich das ja sogar, dass sie das auch nutzen können, weil ich vielleicht auch feststelle, das bringt sehr viele Vorteile. Mhm. Und das macht vielleicht die Kommunikation mit Kunden, professioneller, schneller, qualitativ hochwertiger, je nachdem. Also ich sollte mir auf jeden Fall über das Thema KI-Einsatz im Unternehmen Gedanken machen.

Ja. Jetzt muss, glaube ich, in jedem Podcast über KI, ChatGPT, LLMs die Frage der Fragen gestellt werden. Ich könnte mir vorstellen, dass viele Mitarbeiter ein bisschen Angst haben, auch vor diesem ganzen Wandel. Wie schätzt du dieses, ich sag mal, Buzzword? Buzzword Risiko des Jobverlustes ein? Oder glaubst du, es ist mehr Chance als Risiko?

Ja, das ist eine spannende Frage und es wird ja heiß diskutiert. Und es gibt, glaube ich, für alles zwischen schwarz und weiß gibt es irgendwie Positionen, Leute, die diese Positionen vertreten. Ich denke, man muss sich vor allen Dingen dann Gedanken machen, wenn man sich nicht mit dem Thema auseinandersetzt. Also wenn ich die Augen davor verschließe, wie bei allen anderen Sachen auch, wenn ich die Augen davor verschließe und sage, das gibt es nicht, das betrifft mich nicht, will ich nicht, dann wird es passieren. Vielleicht, dass ich irgendwann an den Punkt komme, wo ich sage, jetzt komme ich nicht mehr weiter ohne.

Du hättest den Anschluss verloren einfach.

Genau, und das sollte man vermeiden und deswegen sollte man gucken, dass man sich irgendwie damit beschäftigt. Und das muss halt nicht negativ sein. Und ich kann sicherlich durch einen geschickten Einsatz solcher Systeme meine Position im Unternehmen oder meine Position im Job auch nochmal stärken.

Ja, es geht ja auch so ein bisschen um Effizienz.

Also kann ich vielleicht effizienter arbeiten und dadurch vielleicht noch mehr andere Sachen machen.

Genau, ja. Oder einfach dadurch auch besser werden und dadurch mehr und das besser schaffen von dem, was ich eigentlich mache. Also ich glaube Risiko ist es dann vor allen Dingen, wenn man das überhaupt nicht nutzt. Und ja, ansonsten ist es halt ein Werkzeug und dieses Werkzeug muss eingesetzt werden und es muss korrekt eingesetzt werden. Dafür brauche ich einmal irgendwie das LLM an sich und die Möglichkeit darauf, damit zu arbeiten. Ich brauche auch das Wissen, damit zu arbeiten. Das heißt, ich brauche irgendwie eine Art von Schulung, damit ich überhaupt weiß, wie ich es benutzen soll. Also du meinst Prompting sozusagen. Genau. Wenn ich dir einen Hammer hinlege und sage, benutze mal und du fasst den vorne an am Kopf des Hammers und haust mit dem Stiel auf den Nagel drauf, kriegst du den Nagel auch ins Holz. Aber wahrscheinlich sehr viel langsamer und möglicherweise auch schief und krumm, als hättest du ihn richtig rumgehalten.

Ja und der Hammer geht im Zweifel auch schneller kaputt.

Genau. Ich muss dir halt im besten Falle erklären, wie funktioniert so ein Hammer und das ist hier genau das Gleiche.

Also auch wichtig, dafür Zeit nehmen. Also nicht einfach implementieren und sagen, so Leute, hier ist es, sondern den Leuten halt auch an die Hand geben, wie es funktioniert. Exakt. Ja, stark. Ja, ich wäre durch mit meinen Fragen sozusagen. Ich glaube für die erste Folge nach der sehr langen Pause. Bisschen was mitgenommen hier alle. Die Möglichkeit, Kontakt aufzunehmen, hat sich nicht geändert. Wenn also irgendjemand sich jetzt berufen fühlt, LLM für mich selber klingt gut, dann hagel-it.de slash Termin. Funktioniert nach wie vor. Bis nächstes Mal. Bis nächstes Mal. Ciao.