Künstliche Intelligenz im Unternehmen: Was du wissen musst, um mitreden zu können

Dieser Artikel richtet sich vor allem an Personen, die mehr darüber erfahren wollen, welche Möglichkeiten es gibt um KI im eigenen Unternehmen oder der eigenen Organisation einzusetzen. Der Text richtet sich an Personen, die an der Schnittstelle zwischen fachlichen und technischen Anforderungen arbeiten.

Du brauchst kein technisches Vorwissen, um dem Artikel zu folgen - aber am Ende solltest du in der Lage sein, mit Ingenieuren und Entwicklern fundiert über das Thema zu sprechen.

Hier lernst du:

• Welche Möglichkeiten es gibt, KI-Systeme in Unternehmen und Organisationen sinnvoll einzusetzen.

• Die wichtigsten Konzepte und Begriffe, um mit Fachleuten auf Augenhöhe kommunizieren zu können.

• Den Unterschied zwischen offenen und geschlossenen KI-Systemen - und warum das für den Datenschutz entscheidend ist.

• Wie man eine KI so steuert, dass sie sich an bestimmte Vorgaben hält.

• Wie man KI-Systeme sicher mit Unternehmensdaten verknüpft, ohne die Datensicherheit zu gefährden.

• Welche fertigen Lösungen dein Team nutzen kann, um leistungsfähige und sichere KI-Assistenten zu erstellen.

• Welche Ressourcen dir helfen, KI-gestützte Workflow-Automatisierung erfolgreich zu implementieren.

Hier gehe ich vor allem auf das Thema Einsatz von KI ein. Für eine Erklärung darüber, wie KI grundlegend funktioniert, sowie der wichtigsten Grundbegriffe zum Thema KI allgemein, empfehle ich dir, vorher diesen Artikel zu lesen: Wie funktioniert Künstliche Intelligenz?

Wie können KI-Modelle in Firmen und Organisationen eingesetzt werden?

Viele Menschen nutzen bereits Tools wie ChatGPT für ihre tägliche Arbeit. Dies ist jedoch oft nicht unproblematisch: Datenschutzstandards werden häufig nicht eingehalten, wenn Inhalte über das Web an KI-Betreiber gesendet werden. Zudem ist die KI der Wahl oft nur sehr eingeschränkt hilfreich, da sie den Unternehmenskontext nicht kennt und beispielsweise keinen Zugriff auf (vertrauliche) Daten des Unternehmens oder der Organisation hat.

Hier soll zunächst vorgestellt werden, wie KI aktuell überhaupt in einem solchen vertraulichen Umfeld genutzt werden kann und welche Grenzen es (aktuell noch) gibt.

Offene Modelle und Datensicherheit

Geschlossene Modelle: Leistungsfähig und unkompliziert

KI-Anwendungen wie ChatGPT, die über das Internet erreichbar sind laufen auf Webservern. Also auf Computern (bzw. riesigen Rechenzentren), die im Besitzt oder unter der Kontrolle des Anbieters oder eines Partnerbetreibers stehen. Beispielsweise werden die meisten Anwendungen von OpenAI in einem Microsoft-Rechenzentrum ausgeführt.

Der Vorteil hiervon ist zum Einen, dass die Modelle automatisch aktualisiert und bereitgestellt werden. Der wichtigere Grund ist allerdings, dass für den Betrieb der meisten LLMs besonders spezielle und leistungsstarke Hardware erforderlich ist. ChatGPT wäre im Grunde auf keinem heimischen Rechner ausführbar, selbst wenn der Code dafür frei verfügbar wäre.

Das birgt allerdings auch einen Nachteil: Der Öffentlichkeit ist oft nicht bekannt, was mit den Daten passiert, die an eine solche KI auf einem fremden Webserver gesendet werden. Es ist allerdings davon auszugehen, dass der Betreiber die Daten zumindest speichert, auswertet und für weiteres Training nutzt.

Insbesondere für deutsche Unternehmen und Behörden, die sich an Datenschutzerklärungen halten müssen, stellt das ein großes Hindernis dar.

Offene Modelle: Kontrolle über Daten und Betriebsgeheimnisse

Eine weitere Sorge war anfangs, dass der enorme Ressourcenverbrauch von KI-Modellen bedeutet, dass deren Training und Ausführung in großen Rechenzentren quasi alternativlos ist. Mittlerweile wissen wir aber: Viele leistungsstarke Modelle lassen sich auch mit eigener Hardware betreiben, teilweise sogar auf Laptops.

Das erste offene Modell war eigentlich ein Unfall: Ein Datenleck beim Facebook Mutterkonzern Meta hat dazu geführt, dass das Model und die Gewichte, also das Ergebnis des aufwändigen Trainings, öffentlich zugänglich waren. Das Meta-Model namens Llama wurde umgehend Open Source (also als öffentlicher Quellcode) zur Verfügung gestellt. Open Source bedeutet, dass jeder den Programmiercode einsehen, anpassen oder weiterentwickeln kann.

Seitdem sind viele neue OpenSource Modelle veröffentlicht worden. Waren die Modelle anfangs noch recht langsam und fehleranfällig, können einige von ihnen heute fast mit den großen geschlossenen Modellen mithalten. Dadurch ist eine Entwicklung angestoßen worden, die dazu geführt hat, dass auch immer mehr Unternehmen ihre Modelle und Gewichte veröffentlichen, zuletzt z.B. auch das chinesische DeepSeek.

Datensicherheit und Einsatz offener Modelle

Mittlerweile gibt es eine Vielzahl offener Modelle, die sich frei aus dem Internet herunterladen und installieren lassen. Viele offene, relativ leistungsstarke LLMs lassen sich bereits auf einem modernen MacBook flüssig ausführen. Ist ein solches Modell auf der eigenen Hardware installiert, wird es vollständig dort ausgeführt. Es werden keine Daten mehr über das Internet versendet. Dies bietet Unternehmen und Organisationen die Möglichkeit KI zu nutzen ohne dass Daten den eigenen Rechner oder das eigene Rechenzentrum verlassen müssen.

Das wichtigste:

• Geschlossenes Model (Closed Source): Ein Model bei dem der Quellcode (= Programmiercode) oder die Gewichte nicht öffentlich bekannt sind. Diese Modelle werden in Rechenzentren der Betreiber ausgeführt. Nutzer haben keine Hoheit über eingegebene Daten.

• Offenes Model (Open Source) : Ein Model, bei dem sowohl der Quellcode als auch die Gewichte frei verfügbar sind. Offene Modelle können frei aus dem Internet heruntergeladen und auf eigenen Rechnern ausgeführt werden, ohne dass dabei Daten über das Internet versendet werden.

• Sind Leistung und Intelligenz gefragt, sind offene Modelle in der Cloud häufig eine gute Wahl

• Ist Datensicherheit ein Muss, kommt man an geschlossenen selbst-gehosteten Modellen kaum vorbei.

• In der Praxis wird oft eine Mischung aus beiden eingesetzt

Wie kann eine KI für ein Unternehmen oder eine Organisation angepasst werden?

Grundsätzlich ist das Allgemeinwissen eines KI-Models über die Welt in dessen Parametern gespeichert, wie hier beschrieben.

Damit eine KI aber in einem Unternehmen oder einer Organisation sinnvoll eingesetzt werden kann, braucht sie meist zusätzlich spezifischen Kontext, Fachwissen oder Zugriff auf interne Informationen, Dokumente und Abläufe.

Es gibt verschiedene Möglichkeiten, das zu erreichen.

Mit der Systemprompt kann bestimmt werden, wie sich die KI verhält

Die Eingabe, die wir beispielsweise über ein Chat-Interface an eine KI senden, wird imm allgemeinen Prompt genannt. Genauer genommen handelt es sich hierbei allerdings um die User-Prompt, die nur einen kleinen Teil der finalen Prompt darstellt, die letztendlich an die KI gesendet wird.

Im Hintergrund wird die Benutzereingabe durch die sogenannte System-Prompt und Kontextinformationen ergänzt. Alles zusammen wird dann als finale Prompt in das Model gegeben.

Die System-Prompt ist für Nutzer meist unsichtbar und dient der grundlegenden Konfiguration der KI. Sie legt fest, in welchem Tonfall oder Format die KI antwortet und kann Informationen wie das aktuelle Datum oder das Cut-Off-Datum der Trainingsdaten enthalten. So wird z.B. versucht sicherzustellen, dass die KI keine Daten vorgibt, die sie nicht besitzt.

Bereits während des Trainings wird das System darauf optimiert, keine falschen oder gefährlichen Informationen auszugeben, nicht zu halluzinieren und sich respektvoll zu verhalten. Diese grundlegenden Weichenstellungen sind von Anfang an Teil des Trainingsprozesses.

Darüber hinaus kann die System-Prompt gezielt genutzt werden, um die KI beispielsweise anzuweisen, einen bestimmten Stil beizubehalten, einem festen Frage-Antwort-Schema zu folgen oder bei fehlenden Informationen Rückfragen zu stellen. Sie hilft auch, die KI auf ein bestimmtes Thema zu fokussieren und Ablenkungen zu vermeiden.

Beim Einsatz einer KI in der eigenen Organisation kann die Systemprompt nach Belieben vorgegeben werden.

Kontext-Informationen in der Prompt

Alle weiteren Informationen, die der KI zur Bearbeitung einer Anfrage zur Verfügung gestellt werden, müssen ebenfalls als Kontext in den finalen Prompt eingefügt werden. Dazu gehört z.B. die Chat-Historie, damit die KI den Gesprächsverlauf berücksichtigen kann.

Wenn die KI Fragen zu einem bestimmten Dokument beantworten soll, wird entweder das gesamte Dokument oder die relevanten Abschnitte als Klartext an die finale Eingabeaufforderung angehängt. Darüber hinaus wird das Modell in der System-Prompt häufig angewiesen, zur Beantwortung der Fragen keine Informationen heranzuziehen, die nicht explizit Teil des gegebenen Kontextes waren.

Kontext-Limitierung, Context-Window

Bei jeder einzelnen Anfrage wird die gesamte finale Prompt einschließlich des Kontextes vom KI-Modell verarbeitet. Aktuelle Modelle können jedoch nur eine begrenzte Menge an Kontextinformationen verarbeiten. Diese Begrenzung wird als Context-Window bezeichnet. Obwohl die Context-Windows neuerer Modelle immer größer werden, sind sie in der Regel zu klein, um komplette, umfangreiche Dokumente zu erfassen. Es ist daher nicht praktikabel, einfach alle internen Dokumente und Informationen in den Prompt-Kontext einzufügen und an das Modell zu senden. Außerdem würde eine zu große Datenmenge die Leistung der KI stark beeinträchtigen.

In der Praxis wird dieses Problem mit einem Ansatz namens RAG gelöst.

Was ist RAG?

Retrieval-Augmented Generation, kurz RAG, ist ein Ansatz um den aktuell kaum ein in einer Organisation eingesetztes KI-System drumherum kommt, wenn es in der Lage sein soll auf Informationen oder Dokumente der Organisation zuzugreifen.

In einem RAG-System werden für jede Anfrage an die KI zunächst relevante Informationen gesucht (retrieval). Anschließend wird die finale Prompt im Hintergrund um die gefundenen Informationen ergänzt (augmented) und eine Antwort der KI generiert (generation).

Mittlerweile gibt es leistungsfähige, fertige RAG-Systeme, die relativ einfach in Organisationen eingesetzt werden können um beispielsweise einen Chatbot zu implementieren, der Fragen zu Dokumenten und Daten des Unternehmens beantworten kann.

Wie gut RAG-Systeme in der Praxis funktionieren hängt allerdings von vielen Faktoren ab: Dem Format und der Komplexität der hinterlegten Dokumente, der Auswahl und Leistungsfähigkeit der eingesetzten offenen oder geschlossenen LLMs und einer Vielzahl von Konfigurationsparametern. Damit ein RAG-System zuverlässig gute Antworten liefern kann, bedarf es oft genauer Konfiguration und intensiver, umfangreicher Tests und Anpassungen.

Training und Fine-Tuning

Das grundlegende Training eines LLMs ist extrem komplex und bedarf enormer Ressourcen. Es wird daher in der Regel von darauf spezialisierten Unternehmen oder Organisationen wie OpenAI, Anthropic, Google oder DeepSeek unternommen.

Angepasst werden kann das LLM im Anschluss durch das sogenannte Fine-Tuning: Einer Art zweiten Trainingsrunde bei der weitaus weniger Ressourcen benötigt werden und das Verhalten des LLMs in bestimmten, Situationen angepasst werden kann.

Ein verbreiteter Irrglaube ist, dass ein LLM für den Einsatz in einem Unternehmen oder einer Organisation speziell dafür trainiert oder durch Fine-Tuning angepasst werden muss. In den allermeisten Fällen ist das nicht notwendig. Zum Einen sind leistungsfähige Models zu ambivalent, dass sie mittels passender Systemprompt bereits dazu bewegt werden können, sich auf eine bestimmte Art und Weise zu verhalten. Zum Anderen gibt es eine stetig wachsende Menge von KI-Modellen die bereits für die verschiedensten Zwecke angepasst wurden und von Organisationen genutzt werden können.

Fertige KI-Lösungen für den Einsatz in Unternehmen und Organisationen

Das Ökosystem rund um offene KI-Systeme wächst aktuell rasant und hier sollen kurz einige interessante Beispiellösungen vorgestellt werden, um einen Eindruck davon zu vermitteln, was bereits relativ problemlos machbar ist.

Open WebUI für eigene KI-Assistenten

Open WebUI ist eine ursprünglich von einem Studenten erdachten aber mittlerweile von einer großen Community entwickelte OpenSource-Platform für alle möglichen offenen und geschlossenen KI-Modelle.

Open WebUI ermöglicht es, beliebige offene oder geschlossene KI-Modelle als Basis zu verwenden und um nahezu jede denkbare Funktionalität zu erweitern. So können KI-Agenten erstellt werden, die genau auf bestimmte Aufgaben zugeschnitten sind. Durch die Integration von Werkzeugen wie Websuche, Daten- oder Bildanalyse und Zugriff auf Datenbanken kann das Basismodell gezielt ergänzt werden. Die fertigen Agenten stehen dann über eine benutzerfreundliche Oberfläche im Stil von ChatGPT zur Verfügung.

Bereits heute nutzen viele Menschen ChatGPT in ihrer täglichen Arbeit. Mit Open WebUI können Unternehmen ihren Mitarbeitenden eine ähnliche Lösung anbieten - entweder auf Basis der OpenAI-KI oder aus Datenschutzgründen als selbst gehostete Alternative. Dabei lässt sich das System individuell anpassen, so dass es nicht nur optimal auf den jeweiligen Aufgabenbereich abgestimmt ist, sondern auch gezielt auf unternehmensinterne Daten und Funktionen zugreifen kann.

Desweiteren stehen für Open WebUI bereits viele von der Community genutzte Tools und Models zur Verfügung.

Onyx für KI-gestützte Suche

Onyx ist ein weitere leistungsfähiges OpenSource-System mit dem sich KI-gestützt organisationsinterne Daten und Dokumente durchsuchen lassen. Allgemein lassen sich ähnlich wie mit der KI-Suchmaschine PerplexityAI unstrukturierte Fragen stellen, auf die das KI-System dann eine konkrete, auf den ausgewählten Inhalten beruhende Antwort liefert.

Ein Onyx-Assistent könnte beispielsweise in einer Behörde eingesetzt werden, um zu prüfen, ob eine Person mit bestimmten Merkmalen Anspruch auf bestimmte Leistungen hat. Dabei würde er die Frage gezielt beantworten und relevante Passagen aus hinterlegten Verordnungen oder Gesetzestexten zitieren, so dass die Antwort transparent und nachvollziehbar bleibt.

Im Hintergrund nutzt Onyx dazu das bereits vorgestellte RAG-System - allerdings in einer besonders ausgefeilten Form.

Dank verschiedener Adapter kann Onyx Daten aus den unterschiedlichsten Quellen innerhalb einer Organisation einlesen und indexieren, darunter Datenbanken, Google Drive, lokale Festplatten und vieles mehr. Ähnlich wie bei Open WebUI kann je nach Anforderungen an Performance und Datenschutz ein geeignetes internes oder externes KI-Modell ausgewählt werden, um spezifische Fragen zu den hinterlegten Dokumenten zu beantworten.

Während Onyx in der Praxis relativ einfach zu installieren und zu integrieren ist, erfordert die Auswahl geeigneter KI-Modelle, System-Prompts und die genaue Konfiguration des RAG-Systems je nach Art und Umfang der hinterlegten Daten eine kontinuierliche Optimierung.

Wie bei allen RAG-Systemen gilt: Sie liefern oft präzise Antworten, aber die Technologie ist noch jung - und Halluzinationen sind nach wie vor ein häufiges Problem. Daher sollten die in den Antworten zitierten Quellen immer sorgfältig geprüft werden!

KI-gestützte Workflow-Automatisierung

Viele Arbeitsabläufe können bereits heute ohne den Einsatz von KI automatisiert werden. Moderne KI-Modelle ermöglichen es aber auch, Aufgaben in Arbeitsprozessen zu automatisieren, die bisher als zu komplex galten - etwa weil sie keiner festen Regelstruktur folgen. Dazu gehören beispielsweise das Analysieren, Zusammenfassen oder Erstellen von E-Mails und Texten, das Vergleichen von Dokumenten, das Bewerten von Vorgängen oder das Skizzieren von Lösungen. Einfache Entscheidungsprozesse können inzwischen von KI-Agenten übernommen werden.

Viele Anbieter stellen Lösungen bereit, mit denen KI-gestützte Workflows flexibel zusammengestellt werden können. Dabei können bestehende Automatisierungen mit einer Vielzahl vordefinierter Werkzeuge und Prozessschritte kombiniert und durch KI-Agenten oder andere KI-gestützte Werkzeuge erweitert werden.

Viele No-Code-Tools ermöglichen Automatisierung ohne Programmierkenntnisse – wie beispielsweise AutomationAnywhere, Gumloop oder LindyAI. Komplexere Lösungen lassen sich direkt in bestehende Software integrieren – etwa mit dem deutschen Workflow-Automation-Tool N8N.