Large Language Models – Wie Sie Ihr eigenes ChatGPT aufbauen

„We go all-in on AI”, verkündete Satya Nadella im Sommer vergangenen Jahres. Und wer hätte je Zweifel gehegt, dass der Microsoft-CEO es ernst meint? Der Anbieter hat seither eine strategische Partnerschaft mit den ChatGPT-Erfindern OpenAI forciert. Die Experimente rund um das nunmehr allgegenwärtige Large Language Model (LLM) wurden zielgerichtet vorangetrieben und erste Services über die Azure Cloud veröffentlicht. Seinen vorläufigen Höhepunkt fand diese Entwicklung im Copilot. Die sprachbasierte Künstliche Intelligenz (KI) soll künftig über alle Microsoft-Programme hinweg ein effizienteres und erfolgreicheres Arbeiten ermöglichen.

Aber was geht noch in Sachen LLM? Wie können Unternehmen auf der Basis individuelle KI-Anwendungen im Microsoft-Kosmos realisieren? Ich berate Kunden und Interessenten seit nunmehr einem Jahr rund um das Thema. Dabei gilt es immer wieder, Antworten auf die gleichen Fragen zu finden:

1. Wo kann ich Large Language Models einsetzen?
2. Wie steige ich in das erste LLM-Projekt ein?
3. Wie realisiere ich individuelle LLM-Lösungen?

Immer mehr Unternehmen entwickeln eigene Chatbots auf Basis von Large Language Models.

1. Wo kann ich Large Language Models einsetzen?

Ob „ogGPT“ von OTTO, Mercedes mit dem „Direct Chat“ oder auch das „dmGPT“ – immer mehr Unternehmen nutzen LLMs für den Aufbau eines Firmen-Chatbots. Die Idee: Mitarbeitende aus jedem Bereich können Fragen zu ihren Aufgabenstellungen direkt in ein Chatfenster eintippen. Dabei ist es egal, ob es um Verträge, Kundensupport, Reisekosten oder IT-Themen geht – der Chatbot sucht im Hintergrund in den unternehmenseigenen Daten und Dokumenten nach den richtigen Informationen und setzt daraus mithilfe des Sprachmodells innerhalb von Sekunden die passende Antwort zusammen. Auch ein direkter Zugriff auf die zugrunde liegenden Dokumente wird ermöglicht. Auf diese Weise sparen Sie nicht nur eine Menge Zeit und Aufwände. Meist erhalten Ihre Nutzer auch bessere Ergebnisse. Ebenso wird Wissensverlusten, etwa durch ausscheidende Mitarbeitende, vorgebeugt.

Ein solches, unternehmenseigenes Wiki zählt zu den einfachsten Use Cases der LLMs. Es eignet sich insofern gut als Startpunkt in die sogenannte Generative KI. Denn auch komplexere Lösungen etwa auf Grundlage von transaktionalen Datenbanken sind möglich. Als Beispiele seien intelligente Templates für Standard-Angebote oder das automatisierte Schreiben von E-Mails genannt.

2. Wie steige ich in das erste LLM-Projekt ein?

Um den Erfolg von LLM-Projekten zu gewährleisten, müssen IT und Fachbereiche eng zusammenarbeiten. Ein bewährter Einstieg bildet die gemeinsame Suche nach passenden Use Cases. Es gilt, Nutzen und Aufwand genau abzuwägen, damit sich anfänglich gute Ideen nicht im weiteren Projektverlauf zur Kostenfalle entwickeln.

Eine erste Einordnung Ihrer Anwendungsfälle kann anhand dieser Kategorien erfolgen:

• Chatbot-Anwendung: Manche Ihrer Ideen lassen sich bereits mit vorhandenen LLMs wie eben „ChatGPT“ oder einer Basisvariante des eingangs erwähnten Copilot – ehemals „Bing Chat Enterprise“ – umsetzen. Hier reichen mitunter Schulungen für die Anwender. Der Aufbau eines eigenen ChatGPT-„Klons“ – etwa auf Basis von Azure Open AI – zerstreut auch etwaige Security- und Datenschutzbedenken. Die Kosten sind folglich als gering einzustufen.
• Individuelle Lösung: Hängen an Ihrem Anwendungsfall unternehmenseigene Daten, Prozesse und Dokumente? Bei einem Firmen-Chatbot wie oben beschrieben ist dies der Fall. Entsprechend müssen Sie mit einer individuellen Lösung planen. Die Kosten und der Nutzen sind dabei genau abzuwägen.
• Standardprodukt: Gibt es für Ihre Anforderungen in absehbarer Zeit eine Standard-Lösung, etwa über den Copilot? Häufig lohnt es sich darauf zu warten, insbesondere wenn eine individuelle Lösung die einzige Alternative darstellt.

3. Wie realisiere ich LLM-Lösung?

Aufbau eines Chatbots für interne Dokumente.

Zunächst: Leider funktionieren LLMs nicht wie Machine-Learning-Modelle. Um einen unternehmenseigenen Chatbot zu entwickeln, lohnt es sich im Regelfall nicht, ein neues Sprachmodell aufzubauen oder ein vorhandenes mit eigenen Daten und Deep-Learning-Techniken nachzutrainieren. Der Aufwand in Bezug auf den Stromverbrauch, die erforderliche Rechenleistung sowie die Vorbereitungszeit wäre einfach zu hoch. Im Fall von ChatGPT oder GPT-4 ist dieses Vorgehen per se ausgeschlossen, da den Anwendungen herstellerspezifische Modelle zugrunde liegen.

Wie befähigen Sie also Ihren Chatbot dazu, Aufgaben individuell umzusetzen? Tatsächlich bilden hier nicht LLMs den Kern der Lösung, sondern eine eigens programmierte Software mit eingebauten Agenten. Diese App wird mit Ihren spezifischen Eingabetexten – den sogenannten Prompts – gefüttert. Sie durchsucht Ihre Datenbanken und Dokumente nach der Antwort zu Ihrer Frage. Erst bei der Ausformulierung kommt dann das LLM zum Tragen: Es erstellt aus den unterschiedlichen Informationen einen zusammenhängende Texte, die wiederum über die App an den Nutzer ausgespielt werden.

Eine solche Software lässt sich deutlich schneller entwickeln als ein individuelles Sprachmodell. Microsoft stellt zu diesem Zweck sogar verschiedene Templates mit Basis-Konfigurationen zur Verfügung. Zudem sei gesagt: Bei manchen Anwendungsfällen kann sich auch das Feintuning eines bestehenden LLMs auszahlen, zum Beispiel bei Sentiment-Analysen oder der Keyword-Extraktion. Microsoft bietet hierzu eine hilfreiche Übersicht von Anwendungsfällen.

Strategien zur Anpassung und Optimierung großer Sprachmodelle.

Wie geht es weiter?

Ein Ausblick in die Zukunft der Generativen KI fällt aktuell schwer – selbst kurzfristig betrachtet. Der Markt ist extrem in Bewegung. Anders als erwartet, haben sich nicht allein die großen Player das Thema zu eigen gemacht. Gerade die Open Source Community treibt die Entwicklung massiv voran. So vergeht kaum ein Tag ohne Neuigkeiten. Hervorzuheben sind im Moment vor allem die multimodalen Modelle, die Text und Bild kombinieren.

Ebenso wenig ist abzusehen, inwieweit sich Standards etablieren werden. Neben Open AI mit ChatGPT und GPT-4 machen immer mehr große Sprachmodelle anderer Anbieter auf sich aufmerksam. Wer sich durchsetzen wird, bleibt abzuwarten. Vielleicht wird es auch niemals den einen LLM-Standard geben. Entscheidend ist vor allem, praktische Erfahrungen mit den neuen Technologien zu sammeln. Wie wir weiter oben gesehen haben, wird hierbei ein besonderer Fokus auf der Software-Entwicklung liegen.

Wünschen Sie sich persönliche Unterstützung beim Aufbau Ihres eigenen Firmen-Chatbots? Dann informieren Sie sich über unseren Workshop Von GPT zur geschäftlichen Anwendung.