Ihre Business Intelligence ScioGPT

Das propritär generierte ScioGPT ist das datengesicherte generative Analysesystem, das auf Grundlage von vorhandenem Wissen und korrelierten globalen Daten Ihre Business Intelligence verbessert.

Was ist besonders an MY CHATGPS?

Wie wird MY ChatGPT in Ihr Unternehmen integriert?

Eine robuste und skalierbare Daten- und KI-Infrastruktur ist die Basis Ihrer eigenen KI-Lösung.

Als führendes Unternehmen für Datenanalyse unterstützt SCIODAT seit mehr als fünf Jahren Organisationen bei der Umsetzung von Data Science.

Gemeinsam mit Ihrem Unternehmen analysieren wir zunächst den konkreten Bedarf an KI-Unterstützung. Profitieren Sie in diesem vertrauensvollen Prozess von unserer Erfahrung in der technischen Umsetzung unterschiedlichster KI-Lösungen.

Ihr eigenes ChatGPT ist ein Computerprogramm, das darauf trainiert ist, menschenähnliche Antworten auf Fragen oder Texten zu generieren. Es verbessert sich ständig weiter, indem es große Textmengen analysiert und daraus lernt. Das Ergebnis ist Ihr intelligenter firmeneigener Chatbot, der menschenähnliche Gespräche mit Ihnen führen kann.

Technisch gesehen analysiert der Chat-GPT-Algorithmus Ihre Fragen und Textbeispiele und entwickelt daraus eine digitale Mustererkennung. Diese hilft ihm, die menschliche Sprache zu verstehen und mit Hilfe eines frei erstellten Symbolsystems verständlich darauf zu reagieren.

Die Informationen für diesen digitalen Wissens-Service bezieht Ihr ChatGPT aus den Daten, mit denen er trainiert wird. Diese stammen neben Ihren unternehmenseigenen Daten aus Internetquellen wie Wikipedia, Nachrichtenseiten und Portalen mit Fachartikeln aus Politik, Wissenschaft und Gesellschaft. Insgesamt umfasst das Textkorpus, auf dem das Sprachmodell basiert, auf rund 500 Milliarden Wörter.

Wie funktioniert MY CHATGPT?

Häufigstes Anwendungsbeispiel: Kunden, Behörden, Partner oder Investoren haben jeweils ganz konkrete Fragen an Ihr Unternehmen, die von Ihnen oder (Service-)mitarbeitern und -mitarbeiterinnen beantwortet werden sollen. Für die Beantwortung greifen Sie in der Regel händisch auf unterschiedlichste Ressourcen wie Geschäftsberichte, Benutzerhandbücher oder Vertragsinformationen zurück.

Um aber eine wesentliche Effizienzsteigerung zu gewährleisten, stellt man dem Servicemitarbeitern idealerweise einen betriebseigenen Chatbot an die Seite, der bei der Beantwortung von Kundenanfragen aktiv unterstützt.

Kommt eine Anfrage rein, nutzt der zuständige Mitarbeiter den Chatbot von My ChatGPT, um die vom Kunden angefragten Informationen mit entscheidend gerinferem Zeitaufwand automatisiert digital zusammenzutragen. Der Chatbot spielt die rohen oder bereits in einem Antworttext verpackten (Forecasting-)Informationen an den Service Desk zurück, welche die Antwort überprüft und an den Kunden weiterleitet.

Um diese Variante technisch umzusetzen, reicht es, auf das Grounding des GPT-Basismodells zurückzugreifen. Grundlage für das Grounding ist eine unternehmenseigene Wissensdatenbank bestehend aus Geschäftsberichten, Vertragsinformationen, Benutzerhandbüchern u.a.m.

Was bedeutet Grounding? Häufig stehen nicht genügend historische Beispiele für das Finetuning eines GPT-Modells zur Verfügung. Da diese jedoch standardmäßig nur ein generelles Textverständnis haben und spezifische Informationen aus Texten extrahieren können, ist es für einige Anwendungsfälle sinnvoll, zusätzlich zu dem Prompts (Aufforderung an den Benutzer, eine Eingabe zu tätigen) weitere Informationen an das GPT-Modell zu überliefern. Genau dies wird mithilfe des sogenannten Grounding erreicht.

Im Rahmen des Grounding werden deine Prompts mit unternehmensspezifischen Daten angereichert, um
einer konkreten Anfrage Kontext zu geben. Mit dieser Methode wird also der Wissensschatz Ihres GPT-Modells
erweitert, sodass es zuverlässige und spezifische Antworten liefern kann. Der Algorithmus selbst bleibt dabei, anders als beim Finetuning, unverändert. Zuerst werden Ihre Datenquellen (z. B. PPTX, .html, PDF) in die eigene Wissensdatenbank geladen. Dies ermöglicht es, relevante Textinhalte aus Datenquellen, die zuvor als Vektorrepräsentationen indiziert wurden, in verwendbare Formate zu extrahieren. Geben Sie nun einen Prompt
über eine Anwendung ein, wird mithilfe der Vektorindizes bestimmt, welche der angebundenen Dateien basierend auf Ihre Anfrage und dem bereitgestellten Konversationsverlauf abgerufen und zusammen mit Ihrem Prompt für die Antworterstellung an das GPT-Modell weitergegeben werden sollen.

Mit jedem Vorgang lernt das System dazu und wird dadurch immer effektiver und schneller.

Welche Variante ist nun die vorteilhafte?
Das Beispiel zeigt, dass die Wahl zwischen den im vorherigen
Abschnitt vorgestellten Individualisierungsvarianten
immer vom Use Case abhängt.

Dabei macht
es in den meisten Anwendungsfällen Sinn, mit dem
Grounding zu starten und bei Bedarf aufbauendes
Finetuning zu betreiben. Grund hierfür ist, dass das
Sprachverständnis also die “Denkweise” der Basismodelle
für die meisten Use Cases ausreicht. Vielmehr
fehlt den GPT-Modellen in den meisten Fällen lediglich
der Zugang zu unternehmensspezifi schen Informationen,
welche für die Beantwortung von Anfragen notwendig
sind und über Grounding verfügbar gemacht
werden können.
Use Cases, in denen nur auf Finetuning zurückgegriff
en wird, sind eher selten. Dies liegt daran, dass
eine riesige Menge an Trainingsdaten notwendig
ist, um das KI-Modell so stark zu verändern, dass es
alle möglichen Anfragen ohne Zuhilfenahme einer
unternehmensspezifi schen Wissensdatenbank zufriedenstellend
beantworten kann. Zudem können sich
Informationen ändern, was in dem Fall des alleinigen
Finetuning ein regelmäßiges Nachtrainieren des KIModells
bedeuten würde. Im Falle des Grounding muss
lediglich die Wissensdatenbank aktualisiert werden,
während das KI-Modell unberührt bleibt.
Bevor auf Finetuning zurückgegriff en wird, sollte überprüft
werden, ob die erhoff ten Ergebnisse ebenfalls
durch eine System Message erreicht werden können.
Die System Message ist ein vorformulierter Text bestehend
aus Anweisungen, mit dem jeder Prompt
automatisch angereichert wird. Soll der Chatbot
zum Beispiel in einem formellen Sprachstil antworten,
kann dies in der System Message festgehalten werden.
Hierdurch können Denk- und Ausdrucksweise des
Chatbots bereits in begrenztem Maße an den eigenen
Use Case angepasst werden, wodurch das Finetuning
umgangen werden kann. <

Um das volle Potenzial der Sprachmodelle von
OpenAI zu nutzen, bedarf es in den meisten Fällen
ihrer Anpassung an unternehmensspezifi sche Use
Cases. So stellst du sicher, dass du genau die Antworten
erhältst, die du benötigst.
Bevor wir uns anschauen, wie diese Anpassung oder
Individualisierung aussehen kann, wollen wir uns vor
Augen führen, wie die Interaktion zwischen einer Applikation
und Azure OpenAI funktioniert. Die Prompts,
welche über deine Anwendungen (zum Beispiel ein
Chat-Portal) eingegeben werden, treten über die
entsprechenden APIs in das Azure-Ökosystem ein.
Bevor diese überhaupt durch ein KI-Modell bearbeitet
werden, durchlaufen sie zwei Sicherheitsmechanismen:
Content-Filtering und Abuse Monitoring.
Content-Filtering
Hier wird der Prompt auf schädliche (zum Beispiel
sexuelle oder gewalttätige) Inhalte geprüft. Werden
bestimmte Schwellenwerte erreicht, so wird der Datenfl
uss gestoppt. Die Schwellenwerte sollen zukünftig
in Abstimmung mit Microsoft unternehmensspezifi sch
angepasst werden können. Wichtig ist: Das Content-
Filtering-System speichert keine Prompts oder Antworten,
sondern analysiert diese in Echtzeit.
Abuse Monitoring
Das sogenannte Abuse Monitoring (Missbrauchsüberwachung)
dient dazu, wiederkehrende Verhaltensweisen
zu identifi zieren, die auf einen Verstoß gegen den
Verhaltenskodex hinweisen (zum Beispiel regelmäßiger
schädlicher, gewalttätiger Content). In diesem Zuge
speichert Microsoft alle Prompts und Antworten für bis
zu 30 Tage (Data Retention). Der Datenspeicher ist
logisch nach Kundenressourcen getrennt (jede Anfrage
enthält die ID der Azure OpenAI-Ressource des
Kunden) und in der Azure-Region lokalisiert, in der die
Azure OpenAI-Service-Ressource des Kunden bereitgestellt
wird.
Menschliche Überprüfer, die den potenziellen Missbrauch
beurteilen, können nur dann auf Prompts und
Antwortdaten zugreifen, wenn diese Daten vom Miss-brauchsüberwachungssystem markiert worden sind
(Flagging). Bei den menschlichen Prüfern handelt es
sich um autorisierte Microsoft-Mitarbeiter, die über
punktuelle Abfragen unter Verwendung von Anforderungs-
IDs, Secure Access Workstations (SAWs) und
Just-In-Time (JIT)-Anforderungsgenehmigungen durch
Team-Manager auf die Daten zugreifen. Für den Azure
OpenAI Service, der im Europäischen Wirtschaftsraum
eingesetzt wird, befinden sich die autorisierten Microsoft-
Mitarbeiter ebenfalls im Europäischen Wirtschaftsraum.
Kunden, die aufgrund ihrer internen Richtlinien oder geltender
gesetzlicher Bestimmungen die Speicherung
und Überprüfung von Prompts und Antworten zur Missbrauchserkennung
deaktivieren wollen, haben die Möglichkeit,
einen Antrag bei Microsoft zu stellen. Gibt das
Content-Filtering-System deinen Prompt frei, wird dieser
an das von dir verwendete GPT-Modell weitergeleitet.
Funktionsweise GPT-Modelle
Im GPT-Modell selbst wird deine Anfrage durch eine
Reihe von Algorithmen, von denen der Großteil Neuronale
Netzwerke sind, bearbeitet. Die genaue Funktionsweise
zu erklären, würde den Umfang dieses
Whitepapers sprengen. Grundsätzlich können allerdings
drei Phasen der Datenbearbeitung unterschieden
werden:
1. Tokenisierung
(Input Layer)
Als erstes wird dein Prompt in seine Einzelteile, sprich
Tokens zerlegt. Dabei repräsentiert jedes Token in der
Regel ein Wort oder ein Teil eines Wortes.
2. Sprachverständnis
(Embedding Layer, Transformer Layer)
Darauffolgend werden die Tokens in ein maschinenlesbares
Format (Vektoren) umgewandelt, indem jedes
Token in einen hochdimensionalen Raum projiziert wird
(Embedding Layer). Dies ermöglicht es dem Modell,
die semantische Bedeutung der einzelnen Tokens zu
Was ist ein Prompt?
Mit Blick auf generative KI-Modelle wie
ChatGPT bezeichnet ein Prompt den eingegebenen
Text oder die Frage, die dem Modell vorgelegt
wird, um eine Antwort zu generieren.
verstehen. Die Vektoren werden anschließend mehrfach
durch die für GPT-Modelle charakteristischen
Transformer-Blöcke geleitet. Hierbei handelt es sich
um mithilfe von Deep Learning trainierte Neuronale
Netze, die es jedem Token ermöglichen, andere
Tokens in demselben Prompt zu gewichten und somit
zu bestimmen, wie viel Aufmerksamkeit jedes Token
den anderen schenken sollte. Somit wird sichergestellt,
dass das Modell die Beziehung zwischen den Tokens
und damit den Kontext des Prompts “versteht” (Self-
Attention).
3. Antwortgenerierung
(Output Layer)
Das Modell beginnt mit der Generierung einer Antwort,
indem es das wahrscheinlichste nächste Token
(Wort oder Zeichenteil) basierend auf dem, was es
bisher gesehen hat, vorhersagt. Dieser Prozess wird
autoregressiv fortgesetzt. Das heißt, jedes Mal, wenn
ein Token generiert wird, wird es als Teil der Eingabe
für die Vorhersage des nächsten Tokens verwendet.
Dies geschieht so oft, bis ein End-Token erreicht wird
oder die Antwort eine bestimmte Länge hat. Abschließend
wird die generierte Antwort detokenisiert.
Die durch das Modell generierte Antwort wird, wie der
Prompt zuvor, ebenfalls im Rahmen des Content-
Filtering und Abuse Monitoring auf schädliche Inhalte
kontrolliert, bevor sie über die API wieder an deine Anwendung
gespielt wird.

Finetuning
Da wir zuvor die grundsätzliche Funktionsweise von
Azure OpenAI und GPT-Modellen betrachtet haben,
stellt sich nun die Frage, wie die KI-Modelle auf unternehmensspezifi
sche Use Cases zugeschnitten werden
können. Die erste Möglichkeit stellt das sogenannte
Finetuning dar.
Da GPT-Modelle auf öff entlichen Daten trainiert
werden und eher generalisierte Modelle darstellen,
kann es passieren, dass die Antworten oder die
Formulierung der Antworten nicht adäquat auf den
vorliegenden Anwendungsfall abgestimmt sind. Wenn
beispielsweise die Klassifi kation eines medizinischen
Befundes basierend auf Symptombeschreibungen
durch den Patienten erstellt werden soll, wird ein GPTModell
in seiner Basisform dazu höchstwahrscheinlich
nicht in der Lage sein. Aus diesem Grund bietet Azure
die Möglichkeit, das GPT-Basismodell anzupassen.
Im Rahmen des Finetunings wird ein GPT-Basismodell
auf einem kleineren, spezifi schen Datensatz weiter
trainiert. Die Idee ist, das allgemeine Wissen, welches
das Basismodell aus dem Training mit Millionen von
Daten aus dem Internet gewonnen hat, zu nutzen und
es für eine bestimmte Aufgabe oder einen bestimmten
Bereich zu spezialisieren.
Für das genannte Beispiel müssten daher medizinische
Befunde inklusive der Klassifi kation des Befundes
beschaff t werden. Diese Trainingsdaten müssen
anschließend in Form von Prompt-Antwort-Paaren
als JSON-Dateien über die entsprechende API in die
Azure OpenAI-Ressource im Azure-Tenant eingespeist
werden. Diese Paare sehen wie folgt aus:
{"prompt": "Stechende, klopfende Schmerzen im Ohr
in Kombination mit Fieber", "response": "Mittelohrentzündung."}.
Durch das Finetuning wird die Gewichtung einzelner
Parameter im Embedding, Transformer und Output
Layer auf deinen Use Case zugeschnitten. Das bedeutet,
dass das Modell sein allgemeines Sprachverständnis
beibehält, sich aber an die Nuancen und
Besonderheiten deines Use Cases anpasst.

Das Ergebnis ist eine höhere Antwortqualität. Zudem
müssen weniger Kontextinformationen an das Modell
gesendet werden, was Tokens spart sowie die Latenzzeit
der Anfragen verbessert. Allerdings ist zu berücksichtigen,
dass durch den Prozess des Finetuning
wiederum Kosten anfallen. Sie entstehen durch das
Training (gemessen in Trainingsstunden), das Hosting
(gemessen in Hosting-Stunden) und die Nutzung
(gemessen je 1.000 Tokens). Die Kosten für die Nutzung
übersteigen dabei die der Basisversionen (siehe
Tabelle).
Mit Blick auf die Themen Data Security & Privacy gilt:
Die Trainingsdaten und angepassten Modelle
> sind ausschließlich für die Nutzung durch den
Kunden verfügbar.
> werden in der gleichen Region wie die Azure
OpenAI-Ressource gespeichert.
> können doppelt verschlüsselt werden
(standardmäßig mit der AES-256-Verschlüsselung
von Microsoft und optional mit einem vom Kunden
verwalteten Schlüssel).
> können vom Kunden jederzeit gelöscht werden.
> werden nicht zum Trainieren, Nachtrainieren oder
Verbessern von Basismodellen von Microsoft oder
Drittanbietern verwendet.

Whitepaper
MY CHAT GPT

TECHNISCHE INFORMATION

Die für einen Chatbot gängigsten KI-Modelle: