Moodle Chatbot – KI als persönlicher Uni-Dozent

17.08.2023 – ca. 22 Min. Lesezeit – Zurück zur Startseite – Alle Blog-Artikel

Zusammen mit der RWTH Aachen haben wir einen Chatbot entwickelt, der einen nahtlosen Zugang zu Vorlesungsinhalten für Studierende und Mitarbeitende direkt in der Lernplattform Moodle ermöglicht. Somit können themenspezifische Fragen mit Inhalten aus einer Vorlesung beantwortet werden. Eine zusätzliche Quellenangabe erlaubt außerdem das schnelle Finden der relevanten Vorlesungsinhalte in den Unterlagen.

Zurück zum Anfang

Sprachmodelle (engl. Large Language Models, LLMs) wie ChatGPT und Llama 2 sind in vielen Bereichen auf dem Vormarsch. Trainiert auf enormen Datensätzen aus dem Internet sind diese in der Lage, für alle erdenklichen Anliegen Rede und Antwort zu stehen. Doch eine große Wissenslücke besitzen alle LLMs: Informationen, die nicht im Trainingsdatensatz vorlagen, sind vollkommen unbekannt. Damit können Fragen zu bspw. vertraulichen, unternehmensinternen Dokumenten oder der neuesten Veröffentlichung einer Autorin nicht beantwortet werden.

Es gibt zwei Möglichkeiten, das Sprachmodell um initial unbekannte Informationen zu erweitern:

Weiterführendes Training

Durchführen weiterer Trainings-Iterationen mit neuen Informationen. Der benötigte Rechenaufwand ist jedoch immens – auch wenn neue Trainings-Frameworks (wie z. B. DeepSpeed) eine Verbesserung versprechen. Für die meisten Unternehmen wird diese Option ausscheiden.

Retrieval Augmented Generation

Durch sogenanntes Retrieval Augmented Generation wird die Anfrage des Nutzers an das LLM durch hilfreiche Inhalte erweitert, damit aus diesen die richtige Antwort generiert werden kann

Retrieval Augmented Generation ermöglicht somit die Verwendung existierender LLMs ohne ein zusätzliches Fine-Tuning durchführen zu müssen. Doch damit geht eine andere technische Herausforderung einher: Wie stellt man dem LLM im Hintergrund die passenden Informationen zu einer Frage eines Users zur Verfügung, damit diese korrekt beantwortet werden kann?

Technische Implementierung

Um das LLM mit passenden Informationen zu versorgen, müssen drei Schritte durchgeführt werden:

01 Aufbau einer Wissensdatenbank

Informationen, welche dem LLM dynamisch zugeführt werden sollen, müssen zunächst in geeigneter Form abgespeichert werden. Dokumente werden dazu in einzelne Abschnitte unterteilt und deren Embedding in einer sogenannten Vektordatenbank vorgehalten.

02 Suche nach relevanten Abschnitten

Wird nun eine Anfrage an das LLM gestellt, so werden in der Vektordatenbank die ähnlichsten Embeddings und damit einhergehend die für die Anfrage relevantesten Textabschnitte, gesucht.

03 Erstellung eines Kontexts

Die relevantesten Textabschnitte werden dann als Kontext dem LLM zur Verfügung gestellt, auf dessen Basis dann die Anfrage des Users beantwortet werden kann.

Für den Chatbot werden zunächst alle Textabschnitte in einer Vektordatenbank gespeichert. Anschließend können für eine User Anfrage relevante Textabschnitte gesucht und durch das Sprachmodell verwendet werden.

Suche nach den passenden Informationen

Im ersten Schritt werden vorliegende Dokumente in semantisch sinnvolle Abschnitte unterteilt, damit jeder Abschnitt ungefähr einem Thema entspricht. Mit sogenannten Embedding-Modellen können diese Textabschnitte als numerische Vektoren repräsentiert werden. Semantisch ähnliche Textabschnitte resultieren dabei in ähnlichen Vektoren, welche in einer Vektordatenbank gespeichert werden.

Der Trick: Die Frage des Users an das LLM kann mit dem gleichen Embedding-Modell eingebettet werden. Für den daraus ergebenden Vektor können dann die ähnlichsten Vektoren aus der Vektordatenbank bestimmt werden. Die Vektoren stellen die Textabschnitte dar, welche semantisch die höchsten Ähnlichkeiten zur Frage aufweisen, d. h. eine Antwort liefern können.

Alles eine Frage des Kontexts

Sind die relevanten Textabschnitte identifiziert können diese als Kontext der ursprünglichen Anfrage an das LLM angehängt werden. Wurden weiterhin Quellenangaben als Metadaten in der Vektordatenbank gespeichert, so können diese im Kontext ergänzt werden, damit diese in der Antwort des LLMs verwendet werden können. Zusätzlich kann die Chat-Historie eingefügt werden, um einen Fragen-übergreifenden Kontext herzustellen.

Für die LLM Anfrage werden der Kontext (relevante Textabschnitte), die Chat-Historie und die aktuelle User Anfrage vereint.

Die Relevanz der Chat-Historie für die Kontextsuche wird durch eine separate Anfrage an das LLM bestimmt. Inwiefern das LLM bei der Beantwortung von Fragen neben den Informationen im Kontext auf das eigene antrainierte Wissen zugreifen darf, kann über die Anweisung gesteuert werden.

Metadaten

Als Metadaten werden die Informationen bezeichnet, die als Zusatz zu einem Textabschnitt in der Vektordatenbank abgespeichert werden. Zum Beispiel kann dies die Seitennummer, die Kapitelzahl und der Link des zugehörigen Dokuments des Textabschnitts sein, damit diese für Quellenangaben verwendet werden können. Die meisten Vektordatenbanken unterstützen dabei das Filtern auf Metadaten, womit die Suche nach relevanten Textabschnitten eingeschränkt werden kann.

Werden zusätzlich Filter durch LLMs dynamisch aus der User-Anfrage extrahiert, so spricht man von Self-Query Retrievern.

Welche Metadaten für eine Anwendung implementiert werden, sollte abhängig vom Use Case entschieden werden.

Ein Self-Query Retriever kann dynamisch Filter aus einer Anfrage extrahieren.

Verwendete Technologien

Der Moodle Chatbot lässt sich in vier Module aufteilen, für welche nachfolgend die verwendeten Technologien und mögliche Alternativen aufgelistet sind:

Vektordatenbank

Weaviate. Alternativen sind unter anderem Qdrant, Pinecone, pgvector Erweiterung für postgres oder Redis. Als Vergleich können Performance, zusätzliche Funktionen und Möglichkeit des Self-Hostings herangezogen werden.

Datenbank für Chat-Historie

Redis. Für unseren Anwendungsfall ist ein Key-Value Store ausreichend, Alternativen sind bspw. Cassandra oder Memcached. Abhängig vom Use Case kann der Einsatz von klassischen Datenbanken sinnvoll sein.

LLM Framework

LangChain. Viele LLM Frameworks sind noch in aktiver Entwicklung, Alternativen sind bspw. Haystack oder Griptape. Für kleinere Use Cases kann die Verwendung eines LLM Frameworks hinfällig sein, und stattdessen direkt mit dem LLM interagiert werden.

Python API

FastAPI. Alternativen für Python sind unter anderem Litestar, Django Ninja oder APIFlask. Abhänbgig von der Skalierung können auch klassische Web-Frameworks wie Flask oder Django verwendet werden.

Das Moodle Plugin sendet User-Anfragen an die API und erhält von dieser eine Antwort, welche im Chat-Fenster dargestellt wird. Durch die Bereitstellung als API können auch andere Anwendungen oder Plattformen mit der API interagieren. Gehostet wird die gesamte Anwendung auf Microsoft Azure, wobei mit Azure OpenAI Services auf die Sprachmodelle zugegriffen wird.

Performance

Der Moodle Chatbot wurde systematisch mit verfügbaren Klausur- und Übungsfragen der jeweiligen Vorlesung getestet. Einen Großteil der Fragen konnte der Chatbot zufriedenstellend beantworten.

Fragen, die sich auf Abbildungen oder Diagramme beziehen, können meist nicht überzeugend beantwortet werden. Zwar können beim Aufbau der Wissensdatenbank Texte aus Bildern extrahiert oder Bildbeschreibungen erzeugt werden, aber häufig sind die Bilder für den akademischen Gebrauch und damit zu spezifisch gestaltet. Weiterhin kann der Chatbot nur mit Text antworten, womit Aufgaben bspw. zur Erstellung von Diagrammen nur umschrieben, aber nicht ausgeführt werden können.

Des Weiteren schwankt die Qualität der Antworten mit der Qualität der Vorlesungsunterlagen. Präsentationen mit Inhalten, welche entweder viel Kontext oder Vorwissen voraussetzen, können Probleme verursachen, wenn die User-Anfragen nur mit der Wissensdatenbank beantwortet werden sollen. Gelöst wird dieses Problem mit der zusätzlichen Benutzung des Weltwissens des Chatbots, womit Antworten unterfüttert werden können.

Use Cases für die RWTH Aachen

Bisher wurde das klassische Question Answering für eigene Dokumente beschrieben, bei dem Fragen über für das LLM eigentlich unbekannte Dokumente gestellt werden können. Für die RWTH Aachen wurden außerdem zwei weitere Use Cases entwickelt, um die Studierenden zu unterstützen:

Generierung von Probeklausuren

Hierbei werden zufällige Textabschnitte aus der Vektordatenbank abgefragt, aus welchen dann Fragen in Form einer Probeklausur generiert werden.

Erstellung von Zusammenfassungen

Hierbei werden alle Textabschnitte einer Vorlesung oder eines Kapitels abgefragt und vom LLM zusammengefasst.

Welcher der Use-Cases abhängig von der Anfrage genutzt werden soll, wird dabei ebenfalls von einem Sprachmodell entschieden. Ergänzt werden alle Use Cases durch erweiterte Monitoring-Möglichkeiten, um einen kontinuierlichen Verbesserungsprozess zu ermöglichen.

Ausblick

Mit der Integration von GPT in die Lernplattform Moodle hat die RWTH Aachen somit einen weiteren großen Schritt zur digitalen Lehre der Zukunft gemacht.

Eine Zusammenfassung der Eindrücke, Herausforderung und der nächsten Schritte beschreibt Prof. Krieg als Prorektor für Lehre an der RWTH Aachen in einem ausführlichen Artikel.

Zum Einen wird die Nutzung im Regelbetrieb an der RWTH Aachen vorbereitet. Zum anderen ist auch die Weitergabe der Erfahrungen ggf. sogar als Open-Source-Softwarelösung an andere Hochschul-Einrichtungen geplant.

Wir freuen uns, die nächsten Schritte auf dem Weg der digitalen Lehre der Zukunft mit dem Einsatz von Künstlicher Intelligenz mit gestalten zu dürfen.

Autor

Jan Höllmer, Data Scientist bei scieneers GmbH
jan.hoellmer@scieneers.de

Weitere Blog-Beiträge zum Thema Large Language Models

dpunkt.verlag GmbH

M3 2024

26. April 2024

Auf der diesjährigen Minds Mastering Machines (M3) Konferenz in Köln standen neben den neuesten Trends im Bereich Machine Learning besonders Sprachmodelle (LLM), aber auch der AI Act, AI Fairness und automatische Datenintegration im Fokus. Wir waren mit zwei talks zu unseren Projekten beteiligt.

NextGeneration:AI – Innovation trifft Datenschutz

23. April 2024

Zusammen mit der Carl Remigius Fresenius Education Group (CRFE) entwickelten wir NextGeneration:AI. Dabei handelt es sich um eine datenschutzkonforme Plattform zur Nutzung von Sprachmodellen für alle Studierende und Mitarbeitende der CRFE. Das besondere an NextGeneration:AI ist die Authentifizierung über das Learning Management System Ilias mit Hilfe einer LTI-Schnittstelle, sowie die umfassende Personalisierbarkeit, die Nutzer:innen geboten wird. Im Blogartikel gehen wir auf die Details der Implementierung ein.

Multi-Agenten-LLM-Systeme kontrollieren mit LangGraph

28. März 2024

Im zweiten Teil der Reihe zu Multi-Agenten-Systemen werfen wir einen Blick auf LangGraph auf dem LangChain Ökosystem. LangGraph ermöglicht eine dynamische Kommunikation der Agenten die Mittels eines Graphen modelliert wird. Der Artikel vergleicht außerdem LangGraph mit AutoGen mit Blick auf Projektstatus, Nachrichtenfluss, Usability und Produktreife.

Eine Einführung in Multi-Agent-AI mit AutoGen

24. März 2024

Der Blogpost diskutiert die Anwendung von Multi-Agenten-Systemen in der Künstlichen Intelligenz und ihre Implementierung mit Autogen, einem Framework für solche Systeme. Es werden die Bausteine von Multi-Agenten-Systemen erläutert und der Nutzen von mehreren, spezialisierten Agenten in bestimmten Aufgabenbereichen aufgezeigt. Das Konzept und die Verwendung von Autogen werden im Detail beleuchtet. Ebenfalls thematisiert werden die Herausforderungen bei der Steuerung von Informationsflüssen und die Notwendigkeit von spezialisierten Tools.

Erforschung des Dark Genome mit Machine Learning zur Entwicklung neuartiger Krankheitsinterventionen

29. Februar 2024

350 Millionen, fast 5% der Weltbevölkerung leben mit einer seltenen Erkrankung. Etwa 75% der seltenen Erkrankungen betreffen Kinder. 80% dieser Erkrankungen entstehen durch eine einzige genetische Veränderung und können durch eine Genomanalyse diagnostiziert werden. Das menschliche Genom besteht aus etwa 3.3 Milliarden Bausteinen und jeder Mensch trägt etwa 3.5 Millionen Varianten. Die Suche nach der einen, pathogenen Variante, als Ursache der Krankheit, gleicht der Suche nach der Nadel im Heuhaufen.

Personalisierte Stellenausschreibungen durch LLMs auf Grundlage einer Personenbeschreibung

5. Februar 2024

In unserem Blogartikel zur Individualisierung von Konferenz-Programmen durch LLMs zeigen wir bereits einen Anwendungsfall von Textpersonalisierung durch den Einsatz von LLMs. Neben dem Individualisieren von Konferenz-Programmen anhand gegebener Interessen und Kenntnisse existieren weitere Anwendungsfälle im Bereich der personalisierten Generierung von Text. Daher haben wir die Personalisierung von Stellenausschreibungen durch LLMs anhand einer kurzen Personenbeschreibung getestet.

IT-Tage 2023

23. Januar 2024

Erstmals durften wir bei den IT-Tagen 2023 im Dezember in Frankfurt dabei sein. Die Konferenz bietet einen vielfältigen Einblick in die IT-Welt, von Software-Architektur über Agile-Praktikten bis zum zu großen Sprachmodellen. Wir trugen mit zwei Vorträgen zu Unit-Testing und Personalisierung mit LLMs spannende Themen für Data Scientists bei.

User sitting in front of a pc with privacy shield

rwthGPT – Eine datenschutzkonforme Plattform für OpenAI-Modelle

2. Dezember 2023

Zusammen mit der RWTH Aachen University haben wir rwthGPT entwickelt: Eine datenschutzkonforme Plattform zur Nutzung von OpenAI-Modellen für Studierende und Mitarbeitende. Ergänzt wird rwthGPT durch ein dediziertes User-Management mit Kostenzuordnung, das Speichern von Chat-Verläufen und Talk to your Data. Wir werfen einen detaillierten Blick auf die Datenschutz-relevanten Aspekte.

Individualisierung von Konferenz-Programmen durch LLMs

1. Dezember 2023

Vor einem Jahr wurde ChatGPT vorgestellt, seitdem sind Sprachmodelle das mit Abstand am meisten diskutierte Thema der IT-Geschäftswelt. Große Sprachmodelle wie ChatGPT haben zahllose Anwendungsfälle, eines davon ist die Verwendung um Texte personalisiert, also an den Präferenzen der Nutzer orientiert, wiederzugeben. Ein Beispiel hierfür ist die Erstellung von individuellen Programmplänen. Wir haben eine Anwendung implementiert, die basierend auf einem User-Input und einer Vektordatenbank individuelle Programmpläne für die IT-Tage 2023 in Frankfurt am Main erstellt. Hier geben wir einen kurzen Einblick in die Implementierung.