Moodle Chatbot – KI als persönlicher Uni-Dozent

17.08.2023 – ca. 22 Min. Lesezeit – Zurück zur Startseite – Alle Blog-Artikel

Zusammen mit der RWTH Aachen haben wir einen Chatbot entwickelt, der einen nahtlosen Zugang zu Vorlesungsinhalten für Studierende und Mitarbeitende direkt in der Lernplattform Moodle ermöglicht. Somit können themenspezifische Fragen mit Inhalten aus einer Vorlesung beantwortet werden. Eine zusätzliche Quellenangabe erlaubt außerdem das schnelle Finden der relevanten Vorlesungsinhalte in den Unterlagen.

Zurück zum Anfang

Sprachmodelle (engl. Large Language Models, LLMs) wie ChatGPT und Llama 2 sind in vielen Bereichen auf dem Vormarsch. Trainiert auf enormen Datensätzen aus dem Internet sind diese in der Lage, für alle erdenklichen Anliegen Rede und Antwort zu stehen. Doch eine große Wissenslücke besitzen alle LLMs: Informationen, die nicht im Trainingsdatensatz vorlagen, sind vollkommen unbekannt. Damit können Fragen zu bspw. vertraulichen, unternehmensinternen Dokumenten oder der neuesten Veröffentlichung einer Autorin nicht beantwortet werden.

Es gibt zwei Möglichkeiten, das Sprachmodell um initial unbekannte Informationen zu erweitern:

Weiterführendes Training

Durchführen weiterer Trainings-Iterationen mit neuen Informationen. Der benötigte Rechenaufwand ist jedoch immens – auch wenn neue Trainings-Frameworks (wie z. B. DeepSpeed) eine Verbesserung versprechen. Für die meisten Unternehmen wird diese Option ausscheiden.

Retrieval Augmented Generation

Durch sogenanntes Retrieval Augmented Generation wird die Anfrage des Nutzers an das LLM durch hilfreiche Inhalte erweitert, damit aus diesen die richtige Antwort generiert werden kann

Retrieval Augmented Generation ermöglicht somit die Verwendung existierender LLMs ohne ein zusätzliches Fine-Tuning durchführen zu müssen. Doch damit geht eine andere technische Herausforderung einher: Wie stellt man dem LLM im Hintergrund die passenden Informationen zu einer Frage eines Users zur Verfügung, damit diese korrekt beantwortet werden kann?

Technische Implementierung

Um das LLM mit passenden Informationen zu versorgen, müssen drei Schritte durchgeführt werden:

01 Aufbau einer Wissensdatenbank

Informationen, welche dem LLM dynamisch zugeführt werden sollen, müssen zunächst in geeigneter Form abgespeichert werden. Dokumente werden dazu in einzelne Abschnitte unterteilt und deren Embedding in einer sogenannten Vektordatenbank vorgehalten.

02 Suche nach relevanten Abschnitten

Wird nun eine Anfrage an das LLM gestellt, so werden in der Vektordatenbank die ähnlichsten Embeddings und damit einhergehend die für die Anfrage relevantesten Textabschnitte, gesucht.

03 Erstellung eines Kontexts

Die relevantesten Textabschnitte werden dann als Kontext dem LLM zur Verfügung gestellt, auf dessen Basis dann die Anfrage des Users beantwortet werden kann.

Für den Chatbot werden zunächst alle Textabschnitte in einer Vektordatenbank gespeichert. Anschließend können für eine User Anfrage relevante Textabschnitte gesucht und durch das Sprachmodell verwendet werden.

Suche nach den passenden Informationen

Im ersten Schritt werden vorliegende Dokumente in semantisch sinnvolle Abschnitte unterteilt, damit jeder Abschnitt ungefähr einem Thema entspricht. Mit sogenannten Embedding-Modellen können diese Textabschnitte als numerische Vektoren repräsentiert werden. Semantisch ähnliche Textabschnitte resultieren dabei in ähnlichen Vektoren, welche in einer Vektordatenbank gespeichert werden.

Der Trick: Die Frage des Users an das LLM kann mit dem gleichen Embedding-Modell eingebettet werden. Für den daraus ergebenden Vektor können dann die ähnlichsten Vektoren aus der Vektordatenbank bestimmt werden. Die Vektoren stellen die Textabschnitte dar, welche semantisch die höchsten Ähnlichkeiten zur Frage aufweisen, d. h. eine Antwort liefern können.

Alles eine Frage des Kontexts

Sind die relevanten Textabschnitte identifiziert können diese als Kontext der ursprünglichen Anfrage an das LLM angehängt werden. Wurden weiterhin Quellenangaben als Metadaten in der Vektordatenbank gespeichert, so können diese im Kontext ergänzt werden, damit diese in der Antwort des LLMs verwendet werden können. Zusätzlich kann die Chat-Historie eingefügt werden, um einen Fragen-übergreifenden Kontext herzustellen.

Für die LLM Anfrage werden der Kontext (relevante Textabschnitte), die Chat-Historie und die aktuelle User Anfrage vereint.

Die Relevanz der Chat-Historie für die Kontextsuche wird durch eine separate Anfrage an das LLM bestimmt. Inwiefern das LLM bei der Beantwortung von Fragen neben den Informationen im Kontext auf das eigene antrainierte Wissen zugreifen darf, kann über die Anweisung gesteuert werden.

Metadaten

Als Metadaten werden die Informationen bezeichnet, die als Zusatz zu einem Textabschnitt in der Vektordatenbank abgespeichert werden. Zum Beispiel kann dies die Seitennummer, die Kapitelzahl und der Link des zugehörigen Dokuments des Textabschnitts sein, damit diese für Quellenangaben verwendet werden können. Die meisten Vektordatenbanken unterstützen dabei das Filtern auf Metadaten, womit die Suche nach relevanten Textabschnitten eingeschränkt werden kann.

Werden zusätzlich Filter durch LLMs dynamisch aus der User-Anfrage extrahiert, so spricht man von Self-Query Retrievern.

Welche Metadaten für eine Anwendung implementiert werden, sollte abhängig vom Use Case entschieden werden.

Ein Self-Query Retriever kann dynamisch Filter aus einer Anfrage extrahieren.

Verwendete Technologien

Der Moodle Chatbot lässt sich in vier Module aufteilen, für welche nachfolgend die verwendeten Technologien und mögliche Alternativen aufgelistet sind:

Vektordatenbank

Weaviate. Alternativen sind unter anderem Qdrant, Pinecone, pgvector Erweiterung für postgres oder Redis. Als Vergleich können Performance, zusätzliche Funktionen und Möglichkeit des Self-Hostings herangezogen werden.

Datenbank für Chat-Historie

Redis. Für unseren Anwendungsfall ist ein Key-Value Store ausreichend, Alternativen sind bspw. Cassandra oder Memcached. Abhängig vom Use Case kann der Einsatz von klassischen Datenbanken sinnvoll sein.

LLM Framework

LangChain. Viele LLM Frameworks sind noch in aktiver Entwicklung, Alternativen sind bspw. Haystack oder Griptape. Für kleinere Use Cases kann die Verwendung eines LLM Frameworks hinfällig sein, und stattdessen direkt mit dem LLM interagiert werden.

Python API

FastAPI. Alternativen für Python sind unter anderem Litestar, Django Ninja oder APIFlask. Abhänbgig von der Skalierung können auch klassische Web-Frameworks wie Flask oder Django verwendet werden.

Das Moodle Plugin sendet User-Anfragen an die API und erhält von dieser eine Antwort, welche im Chat-Fenster dargestellt wird. Durch die Bereitstellung als API können auch andere Anwendungen oder Plattformen mit der API interagieren. Gehostet wird die gesamte Anwendung auf Microsoft Azure, wobei mit Azure OpenAI Services auf die Sprachmodelle zugegriffen wird.

Performance

Der Moodle Chatbot wurde systematisch mit verfügbaren Klausur- und Übungsfragen der jeweiligen Vorlesung getestet. Einen Großteil der Fragen konnte der Chatbot zufriedenstellend beantworten.

Fragen, die sich auf Abbildungen oder Diagramme beziehen, können meist nicht überzeugend beantwortet werden. Zwar können beim Aufbau der Wissensdatenbank Texte aus Bildern extrahiert oder Bildbeschreibungen erzeugt werden, aber häufig sind die Bilder für den akademischen Gebrauch und damit zu spezifisch gestaltet. Weiterhin kann der Chatbot nur mit Text antworten, womit Aufgaben bspw. zur Erstellung von Diagrammen nur umschrieben, aber nicht ausgeführt werden können.

Des Weiteren schwankt die Qualität der Antworten mit der Qualität der Vorlesungsunterlagen. Präsentationen mit Inhalten, welche entweder viel Kontext oder Vorwissen voraussetzen, können Probleme verursachen, wenn die User-Anfragen nur mit der Wissensdatenbank beantwortet werden sollen. Gelöst wird dieses Problem mit der zusätzlichen Benutzung des Weltwissens des Chatbots, womit Antworten unterfüttert werden können.

Use Cases für die RWTH Aachen

Bisher wurde das klassische Question Answering für eigene Dokumente beschrieben, bei dem Fragen über für das LLM eigentlich unbekannte Dokumente gestellt werden können. Für die RWTH Aachen wurden außerdem zwei weitere Use Cases entwickelt, um die Studierenden zu unterstützen:

Generierung von Probeklausuren

Hierbei werden zufällige Textabschnitte aus der Vektordatenbank abgefragt, aus welchen dann Fragen in Form einer Probeklausur generiert werden.

Erstellung von Zusammenfassungen

Hierbei werden alle Textabschnitte einer Vorlesung oder eines Kapitels abgefragt und vom LLM zusammengefasst.

Welcher der Use-Cases abhängig von der Anfrage genutzt werden soll, wird dabei ebenfalls von einem Sprachmodell entschieden. Ergänzt werden alle Use Cases durch erweiterte Monitoring-Möglichkeiten, um einen kontinuierlichen Verbesserungsprozess zu ermöglichen.

Ausblick

Mit der Integration von GPT in die Lernplattform Moodle hat die RWTH Aachen somit einen weiteren großen Schritt zur digitalen Lehre der Zukunft gemacht.

Eine Zusammenfassung der Eindrücke, Herausforderung und der nächsten Schritte beschreibt Prof. Krieg als Prorektor für Lehre an der RWTH Aachen in einem ausführlichen Artikel.

Zum Einen wird die Nutzung im Regelbetrieb an der RWTH Aachen vorbereitet. Zum anderen ist auch die Weitergabe der Erfahrungen ggf. sogar als Open-Source-Softwarelösung an andere Hochschul-Einrichtungen geplant.

Wir freuen uns, die nächsten Schritte auf dem Weg der digitalen Lehre der Zukunft mit dem Einsatz von Künstlicher Intelligenz mit gestalten zu dürfen.

Autor

Jan Höllmer, Data Scientist bei scieneers GmbH
jan.hoellmer@scieneers.de

Weitere Blog-Beiträge zum Thema Large Language Models

M3 2025

21. Mai 2025

Auf der diesjährigen Minds Mastering Machines (M3) Konferenz in Karlsruhe standen neben Best Practices zu GenAI, RAG-Systemen auch Praxisberichte aus verschiedenen Branchen, Agentensysteme und LLM sowie rechtliche Aspekte von ML im Fokus. Wir haben drei Vorträge zu unseren Projekten gehalten.

DesinfoNavigator

21. Februar 2025

DesinfoNavigator ist ein Online-Tool, das Nutzer beim Erkennen von Desinformation unterstützt, indem es Texte auf irreführende rhetorische Strategien untersucht. Es basiert auf dem PLURV-Framework und verwendet ein großes Sprachmodell, um Indizien für Desinformation zu identifizieren und Handlungsanweisungen zur Überprüfung zu generieren. Es ergänzt Faktenchecks, ist kostenlos und fördert kritisches Denken im Umgang mit Informationen.

KI trifft Datenschutz: Unsere ChatGPT-Lösung für Unternehmenswissen

18. Dezember 2024

Unsere ChatGPT-Lösung ermöglicht es Unternehmen, firmeninternes Wissen sicher und datenschutzkonform zu nutzen. Mittels eines modularen Systems, das auf unternehmensspezifische Datenquellen wie SharePoint und OneDrive zugreift, können Mitarbeiter schnell und einfach auf Informationen zugreifen. Die Lösung bietet personalisierte Budgetverwaltung, sichere Authentifizierung und eine anpassbare Benutzeroberfläche, inklusive Feedback-Mechanismen für kontinuierliche Verbesserungen.

Wie Studierende von LLMs und Chatbots profitieren können

8. November 2024

In der Hochschulbildung revolutionieren Large Language Models (LLMs) und Retrieval Augmented Generation (RAG) das Lernen. Ein Projekt der Universität Leipzig zeigt den Erfolg von KI-Tutoren im Jura-Studium, die personalisierte Antworten bieten und auf Ressourcen verweisen. Vorteile für Studierende und Lehrende sind maßgeschneiderte Unterstützung und effiziente Lehrmaterialentwicklung, trotz Herausforderungen wie Ressourcenbedarf und Antwortqualität. Azure und OpenAI unterstützen mit sicherer Infrastruktur.

KI für das Gemeinwohl auf dem Digital-Gipfel 2024

31. Oktober 2024

Wir durften unser durch den Civic Coding-Accelerator gefördertes LLM-Projekt StaatKlar an Tag 2 des Digital-Gipfels 2024 vorstellen. Für alle Neugierigen hier eine kurze Zusammenfassung unseres Projekts und des Gipfels.

Der Einsatz von VideoRAG für den Wissenstransfer im Unternehmen

23. Oktober 2024

VideoRAG bietet einen innovativen Ansatz zur Überbrückung von Wissenslücken in Unternehmen, indem Video- und Textdaten mit Hilfe von generativer KI und Retrieval-Augmentation in eine durchsuchbare Wissensdatenbank umgewandelt werden. Es gewährleistet einen effizienten Transfer von nuanciertem Wissen, einschließlich des impliziten Wissens erfahrener Mitarbeiter, über KI-basierte Chatbots und macht es so auch jüngeren Generationen innerhalb der Belegschaft zugänglich.

dpunkt.verlag GmbH

M3 2024

26. April 2024

Auf der diesjährigen Minds Mastering Machines (M3) Konferenz in Köln standen neben den neuesten Trends im Bereich Machine Learning besonders Sprachmodelle (LLM), aber auch der AI Act, AI Fairness und automatische Datenintegration im Fokus. Wir waren mit zwei talks zu unseren Projekten beteiligt.

NextGeneration:AI – Innovation trifft Datenschutz

23. April 2024

Zusammen mit der Carl Remigius Fresenius Education Group (CRFE) entwickelten wir NextGeneration:AI. Dabei handelt es sich um eine datenschutzkonforme Plattform zur Nutzung von Sprachmodellen für alle Studierende und Mitarbeitende der CRFE. Das besondere an NextGeneration:AI ist die Authentifizierung über das Learning Management System Ilias mit Hilfe einer LTI-Schnittstelle, sowie die umfassende Personalisierbarkeit, die Nutzer:innen geboten wird. Im Blogartikel gehen wir auf die Details der Implementierung ein.

Multi-Agenten-LLM-Systeme kontrollieren mit LangGraph

28. März 2024

Im zweiten Teil der Reihe zu Multi-Agenten-Systemen werfen wir einen Blick auf LangGraph auf dem LangChain Ökosystem. LangGraph ermöglicht eine dynamische Kommunikation der Agenten die Mittels eines Graphen modelliert wird. Der Artikel vergleicht außerdem LangGraph mit AutoGen mit Blick auf Projektstatus, Nachrichtenfluss, Usability und Produktreife.

Zurück Weiter