IT-Tage 2023

Erstmals durften wir bei den IT-Tagen 2023 im Dezember in Frankfurt dabei sein. Die Konferenz bietet einen vielfältigen Einblick in die IT-Welt, von Software-Architektur über Agile-Praktikten bis zum zu großen Sprachmodellen. Wir trugen mit zwei Vorträgen zu Unit-Testing und Personalisierung mit LLMs spannende Themen für Data Scientists bei.

User sitting in front of a pc with privacy shield

rwthGPT – Eine datenschutzkonforme Plattform für OpenAI-Modelle

Zusammen mit der RWTH Aachen University haben wir rwthGPT entwickelt: Eine datenschutzkonforme Plattform zur Nutzung von OpenAI-Modellen für Studierende und Mitarbeitende. Ergänzt wird rwthGPT durch ein dediziertes User-Management mit Kostenzuordnung, das Speichern von Chat-Verläufen und Talk to your Data. Wir werfen einen detaillierten Blick auf die Datenschutz-relevanten Aspekte.

data2day Logo

data2day 2023

Auf der data2day 2023 im Oktober in Karlsruhe wurden die neuesten Datenanalyse-Technologien anhand von Datenprojekten diskutiert. Neben Data Mesh und großen Sprachmodellen (LLMs) stellten Martin Danner und Jan Höllmer scieneers-Projekte mit Temporal Fusion Transformer (TFT) zu Prognose und Anomalie-Erkennung bei Iqony vor.

Individualisierung von Konferenz-Programmen durch LLMs

Vor einem Jahr wurde ChatGPT vorgestellt, seitdem sind Sprachmodelle das mit Abstand am meisten diskutierte Thema der IT-Geschäftswelt. Große Sprachmodelle wie ChatGPT haben zahllose Anwendungsfälle, eines davon ist die Verwendung um Texte personalisiert, also an den Präferenzen der Nutzer orientiert, wiederzugeben. Ein Beispiel hierfür ist die Erstellung von individuellen Programmplänen. Wir haben eine Anwendung implementiert, die basierend auf einem User-Input und einer Vektordatenbank individuelle Programmpläne für die IT-Tage 2023 in Frankfurt am Main erstellt. Hier geben wir einen kurzen Einblick in die Implementierung.

Data Platform auf Azure – aber bitte sicher!

Viele Unternehmen nutzen inzwischen die Azure Data Services für Data Management und Analytics Aufgaben oder planen den Umstieg auf Microsofts Cloud Platform. Viele Gründe wie Betriebskosten und Skalierbarkeit sprechen dafür, aber wie ist es um die Sicherheit bestellt? In dem Vortrag schauen wir uns an, welche Mechanismen auf Azure zum sicheren Datenaustausch genutzt werden können. wie der Datenzugriff von Dienste- bis bis auf Datenebene für Endbenutzer konfiguriert werden kann und welche Möglichkeiten es gibt, die Services netzwerktechnisch sicher zu verbinden und gleichzeitig vor unerwünschten Besuchern abzuschotten.

Optimize an AI Powered Recommendation Engine

scieneers, Intel Corporation, and Von Rundstedt joined forces to optimize an AI powered recommendation engine solution that leverages the Intel® AI Analytics Toolkit and 4th Generation Intel® Xeon® Scalable Processors. In this brief experience report we demonstrate how we managed to achieve up to 9.3X speedup when running on 4th Generation Intel® Xeon® Scalable Processors compared to the baseline configuration. This means that the solution can process more data faster, generate more accurate recommendations, and serve more users with lower latency and cost.

House containing multiple shops connected by an information line

LLMs und Cloud-Technologien zur Vernetzung von Onlineshops der Otto-Gruppe

Large Language Models (LLMs) sind wegen ihrer vielfältigen Anwendungen in aller Munde. Auch im E-Commerce Bereich ist diese Technologie sehr nützlich. Zusammen mit der data.works GmbH haben wir sogenannte Embedding-Modelle aus dem LLM-Bereich mit der Vertex AI Matching Engine in der Google Cloud für mehrere Onlineshops der Otto-Gruppe eingesetzt, um kundenspezifische Produktempfehlungen aus einem Shop auf viele andere Shops übertragen zu können. Und das, obwohl sich die Sortimente und Kataloge dieser Shops stark unterscheiden.

Drawing of a district heating plant

Wärmebedarf prognostizieren mit Temporal Fusion Transformern

Zusammen mit Iqony haben wir den Einsatz von Temporal Fusion Transformern zur Bedarfsprognose in der Fernwärme getestet. Durch Data Fusion können die Vorhersagen von mehreren Standorten in einem Modell vereint und vor allem die Vorhersagegenauigkeit von Standorten mit wenig Daten gesteigert werden. Die Quantisierung von Vorhersageunsicherheiten und die Interpretierbarkeit des Modells schaffen Vertrauen und unterstützen die Entscheidungsfindung.

Girl standing in front of a big shelf full of books

Moodle Chatbot – KI als persönlicher Uni-Dozent

Zusammen mit der RWTH Aachen haben wir einen Chatbot entwickelt, der einen nahtlosen Zugang zu Vorlesungsinhalten für Studierende und Mitarbeitende direkt in der Lernplattform Moodle ermöglicht. Somit können themenspezifische Fragen mit Inhalten aus einer Vorlesung beantwortet werden. Eine zusätzliche Quellenangabe erlaubt außerdem das schnelle Finden der relevanten Vorlesungsinhalte in den Unterlagen.

KI-basierte Textanalyse für die Energiewirtschaft

Künstliche Intelligenz (KI) erfährt durch ChatGPT derzeit enorme Aufmerksamkeit. Abseits vom Hype haben die aktuellsten Entwicklungen die Verarbeitung von Sprache und Texten auf ein neues Niveau gehoben. In diesem Artikel wollen wir Ihnen zeigen, was ChatGPT & Co. im Kontext der Energiewirtschaft wirklich leisten können, was das Neue daran ist und wie man diese Tools in der Praxis einsetzen kann.