Kooperation mit Intel®: Quantisierung von ML-Modellen und Performance-Boost im Pre-Processing
scieneers sind AI Specialist Partner des Halbleiterhersteller Intel®. Wir erproben in realen Einsatzszenarien, wie durch Intels neueste Technologien und Tools die Performance analytischer Modelle und Berechnungen auf großen Datenmengen weiter gesteigert werden können.
Echtzeit- und Streaminganwendungen erfreuen sich aufgrund ihres enormen, domänenübergreifenden Einsatzpotenzials zur Generierung von unternehmensweiten Mehrwerten immer größerer Beliebtheit. Zunehmende Kernanforderungen definieren sich vor allem durch das Streben nach immer geringeren Latenzen und Rechenzeiten bei gleichzeitig steigender Anwendungskomplexität. Eine horizontale und vertikale Skalierung der im Einsatz befindlichen Ressourcen stellt eine häufige Lösung dar. Diese Skalierung ist jedoch zwangsläufig einhergehend mit steigenden Kosten für den Betrieb und die Bereitstellung, deren Kostenverlauf selten als linear angenommen werden kann. Die zunehmende Anzahl und der Einsatz von immer leistungsfähigeren Ressourcen wirkt sich neben den steigenden Kosten zudem negativ auf die Nachhaltigkeit eines jeden Unternehmens aus. Bedenklich ist vor allem der immer größere werdende Bedarf an Energie, der mit der Herstellung und dem Betrieb solcher Rechenressourcen einher geht. Insbesondere der Einsatz von Machine Learning-Modellen aus dem Teilbereich Deep Learning, die die Abbildung einer solchen Komplexität von datengetriebenen Echtzeitanwendungen erlauben, erfordern enorm leistungsstarke Ressourcen, um dem ungleich größeren Rechenaufwand und -zeiten zur Vorverarbeitung, dem Training und der Inferenz gerecht zu werden.
Mit dem AI Analytics Toolkit und dem Neural Compressor bietet Intel® gleich zwei Technologien an, um die geschilderte Problematik zu adressieren:
„Das Intel® AI Analytics Toolkit stellt Data Scientisten sowie KI-Entwicklern vertraute Python Tools bereit, um die Ausführung von End-to-End ML-Pipelines auf Intel Architekturen zu beschleunigen. Das Toolkit ermöglicht so eine Leistungssteigerung über die Vorverarbeitung bis zum maschinellen Lernen und bietet Interoperabilität für eine effiziente Modellentwicklung.“
„Mit dem Intel® Neural Compressor stellt Intel ein Optimierungstool als Open-Source Python Bibliothek mit Funktionalitäten zur Netzwerkkomprimierung, wie Quantisierung und Pruning als auch zur Wissensdestillation, bereit. Dabei verfügt das Tooling über einheitliche Schnittstellen zu allen einschlägigen Deep Learning Frameworks und kann auf Intel CPUs sowie GPUs ausgeführt werden.“
Im Rahmen unserer Kooperation mit Intel® durften wir den Einsatz der vorgestellten Technologien umfangreich auf Basis der Services der Microsoft Azure Cloud testen. Eine erste Iteration erfolgte in enger Zusammenarbeit mit unserem Kunden STEAG New Energies, die als etablierter Energiedienstleister schon heute – über die Wertschöpfungskette hinweg – erfolgreich ML-Anwendungen im Produktivbetrieb einsetzt. Unter anderem werden komplexe Neuronale Netze zur Realisierung von Wärmebedarfsprognosen genutzt, um Mehrwerte am Energiemarkt sowie durch die Betriebsoptimierung von Anlagen zu generieren und so einer nachhaltigeren Energieerzeugung gerecht zu werden. Damit verbunden ist der Einsatz von leistungsstarken CPU und GPU Ressourcen zur Datenvorverarbeitung, dem Training der ML-Modelle sowie der Generierung eben jener Prognosen im Live-Betrieb. Mehr Details dazu hier.
Durch den Einsatz des Intel® AI Analytics Toolkit konnte die Prozessorzeit (CPU Time) während der Datenvorverarbeitung messbar reduziert werden. Enorm beeindruckende Erfolge wurden durch die Nutzung des Neural Compressors erzielt. Durch die dem Training nachgestellte Modellquantisierung (Komprimierung) war es möglich, die Präzision der Modellparameter so zu reduzieren, dass das Modell um einen Faktor 4 weniger Speicherplatz benötigt. Gleichermaßen reduzierte sich die Netzwerklatenz/Inferenzzeit bei gleichbleibender Modellgenauigkeit um einen Faktor 3. Die Ergebnisse demonstrieren deutlich den Nutzen einer Modellquantisierung und einen direkten, positiven Effekt auf den Business-Kontext, indem der Einsatz von kostspieligen Ressourcen, bei gleichbleibender Modellgenauigkeit und verbesserter Performanz, verringert werden kann.
Sven Weisse
Account Executive Industry Partner bei Intel Corporation
„Das Fachwissen der scieneers, das klare Kundenengagement und die Bereitschaft Lösungen zu verbessern um die größtmögliche Wertschöpfung für Kunden zu erzielen, ist beeindruckend. Die Zusammenarbeit mit den scieneers war reibungslos, schnell, vertrauensvoll und offen. Das Testen neuer Ideen und die Anwendung optimierter Lösungen war nur eine Frage von wenigen Stunden.“
Als Dienstleister und Entwickler von datengetriebenen Anwendungen freuen wir uns auch in Zukunft in Kooperation mit Intel® die Mehrwerte für unsere Kunden weiter zu steigern. Gerade im Hinblick auf die Machine Learning Operations blicken wir gespannt auf die Quantisierung größerer Modelle, insbesondere aus dem Bereich der Bild– und natürlichen Sprachverarbeitung, um den Erfahrungsbericht im Umgang mit und der Anwendung von Intels® AI Toolkit und Neural Compressor weiter auszubauen.
Martin Danner & Stefan Kirner
