SQLDays – Vortrag Azure Data Factory 2022 – whats new?
SQLDays 2022 – Folien zum Vortrag von Stefan Kirner zu Neuigikeiten in der Azure Data Factory und Synapse Pipelines und ein Vergleich der Technologien.
SQLDays 2022 – Folien zum Vortrag von Stefan Kirner zu Neuigikeiten in der Azure Data Factory und Synapse Pipelines und ein Vergleich der Technologien.
scieneers sind AI Specialist Partner des Halbleiterhersteller Intel®. Wir erproben in realen Einsatzszenarien, wie durch Intels neueste Technologien und Tools die Performance analytischer Modelle und Berechnungen auf großen Datenmengen weiter gesteigert werden können
Wir haben mit Streamlit und plotly.express ein web-basiertes Dashboard für die Übersicht über CO2-Emissionen gebaut. Dieser Blogeintrag zeigt einige Tipps und Tricks, die wir bei der Implementierung und dem Deployment des Dashboards gelernt haben.
Dieses Jahr fand die informatica feminale Baden-Württemberg an der technischen Fakultät der Universität in Freiburg statt, und wir scieneers durften dort mit einem Kurs zum Thema „Visualisierungsframeworks in Python“ das Angebot für die Teilnehmerinnen mitgestalten.
Nachdem 2021 Präsenz-Konferenzen die Ausnahme waren, boten die meisten Veranstalter dieses Jahr entweder Hybrid- oder auch reine Vorort-Konferenzen an. Neben der Pycon in Berlin und M3 (Minds Mastering Machines) in Karlsruhe durfte ich zudem auch dem Debüt des Datalift Summit beiwohnen.
Der DataLift Summit wird organisiert von der AI guild, einem Deutschland weit agierenden Community von “data practitioners”. Ein hipper Berliner Co-Workingspace bot Räumlichkeiten für drei parallele Tracks sowie einen Innenhof, in dem sich die rund 300 Teilnehmer kennenlernen konnten. Networking war erklärtes Ziel der Konferenz, aus diesem Grund waren die 45 Minuten Vorträge meist kurze 20 Minuten Impulse aus der Praxis, gefolgt von Q&A, die teils in eine muntere Gruppendiskussion mündete. Darüber hinaus enthielt das Programm viele Pausen, um ausreichend Raum für persönlichen Austausch zu schaffen sowie zusätzlich Meetups am Abend in den Räumlichkeiten der Sponsoren.
MLOps war über alle drei Konferenzen hinweg eines der häufigst diskutieren Themen. Obwohl der Begriff allgegenwärtig ist, hat sich noch kein klarer Technologie-Stack hervorgetan. Zalando präsentierte auf dem DataLift Summit in einer dreiteiligen Vortragsreihe ihre interne Lösung, die vor allem auf zahlreichen Eigenentwicklungen wie etwa zflow basiert. GetYourGuide hingegen setzt mehr auf Open Source Lösungen rund um das generell sehr beliebte MLflow, kombiniert mit BentoML zwecks model serving. Generell beliebt war auch die Nutzung von Databricks Notebooks, nicht zur Daten Exploration sondern sogar zwecks Data Preprocessing innerhalb von ETL PipelinesFür mich überraschend setzt derzeit niemand der Anwesenden auf Kubeflow und die damit verbundenen Tools wie Katib (Hyperparameter Tuning), ArgoCD (Orchestrierung) und SeldonCore (model serving). Insbesondere dank Googles neuen VertexAI als managed Kubeflow für Google Cloud Nutzer bietet dieses nun eine mächtige Alternative im MLOps Bereich.
Weitere wichtige Themen waren Erklärbarkeit, Nutzer-Akzeptanz und Datenqualität. Footprint, ein Start-up zur Bestimmung der Schuhgröße, beschrieb die Herausforderung in der Nutzerkommunikation, um ein valides Foto der Füße zu erhalten. Tchibo beschrieb, wie sie Google’s neuen Temporal Fusion Transformer zur Abverkaufsprognose nutzen, auch da dieses Modell eine Feature-Eklärbarkeit bietet. Bezüglich Datenqualität möchte ich noch einen sehr guten
Nach eineinhalb Vortrag-Tagen war der Freitag für Workshops vorgesehen. Hier durfte ich die Teilnehmer drei Stunden durch Visual Data Exploration with Python führen. Hier das wichtigste in Kürze:
Wer tiefer in den Workshop einsteigen möchte, dem sei das GitHub-Repo empfohlen. Ansonsten hoffen wir, euch im nächsten Jahr oder einer der anstehenden Herbst Konferenzen (etwa der Data2Day) persönlich kennenzulernen.
Wir ergänzen die smart factory Plattform MIP unseres Partners MPDV um ein Basis-Lösungspaket in Power BI und der Expertise, auch kundenspezfische Anforderungen sehr schnell in KPIs und Visuals umzusetzen.
Das PASS Camp fand nach zweijähriger Corona-Pause endlich wieder statt und auch wir waren dabei. In unserem Blog geben wir Euch einen kurzen Einblick.
Datenoptimierte Wärmeprognosen und Fahrplanerzeugung bei KWK-Anlagen – unser spannendes Azure-Daten-Projekt mit Steag New Energies wird hier vorgestellt
Zwei Tage lang haben wir uns in unserem Kölner Office zusammengefunden, um uns in vier Formaten über fachliche und persönliche Themen auszutauschen und das bisher Erreichte bis in die Abendstunden zu feiern.
First steps um als BI Consultant Python zu lernen und in die Ladeprozesse zu integrieren am Beispiel Azure Synapse