Ressourcenbewusstes ML
Das ressourcenbewusste Maschinelle Lernen zielt darauf ab, das Maschinelle Lernen und die zugrundeliegenden Hardware-Technologien so anzupassen, dass Energie sowie Speicher- und Rechenressourcen gespart werden.
Die Forscherinnen und Forscher des Lamarr-Instituts widmen sich der Entwicklung nachhaltiger und umweltfreundlicher Lösungen für Maschinelles Lernen, die Energie und Rechenressourcen sparen. Zu diesem Zweck untersuchen wir die Verbindung zwischen Hardware und Maschinellem Lernen. Unser Ziel ist es, Maschinelles Lernen auch auf Geräten mit begrenzter Rechenleistung und begrenzten Energie- und Speicherressourcen verfügbar zu machen.
ML-Ansätze für hohe Leistung und geringen Ressourcenverbrauch
Um ressourcenbewusstes ML voranzutreiben, erforschen wir ressourcenschonende Varianten von leistungsstarken ML-Ansätzen. Zu den Themen unserer aktuellen und zukünftigen Forschung gehören ressourcenbewusste Transformer-Modelle für die Verarbeitung natürlicher Sprache (NLP), die Wahl optimaler Hyperparameter zur Reduzierung der Trainingszeiten und Verbesserung der Leistung, Forschung zur Quantisierung von Modellen sowie effiziente Suchalgorithmen.
Ansprechpartner
Anpassung der Hardware für mehr Effizienz
Am Lamarr-Institut konzentrieren wir uns auch auf Anpassungen der Hardware, die das Potenzial haben, den Energieverbrauch weiter zu senken und die Effizienz der Berechnungen zu verbessern. So bietet beispielsweise das In-Memory-Computing, das kostspielige Datenübertragungen zwischen Speicher und Verarbeitungseinheit verringert, Potenziale für eine effiziente Ausführung sowie Energieeinsparungen bei der Nutzung moderner Speichertechnologien. Darüber hinaus sehen wir die Notwendigkeit, flexiblere Hardwarebeschleuniger zu entwickeln, die die Ausführung und das Training von Modellen auf Geräten mit begrenzten Ressourcen verbessern.
Anytime-Modelle
Um die Responsivität und Anpassungsfähigkeit in ressourcenbeschränkten Umgebungen weiter zu verbessern, untersuchen wir Anytime-Modelle für Maschinelles Lernen. Diese Modelle sind so konzipiert, dass sie zu jedem Zeitpunkt während der Inferenz Vorhersagen liefern, selbst wenn der Prozess vor seiner Vollendung unterbrochen wird. Damit eignen sie sich ideal für zeitkritische Anwendungen wie Echtzeitüberwachung oder Entscheidungsfindung mittels Edge-Computing.
Unsere Forschung umfasst die Integration von Early-Exit-Strategien in Deep-Learning-Architekturen, das Lernen mit Enthaltung und Ablehnung sowie die Formalisierung von Metriken, die den Zielkonflikt zwischen Rechenaufwand und Vorhersagequalität erfassen. Dies ermöglicht eine angemessene Leistungsminderung unter engen Ressourcenbeschränkungen bei gleichzeitiger Aufrechterhaltung der Zuverlässigkeit.
Quantum Machine Learning
Schließlich widmet sich ein Teil unserer Forschung Rechenmethoden an der Schnittstelle zwischen Maschinellem Lernen und Quantencomputing, mit dem Ziel, sowohl quantenbasierte Hardware für Lernaufgaben zu nutzen als auch Techniken des Maschinellen Lernens zur Charakterisierung und Verbesserung von Quantenbauelementen anzuwenden.
Naive Formulierungen von Quantenalgorithmen lassen sich aufgrund von Ressourcenbeschränkungen – wie der begrenzten Anzahl von Qubits, der begrenzten Qubit-Konnektivität und der begrenzten Schaltkreistiefe – nicht auf aktuellen und zukünftigen Generationen von Quantencomputern implementieren. Daher erforschen wir ressourceneffiziente Alternativen, insbesondere Dekompositionstechniken, um die Ausführung von Quantenalgorithmen für praktische Anwendungen auf heutigen Quantenprozessoren zu ermöglichen.
Darüber hinaus untersuchen wir die Beziehung zwischen klassischen Methoden des Maschinellen Lernens und den entsprechenden Quantenalgorithmen, darunter Support Vector Machines, Markov Random Fields, Restricted Boltzmann Machines und neuronale Netze.
Publikationen
News aus dem Bereich Ressourcenbewusstes ML
- All
- News
- Events
- Projects
