Ressourcenbewusstes ML
Das ressourcenbewusste Maschinelle Lernen zielt darauf ab, das Maschinelle Lernen und die zugrundeliegenden Hardware-Technologien so anzupassen, dass Energie sowie Speicher- und Rechenressourcen gespart werden.
Die Forscherinnen und Forscher des Lamarr-Instituts widmen sich der Entwicklung nachhaltiger und umweltfreundlicher Lösungen für Maschinelles Lernen, die Energie und Rechenressourcen sparen. Zu diesem Zweck untersuchen wir die Verbindung zwischen Hardware und Maschinellem Lernen. Unser Ziel ist es, Maschinelles Lernen auch auf Geräten mit begrenzter Rechenleistung und begrenzten Energie- und Speicherressourcen verfügbar zu machen.
ML-Ansätze für hohe Leistung und geringen Ressourcenverbrauch
Um ressourcenbewusstes ML voranzutreiben, erforschen wir ressourcenschonende Varianten von leistungsstarken ML-Ansätzen. Zu den Themen unserer aktuellen und zukünftigen Forschung gehören ressourcenbewusste Transformer-Modelle für die Verarbeitung natürlicher Sprache (NLP), die Wahl optimaler Hyperparameter zur Reduzierung der Trainingszeiten und Verbesserung der Leistung, Forschung zur Quantisierung von Modellen sowie effiziente Suchalgorithmen.
Ansprechpartner
Anpassung der Hardware für mehr Effizienz
Am Lamarr-Institut konzentrieren wir uns auch auf Anpassungen der Hardware, die das Potenzial haben, den Energieverbrauch weiter zu senken und die Effizienz der Berechnungen zu verbessern. So bietet beispielsweise das In-Memory-Computing, das kostspielige Datenübertragungen zwischen Speicher und Verarbeitungseinheit verringert, Potenziale für eine effiziente Ausführung sowie Energieeinsparungen bei der Nutzung moderner Speichertechnologien. Darüber hinaus sehen wir die Notwendigkeit, flexiblere Hardwarebeschleuniger zu entwickeln, die die Ausführung und das Training von Modellen auf Geräten mit begrenzten Ressourcen verbessern.
Entwicklung von On-Demand-Lösungen für Maschinelles Lernen
Schließlich stellen wir eine Diskrepanz zwischen dem Training von ML-Modellen und der gängigen Praxis in der IT-Branche fest. On-Demand-Berechnungen, die zu einer dynamischen Verfügbarkeit von Ressourcen über einen bestimmten Zeitraum hinweg führen, sind für viele IT-Dienste zur Industrienorm geworden. Die meisten ML-Algorithmen und ihre Implementierungen sind noch nicht für solche dynamischen Szenarien ausgelegt. Um unser zukünftiges Ziel der Entwicklung von On-Demand-Lösungen für Maschinelles Lernen zu erreichen, evaluieren unsere Forscherinnen und Forscher Methoden zur Zerlegung von ML-Algorithmen und analysieren bewährte Verfahren aus dem Software-Engineering.