HIDA Lecture: Efficient Natural Language Processing
Referent: Simon Ostermann, Deutsche Forschungszentrum für Künstliche Intelligenz GmbH (DFKI)
Datum: 25.11.2024, 11:00 Uhr
Titel: A Short Introduction to Efficient Natural Language Processing
Inhalt
In diesem Vortrag werden die Herausforderungen bei der Entwicklung effizienter Modelle bei begrenzten Daten und Ressourcen erläutert. Es werden Strategien zur Maximierung der Daten- und Modelleffizienz untersucht, wobei die Bedeutung der Verwaltung großer Modelle hervorgehoben wird, die in der Regel erhebliche Rechenressourcen erfordern und überwiegend auf englischen Daten trainiert werden. Es werden Techniken wie Vorfilterung, Online-Methoden, Datenanreicherung und Curriculum-Lernen sowie parametereffiziente Trainingsmethoden wie Adapter, Prompt-Tuning und Präfix-Tuning zur Verbesserung der Modellleistung ohne umfangreiche Datenanforderungen diskutiert.
Simon Ostermann
Simon Ostermann ist Computerlinguist und leitender Forscher am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI). Sein Forschungsinteresse gilt der Verbesserung der Nutzbarkeit von Large Language Models (LLMs) in mehrfacher Hinsicht. Erstens, indem die Parameter und das Verhalten von LLMs sowohl für Endnutzer als auch für Forscher erklärbarer und verständlicher gemacht werden, und zweitens, indem Sprachmodelle in Bezug auf ihren Datenverbrauch und ihre Größe verbessert werden.
