Hauptinhalt
Topinformationen
Mitarbeiterverzeichnis
Seminar Large Language Models
Prof. Dr. Till Mossakowski
Veranstaltungstyp: Seminar
TeilnehmerInnen:
Beschreibung:
Um Zutritt zur Veranstaltung zu bekommen, schreiben Sie bitte eine kurze E-Mail an till.mossakowski@uni-osnabrueck.de. Sie müssen sich gleichzeitig auch bis zum 25.10. über HISinOne/EXA anmelden. Die Anmeldung wird in den nächsten Tagen freigeschaltet. Nur die ersten 12 E-Mail-Meldungen mit einer gültigen EXA-Anmeldung erhalten einen Seminarplatz.
Large Language Models (LLMs) stehen seit dem Erscheinen von ChatGPT und anderen Chatbots im Lichte der Öffentlichkeit. LLMs sind ein wichtiger Meilenstein ein der Entwicklung künstlicher Intelligenz. Sie erreichen eine neue Qualität von Verarbeitung und Generierung von Text, Bildern, Video und Audio, und sie werden inzwischen in vielfältigen Anwendungen produktiv eingesetzt.
Das Seminar beginnt mit den Grundlagen von Machine Learning und Deep Learning, einschließlich einer Einführung in Transformers und Reinforcement Learning. Anschließend betrachten wir die Geschichte der LLMs, von den frühen n-Gram-Modellen bis hin zu modernen Architekturen wie BERT und GPT. Hierbei werden auch wichtige Techniken für das Training und Fine-Tuning behandelt, einschließlich der verschiedenen Trainingsmethoden und der Datenaufbereitung. Ein weiteres Thema ist das Prompt Engineering, d.h. Strategien zur effektiven Nutzung von LLMs. Wir werden auch die Evaluierung von LLMs sowie die Grenzen dieser Modelle beleuchten. Ethische Überlegungen, z.B. Gefahren wie Halluzinationen, Bias und Manipulation sowie Sicherheitsaspekte, sind ebenfalls ein wichtiger Bestandteil des Seminars. Zudem widmen wir uns der Multimodalität, die die Integration von Text, Bild und Audio umfasst, sowie der Retrieval-Augmented Generation (RAG). RAG ermöglicht ein Zusammenspiel von LLMs und gesichertem Wissen, das in Datenbanken oder Wissensgraphen vorliegt. Des Weiteren werden wir die Rolle von LLMs in der Softwareentwicklung betrachten, insbesondere in Bezug auf Code-Generierung und -Analyse. Techniken zur Effizienzsteigerung wie Modellkomprimierung und Quantisierung werden ebenfalls thematisiert. Das Seminar schließt mit einem Ausblick auf zukünftige Entwicklungen in der KI, aktuelle Forschungsrichtungen und offene Fragen zur Entwicklung von allgemeiner künstlicher Intelligenz (AGI).
Wünschenswerte Vorkenntnisse sind ein Basisniveau in
- Mathe (Lineare Algebra, Ableitungen, Wahrscheinlichkeit)
- Machine Learning / Deep learning
- Python und Python-Bibliotheken
Erstes Treffen:
Montag, 11.11.2024 13:00 - 14:00, Ort: 32/372
Ort: 32/372
Semester: WiSe 2024/25
Zeiten:Termine am Montag, 11.11.2024 13:00 - 14:00
Leistungsnachweis:
Veranstaltungsnummer:
6.700
ECTS-Kreditpunkte:
3
Bereichseinordnung:
Veranstaltungen > Informatik > Bachelor Informatik Veranstaltungen > Informatik > Master of Science in Informatik Veranstaltungen > Informatik > Seminare Veranstaltungen > Informatik > Zwei-Fächer-Bachelor
Prof. Dr. Till Mossakowski
Veranstaltungstyp: Seminar
TeilnehmerInnen:
Beschreibung:
Um Zutritt zur Veranstaltung zu bekommen, schreiben Sie bitte eine kurze E-Mail an till.mossakowski@uni-osnabrueck.de. Sie müssen sich gleichzeitig auch bis zum 25.10. über HISinOne/EXA anmelden. Die Anmeldung wird in den nächsten Tagen freigeschaltet. Nur die ersten 12 E-Mail-Meldungen mit einer gültigen EXA-Anmeldung erhalten einen Seminarplatz.
Large Language Models (LLMs) stehen seit dem Erscheinen von ChatGPT und anderen Chatbots im Lichte der Öffentlichkeit. LLMs sind ein wichtiger Meilenstein ein der Entwicklung künstlicher Intelligenz. Sie erreichen eine neue Qualität von Verarbeitung und Generierung von Text, Bildern, Video und Audio, und sie werden inzwischen in vielfältigen Anwendungen produktiv eingesetzt.
Das Seminar beginnt mit den Grundlagen von Machine Learning und Deep Learning, einschließlich einer Einführung in Transformers und Reinforcement Learning. Anschließend betrachten wir die Geschichte der LLMs, von den frühen n-Gram-Modellen bis hin zu modernen Architekturen wie BERT und GPT. Hierbei werden auch wichtige Techniken für das Training und Fine-Tuning behandelt, einschließlich der verschiedenen Trainingsmethoden und der Datenaufbereitung. Ein weiteres Thema ist das Prompt Engineering, d.h. Strategien zur effektiven Nutzung von LLMs. Wir werden auch die Evaluierung von LLMs sowie die Grenzen dieser Modelle beleuchten. Ethische Überlegungen, z.B. Gefahren wie Halluzinationen, Bias und Manipulation sowie Sicherheitsaspekte, sind ebenfalls ein wichtiger Bestandteil des Seminars. Zudem widmen wir uns der Multimodalität, die die Integration von Text, Bild und Audio umfasst, sowie der Retrieval-Augmented Generation (RAG). RAG ermöglicht ein Zusammenspiel von LLMs und gesichertem Wissen, das in Datenbanken oder Wissensgraphen vorliegt. Des Weiteren werden wir die Rolle von LLMs in der Softwareentwicklung betrachten, insbesondere in Bezug auf Code-Generierung und -Analyse. Techniken zur Effizienzsteigerung wie Modellkomprimierung und Quantisierung werden ebenfalls thematisiert. Das Seminar schließt mit einem Ausblick auf zukünftige Entwicklungen in der KI, aktuelle Forschungsrichtungen und offene Fragen zur Entwicklung von allgemeiner künstlicher Intelligenz (AGI).
Wünschenswerte Vorkenntnisse sind ein Basisniveau in
- Mathe (Lineare Algebra, Ableitungen, Wahrscheinlichkeit)
- Machine Learning / Deep learning
- Python und Python-Bibliotheken
Erstes Treffen:
Montag, 11.11.2024 13:00 - 14:00, Ort: 32/372
Ort: 32/372
Semester: WiSe 2024/25
Zeiten:Termine am Montag, 11.11.2024 13:00 - 14:00
Leistungsnachweis:
Veranstaltungsnummer:
6.700
ECTS-Kreditpunkte:
3
Bereichseinordnung:
Veranstaltungen > Informatik > Bachelor Informatik Veranstaltungen > Informatik > Master of Science in Informatik Veranstaltungen > Informatik > Seminare Veranstaltungen > Informatik > Zwei-Fächer-Bachelor
