Etablierung eines Transformer-Foundation-Modells. Einsatz in der Verfahrenstechnik (PDF)

Bachelorarbeit aus dem Jahr 2024 im Fachbereich Informatik - Künstliche Intelligenz, Note: 1,7, Technische Universität Carolo-Wilhelmina zu Braunschweig (Institut für Partikeltechnik), Sprache: Deutsch, Abstract: Das Ziel dieser Arbeit ist es, die Potentiale und Grenzen von Transformer-Modellen in der Verfahrenstechnik aufzuzeigen. Dies soll durch eine systematische Analyse und Bewertung der Modelle erreicht werden, einschliesslich der Feinabstimmung mit Daten aus der Verfahrenstechnik und der Überprüfung der Ergebnisse mit Hilfe anderen Modellen und fachlichen Referenzen. Durch eine systematische Analyse und Bewertung der Modelle, einschliesslich der Feinabstimmung mit Daten aus der Verfahrenstechnik und der Verifizierung der Ergebnisse durch Vergleiche mit anderen Modellen und Expertisen, sollen praxisnahe Empfehlungen für den Einsatz dieser Technologien abgeleitet werden. Diese Empfehlungen sollen nicht nur die Stärken der Transformer-Modelle hervorheben, sondern auch konkrete Ansätze zur Überwindung der identifizierten Grenzen aufweisen.

Die rasante Entwicklung der Künstlichen Intelligenz (KI), insbesondere im Bereich der Natural Language Processing (NLP)-Technologien, hat die Art und Weise, wie wir Informationen verarbeiten, verstehen und generieren, grundlegend verändert. Im Mittelpunkt dieser Fortschritte stehen grosse Sprachmodelle (Large Language Models, LLMs), die auf tiefen neuronalen Netzen basieren und häufig mit Hilfe von Transformatorarchitekturen entwickelt werden. Mit Hunderten von Millionen bis zu Milliarden von Parametern, die mit grossen Mengen von Textdaten vortrainiert wurden, haben LLMs wie GPT-4 und LLaMA beeindruckende Fähigkeiten bei der Generierung menschenähnlicher Texte gezeigt. Diese Modelle sind in der Lage, komplexe semantische und kontextuelle Informationen zu verarbeiten, was sie zu wertvollen Werkzeugen in einer Vielzahl von Anwendungsbereichen macht, von der automatischen Textgenerierung bis hin zur Unterstützung von Bildungsprozessen. Die Übertragbarkeit dieser Modelle, die ihre Fähigkeit zum semantischen und kontextuellen Verständnis aus der Vorbildung erben, macht sie für den Bildungsbereich besonders relevant. LLMs bieten die Möglichkeit, wiederverwendbare und skalierbare technische Architekturen in verschiedenen Bildungsdisziplinen zu schaffen, von Mathematik über Naturwissenschaften bis hin zu Medizin und Verfahrenstechnik. Erste Implementierungen von LLMs in Bildungskontexten haben gezeigt, dass sie das Lernen verbessern können, indem sie Inhalte generieren, offene Fragen unterstützen und sozio-emotionale Unterstützung bieten.