BERT (Bidirectional Encoder Representations from Transformers) ist ein prätrainiertes Sprachmodell, das von Google entwickelt wurde und seit 2018 eine wichtige Rolle in der natürlichen Sprachverarbeitung (NLP) spielt. Es basiert auf der Transformer-Architektur, die es ermöglicht, langreichweitige Abhängigkeiten in Texten effektiv zu handhaben. Im Gegensatz zu früheren Modellen, die nur in eine Richtung arbeiteten, berücksichtigt BERT den Kontext von Wörtern sowohl vor als auch nach ihrem Auftreten, was das Verständnis von Texten, insbesondere bei mehrdeutigen Wörtern, verbessert.
BERT wird durch zwei primäre Aufgaben vorgebildet: Masked Language Modeling und Next Sentence Prediction. Beim Masked Language Modeling werden einige Wörter im Text verborgen, und das Modell muss diese basierend auf dem Kontext vorhersagen. Next Sentence Prediction beinhaltet die Vorhersage, ob zwei Sätze im Originaltext aufeinander folgen. Diese Vorbildung ermöglicht es BERT, eine Vielzahl von Sprachrepräsentationen zu erfassen.
BERT kann für spezifische Aufgaben wie Fragebeantwortung, Sentimentanalyse oder Textklassifikation fein abgestimmt werden. Diese Anpassungsfähigkeit macht es vielseitig einsetzbar. BERT hat in vielen NLP-Benchmarks Spitzenleistungen erzielt und ist somit ein bedeutender Fortschritt in der Sprachverarbeitung.