Der Begriff „Mask“ bezieht sich im Zusammenhang mit künstlicher Intelligenz, insbesondere in neuronalen Netzen, auf eine Technik, die zur Steuerung des Aufmerksamkeitsmechanismus eingesetzt wird. Diese Technik ist insbesondere in sogenannten Transformer-Modellen, wie sie bei der Verarbeitung von Texten oder anderen sequenziellen Daten eingesetzt werden, von zentraler Bedeutung.
Eine Maske ist im Wesentlichen ein mathematisches Konstrukt, das bestimmt, welche Teile der Eingabedaten bei der Berechnung der Aufmerksamkeit berücksichtigt werden sollen. Im Detail handelt es sich dabei um eine Matrix, die die Interaktionen zwischen verschiedenen Teilen der Eingabe steuert. Durch die Anwendung einer Maske können beispielsweise bestimmte Positionen in der Eingabe deaktiviert oder ihre Gewichte angepasst werden.
Ein typisches Beispiel für die Verwendung von Masken ist die Behandlung von sogenanntem „Padding“ in Texten. Wenn ein Text kürzer ist als die maximale Länge, die das Modell verarbeiten kann, werden häufig Padding-Symbole hinzugefügt, um die Eingabe auf die erforderliche Länge anzupassen. Durch eine Maske kann das Modell angewiesen werden, diese Padding-Symbole zu ignorieren, indem ihre Gewichte auf Null gesetzt werden.
Ein weiteres Beispiel ist die sogenannte „Look-ahead-Maske“, die in dekodierenden Komponenten von Transformer-Modellen eingesetzt wird. Diese Maske verhindert, dass das Modell während der Generierung einer Sequenz auf zukünftige Elemente der Sequenz zugreift, die noch nicht generiert wurden. Dies ist insbesondere bei Aufgaben wie maschineller Übersetzung oder Textgenerierung von Bedeutung, um die kausale Abhängigkeit der Generierung zu gewährleisten.
Masken sind somit ein essentieller Bestandteil moderner Aufmerksamkeitsmechanismen in der künstlichen Intelligenz. Sie ermöglichen eine präzise Steuerung der Informationsverarbeitung und tragen maßgeblich zur Leistungsfähigkeit von neuronalen Netzen bei.