Q-Lernen (Q-Learning) ist ein Algorithmus im Bereich des maschinellen Lernens, der zur Lösung von Entscheidungsproblemen in unsicheren Umgebungen eingesetzt wird. Es handelt sich um einen modellfreien Ansatz des Reinforcement Learning, bei dem ein Agent lernt, die beste Vorgehensweise in einer bestimmten Umgebung zu finden, um ein bestimmtes Ziel zu erreichen.
Der Kern von Q-Lernen liegt in der Berechnung von Q-Werten (Quality-Werte), die die erwartete Nutzen einer bestimmten Aktion in einem bestimmten Zustand darstellen. Diese Werte werden während des Lernprozesses aktualisiert, um die optimale Strategie zu finden. Der Algorithmus basiert auf dem Bellman-Prinzip, das besagt, dass der optimale Wert eines Zustands aus den optimalen Werten der daraus erreichbaren Zustände abgeleitet werden kann.
Die grundlegenden Komponenten des Q-Lernens sind:
- Zustände (States): Die aktuellen Situationen, in denen sich der Agent befindet.
- Aktionen (Actions): Die möglichen Handlungen, die der Agent in einem Zustand ausführen kann.
- Belohnungen (Rewards): Die Feedback-Signale, die der Agent für eine bestimmte Aktion in einem bestimmten Zustand erhält.
Der Q-Wert wird mit Hilfe der folgenden Aktualisierungsregel berechnet:
[ Q(s, a) = Q(s, a) + alpha left[ r + gamma max Q(s‘, a‘) – Q(s, a) right] ]
- ( alpha ): Der Lernalgorithmus, der die Geschwindigkeit des Lernprozesses bestimmt.
- ( r ): Die unmittelbare Belohnung für die Aktion ( a ) im Zustand ( s ).
- ( gamma ): Der Diskontfaktor, der die Bedeutung zukünftiger Belohnungen gegenüber aktuellen Belohnungen bewertet.
- ( max Q(s‘, a‘) ): Der maximale Q-Wert für den nächsten Zustand ( s‘ ) und alle möglichen Aktionen ( a‘ ).
Q-Lernen ist besonders nützlich, weil es keine Kenntnis des zugrundeliegenden Modells der Umgebung erfordert. Der Agent lernt durch Trial und Error, indem er zufällige Aktionen ausführt und die Ergebnisse beobachtet. Im Laufe der Zeit verbessert sich die Politik des Agents, indem er die Aktionen wählt, die zu den höchsten Q-Werten führen.
Ein wesentlicher Vorteil von Q-Lernen ist seine Einfachheit und die Fähigkeit, in komplexen Umgebungen angewendet zu werden. Es wird in vielen Bereichen eingesetzt, wie z.B. in der Robotik, im Spieltheorie oder bei der Steuerung autonomer Fahrzeuge.