Der Mechanismus, der modernen KI-Modellen ermöglicht, beim Verarbeiten eines Tokens gleichzeitig alle anderen Tokens zu berücksichtigen und Bedeutungsgewichtungen zu vergeben.
Der Attention-Mechanismus ist eine der wichtigsten Innovationen in der modernen KI. Er ermöglicht es neuronalen Netzen, bei der Verarbeitung eines bestimmten Teils der Eingabe, andere relevante Teile stärker zu gewichten. Stellen Sie sich vor, wie Sie beim Lesen eines Satzes automatisch die Pronomen mit den richtigen Bezugswörtern verknüpfen — genau das tut Attention.
In Transformer-Modellen wird Attention über den Self-Attention-Mechanismus implementiert: Jedes Wort (Token) sendet drei Vektoren — Query, Key und Value — und berechnet seine Relevanz zu allen anderen Tokens. Das Ergebnis ist eine dynamische Gewichtungsmatrix, die kontextabhängige Bedeutungen erfasst.
Multi-Head Attention, wie in modernen Sprachmodellen verwendet, führt diesen Prozess mehrfach parallel durch ('Heads'), wobei jeder Head unterschiedliche Aspekte der Bedeutung erfasst — Syntax, Semantik, Co-Referenz. Die Kombination dieser Heads erzeugt ein reiches Bedeutungsverständnis.
Praxisbeispiel
Attention ermöglicht Übersetzungsmodellen, beim Übersetzen eines deutschen Satzes ins Englische die korrekte Wortstellung zu berücksichtigen, auch wenn Subjekt und Verb weit voneinander entfernt sind.
Unternehmensnutzen
Attention-basierte Modelle liefern semantisch präzisere Ergebnisse als ältere Architekturen. Bei der Dokumentenanalyse erkennen sie Zusammenhänge über Seiten hinweg — entscheidend für Vertragsanalyse und Compliance.
Vorteile
- Erfasst Langstrecken-Abhängigkeiten im Text
- Parallelisierbar = schneller als RNNs
- Interpretierbarer durch Attention-Visualisierung
Nachteile
- Quadratische Komplexität bei sehr langen Texten
- Hoher Speicherbedarf
Häufige Fragen
Was ist der Unterschied zwischen Self-Attention und Cross-Attention?
Self-Attention gewichtet Tokens innerhalb derselben Sequenz zueinander. Cross-Attention (in Encoder-Decoder-Modellen) verknüpft Encoder-Repräsentationen mit dem Decoder — wichtig für Übersetzung und Zusammenfassung.
Verwandte Begriffe
KI in Ihrem Unternehmen einsetzen?
Wir übersetzen KI-Konzepte in konkrete Geschäftsergebnisse. Kostenloses Erstgespräch.
Kostenloses Beratungsgespräch buchen