Automatisierte Verarbeitung natürlicher Sprache im Kontext von KI-Modellen: Transformer-Architektur als Grundbaustein großer Sprachmodelle

Magnus Bender

Automatisierte Verarbeitung natürlicher Sprache im Kontext von KI-Modellen: Transformer-Architektur als Grundbaustein großer Sprachmodelle

Research output: Contribution to journal › Journal article › Research › peer-review

Abstract

Eine Vielzahl der im allgemeinen Sprachgebrauch als „KI-System“ bezeichneten Programme verarbeitet natürliche Sprache. Zum einen wird häufig natürliche Sprache als Medium für die Aufgabenbeschreibung eingesetzt und zum anderen sind die zu verarbeitenden Daten (sowohl Trainingsdaten als auch zB zu durchsuchende Textdokumente) und die generierten Ausgaben oftmals natürliche Sprache. Dieser Beitrag thematisiert die Transformer-Architektur, welche in den meisten großen Sprachmodellen zur Verarbeitung natürlicher Sprache angewandt wird.

Original language	German
Journal	KIR - Künstliche Intelligenz und Recht: Technik, Politik, Gesellschaft
Volume	2
Issue number	1
Pages (from-to)	3-8
Number of pages	6
ISSN	2943-6176
Publication status	Published - 15 Jan 2025
Externally published	Yes

Link to document

https://beck-online.beck.de/Default.aspx?typ=reference&y=300&z=KIR&b=2025&s=3&n=1

Cite this

@article{23d9aeb82bd047eea393769882f7ccce,

title = "Automatisierte Verarbeitung nat{\"u}rlicher Sprache im Kontext von KI-Modellen: Transformer-Architektur als Grundbaustein gro{\ss}er Sprachmodelle",

abstract = "Eine Vielzahl der im allgemeinen Sprachgebrauch als „KI-System“ bezeichneten Programme verarbeitet nat{\"u}rliche Sprache. Zum einen wird h{\"a}ufig nat{\"u}rliche Sprache als Medium f{\"u}r die Aufgabenbeschreibung eingesetzt und zum anderen sind die zu verarbeitenden Daten (sowohl Trainingsdaten als auch zB zu durchsuchende Textdokumente) und die generierten Ausgaben oftmals nat{\"u}rliche Sprache. Dieser Beitrag thematisiert die Transformer-Architektur, welche in den meisten gro{\ss}en Sprachmodellen zur Verarbeitung nat{\"u}rlicher Sprache angewandt wird.",

author = "Magnus Bender",

year = "2025",

month = jan,

day = "15",

language = "Tysk",

volume = "2",

pages = "3--8",

journal = "KIR - K{\"u}nstliche Intelligenz und Recht: Technik, Politik, Gesellschaft ",

issn = "2943-6176",

number = "1",

}

TY - JOUR

T1 - Automatisierte Verarbeitung natürlicher Sprache im Kontext von KI-Modellen

T2 - Transformer-Architektur als Grundbaustein großer Sprachmodelle

AU - Bender, Magnus

PY - 2025/1/15

Y1 - 2025/1/15

N2 - Eine Vielzahl der im allgemeinen Sprachgebrauch als „KI-System“ bezeichneten Programme verarbeitet natürliche Sprache. Zum einen wird häufig natürliche Sprache als Medium für die Aufgabenbeschreibung eingesetzt und zum anderen sind die zu verarbeitenden Daten (sowohl Trainingsdaten als auch zB zu durchsuchende Textdokumente) und die generierten Ausgaben oftmals natürliche Sprache. Dieser Beitrag thematisiert die Transformer-Architektur, welche in den meisten großen Sprachmodellen zur Verarbeitung natürlicher Sprache angewandt wird.

AB - Eine Vielzahl der im allgemeinen Sprachgebrauch als „KI-System“ bezeichneten Programme verarbeitet natürliche Sprache. Zum einen wird häufig natürliche Sprache als Medium für die Aufgabenbeschreibung eingesetzt und zum anderen sind die zu verarbeitenden Daten (sowohl Trainingsdaten als auch zB zu durchsuchende Textdokumente) und die generierten Ausgaben oftmals natürliche Sprache. Dieser Beitrag thematisiert die Transformer-Architektur, welche in den meisten großen Sprachmodellen zur Verarbeitung natürlicher Sprache angewandt wird.

M3 - Tidsskriftartikel

SN - 2943-6176

VL - 2

SP - 3

EP - 8

JO - KIR - Künstliche Intelligenz und Recht: Technik, Politik, Gesellschaft

JF - KIR - Künstliche Intelligenz und Recht: Technik, Politik, Gesellschaft

IS - 1

ER -