BERT

Bidirectional Encoder Representations from Transformers (BERT), volně Obousměrné kódovací reprezentace z transformátorů, je velký jazykový model, tedy předtrénovaný základní model pro zpracování přirozeného jazyka (NLP). Je založený na transformerech.^[1] Je schopen pracovat s kontextem textu zleva i zprava, tedy v celé větě^[2], na rozdíl od GPT, který je autoagresivní model a rozumí jen kontextu zleva.^[3][4] Důvodem je sada trénovacích dat, základní model u BERT je maskovaný jazykový model, u GPT se jedná o kauzální jazykový model.^[5]