BERT

Bidirectional Encoder Representations from Transformers (BERT), volně Obousměrné kódovací reprezentace z transformátorů, je velký jazykový model, tedy předtrénovaný základní model pro zpracování přirozeného jazyka (NLP). Je založený na transformerech.^[1] Je schopen pracovat s kontextem textu zleva i zprava, tedy v celé větě^[2], na rozdíl od GPT, který je autoagresivní model a rozumí jen kontextu zleva.^[3][4] Důvodem je sada trénovacích dat, základní model u BERT je maskovaný jazykový model, u GPT se jedná o kauzální jazykový model.^[5]

BERT pracuje s kontextem v textu zleva u zprava.

Historie a využití

BERT vytvořil a v roce 2018 zveřejnil Jacob Devlin a jeho kolegové ze společnosti Google.^[6][7] V roce 2019 společnost Google oznámila, že začala využívat BERT ve svém vyhledávači,^[8] a koncem roku 2020 používala BERT téměř v každém dotazu v anglickém jazyce. Průzkum literatury z roku 2020 dospěl k závěru, že "za něco málo přes rok se BERT stal všudypřítomným základem v experimentech NLP", přičemž napočítal přes 150 výzkumných publikací analyzujících a vylepšujících tento model.^[9] BERT je též vědci využíván i v kombinaci s konvolučními neuronovými sítěmi (CNN) pro výzkum nenávistných projevů^[10] či detekci emocí.^[11]

Způsob fungování

BERT se snaží o kontextové porozumění neoznačeného textu v široké škále úloh tím, že se naučí předvídat text, který může být před a po (obousměrném) jiném textu,^[12] což je rozdíl oproti GPT, kde je tok v neuronové síti jednosměrný.^[13]

Původní anglickojazyčný BERT má dva modely:^[5]

1. BERT_BASE: 12 kódovačů s 12 obousměrnými samočinnými hlavami,
2. BERT_LARGE: 24 kódovačů s 16 obousměrnými samočinnými hlavami.

Oba modely jsou předem natrénovány z neoznačených dat získaných z korpusu BooksCorpus^[14] s 800 miliony slov a anglické Wikipedie s 2 500 miliony slov.

Využití je například následující:^[12]

• Určení, zda jsou recenze filmu pozitivní nebo negativní.
• Pomáhá chatbotům odpovídat na otázky.
• Pomáhá předvídat text při psaní e-mailu
• Dokáže rychle shrnout obsah dlouhých textů.
• Rozlišuje slova, která mají více významů, na základě okolního textu.