Gebruiker:Asartea/Kladblok/BERT (taalmodel)

BERT (Bidirectional Encoder Representations from Transformers) is een familie van taalmodellen ontwikkeld door Google, en voor het eerst gepubliceerd in 2018. Een onderzoek vond dat in minder dan een jaar sinds de eerste aankondiging van BERT het een basis model was geworden in natural language processing onderzoek.

Geschiedenis

BERT werd voor het eerst geïntroduceerd in een paper van Google AI Language in 2019. In oktober 2019 kondigde Google voor het eerst aan dat ze BERT gebruikten voor Engelse zoekopdrachten in de Verenigde Staten. Sinds oktober 2020 worden alle Engelse zoekopdrachten verwerkt door een BERT model.

Google ontwikkelde BERT als een alternatief voor bestaande eendirectionele transformators, omdat die architectuur fundamentele problemen met zich mee bracht die ze hoopte op te lossen met het gebruikt van een bidrectionele transformator.

Ontwerp

BERT is een bidirectionele transformator-encoder, bestaand uit meerdere lagen van transformators. Om input te verwerken gebruikt BERT Wordpiece met een vocabulaire van 30000 tokens om woorden om te zetten in reeksen van tokens. In tegenstelling tot veel andere modellen heeft BERT alleen een encoder, geen decoder, omdat het niet bedoeld is als een volledig model.

Training

BERT is tegelijkertijd voor getraind op twee taken: gemaskeerde taal modellering en volgende zin voorspelling. In de eerste werd gevraagd om een token te voorspellen op basis van context, en in de tweede om te voorspellen of twee zinnen achter elkaar voorkwamen in het corpus.

Gemaskeerde taal modellering

15% van de tokens werd willekeurig gemaskeerd: in 80% van de gevallen werd de token vervangen door [MASK], in 10% van de gevallen met een willekeurige andere token, en in 10% met de originele token. Vervolgens kreeg BERT een zin te zien met een gemaskeerde token, en moest voorspellen wat de token was geweest.

Volgende zin voorspelling

BERT kreeg twee zinnen toegediend, gescheiden door een speciaal [SEP] token, en moest vervolgens voorspellen of de beide zinnen achter elkaar in het corpus voorkwamen.

Analyse

Alhoewel het duidelijk is dat BERT goed is in taal verwerking,is het niet duidelijk waarom dit het geval is. Een mogelijke reden zou kunnen zijn dat de bidirectionele natuur van BERT het in staat stelt om veel beter de context van een woord te begrijpen.