BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension

  

BART: Denoising Sequence-to-Sequence Pre-training for 

Natural Language Generation, Translation, and Comprehension

În această postare, vom explora în detaliu articolul ce se ocupă de prezentarea lui BART, un model de pre-antrenare secvențială la secvență, care are aplicații semnificative în generarea de limbaj natural, traducerea automată și înțelegerea limbajului natural.

Introducere

BART este un auto-encoder, antrenat prin coruperea textului cu o funcție arbitrară de zgomot și învățarea unui model pentru a reconstrui textul original. Folosește o arhitectură standard bazată pe rețele neuronale de traducere. 

BART învață să repare sau să refacă texte stricate. Este antrenat să facă acest lucru prin expunerea la texte corupte și învățarea să reînnoiască textul original. Folosește o tehnologie de bază similară cu cea folosită în traducerea de limbaje străine, ceea ce-l face destul de versatil.

BART este foarte bun atunci când este utilizat pentru a crea texte noi, dar și pentru a înțelege texte existente. Este deosebit de util pentru sarcini precum rezumarea textelor sau răspunsurile la întrebări. De asemenea, poate fi folosit pentru a îmbunătăți traducerile automate de texte, fără a fi nevoie de antrenament suplimentar în alte limbi.

Diferență BART, BERT și GPT

BART derivă din BERT și GPT și utilizează metodele ambelor pentru encodare. Comparativ cu alți colegi, cum ar fi BERT și GPT, BART este o combinație între ei. BERT încearcă să înțeleagă contextul unui cuvânt prin privirea la toate cuvintele din jurul lui, în timp ce GPT folosește această înțelegere pentru a genera propoziții noi. BART face ambele lucruri: înțelege contextul, dar și corectează sau reface textul corupt.

Pentru a face acest lucru, BART încearcă diferite moduri de a "deranja" textul, cum ar fi amestecarea cuvintelor sau înlocuirea unor părți cu alte simboluri. În procesul de învățare, BART decide care sunt cele mai bune metode pentru a face aceste corecții.

BART mapează un document corupt către documentul original din care a fost derivat. Este implementat ca un model secvență-la-secvență cu un encoder bidirecțional peste textul corupt și un decoder autoregresiv de la stânga la dreapta. 

Arhitectura

BART folosește 12 nivele de encoder și 12 nivele de decoder în arhitectura sa. Comparativ cu BERT, BART are o arhitectură similară, dar cu unele diferențe importante. În BERT, fiecare strat al decoderului se concentrează doar pe informațiile din ultimul strat ascuns al encoderului. Însă în BART, fiecare strat al decoderului se concentrează peste toate straturile ascunse ale encoderului. Aceasta înseamnă că decoderul din BART este mai bine informat de contextul întregului text corect.

O altă diferență este că BERT folosește o rețea feed-forward suplimentară înainte de a prezice cuvintele, pentru a face ajustări finale. În schimb, BART renunță la această rețea suplimentară, ceea ce face arhitectura sa mai simplă și mai eficientă. Cu toate acestea, BART conține aproximativ cu 10\% mai mulți parametri decât BERT, ceea ce înseamnă că poate să captureze mai multe nuanțe și detalii în text.

În concluzie, BART își adaptează arhitectura pentru a obține o înțelegere mai profundă a contextului și pentru a face procesul de decodare mai eficient, fără a sacrifica calitatea sau complexitatea modelului.

Antrenarea

BART este antrenat să înțeleagă și să reconstruiască texte corecte din texte corupte. Antrenamentul său se bazează pe ideea de a compara versiunea sa reconstruită cu textul original și de a ajusta procesul de antrenament astfel încât să se apropie cât mai mult de original. 

Diferența majoră între BART și alte autoencodere de denoisare este că BART poate funcționa cu orice tip de corupție a documentelor, ceea ce înseamnă că poate să se adapteze la diverse probleme de denoisare.

Metode de antrenare

BART este un autoencoder de denoizare care mapează un document corupt către documentul original din care a fost derivat. Este implementat ca un model secvențial cu un codificator bidirecțional peste textul corupt (precum si Bert) și un decodificator autoregresiv de la stânga la dreapta (precum si GPT). 

Denoizarea se referă la eliminarea anumitor elemente din textul original sau la adăugarea unor perturbații controlate pentru a încuraja modelul să învețe reprezentări robuste ale limbajului.

1. Pre-training

• Token Masking este o tehnică utilizată în pre-antrenarea modelelor de limbaj, inspirată de BERT. Acesta implică selectarea aleatorie a anumitor cuvinte (token-uri) din text și înlocuirea acestora cu un simbol special, denumit [MASK]. Prin această acțiune, modelul este forțat să prevadă cuvintele lipsă din context, ceea ce ajută la învățarea unui reprezentări mai robuste a limbajului.

• Token Deletion implică ștergerea aleatorie a unor cuvinte din text. Astfel, modelul trebuie să determine care poziții din text sunt lipsă și să înțeleagă contextul pentru a compensa absența acestora.

• Sentence Permutation este o tehnică în care un document este împărțit în propoziții bazate pe semnele de punctuație, iar aceste propoziții sunt amestecate într-o ordine aleatoare. Prin această metodă, modelul este expus la diferite ordini de propoziții în text, ceea ce îl ajută să învețe să înțeleagă și să proceseze informațiile indiferent de ordinea în care sunt prezentate.

• Document Rotation este o altă tehnică în care un token (un cuvânt sau un simbol) este ales la întâmplare, iar documentul este rotit astfel încât să înceapă cu acel token. Această sarcină antrenează modelul să identifice începutul documentului și să înțeleagă contextul în care începe informația. 

• Text Infilling sau Înlocuirea Textului prezinta un număr de segmente de text ce sunt eșantionate, cu lungimi ale segmentelor extrase dintr-o distribuție Poisson . Fiecare segment este înlocuit cu un singur token [MASK]. Segmentele de lungime zero corespund inserției de tokenuri [MASK].

     2. Fine-tuning

După ce a fost pre-antrenat cu texte brute, modelul BART poate fi ajustat pe seturi de date etichetate, adaptându-se la sarcini specifice, cum ar fi traducerea automată, generarea de texte sau răspunsuri la întrebări. Acest proces de ajustare îi permite modelului să se adapteze la cerințele exacte ale sarcinii și să atingă performanțe mai bune.

Cateva sarcini de a folosi Bart sunt:

•       Sarcini de clasificarea a secventelor
•          Sarcini de clasificarea de token
•          Sarcini de generare a secventelor
•          Traducere automata

Experimente Large-scale Pre-training

Lucrările recente au arătat că performanța în aval poate îmbunătăți semnificativ când pre-antrenarea este escalată la dimensiuni mari de loturi și la colecții de texte. Pentru a testa cât de bine se comportă BART în acest regim și pentru a crea un model util pentru sarcinile în aval, autorii l-au antrenat pe BART folosind aceeași scară ca modelul RoBERTa.

Exemplu de folosire

O demonstratie a aplicarii lui Bart este prin faptul ca la citirea unui text dupa analiza acestuia el face un sumar a ce considera ca este mai important. Prin analiza pe care Bart o realizeaza, acesta poate sa detecteze interactiunea cuvintelor dintr-o parte in alta prin introducerea modelului de limbaj masked.

Concluzie

Astfel, Bart demonstreaza o capacitate impresionantă de a captura esența informației și de a o reprezenta în mod corespunzător. Autorii subliniază că BART atinge performanțe comparabile cu modelele avansate, precum RoBERTa, în sarcinile discriminatorii, evidențiind calitatea sa și capacitatea de a concura în rândul modelelor de top.