Convolutional Neural Networks for Sentence Classification

 

 

1. Introducere

În ultimii ani, modelele de învățare profundă au atins rezultate remarcabile în domenii precum viziunea computerizată și recunoașterea vocală. Aceste tehnologii au început să fie aplicate și în procesarea limbajului natural (NLP), unde reprezentarea vectorială a cuvintelor a jucat un rol crucial. Modelele de rețele neurale convoluționale (CNN) au demonstrat eficiența lor în diverse sarcini NLP, beneficiind de pe urma vectorilor de cuvinte pre-antrenați pentru a clasifica texte la nivel de propoziție. Acest eseu își propune să prezinte cum un model simplu de CNN, fără ajustări complexe ale hiperparametrilor și utilizând vectori statici, poate obține rezultate excelente în diverse benchmark-uri.

2. Model

2.1 Prezentarea generală și arhitectura modelului

Arhitectura modelului reprezintă o variație a CNN-ului original propus de Collobert și colaboratorii săi (2011). Fiecare cuvânt dintr-o propoziție este reprezentat ca, unde i indică poziția cuvântului în propoziție. Fiecărui cuvânt îi corespunde un vector de dimensiune k.

O propoziție de lungime n este reprezentată ca o concatenare:

Componenta principală a modelului este stratul convoluțional, unde mai multe filtre de dimensiuni diferite ale ferestrei sunt aplicate vectorilor de cuvinte concatenați.

O operație de convoluție implică un filtruaplicat unei ferestre de h cuvinte pentru a produce un nou feature. De exemplu, feature-uleste generat din fereastra de cuvint
 astfel:

Acest filtru este aplicat fiecărei ferestre posibile de cuvintepentru a crea ceea ce se numește un map de features:

 

Map-ul de features este supus apoi unei operații de max-over-time pooling, selectând valoarea maxim    ca feature reprezentativ pentru acest filtru.

Ideea este de a capta cel mai important feature, cel cu valoarea cea mai mare, pentru fiecare map de features.

 

Modelul utilizează mai multe filtre (cu dimensiuni variabile ale ferestrei) pentru a obține mai multe features. Aceste features formează penultimul strat și sunt transmise mai departe la stratul conectat softmax, al carui output este distribuția probabilităților pe categoriile existente.

 

Într-una dintre variantele modelului, sunt utilizate două canale separate de vectori de cuvinte - unul static și unul ajustat în timpul antrenamentului prin backpropagation. Fiecare filtru este aplicat ambelor canale, iar ieșirile lor sunt combinate, permițând modelului să valorifice atât reprezentările de cuvinte preformate, cât și cele ajustate dinamic. 

2.2 Tehnici de regularizare

Pentru a îmbunătăți capacitatea de generalizare a modelului și pentru a preveni fenomenul de „overfitting”, sunt folosite două tehnici principale de regularizare:

 

·         Dropout: În timpul trecerilor înainte și înapoi ale instruirii, dropout stabilește aleatoriu o proporție p de neuroni din penultimul strat (imediat înainte de stratul de ieșire) la zero. Acest proces simulează o „abandonare” temporară a acestor neuroni din rețea, reducând astfel șansa de a se baza pe o singură caracteristică.

 

·         Constrângerea normei L2: În plus față de dropout, se aplică o constrângere a normei L2 ponderilor. După fiecare pas de coborâre a gradientului, dacă norma L2 a vectorului de ponderi w depășește un prag specificat s, vectorul este redimensionat astfel încât norma L2 să fie egală cu s. Această constrângere garantează că nicio pondere individuală nu devine disproporționat de mare, ceea ce ar putea duce la o supraadaptare la datele de antrenare.

3. Seturi de date și configurarea experimentală

Modelul este evaluat folosind mai multe seturi de date de referință, care sunt concepute pentru a testa capacitatea sa de a înțelege diferite tipuri de text:

 

·         MR (recenzii de filme): Acest set de date conține recenzii de filme formate dintr-o singura propozitie, pe care modelul le clasifică ca fiind pozitive sau negative.

·         SST-1 (Stanford Sentiment Treebank): O extensie a setului de date MR cu categorii mai detaliate (foarte pozitiv, pozitiv, neutru, negativ, foarte negativ) și include impartiri predefinite pentru training, dezvoltare și testare.

·         SST-2: Similar cu SST-1, dar exclude recenziile neutre și simplifică categoriile la doar pozitive sau negative.

·         Subj (Subiectivitate): Se compune din propoziții etichetate ca subiective sau obiective, modelul fiind provocat sa eticheteze o propozitie ca obiectiva sau subiectiva

·         TREC (Clasificarea întrebărilor): Un set de date în care sarcina este de a clasifica întrebările în șase tipuri, cum ar fi întrebări despre persoane, locații sau date numerice.

·         CR (Customer Reviews): Prezintă recenzii ale diverselor produse, cum ar fi aparate foto și playere MP3, cu obiectivul de a determina dacă recenziile sunt pozitive sau negative.

·         MPQA: O colecție de documente adnotate în funcție de polaritatea opiniilor, care este utilizată pentru a identifica sentimentul exprimat în text.

3.1 Hiperparametri și Antrenament

Pentru toate seturile de date utilizate:

·         Se folosesc unități liniare rectificate (ReLU) ca funcții de activare.

·         Filtre de dimensiuni 3, 4, 5, fiecare cu câte 100 de hărți de caracteristici (feature maps).

·         Rata de dropout este de 0.5.

·         Constrângerea L2 este setată la 3.

·         Dimensiunea lotului de mini-batch este de 50.

Pentru seturile de date fără un set standard de dezvoltare, 10% din datele de antrenament sunt selectate aleatoriu ca set de dezvoltare. Antrenamentul este realizat prin descendentă gradient stochastică pe loturi amestecate, folosind regula de actualizare Adadelta.

3.2 Vectori de Cuvinte Pre-antrenați

Inițializarea vectorilor de cuvinte cu cei obținuți dintr-un model lingvistic neuronal nesupervizat este o metodă populară pentru îmbunătățirea performanței în absența unui set mare de antrenament supervizat. S-au folosit vectori word2vec disponibili public, antrenați pe 100 de miliarde de cuvinte de la Google News. Vectorii au o dimensionalitate de 300 și au fost antrenați folosind arhitectura bag-of-words continuă. Cuvintele care nu sunt prezente în setul de vectori pre-antrenați sunt inițializați aleatoriu.

3.3 Variantele Modelului

A fost experimentat cu mai multe variante ale modelului:

·         CNN-rand: Modelul de bază, unde toate cuvintele sunt inițializate aleator și apoi modificate în timpul antrenamentului.

·         CNN-static: Un model cu vectori pre-antrenați din word2vec. Toate cuvintele, inclusiv cele necunoscute inițializate aleator, sunt păstrate statice și doar ceilalti parametri ai modelului sunt învățați.

·         CNN-non-static: Similar cu CNN-static, dar vectorii pre-antrenați sunt fine-tuned pentru fiecare task.

CNN-multichannel: Modelul folosește două tipuri de vectori de cuvinte: un set rămâne fix, iar celălalt este ajustat în timpul antrenamentului. Ajustările se fac doar pentru unul dintre seturi, permițând modelului să învețe caracteristici specifice, menținând în același timp informațiile generale ale cuvintelor. Ambele canale sunt initializate cu word2vec.

4. Rezultate

Studiul compară performanța unui model de bază de rețea neurală convoluțională (CNN), unde cuvintele sunt inițializate aleatoriu (CNN-rand), cu alte metode avansate. Rezultatele sunt prezentate în tabelul 2. Se observă că modelul simplu cu vectori statici (CNN-static) a avut performanțe remarcabile, comparabile cu cele ale unor modele de învățare profundă mai complexe. Aceasta sugerează eficacitatea vectorilor pre-antrenați ca extractor de caracteristici "universale", utilizabili pe diferite seturi de date. Finisarea vectorilor pentru sarcini specifice (CNN-non-static) a adus îmbunătățiri suplimentare.

 

4.1 Modele Multicanal vs. Canal Unic

În cazul arhitecturilor multicanal versus cele cu canal unic, s-a sperat că modelul multicanal va preveni supra-antrenarea prin menținerea apropiată a valorilor învățate de valorile originale ale vectorilor. Cu toate acestea, rezultatele au fost mixte, indicând nevoia de a perfecționa procesul de finisare. S-a propus menținerea unui canal unic, dar cu adăugarea de dimensiuni care pot fi ajustate în timpul antrenamentului, pentru a combina beneficiile ambelor abordări.

4.2 Reprezentări Statice vs. Non-statice

Modelul multicanal a permis finisarea canalului non-static pentru a-l face mai specific pentru sarcina dată. De exemplu, în modelul non-static, relația dintre cuvinte ca "good" și "bad" s-a modificat în urma antrenamentului, reflectând mai bine subtilitățile de sentiment în contextul dat. De asemenea, finisarea a permis învățarea unor reprezentări mai semnificative pentru tokenii neincluși inițial în setul de vectori pre-antrenați, cum ar fi semnele de exclamație și virgulele.

5. Concluzie

Studiul actual subliniază eficiența utilizării vectorilor de cuvinte pre-antrenați în clasificarea propozițiilor folosind CNN-uri. Modelul simplu de CNN testat a performant remarcabil fără ajustări extensive ale hiperparametrilor, ceea ce reiterează importanța pre-antrenării nesupravegheate a vectorilor de cuvinte în deep learning pentru NLP. Aceste descoperiri contribuie la literatura existentă și deschid noi direcții pentru explorarea modurilor în care pre-antrenarea poate servi ca un instrument valoros în îmbunătățirea performanței modelelor de procesare a limbajului natural.