#
Quiz de sfârșit de capitol

Hai să testăm ceea ce ai învățat în acest capitol!

###
1. Când ar trebui să antrenezi un nou tokenizer?

Când datasetul tău este similar cu cel utilizat de un model preantrenat și doriți să preantrenați un model nou Atunci când datasetul tău este similar cu cel utilizat de un model preantrenat existent și doriți să faceți fine-tune unui nou model utilizând acest model preantrenat Atunci când datasetul tău este diferit de cel utilizat de un model preantrenat existent și doriți să preantrenați un nou model Atunci datasetul tău este diferit de cel utilizat de un model preantrenat existent, dar doriți să faceți fine-tune unui model nou utilizând acest model preantrenat

###
2. Care este avantajul utilizării unui generator de liste de texte în comparație cu o listă de liste de texte atunci când utilizați train_new_from_iterator() ?

Acesta este singurul tip pe care metoda `train_new_from_iterator()` îl acceptă. Veți evita încărcarea întregului dataset în memorie. Acest lucru va permite bibliotecii 🤗 Tokenizers să utilizeze multiprocessing. Tokenizerul pe care îl vei antrena va genera texte mai bune.

###
3. Care sunt avantajele utilizării unui tokenizer “rapid”?

Acesta poate procesa inputuri mai rapid decât un tokenizator lent atunci când faci batch mai multor inputuri împreună. Tokenizerele rapide tokenizează întotdeauna mai rapid decât omologii lor lenți. Poate aplica padding și truncation. Acesta are unele caracteristici suplimentare care vă permit să asociați tokenii cu intervalul de text care le-a creat.

###
4. Cum tratează pipelineul token-classification entitățile care se întind pe mai mulți tokeni?

Entitățile cu același label sunt merged într-o singură entitate. Există un label pentru începutul unei entități și un label pentru continuarea unei entități. Într-un cuvânt dat, atâta timp cât primul token are labelul entității, întregul cuvânt este considerat etichetat cu entitatea respectivă. Atunci când un token are labelul unei entități date, orice alt token următor cu aceeași label este considerat parte a aceleiași entități, cu excepția cazului în care este etichetat ca fiind începutul unei noi entități.

###
5. Cum gestionează pipelineul question-answering contextele lungi?

De fapt, nu o face, deoarece trunchiază contextul lung la lungimea maximă acceptată de model. Acesta împarte contextul în mai multe părți și calculează media rezultatelor obținute. Acesta împarte contextul în mai multe părți (cu suprapuneri) și găsește scorul maxim pentru un răspuns în fiecare parte. Acesta împarte contextul în mai multe părți (fără suprapunere, pentru eficiență) și găsește scorul maxim pentru un răspuns în fiecare parte.

###
6. Ce este normalizarea?

Este vorba de orice curățare pe care tokenizerul o efectuează asupra textelor în etapele inițiale. Este o tehnică de augmentare a datelor care constă în a face textul mai normal prin eliminarea cuvintelor rare. Acesta este ultimul pas de post-procesare în care tokenizerul adaugă tokenii speciali. Este atunci când embeddingurile sunt realizate cu media 0 și standard deviation 1, prin scăderea mediei și împărțirea la std.

###
7. Ce este pre-tokenizarea pentru un subword tokenizer?

Acesta este pasul dinaintea tokenizării, în care se aplică augmentarea datelor (cum ar fi mascarea aleatorie). Este pasul de dinaintea tokenizării, în care operațiile de curățare dorite sunt aplicate textului. Acesta este pasul dinaintea aplicării modelul de tokenizer, pentru a împărți inputul în cuvinte. Acesta este pasul dinaintea aplicării modelul de tokenizer, pentru a împărți inputul în tokenuri.

###
8. Selectați propozițiile care se aplică modelului de tokenizare BPE.

BPE este un algoritm de tokenizare a subcuvintelor care începe cu un vocabular mic și învață reguli de merge. BPE este un algoritm de tokenizare a subcuvintelor care începe cu un vocabular mare și elimină progresiv tokenii din acesta. Tokenizerele BPE învață regulile de merge prin mergeul perechii de tokeni care este cea mai frecventă. Un tokenizer BPE învață o regulă de merge prin mergeul perechii de tokeni care maximizează un scor care privilegiază perechile frecvente cu părți individuale mai puțin frecvente. BPE tokenizează cuvintele în subcuvinte prin divizarea lor în caractere și apoi prin aplicarea regulilor de merge. BPE tokenizează cuvintele în subcuvinte prin găsirea celui mai lung subcuvânt de la început care se află în vocabular, apoi repetă procesul pentru restul textului.

###
9. Selectați propozițiile care se aplică modelului de tokenizare WordPiece.

WordPiece este un algoritm de tokenizare a subcuvintelor care începe cu un vocabular mic și învață reguli de merge. WordPiece este un algoritm de tokenizare a subcuvintelor care începe cu un vocabular mare și elimină progresiv tokenii din acesta. Tokenizerele WordPiece învață regulile de merge prin mergeul perechii de tokeni care este cea mai frecventă. Un tokenizer WordPiece învață o regulă de merge prin mergeul perechii de tokeni care maximizează un scor care privilegiază perechile frecvente cu părți individuale mai puțin frecvente. WordPiece tokenizează cuvintele în subcuvinte prin găsirea celei mai probabile segmentări în tokeni, în conformitate cu modelul. WordPiece tokenizează cuvintele în subcuvinte prin găsirea celui mai lung subcuvânt de la început care se află în vocabular, apoi repetă procesul pentru restul textului.

###
10. Selectați propozițiile care se aplică modelului de tokenizare Unigram.

Unigram este un algoritm de tokenizare a subcuvintelor care începe cu un vocabular mic și învață reguli de merge. Unigram este un algoritm de tokenizare a subcuvintelor care începe cu un vocabular mare și elimină progresiv tokenurile din el. Unigram își adaptează vocabularul prin minimizarea unei pierderi calculate pe întregul corpus. Unigram își adaptează vocabularul prin păstrarea celor mai frecvente subcuvinte. Unigram tokenizează cuvintele în subcuvinte prin găsirea celei mai probabile segmentări în tokenuri, conform modelului. Unigram tokenizează cuvintele în subcuvinte prin divizarea lor în caractere, apoi aplică regulile de merge.
< > Update on GitHub