Explicit Boundary Markers for Subword Vocabularies
Di cosa parla
Molti sistemi che trattano il testo spezzano le parole in parti più piccole e finiscono per avere due voci diverse per la stessa parola, per esempio con o senza spazio davanti o con maiuscole, così le occorrenze vengono divise e gestite separatamente. L’idea proposta è di inserire marcatori espliciti che delimitano le parole, così una sola rappresentazione interna può essere riutilizzata in contesti diversi: questa scelta riduce la duplicazione e migliora la capacità del modello di lavorare con il linguaggio.
Cosa permette di osservare
Permette di esplorare se usare marcatori espliciti per i confini delle parole sia una scelta migliore rispetto alle convenzioni basate sugli spazi e come questa decisione influisca sulla duplicazione delle voci e sulla qualità dei modelli di lingua.
Dalla fonte
Subword tokenizers represent many common words twice in space-using writing systems, once with a leading space and once without. The two entries have separate embeddings in models, so occurrences of one word are divided across rows that are trained independently, and the two forms need not even segment the string the same way: " together" may be a single entry while the same word without a preceding space is tokenized as "to|gether". Capitalization divides a word further, into as many as six forms. We introduce an alternative to standard whitespace conventions using an explicit word boundary marker, which prevents such duplication. Words are delimited by the boundary markers, and spaces between words are represented as pairs of such markers. Two shift codes do the same for title case and upper case, allowing one internal representation of a word to be re-used across different settings.…