MorphBPE/SKMT-Style Tokenizer Smoke
Observations
- standard_bpe_smoke — -
bardziejgold=bardz @@ iejpred=b @@ a @@ r @@ dziej-najbardziejgold=naj @@ bardz @@ iejpred=n @@ aj @@ b @@ a @@ r @@ dziej-kogokolwiekgold=kogo @@ kolwiekpred=ko @@ go @@ kolwiek-czegokolwiekgold=czego @@ kolwiekpred=cz @@ ego @@ kolwiek-przemierzajągold=prze @@ mierz @@ aj @@ ąpred=prze @@ mierzają-odmierzajągold=od @@ mierz @@ aj @@ ąpred=od @@ mierzają-innegogold=in @@ n @@ egopred=innego-czynnegogold=czyn @@ n @@ egopred=czy @@ nnego-przyszliśmygold=przy @@ sz @@ liśmypred=prz @@ y @@ sz @@ li @@ ś @@ m @@ y↗ - morph_bpe_constrained_smoke — -
najbardziejgold=naj @@ bardz @@ iejpred=n @@ aj @@ bardz @@ iej-czynnegogold=czyn @@ n @@ egopred=czy @@ n @@ n @@ ego-przyszliśmygold=przy @@ sz @@ liśmypred=prz @@ y @@ sz @@ li @@ ś @@ m @@ y↗
Referenced by
Local graph
MorphBPE/SKMT-Style Tokenizer Smoke