Module tokenizers::pre_tokenizers

Modules

• bert
• byte_level
• delimiter
• digits
• metaspace
• punctuation
• sequence
• split
• unicode_scripts
• whitespace

Enums

• PreTokenizerWrapper