一、NLP 面试基础：为什么必须了解 Tokenization？ Tokenization（分词）是 NLP 流水线的第一步，将原始文本切分成最小语义单元。无论是传统的 TF-IDF 特征提取，还是 Transformer 模型的输入处理，...