🖥️ 基石：关于 Tokenizer 你所需要知道的一切从 BPE、WordPiece、Unigram 的算法对比，到 GPT-2 / GPT-4 分词器的工程演进，再到 Tokenizer 对大模型能力边界的深远影响2026 年 6 月 16 日·16 min read·3123 字# LLM# Tokenizer# BPE# MiniMind