今年会官网-AI 大模型的「中文税」
首页财产ai正文 AI 年夜模子的「中文税」 Opus 4.7发布激发争议，测试发明Claude及GPT上中文比英文贵，Qwen及DeepSeek相反，还有切磋了古文和tokenizer对于中文的影响。 2026-05-04 11:26 ·微信公家号：极客公园汤一涛 AI投资人解读· 测试发明Claude及GPT上中文比英文贵，Qwen及DeepSeek上中文更自制Opus 4.7进级致英文token数膨胀，中文险些稳定古文token耗损比现代中文及英文少。 · 差别模子tokenizer对于中文拆分方式差别影响token数古文虽省token但增长模子推理承担。 总结：各模子对于中文处置惩罚有别，反应出中文于融入西方技能基础举措措施时的繁杂环境，投资评估相干项目需综合考量这些因素对于成本和模子机能的影响。内容由AI天生，仅供参考
Opus 4.7 刚发布那几天，X 上天怒人怨。有人说一次对于话就把她的 session 额度用光了，有人说统一段代码跑完的成本比上周翻了一倍多；还有有人晒出本身 200 美元 Max 定阅不到两小时就触顶的截图。
Anthropic 官方价格没变，每一百万输入 token 仍是 5 美元，输出 25 美元。但这个版本引入了新 tokenizer，同时 Claude Code 把默许 effort 从 high 提到了 xhigh。两件事叠加，统一份事情耗损的 token 酿成了之前的 2 到 2.7 倍。
我于这些会商里看到两个及中文有关的说法。一个是：中文于新 tokenizer 下险些没涨，中文用户躲过了此次涨价。另外一个更成心思：古文比现代汉语还有省 token，用文言文跟 AI 对于话可以节省成本。
*个说法表示 Claude 对于中文做了某种优化，但 Anthropic 的发布文档里，没提过任何及中文相干的调解。
第二个说规则更难注释。古文对于人类读者来讲显然比现代汉语难明，一个对于人类更繁杂的文本，怎么会对于 AI 更易？
在是我做了一次测试，用 22 段平行文本（包罗贸易新闻、技能文档、古文、一样平常对于话等类型），同时送进 5 个 tokenizer（Claude 4.6 及 4.七、GPT-4o、Qwen 3.六、DeepSeek-V3），读取每一段文本于每一个模子下的 token 数，做横向对于比。
测试文本：
一、一样平常对于话中英文（旅行、论坛乞助、写作哀求）
二、技能文档中英文（python 文档、Anthropic 文档）
三、新闻中英文（NYT 时政新闻、NYT 贸易新闻、苹果公司官方声明）
四、文学选段中英古汉语（《出师表》《品德经》）
测完以后，两个说法都获得了部门验证，但事实会比传言更繁杂一些。
01中文税
先说结论：
一、于 Claude 及 GPT 上，中文一直比英文贵
二、于 Qwen 及 DeepSeek 上，中文反而比英文自制
三、Opus 4.7 此次激发震荡的 tokenizer 进级，通胀险些只发生于英文上，中文岿然不动
看详细数字。Claude Opus 4.7 以前的全系列模子（包括 Opus 4.六、Sonnet、Haiku），利用的是统一个 tokenizer。于这个 tokenizer 下，中文的 token 耗损全线高在等量英文内容，cn/en 比值规模于 1.11× 到 1.64× 之间。
最极度的场景呈现于 NYT 气势派头的贸易新闻：统一段内容，中文版要多耗损 64% 的 token，等在多付 64% 的钱。
Opus 4.6 和其以前的 Claude 模子，中文 token 的耗损量显著高在其它模子（红框）
最极度的场景呈现于 NYT 气势派头的贸易新闻：统一段内容，中文版要多耗损 64% 的 token（绿框）
GPT-4o 的 o200k tokenizer 好一些，cn/en 比值大都落于 1.0 到 1.35× 之间，部门场景低在 1。中文仍旧总体偏贵，但差距比 Claude 小患上多。
国产模子 Qwen 3.6 及 DeepSeek-V3 的数据则彻底反了过来。二者的 cn/en 比值年夜面积低在 1，这象征着一样的内容，中文版反而比英文版省 token。DeepSeek *做到了 0.65×，统一段话中文版比英文版自制三分之一。
Opus 4.7 的新 tokenizer 通胀险些只发生于英文上。英文 token 数膨胀了 1.24× 到 1.63×，中文年夜量维持于 1.000×，险些没有变化。开首那些英文开发者的账单震荡，中文用户确凿没感触感染到。缘故原由多是中文于旧版上已经经被切到了单字颗粒度，可拆分的空间极小。
Opus 4.7 对于比 4.6，英文耗损的 token 更多了，中文反而没变
测试历程中我还有留意到一件事。token 耗损的差异不只是账单问题，它直接影响事情空间的巨细。一样 200k 上下文窗口，用旧版 Claude tokenizer 装中文资料，能塞进去的内容量比英文少 40% 到 70%。
统一类事情，好比让 AI 阐发一份长文档或者者是总结一组集会记载，中文用户能喂给模子的质料更少，模子能参考的上下文更短。成果就是付了更多的钱，但获得的是更小的事情空间。
四组数据放于一路看，一个问题天然浮出来：
为何统一段内容换个语言，token 数就纷歧样？为何 Claude 及 GPT 的中文贵，Qwen 及 DeepSeek 的中文反而自制？
谜底藏于上文屡次提到的观点 tokenizer（分词器）上。
02一个汉字，可以切成几块？
模子于读到任何文字以前，会经由过程 tokenizer 把输入切成一个个 token。你可以把 tokenizer 想象成 AI 的「积木切割机」。你输入一句话，它卖力把这句话拆成一块块尺度化的积木（也就是 token）。AI 模子不看文字，只认积木的编号。你用几多块积木，就付几多钱。
英文的切法比力切合直觉，好比「intelligence」年夜几率是一个 token，「information」也是一个 token，一个单词对于应一个计费单元。
但中文到了这一步就出问题了。把统一句话「人工智能正于重塑全世界的信息基础举措措施」别离送进 GPT-4 的 cl100k tokenizer 及 Qwen 2.5 的 tokenizer，切出来的成果彻底差别。
GPT-4 基本把每个汉字都拆成为了一个 token；Qwen 则会把词语辨认成一个 token，例如「人工智能」这 4 个字于千问只算一个 token。
统一句 16 个汉字的话，GPT-4 切出来 19 个 token，Qwen 切出来只有 6 个。
为何会切成如许？缘故原由于一个叫 BPE（Byte Pair Encoding）的算法。
BPE 的事情方式，是统计练习语料里哪些字符组合呈现频率最高，然后把高频组合归并成一个 token，纳入词表。
GPT-2 时代，练习语料的绝年夜大都是英文。英文字母组合（th、ing、tion）重复呈现，很快就被归并成 token。中文字符于阿谁语料池里呈现的频率过低，排不进词表，只能被看成原始字节来处置惩罚，一个汉字占 3 个字节，就酿成了 3 个 token。
厥后 GPT-4 的 cl100k 词表扩展了，经常使用汉字最先被纳入，一个字凡是缩到 1 到 2 个 token，但总体效率仍旧不如英文。
到了 GPT-4o 的 o200k 词表，中文效率再进了一步。这也注释了为何*段的数据里 GPT-4o 的 cn/en 比值比 Claude 低。
Qwen 及 DeepSeek 作为国产模子，从一最先就把年夜量经常使用汉字及高频词组作为整字、整词纳入词表。一个字一个 token，效坦白接翻倍甚至更多。
统一句话于差别 tokenizer 下的拆分成果示用意
这就是为何它们的 cn/en 比值能低在 1，中文字均信息密度原来就高在英文单词，当 tokenizer 再也不报酬拆碎汉字，这个自然上风就闪现出来了。
以是上一节那四组数据的差异，泉源不于模子的能力，而于 tokenizer 的词内外，给中文留了几多位置。
Claude 及初期 GPT 的词表因此英文为默许值构建的，中文是厥后被「塞进去」的；Qwen 及 DeepSeek 的词表从设计之初就把中文看成默许语言看待。这个出发点的差异，一起传导到 token 数、账单、上下文窗口巨细。
03古文真的更自制吗？
再看开首的第二个传言：古文比现代汉语更省 token。
数据确认了这个说法。于测试里，古文样本的 cn/en 比值全线低在 1，于所有五个 tokenizer 上都一致。统一段内容的古文版本，token 数比对于应英文翻译还有少。
于所有模子中，古文耗损的 token 数不单比现代中文少，甚至比英文还有少
缘故原由也不繁杂，古文用字极端精辟。「学而不思则罔，思而不学则殆」是 12 个字。翻译成现代汉语就是「只是进修而不思索就会疑惑，只是思索而不进修就会堕入困境」，字数直接翻倍，token 数天然也随着翻倍。
并且古文的经常使用字（之、也、者、而、不）都是高频字符，于任何 tokenizer 的词内外都有自力位置，不会被拆成字节。以是古文于编码层面确凿是高效的。
但这里藏着一个陷阱。
古文的 token 省于编码端，但模子的推理承担没有减轻。「罔」一个字，模子需要判定它于这个语境里是「疑惑」「被蒙蔽」还有是「没有」。现代汉语可以用 26 个字把这层意思说清晰，用古文等在把放开的部门压了归去，把推理的活留给了模子。打个比喻，一份压缩成 zip 的文件体积更小，但解压它需要更多计较。
token 省了，推理的耗损反而上升了，理解正确度还有降落了。这笔账算不外来。
古文这个例子让我意想到，token 数目自己不克不及申明太多问题。但顺着这个标的目的想下去，还有有一层我以前纰漏了的工具。
上面说过，GPT-2 时代的 tokenizer 会把「人」这个字拆成三个 UTF-8 字节 token，厥后 GPT-4 的词表扩展，经常使用汉字酿成了一个字一个 token，Qwen 更进一步，把「人工智能」四个字合成一个 token。
直觉上这是一个不停改良的历程：归并患上越多，效率越高，模子应该也理解患上越好。
但真的是如许吗？咱们没关系回忆一下，咱们是怎样熟悉汉字的。
汉字是表意文字，现代汉字里跨越 80% 是形声字，由一个表义的偏旁及一个表音的部件组合而成。「氵」旁的字多及液体有关，「木」旁的字多及植物有关，「火」旁的字多及热量有关。偏旁部首就是人类识字时最基础的语义线索，一个不熟悉「焱」字的人，看到 3 个「火」也能猜到它及火有关。
由于偏旁部首是人类识字时最基础的语义线索，人会先从布局揣度意义领域，再联合语境理解详细寄义。
可是于 tokenizer 的词内外，「焱」这个字对于应的是一个编号。咱们假定它是 38721 号，它代表的是词内外的一个索引位置，模子经由过程它查找到一组数字向量，用这组向量来表征「焱」这个字。
编号自己不携带任何干在这个字内部布局的信息。38721 及 38722 的瓜葛，对于模子来讲及 1 及 10000 的瓜葛没有区分。在是，「汉字的布局」这一层信息，就被封装起来了。三个「火」叠于一路这件事，于编号里不存于。
模子固然可以经由过程年夜量练习数据间接学到「焱」「炎」「灼」常常呈现于相似的语境里，但这条路比直接使用偏旁信息要更间接一些。
以是模子能不克不及从拆开的字节里，「看到」某些近似偏旁的布局线索，然后于后续的计较层里从头组合呢？这条路虽然 token 数多、成本高，但有无可能于语义理解上，反而比直接吞下一个不透明的编号更有用？
2025 年发表于 MIT Press《Computational Linguistics》上的一篇论文（《Tokenization Changes Meaning in Large Language Models: Evidence from Chinese》），回覆了这个问题。
04碎片里长出偏旁
论文作者 David Haslett 留意到一个汗青偶合。
1990 年月，Unicode 同盟于给汉字分配 UTF-8 编码时，摆列挨次是按部首归类排的。统一个部首下的汉字，UTF-8 编码是相邻的。「茶」及「茎」都含有「艹」部（草字头），它们的 UTF-8 字节序列以不异的字节开首。「河」及「海」都含有「氵」部，字节序列一样同享开首。
UTF-8 根据部门部首挨次给中文排序，部辅弼同的字，编码相近｜图片来历：Github
这象征着，当 tokenizer 把汉字拆成三个 UTF-8 字节 token 的时辰，同享部首的汉字会同享*个 token。模子于练习历程中重复看到这些同享的字节模式，有可能从中学到「*个 token 不异的字，往往属在统一个意义领域」。这于功效上就靠近在人类经由过程偏旁判定语义的历程。
Haslett 设计了三个试验来验证这件事。
*个试验扣问 GPT-四、GPT-4o 及 Llama 3：「茶」及「茎」是否含有不异的语义部首？
第二个试验让模子给两个汉字的语义相似度评分。
第三个试验让模子做「找出差别类」的解除使命。
每一个试验都节制了两个变量：两个汉字是否真的同享部首、两个汉字于 tokenizer 下是否同享*个 token。这个 2×2 的设计，让她能分散出部首效应及 token 效应各自的影响。
三个试验的结论一致：当汉字被切成多个 token 时（好比 GPT-4 的旧 tokenizer 下，89% 的汉字被切成为了多 token），模子辨认同享部首的正确率更高；当汉字被编码为单个 token 时（GPT-4o 的新 tokenizer 下，只有 57% 的汉字还有是多 token），正确率降落了。
换句话说，上一段的阿谁料想建立了。把汉字切碎，成本确凿更高，但切碎后的字节序列里保留了部首的陈迹，模子真的从中学到了一些工具。而把汉字编码为整字 token，成本降下来了，但部首信息被封装于一个不透明的编号里，模子没法再经由过程字节序列获取这一线索。
需要尤其申明的是，这一结论仅局限在字形相干的细分语义使命，不克不及等同在模子总体的中文理解、逻辑推理、长文本天生能力降落。同时，试验对于比的 GPT-4 与 GPT-4o，除了了分词器差异外，模子架构、练习语料、参数目均有显著变化，没法将正确率变化 100% 归因在分词粒度的调解。
这个发明还有获得了工程侧的验证。2024 年一项针对于 GPT-4o 的研究发明，GPT-4o 的新 tokenizer 把某些中文字符组合合成为了一个长 token 以后，模子反而呈现了理解过错。当研究者用专业的中文分词器，把这些长 token 从头拆开再喂给模子，理解正确度恢复了。
今朝全世界年夜模子行业的主流共鸣，依然是针对于方针语言优化的整词 / 整字分词器，能显著晋升模子的总体机能。整字 / 整词编码不仅能年夜幅降低 token 成本、晋升上下文窗口的有用信息量，还有能缩小引列长度、降低推理延迟、晋升长文本处置惩罚的不变性。论文中发明的细分使命上风，没法笼罩绝年夜大都中文 NLP 场景的机能收益。
但这件事依然戳中了年夜型体系里最难处置惩罚的一类问题：你能优化你设计过的部门，但你无法优化你不知道本身拥有的部门。Unicode 同盟按部首摆列编码，是为了人类检索的利便。BPE 把汉字拆成字节，是由于中文于语料里的频率过低。两个不相干的工程决议计划可巧叠于一路，孕育发生了一条谁都没计划过的语义通道。
然后，当新一代工程师「改良」tokenizer、把汉字归并为整字 token 的时辰，他们同时抹失了一条本身不知道存于的路。效率晋升了，成本降低了，某些工具也平静地消散了，而你甚至不会收到一条报错信息。
以是工作比「中文于 AI 里多付钱」这个判定更繁杂。每一一种 tokenizer 都于为某个默许值优化，价钱藏于了别处。
05林语堂
中文适配西方技能基础举措措施的价钱，不是 AI 时代才最先付的。
2025 年 1 月，纽约住民 Nelson Felix 于 Facebook 一个打字机喜好者小组里发了几张照片。他于老婆祖父的遗物里发明了一台刻满中文的打字机，不知道是甚么来源。很快数百条评论涌入。
Nelson Felix 的问题：明快打字机值钱吗？｜图片来历：Facebook
斯坦福年夜学汉学家墨磊宁（Thomas S. Mullaney）看到照片后马上认出来了，这是林语堂 1947 年发现的「明快打字机」的*原型机，掉踪了快要 80 年。同年 4 月，Felix 匹俦将打字机卖给斯坦福年夜学藏书楼。
明快打字机要解决的问题，及今天 tokenizer 面临的问题于布局上是统一个：怎么把中文高效地嵌入一套为西方语言设计的技能基础举措措施。
1940 年月的英文打字机有 26 个字母键，一键一字，简朴直接。中文有几千个经常使用字，不成能一键一字。其时的中文打字机是一个巨年夜的字盘，排着几千个铅字，打字员用手逐个捡字，每一分钟只能打十几个字。
林语堂耗资 12 万美元研发经费，险些败尽家业，委托纽约的 Carl E. Krum 公司做出了一台只有 72 个键的中文打字机。事情道理是把汉字按字形布局拆开，上形键选字根上半部、下形键选字根下半部，候选字显示于一个叫「魔术眼」的小窗里，按数字键选中。每一分钟 40 到 50 字，撑持 8000 余经常使用字符。
赵元任评价：「岂论中国人还有是美国人，只要略加进修，便能认识这一键盘。我认为这就是咱们所需要的打字机了。」
技能上明快打字机是一种冲破，但贸易上它掉败了。
林语堂向雷明顿公司高管演示机会器出了妨碍，投资者随之掉去兴致，而造价昂扬加之他小我私家资金链断裂，量产再无可能。1948 年，林语堂将原型机及贸易权，卖给默根特勒铸排机公司（Mergenthaler Linotype）。该公司终极抛却量产，原型机于 1950 年月公司搬迁时被一名员工带回长岛家中，以后着落不明，直到 2025 年重见天日。
墨磊宁于《中文打字机》一书里有一个判定，他认为明快打字机「其实不掉败」。作为一款 1940 年月的产物，它确凿掉败了。但作为一种人机交互范式，它胜利了。
林语堂*次把中文「打字」酿成了「检索加选择」。三排按键组合定位字根，从候选字里遴选。这恰是所有现代中文输入法的底层逻辑。从仓颉、五笔到搜狗拼音，均可以说是明快打字机的后裔。
这台超过了近八十年的打字机，及今天咱们重复会商的分词器，潜伏着某种的汗青纪律。中文始终面临着一个问题：
怎样接入一套罗马字母形成的基础举措措施。
有趣的是，于这个寻觅的历程中，布满了非报酬计划的偶合。Unicode 同盟为了人类检索利便制订的排序，跟 BPE 算法的无意拆解叠于一路，居然于神经收集的黑盒里，重现了人类识字的历程。而当工程师们为了消弭「中文税」，自动把汉字拼好、把成本打下来时，那条不测降生的语义通道也闭合了。
汗青其实不是一条直线进化的轨道，而是于各类约束前提的挤压下，不停发生变形的流体。
有些能力是设计出来的，有些只是可巧没有被删失。
【本文由投资界互助伙伴微信公家号：极客公园授权发布，本平台仅提供信息存储办事。】若有任何疑难，请接洽（editor@zero2ipo.com.cn）投资界处置惩罚。
-今年会官网
