今年会官网-从哲学概念到科技概念，再到经济概念，Token的前世今生
首页财产ai正文 从哲学观点到科技观点，再到经济观点，Token的前世此生 Token 已经从哲学语言学观点，历经计较机编程、区块链，蜕变为 AI 时代通用的语言拆分与计费最小单位。依托 BPE 字节对于编码算法，年夜模子实现对于肆意语言的分词理解，但算法自然形成以英语为上风的语言效率差，孕育发生隐性 “语言税”。中国依附低廉绿电、东数西算结构、算力成本上风，形成从能源到 Token 产出的完备财产闭环，日均挪用量领跑全世界。跟着官方命名 “词元”、摸索词元生意业务机制，Token 正从技能计量单元，进级为数字时代可订价、可结算、高粘性的新型价值锚点与经济基础单元，将来全世界竞争焦点落于 Token 法则界说权与订价话语权上。 2026-05-06 17:07 ·微信公家号：砺石贸易评论王剑 AI投资人解读文章体系梳理 Token 从观点发源、技能道理、算法例则到经济价值的完备演进脉络，兼具汗青溯源、技能拆解与财产宏不雅视角。既点明 BPE 算法带来的全世界语言编码不公与算法霸权问题，也理性剖析国产年夜模子优化中文词表、争取语义切分权的战略意义。更焦点是跳出纯技能维度，把 Token 竞争上升到能源布局、算力基建、数字铸币权的国度层面，阐释中国依托绿电成本、财产范围、政策轨制形成的怪异上风。行文逻辑层层递进，把抽象的词元观点讲透贸易价值与战略价值，贴合科技财产、数字经济、创投范畴的浏览与转载需求，不雅点深度足、行业洞察强。内容由AI天生，仅供参考 当主流模子皆以Token计费、企业设立专门Token预算、当局政策文件也写入“词元生意业务”时，Token正成为无需争辩的新经济单元。
2026年3月，发生了两件看似不相干的事。
英伟达CEO黄仁勋于GTC年夜会上猜测，公司到2027年的营收将至少到达1万亿美元。
演讲中，他还有随手将数据中央从头界说，先容“那是出产AI智能Token的工场”。
而统一个月，中国国度数据局局长刘烈宏于中国成长高层论坛上讲话时说，“Token不仅是智能时代的价值锚点，更是毗连技能供应与贸易需求的结算单元”。
而且，他代表官方给“Token”定下了中文译名：“词元”。
一名是全世界*芯片公司的掌舵人，一名是中国数据范畴的最高主管官员，却用险些一致的口气，将Token描写为了一个经济单元。
那末，如今火爆全世界，甚至有可能成为新时代的钱币的Token，毕竟是甚么？
0一、甚么是Token？
1906年，美国哲学家Charles Sanders Peirce（查尔斯·桑德斯·皮尔士）正于揣摩一个看似简朴的问题：一页书上印了20个“the”，这到底算是一个词，还有是20个差别的词？
这并不是是皮尔士血汗来潮，存心于句斟字嚼。
作为哲学家，他认为阿谁作为抽象观点的“the”，实在代表了一种遍及的法则或者情势。
对于此，他称其为“类型”（Type）；而书中每个详细可见的“the”，则是这个类型的一次详细出现，可以叫做“实例”（Token）。
也就是说，20个“the”是统一个“类型”的20个差别“实例”。
他就此指出：“类型（Type）自己其实不存于，但它却决议了哪些详细的工具可以或许存于。”
这个看似玄奥的不雅念于哲学圈传播了好久，但其时没人想到，它将来会及计较机孕育发生甚么联系关系。
直到1936年，哈佛年夜学的语言学家乔治·齐普夫于研究词频时，再次对于Token举行了数学上的注释。
彼时，齐普夫于对于各类语言中词频的统计时，发明了一个有趣的征象：一个词的排位及它词频的乘积，险些是一个常数。举个例子，于汉语中，“的”是最经常使用的字，排*，它的字频约莫是6%。
这时候，排名（1）乘以字频（6%）约等在6%。
接下来，排第二的字是“是”，它的字频约3%，2乘以3%也约等在6%；然后是排第三的字“一”，字频约2%，3乘以2%一样约等在6%。
可以看到，这里的排序及字频的乘积类似为一个常数。
是以，排*的“的”的字频约莫是排第二的“是”的两倍，更是排第三的“一”的三倍。
这类“频率与排名成反比”的纪律，厥后被定名为“齐普夫定律（Zipf's law）”。
谁也没想到，这个看似枯燥的数学理论，会于三十年后，成为计较机语言处置惩罚的一项主要理论基础。
时间来到1960年月，“Token”的观点终究于计较机世界获得了运用。
好比，当步伐员写下int x = 5;如许的代码时，初期的计较时机像一个当真的“语法拆解员”，重新到尾把这串字符逐个拆开理解。
于此历程中，计较机先认出“int”是一个暗示整数类型的要害词，接着把“x”标志为一个变量名称，以后看到“=”是赋值符号，末了的“5”则被辨认为一个详细的数字值。
而每个如许被辨认出来、并贴上明确寄义标签的自力单位，就是一个Token。
云云一来，Token终究完成为了从人文观点到呆板语言的回身，成了计较机“读懂”指令及信息的基本单元。
从默默支撑数字世界的语法基石，到厥后被付与全新的价值与共鸣，Token的寄义仍于不停延长。
2017年，跟着区块链与ICO热潮的鼓起，冷门的Token也因披上了“数字代币”的华美外套，被众人逐渐熟知。
只管那轮热潮逐渐冷却，很多项目悄然退场，但Token这个观点却稳稳地留了下来。
它再也不只是一个技能名词，而是带着“可畅通的数字权益凭证”这层新身份再次被人说起。
可以说，不管身处甚么样的配景，Token的焦点始终是：把繁杂事物尺度化，酿成体系可辨认、可处置惩罚、可流转的最小单位。
也恰是这个贯串始终的基因，才使患上于年夜范围语言模子突起的今天，Token成了人机交互中最基础、也是最主要的“语言单位”。
那末，当AI面临人类语言时，又是怎样应用这把“尺子”来学会“理解”与“思索”的呢？
0二、AI学会思索的底层逻辑
咱们起首要厘清，AI理解人类的指令，并不是只是咱们想象中的“浏览”或者“推理”，而是一次精准的“外科手术”——“切割”。
这象征着，你输入的任何一句话，AI城市做一次周详的“拆解手术”。
于指令发出后，所有文字城市被切割成一系列Token碎片，随即转化为计较机数据。
换句话说，AI模子所有的“思索”与“推理”，实在都是于这些数字的繁杂运算中完成，再“翻译”成人们能读懂的语言。
这听起来简朴，现实操作却异样繁杂。
好比，最多见的就是AI的歧义困境。
举个例子，“羽毛球拍卖了几多钱”这句话，AI模子想理解的话，毕竟是该于“羽毛球拍”后断开，还有是于“拍卖”后断开？
前者是体育用品询价，后者却酿成赛事竞拍，语义天差地别，AI仅凭字符底子没法判定。
以是，指令该“切甚么、怎么切”，就成为AI*层的焦点问题。
更贫苦的是，假如某个词从未于练习数据中呈现，模子便没法辨认，只能标志为“未知”跳过，象征着体系呈现了一个BUG（缝隙）。
是以，怎样让AI模子既能处置惩罚歧义，又能“认出”从未见过的字词组合，成为困扰计较机语言处置惩罚范畴多年的难题。
而这个难题被降服，则来自一篇被遗忘多年的技能论文。
1994年，美国步伐员Philip Gage（菲利普·盖奇）于一本C语言技能杂志上发表文章，先容了一种名为BPE（字节对于编码）的压缩算法。
盖奇的思绪很简朴，即经由过程重复扫描文本，把最常相邻呈现的两个字符（如"th"）焊成新符号，一轮轮迭代压缩。
颠末重复迭代后，经常使用词组会越压越小，解压端只需生存这张“打包比照表”便可，让整个步伐的体积变患上极小。
然而，因其压缩效率其实不凸起，业内并没人体贴几KB内存的变化，是以这个算法于其时并未引起太年夜存眷。
这篇论文很快被人遗忘，这一忘就是22年。
直到2016年，爱丁堡年夜学的研究员里Rico Sennrich（科·森里希）于研究呆板翻译的分词难题时，偶尔检索出了这篇旧文。
他敏锐地意想到，BPE这类基在频率的归并计谋，刚好是分词的*方案：无需预先界说辞书，彻底让数据本身“措辞”，高频组合就像滚雪球同样，逐渐凝聚成Token。
云云一来，纵然面临“未见过”的生僻词，计较机语言也能将其拆解为更过细的字节，从而完全规避了“未知”困境。
2019年，OpenAI于发布GPT-2时，也是借用了这个观点。
研发团队将分词出发点直接设定于“字节”——计较机存储的最小单位，从底层同一了所有语言的暗示方式，从而使模子理论上可以或许处置惩罚任何语言文字。
一篇尘封二十余年的漫笔，就此成为驱动万亿级AI财产的底层逻辑之一。
这个成果，生怕连盖奇本人也不曾料到。
然而，当这类“处置惩罚一切文字”的能力与效率至上的算法联合时，一种全新的“算法霸权”悄然呈现。
0三、算法与编码霸权
如今AI所用的这套分词要领，外貌上看很“公允”：哪一种语言用患上多，处置惩罚起来就更高效、更完备；用患上少的语言，就会被切患上比力琐屑，处置惩罚起来也更“费劲”。
可这类效率至上的“公允”，却暗暗地把全球的语言分成为了两种待遇：有的语言是“快速通道”，有的却像走于碎石路上。
简朴来讲，因为BPE算法的焦点逻辑是“频率优先”，哪一种语言最多见，那末相干辞汇就会被更高效地归并为Token。
而英语作为互联网的*主流，天然是*先的表述语言，其他语言则只能依据其“数字能见度”依次排序。
是以，AI模子中现实上形成为了一套隐性的“语言税”系统：表达不异的意思，英文最省Token、成本*；中文凡是需要1.5~2倍；而像祖鲁语、藏语等资源较少的语言，开消可达英文的5~10倍。
这象征着，于按Token计费的法则下，利用英文与AI对于话不仅更快，划一预算下能挪用的算力也远多在其他语言。
这也不是甚么新鲜事，信息时代一直云云。
从莫尔斯电码到键盘设计，险些每一一次信息技能的底层厘革，城市默许为英文摊平门路，而让其他语言的利用者不能不支付分外的“转码”价钱。
是以，Token的效率差距，只是这条汗青纪律于AI时代的重演而已。
值患上警惕的是，这类“起跑线”上的不公一旦写进AI的初始词表，就险些没法再举行批改。
由于，分词法则是AI模子认知世界的地基，年夜楼盖患上越高，地基就没法改换。
可喜的是，跟着中国于年夜模子范畴快速前进，即即是英文语料主导的模子，也最先显著优化对于中文的处置惩罚效率。
这一点，于OpenAI的模子迭代中表现患上很是较着。
好比统一句中文，于GPT-3中需要38个Token，到GPT-4降为26个，而GPT-5仅需15个。
申明经由过程几代GPT的演进，处置惩罚统一中文内容所需的Token数目降落跨越60%，中文的辨认效率显著晋升。
而通义千问、DeepSeek等国产年夜模子，更是从设计之初就将中文的高频词组、针言等作为原生Token纳入词表，从而于不异模子范围下，实现了对于中文更高效、更“母语”级的处置惩罚。
换句话说，于AI时代，谁把握了“语义切分权”，即界说语言基本单位的权利，谁就于很年夜水平上把握了该语言于数字世界的表达效率与成本上风。
而这类界说Token的权利，本色上已经组成一种数字时代的“基础铸币权”。
其战略意义，甚至不亚在把握芯片的设计与制造。
这类效率上的差距看似是道坎，现实上更像一张门票：只要你有充足的算力及数据，彻底可以不走他人的老路，本身打下最坚固的地基。
而要把这类“界说语言基本单位”的上风，真正酿成财产上的话语权，还有需要一整套从能源、芯片到算力的硬支撑。
这条路上，中国刚好都站于了起跑线前。
0四、中国锻造Token硬通货
假如要为中国于全世界Token经济中的位置画一条链路，出发点是能源，尽头则是全世界AI办事市场。
没关系想象个画面：西北沙漠的风机将风能转为电力，电流又沿特高压路线汇入数据中央；GPU再把电能转化为算力，源源不停出产出Token。
而这些数字单位终极经由过程海底光缆，流向全世界各地，再换回以美元计价的API挪用收入。
事实上，中国于这条链条上的体量，早已经年夜到可以自力成势。
公然数据显示，截至2026年3月，我国日均Token挪用量已经达140万亿，两年间增加超千倍。
同期全世界监测更显示，中国年夜模子每一周挪用量已经持续数周逾越美国，*幅度跨越两倍，稳居全世界首位。
那末，中国的Token经济为什么这么强？
这要从成本提及，但最要害的变量是电价。
于贵州、云南等水电富厚的地域，以和甘肃、新疆等风景资源充沛的省分，工业用电价格持久处在低位。专门供应算力中央的绿色电力，部门处所甚至低至每一度电0.15元。
反不雅泰西年夜部门地域，工业电价遍及是中国的数倍甚至更高。
举个例子，天生100万个Token约莫需耗损15到20度电。假如按中国西北的低价绿电计较，成本仅数元人平易近币；而一样的计较使命，于国际市场上对于应的电价则凡是于60到200美元之间。
如许一比，中国依附于能源与算力成本上的上风，修筑了一条从“电”到“Token”的成本护城河。
更要害的是，中国将年夜量难以被彻底消纳的绿色电力，与连续发作的算力需求精准对于接，形成为了怪异的财产闭环。
2025年，中国整年发电量冲破10万亿度，占全世界总量近三分之一。
此中，风电、光伏等新能源曾经因储能不足、外送受限而孕育发生较着的“弃风弃光”征象。
而数据中央作为可调治的负荷年夜户，可以于风景发电岑岭时段晋升运行负荷，高效消纳这些原本被华侈的绿色电力。
如许一来，不仅降低了用能成本，也晋升了能源使用效率，组成了其他国度难以复制的体系性上风。
最近几年来奉行的“东数西算”工程，更是将这一逻辑晋升至国度战略层面，指导数据中央向贵州、内蒙古、宁夏等可再生能源富集地域结构。
这相称在将算力中央直接接入“绿电插座”，将已往可能被弃用的风电、光伏电力，高效转化为可用的AI计较力，连续产出Token。
是以，这场AI竞赛看似是算法与模子的比拼，实则是能源转型与数字基建深度交融的全新答卷。
而中国，刚好于这条赛道上盘踞了交汇点。
与此同时，跟着AI从技能摸索走向财产深处，传统制造业的质检排产、金融营业的风控合规、政务体系的文书处置惩罚等场景，正快速发展为Token耗损的新主力。
这种需求体量重大、连续不变且对于价格高度敏感，偏偏又与中国Token财产的低成本布局高度适配，让中国于全世界Token竞争中，始终盘踞着难以复制的供应上风。
恰是由于有了从能源、算力到现实运用的完备支撑，Token也逐渐从纯粹的技能单位，蜕变为可于数字世界中承载及互换价值的通用载体。
这就象征着，Token彻底有可能于将来成为数字经济的“基础钱币”。
0五、当Token成为不成替代的结算单元
回望汗青不难发明，任何一种新计量单元终极盘踞主导，靠的都不是*，而是越用越离不开，到末了切换成本高到没人愿意换。
而Token偏偏具有这类“一旦用上就难以脱离”的特征。
起首，是其精准的可器量性。
Token生成就是AI办事的计费单位，每一一次挪用都有清楚的耗损记载，比电价更容易核算，也比流量更直接对于应价值产出，而这一属性从降生之初便已经根植此中。
其次，是要有可互换性。
而就于近期，国度数据局于征求定见稿中已经初次提出“词元生意业务”，摸索构建以词元为焦点的可量化、可订价数据价值系统。
这象征着，Token于海内终究有了一个“价值尺度”，再也不只是技能文档里的计量单元。
与此同时，一个看似抵牾的趋向正于发生：用户端感触感染到的AI办事价格不停降落，但上游的算力成本却连续上涨。
好比，2025年10月至2026年3月，H100芯片年租价上涨近40%，且一卡难求；海内外重要云厂商也于2026年头团体提价。
这暗地里，恰是AI从“对于话”转向“自立履行”这一布局性改变，鞭策了算力需求的重构，也使患上Token作为焦点价值载体的职位地方愈发凸显。
要害是，AI的利用方式已经经变了。
已往与AI助手谈天，一问一答，耗损的资源很少；但此刻，企业让AI去主动完成写陈诉、做阐发这些使命，耗损的资源一次可能就是谈天的几百倍。
当本来按利用次数收费的方式，已经经笼罩不了飞速增加的计较成本时，涨价就成为了一定，相称在市场于给AI“愈来愈能主动干活”这个能力，从头标价。
Token如今的处境，实在与昔时的美元有几分相似。
1971年美元离开金本位以后，素质上靠的已经是“配合信赖它有价值”。
它能沿用至今，底子缘故原由于在替代它的协调成本高到难以蒙受——全世界的商业、金融、贮备系统都已经缭绕它成立。
今天，一样的逻辑又于Token身上重演。
当主流模子皆以Token计费、企业设立专门Token预算、政策文件也纳入“词元生意业务”时，Token也如传统钱币那样，因嵌入过深而难以被代替。
以是，Token是否将成为新的经济单元，已经无需争辩。
真实的问题是：谁来界说Token经济的法则？谁又于全世界算力收集中把握订价的自动权？
谜底，也许正跟着每个被天生、被生意业务、被耗损的Token，写进奔涌的数据大水之中。
【本文由投资界互助伙伴微信公家号：砺石贸易评论授权发布，本平台仅提供信息存储办事。】若有任何疑难，请接洽（editor@zero2ipo.com.cn）投资界处置惩罚。
-今年会官网
