AI芯片竞争转向谁能提供最低的Token成本

　　作者／  IT时报  郝俊慧

　　编辑／  孙妍

　　7月17日，2026世界人工智能大会（WAIC2026）正式揭幕，一颗国产TPU芯片出现在中昊芯英的展台上，这是中昊芯英刚刚于6月30日发布的第二代TPU芯片“须臾”，也是它首次在公开场合接受大众的近距离审视与检验。

　　单芯片混合精度浮点算力达896TFLOPS；8-bit推理算力可达1792TOPS，单芯片额定功耗600W，较算力性能持平的传统算力芯片功耗降低50%……作为国内最早投身TPU架构AI专用算力芯片研发的企业之一，中昊芯英拿出的二代产品可圈可点。

　　不过，在接受包括《IT时报》在内的媒体采访时，中昊芯英创始人兼CEO杨龚轶凡却始终强调一个全新的核心指标——百万Token性价比：“从客户内测反馈来看，二代芯片整机综合性能实现三倍以上提升，而售价仅小幅上调，综合而言，百万Token（词元）推理性价比实现了两倍以上提升。”

　　2026年，随着Agentic AI的兴起，AI芯片竞争正在从“谁拥有最强GPU”，转向“谁能构建更适合自身模型和业务的专用计算体系，提供最低的Token成本”。

　　从刹那到须臾，佛经讲的是时间，中昊芯英讲的是成本。

　　一颗为“词元”重构的芯片

　　花旗银行最新预测显示，将2026年至2028年中国AI-PCB市场规模预测上调至1520亿元、3070亿元和5620亿元，预计到2028年，谷歌TPU相关PCB（印制电路板）采购规模达160亿美元，超过英伟达GPU相关的PCB需求；在2027年的AI—PCB需求结构中，ASIC约占34%，英伟达GPU约占24%。这意味着TPU将不再只是对GPU的补充。

　　原因很简单，成本。

　　今年4月底，在摩根士丹利一份首次覆盖中国AI芯片厂商的行业报告中提到，人工智能芯片的竞争格局正在经历一场根本性的范式转变。在大规模商业推理时代，最终的赢家将不再仅仅取决于硬件的原始规格（PPA），相反，胜负将取决于单位Token成本的经济性、软件成熟度以及客户绑定的深度。

　　芯片设计正从预训练时代“大刀阔斧”，转变为推理时代的“锱铢必较”。

　　“对AI服务商、政企客户而言，单位百万Token算力估值永远是第一决策标准，在同规模大模型推理场景下，中昊芯英平台的百万Token成本，仅为海外主流GPU方案的35%～50%。巨大的成本差距是客户选择我们的核心原因。”杨龚轶凡表示。

　　图源：pexels

　　一颗“不考虑功耗”的芯片

　　需要的参数十分清晰。单芯片混合精度浮点算力896TFLOPS，是上一代芯片“刹那”的3倍，8-bit推理算力1792TOPS，额定功耗600W，较算力持平的传统芯片降低一半。8片须臾配两路CPU构成泰则2.0单机，混合精度算力7.168P，同等任务下整机能耗为传统GPU服务器的80%，超节点最高支持2048片芯片直联。

　　参数背后，是“须臾”在计算、存储、通信三个维度做出的创新。

　　作为国内最早投入TPU架构研发并实现投产的芯片企业，“须臾”提出了一套完全不同于传统芯片设计公司的升级思路。

　　传统的芯片PPA（性能、功耗、面积）三要素中，功耗往往被认为占据举足轻重的位置，杨龚轶凡却透露，因为TPU架构本身天然比通用GPU能耗更低，所以“须臾”在设计时并没有把功耗优化作为最主要的目标，而是选择了性能与芯片面积的平衡，“须臾”三倍的性能提升中，至少1.5倍来自纯粹的性能堆叠。

　　支撑这个趋势的是一笔成本账。杨龚轶凡分析，GPU整机的采购成本占三年综合运营成本（TCO）的70%～80%，电费仅占20%，而“须臾”的采购成本与能耗成本比例约为7比3。在这样的分母下，把算力再拉高一倍，比把电费再省三成更具性价比。也就是说，只要性能提升幅度超过成本的上涨幅度，客户的综合性价比还是会提升。

　　杨龚轶凡坦言，TPU原生张量计算架构的先天能效优于GPU，而且还有大量未挖掘的架构空间，所以中昊芯英选择优先强化算力特性，而将功耗优化放在次要位置。

　　打破“存储墙”

　　大模型尤其是Transformer架构中，数据的重复读取开销是造成存储墙的核心原因。随着AI进入推理时代，尤其是智能体场景中，存储墙变得更加“昂贵”。用户只输入了几十个字，但执行任务Agent却可能要反复循环调用、重复输入海量的历史缓存（KV Cache）、上下文资源。

　　图源：unsplash

　　传统GPU芯片依托海量核心实现并行计算，数据需在计算单元与存储单元之间频繁传输，若芯片的存储带宽与片上存储容量不足，计算单元便只能处于“等待数据传输”的空闲状态。

　　TPU是专用集成电路（ASIC）的代表，核心架构是脉动阵列，数据像脉搏一样在阵列中流动，一次从内存读入，在阵列内被多个计算单元反复复用，从而减少对外部存储的访问次数。

　　也就是说，TPU的思路不是“把带宽做大”，而是“让数据不用来回跑”。这也是为什么在算力需求一路高涨的今天，谷歌先后获得Anthropic和Meta的大规模TPU算力订单，这正是TPU天然的架构红利。

　　具体到“须臾”来看，传统方案在切换参数矩阵和输入特征矩阵时会产生带宽阻塞与计算等待，比如“刹那”在128×128矩阵并行运算的切换环节，频繁出现数据流阻塞，二代产品调整了参数与特征数据流的调度逻辑，“须臾”在制造中采用了高功耗、高性能的ULVT（超低阈值电压）晶体管来榨取绝对运算力，大幅降低了计算空泡的产生概率，单路计算性能直接提升20%至30%。

　　此外，当推理成为主要场景，PD分离（Prefill-Decode预填充和解码）被认为是提升单位Token成本经济性的必经之路。

　　“须臾”在PD分离上进展迅速，不仅在软件栈原生支持分离推理架构，同时在芯片底层配套了专用硬件加速单元；在硬件形态上，中昊芯英已完成PD分离的硬件适配，1颗专门负责Prefill（计算密集型）的芯片，与另外1～2颗专门负责Decode（访存密集型）的芯片协同工作。

　　据杨龚轶凡介绍，经过一系列升级之后，“须臾”深度优化了大模型张量计算逻辑，扩容寄存器与大容量片上缓存，显存与片间互联速率全面升级，从内测反馈来看，“须臾”初步稳定支持百万Token完整上下文窗口，搭载“须臾”的泰则2.0整机综合性能实现三倍以上提升，在实际落地场景中，单百万Token的推理性价比实现了两倍以上的量化提升。

　　不做大而全

　　生态聚焦国产基模

　　7月17日，“须臾”将正式在WAIC2026上亮相，但从展台走向市场，摆在中昊芯英面前的第一道难题是供应链。

　　今年以来，受产能吃紧与AI需求拉动的双重影响，HBM、DRAM等存储器涨价，晶圆代工与先进封装报价接连上调。TrendForce的观察是，2026年全球AI服务器出货量预计同比增长28.3%。

　　TPU架构天然依赖Chiplet芯粒方案，从“刹那”落地起，便选择了多裸片先进封装与分层拆分，对先进封装产能高度依赖，而这正是当下最紧俏的资源。

　　杨龚轶凡表示“面对供应链涨价、产能紧缺这类行业突发波动，我们不会拘泥固定流程。方法论的优势是运营、生产稳定可控，但会限制创新空间；而创新的本质就是打破固有模式，所以我们采取平衡思路：以过往落地经验作为基础参考框架，面对每一轮行业变化、供应链难题，我们会输出创新解决方案。”

　　更迫切的挑战是软件生态。“硬件流片和集群部署周期都可控，但算子库、开发工具、模型适配的全链条打磨需要三到五年甚至更久，CUDA用二十年积累所实现的全场景、全适配，对于软件栈搭建周期仅短短几年的芯片初创企业来说，差距是客观存在的。”对此，中昊芯英的解法是“聚焦”，TPU架构天然适配PyTorch、TensorFlow等底层主流开源框架，因此公司只需将核心精力放在国内主流大模型的专属算子调优上，目前已完成Qwen全系列、DeepSeek、GLM、MiniMax等数十款模型适配。

　　因此，尽管原材料和制程成本涨幅惊人，“须臾”的定价只做了轻微上调。杨龚轶凡认为，架构创新带来的性能增量可以吸收成本的上涨，只要性能提升幅度超过成本涨幅，客户的综合性价比就还在优化，同时优先选用高规格元器件，这样虽然短期成本略高，但涨幅更低、返修损耗更少，长期反而摊薄了综合成本。

　　一代人终将老去，总有人正年轻。

　　经过超过三十年的演进，GPU的缓存层级、显存带宽、计算密度之间的关系已经相对固化，性能提升只能靠更先进的制程、更贵的HBM、更快的互联，底层架构很难革新，而TPU作为新兴专用架构，才出现10年，有大量技术空白可以持续挖掘。

　　“我们要推动TPU成为AI领域的通用基础架构，对标CPU领域的X86架构，打造全行业通用AI计算标准。”杨龚轶凡表示，面对国内算力产业的未来，开放和谐、共建软硬件标准，远比在封闭生态内耗更具有价值。

　　中昊芯英TPU芯片AI软件栈

　　从芯片的“可用”到“好用、低成本”，杨龚轶凡给自己留了五年的成长时间，“到那时，TPU的架构空间挖得差不多了，再考虑精细化的PPA平衡”。

　　排版／  季嘉颖

　　图片／  中昊芯英  pexels  unsplash

　　来源／《IT时报》公众号vittimes