从模型服务到Token服务:Agent时代生产智能的新型基础设施OA
人工智能正在从能力展示走向规模化任务执行。这一转变使产业竞争的焦点发生迁移:过去主要比较模型能力,未来更取决于智能能否被稳定、低成本和高质量地持续交付。本文提出TaaS这一基础设施形态,围绕Token成为智能时代基本单位的原因和支撑TaaS落地的全系统异构协同、以存换算的存算协同和面向服务等级目标(SLO)的智能调度等3项底层能力展开论述。
郑纬民
清华大学,北京100084
信息技术与安全科学
Token即服务大模型推理异构协同KVCache智能调度
《集成技术》 2026 (4)
P.17-23,7
评论