大语言模型推理优化研究综述OA
A survey on optimization research for large language model inference
大语言模型(large language model,LLM)快速增长的参数规模以及自回归特性使得推理的高服务成本与低资源使用效率之间出现巨大的矛盾.推理系统的服务性能依赖于系统架构、算法、模型等各方面.本文总结了推理系统面临的问题和挑战,并且从请求处理流程和模型服务架构出发,重点介绍了请求调度、资源管理、令牌生成、分布式推理以及推理缓存方面的研究进展,分析了提升推理系统效率所采用的关键技术.最后,本文探讨了异构硬件资源与文生图场景下降低推理服务成本的挑战,认为软硬协同、硬件能力感知的设计有助于进一步提升资源效率以及降低推理成本.
The rapid growth in parameter size of large language model(LLM)and their autoregressive nature has led to a significant contradiction between high service costs for inference and low resource utilization efficiency.The per-formance of inference systems depends on various factors,including system architecture,algorithms,and models.The paper summarizes the challenges faced by inference systems from the request processing flow and model service architecture.It focuses on research advancements in request scheduling,resource management,token generation,distributed inference,and inference caching.The paper also analyzes key technologies for improving inference sys-tem efficiency.Finally,this work discusses the challenges of reducing inference service costs in heterogeneous hardware resources and text-to-image scenarios,suggesting that software-hardware co-design and hardware-aware strategies can further enhance resource efficiency and reduce inference costs.
胡存琛;孙凝晖;王卅
中国科学院计算技术研究所处理器芯片全国重点实验室 北京 100190||中国科学院大学 北京 100049||中国电信云计算研究院 北京 100053中国科学院计算技术研究所处理器芯片全国重点实验室 北京 100190||中国科学院大学 北京 100049中国科学院计算技术研究所处理器芯片全国重点实验室 北京 100190||中国科学院大学 北京 100049
大模型服务请求调度缓存加速显存管理算子优化
large language model servingrequest schedulingcaching acceleratememory managementop-erator optimization
《高技术通讯》 2026 (7)
663-676,14
国家自然科学基金(U24B6012)资助项目.
评论