首页|期刊导航|集成技术|跨数据中心大数据分布式计算研究与展望

跨数据中心大数据分布式计算研究与展望OA

中文摘要

随着数据量呈指数级增长,集中式数据分析模式已难以适配跨数据中心分布式存储场景下的大数据分析与建模需求。传统MapReduce分布式计算模式存在灵活性不足和效率受限等问题,已成为新型计算架构迭代升级的核心瓶颈。本文系统总结了近年来非MapReduce分布式计算范式的研究成果,重点梳理了基于随机样本划分的分布式数据表示模型和基于随机样本划分数据块抽样的近似计算方法,以及依托该数据模型构建的LOGO计算框架与算法库的技术特征。最后,结合算力网络“高效协同、跨域调度”的发展趋势,展望非MapReduce范式在多场景大数据计算中的应用前景,并探讨其在算力互联互通和异构资源适配等方面面临的技术挑战,为新型分布式计算架构优化提供参考。

孙旭东;王圳炯;何玉林;尹剑飞;黄哲学

深圳大学计算机与软件学院,深圳518060深圳大学计算机与软件学院,深圳518060 人工智能与数字经济广东省实验室(深圳),深圳518107人工智能与数字经济广东省实验室(深圳),深圳518107深圳大学计算机与软件学院,深圳518060深圳大学计算机与软件学院,深圳518060 人工智能与数字经济广东省实验室(深圳),深圳518107

信息技术与安全科学

分布式计算大数据处理并行算法资源调度去中心化架构随机样本划分

《集成技术》 2026 (4)

P.289-305,17

深圳市科技重大专项项目(KJZD20230923114809020)深圳市基础研究面上项目(JCYJ20250604175602004)。

10.12146/j.issn.2095-3135.20260326001

评论