文档名：异构分布式深度学习平台的构建和优化方法研究
摘要：深度学习与大数据技术的结合在资源管理、任务调度等方面还存在许多问题,有待解决与优化.针对异构资源管理能力弱、原生调度算法灵活性差、多框架缺少统一的使用接口3个问题,提出了一种异构资源下分布式深度学习框架整合平台,并对任务调度算法的优化进行研究.平台以Spark框架为基础,向下对异构资源进行拓展与管理,向上整合了SparkOnAngel与TensorFlowOnSpark2种框架,使用物理标注的方法,为挂载不同计算资源的机器打上不同的标签,并借助资源模型的双重表示,进行调度算法优化.结果表明:该平台与传统的spark集群相比,在5个minist_spark与5个WordCount混合任务场景下,执行耗时降低13.4%;在大批量的WordCount任务场景下,当作业量达到60时,执行耗时可降低至32.31%.平台能够扩展对GPU资源的管理,调度算法更加灵活高效,可为多个框架提供统一的调用接口.
作者：胡昌秀 张仰森 彭爽 陈涵 祁浩家 Author：HUChangxiu ZHANGYangsen PENGShuang CHENHan QIHaojia
作者单位：北京信息科技大学智能信息处理研究所,北京100101北京信息科技大学智能信息处理研究所,北京100101;国家经济安全预警工程北京实验室,北京100044东北师范大学文学院,长春130022
刊名：重庆理工大学学报 PKU
Journal：JournalofChongqingInstituteofTechnology
年，卷(期)：2023, 37(17)
分类号：TP393
关键词：异构 调度算法 资源管理 统一接口
Keywords：heterogeneous schedulingalgorithm resourcemanagement unifiedinterface
机标分类号：TP391G434R74
在线出版日期：2023年10月25日
基金项目：国家社会科学基金异构分布式深度学习平台的构建和优化方法研究[
期刊论文] 重庆理工大学学报--2023, 37(17)胡昌秀 张仰森 彭爽 陈涵 祁浩家深度学习与大数据技术的结合在资源管理、任务调度等方面还存在许多问题,有待解决与优化.针对异构资源管理能力弱、原生调度算法灵活性差、多框架缺少统一的使用接口3个问题,提出了一种异构资源下分布式深度学习框架整合平...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
异构分布式深度学习平台的构建和优化方法研究 Research on the construction and optimization of heterogeneous distributed deep learning platform
异构分布式深度学习平台的构建和优化方法研究.pdf
- 文件大小:
- 1.92 MB
- 下载次数:
- 60
-
高速下载
|
|
