文档名：基于多中心集群协同计算的大数据平台技术研究与应用
摘要：中国电信面向横跨多个地域、拥有众多集群的大型政企机构,推出可以高效协同各类资源的广域大数据架构体系——云边智算大数据平台.该平台从集群维度对数据分区进行逻辑抽象,将独立分散的数据集整合为一个"虚拟数据集",实现了一对多的数据集映射管理.同时,该平台的计算负载数据集具有泛化特征,能够灵活应对不同场景下的数据处理需求.另外,该平台以关系表达式为中间表示,支持多种计算引擎和调度系统,能够在复杂的大型数据处理高容错场景中高效地完成批处理任务负载.目前,云边智算大数据平台已在多种应用场景中落地,平台在5GCore能力调度子系统(5GC)多中心大数据作业开发、运营方面提效17%,且已实现8省前置大数据集群共计42PB存储、84TB内存、24984VCore计算资源的协同调度,日均完成80308次前置-核心两级任务调度.
Abstract：ChinaTelecomhaslaunchedahigh-efficientandcollaborativewide-areabigdataarchitecturesystem,thecloudedgecomputingbigdataplatform,forlarge-scalegovernmentalandenterpriseorganizationsspanningmultiplegeographiesandclusters.Theplatformlogicallyabstractsdatapartitionsthroughtheclusterdimension,integratesmultipleindependentdatasetsintoa"virtualdataset",andachievesmany-to-onedatasetmappingmanagement.Atthesametime,thecomputingloaddatasetoftheplatformhasgeneralizedcharacteristics,whichcanflexiblycopewiththedataprocessingrequirementsindifferentscenarios.Inaddition,theplatformalsosupportsavarietyofcomputingenginesandschedulingsystemsusingrelationalexpressionsasintermediaterepresentationstoachievebatchtasksforlarge-scale,complexdataprocessinginhighlyfault-tolerantscenarios.Atpresent,thecloudedgecomputingbigdataplatformhasbeenappliedinavarietyofapplicationscenes.Theplatformhasimprovedefficiencyby17%in5GCorecapacityschedulingsubsystem(5GC)multi-centrebigdatajobdevelopmentandoperation,andhasachievedthecol-laborativeschedulingofatotalof42PBofstorage,84TBofmemory,and24984VCorecomputingresources,withadailyaverageof80308timesoftaskschedulingbetweenthefrontclusterandthecorecluster.
作者：阮宜龙 徐雪灵 法虎 董丝纶 姜磊 杨磊 燕媛媛Author：RUANYilong XUXueling FAHu DONGSilun JIANGLei YANGLei YANYuanyuan
作者单位：中电信人工智能科技(北京)有限公司,北京100010
刊名：电信科学 ISTICPKU
Journal：TelecommunicationsScience
年，卷(期)：2024, 40(5)
分类号：TP391
关键词：云边协同 统一SQL 任务优化 大数据平台
Keywords：cloudedgecollaboration uniformSQL taskoptimization bigdataplatform
机标分类号：TP311TM734TN957.52
在线出版日期：2024年7月1日
基金项目：基于多中心集群协同计算的大数据平台技术研究与应用[
期刊论文] 电信科学--2024, 40(5)阮宜龙 徐雪灵 法虎 董丝纶 姜磊 杨磊 燕媛媛中国电信面向横跨多个地域、拥有众多集群的大型政企机构,推出可以高效协同各类资源的广域大数据架构体系——云边智算大数据平台.该平台从集群维度对数据分区进行逻辑抽象,将独立分散的数据集整合为一个"虚拟数据集",实现...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于多中心集群协同计算的大数据平台技术研究与应用 Research and application of big data platform technology based on multi-centre collaborative computing
基于多中心集群协同计算的大数据平台技术研究与应用.pdf
- 文件大小:
- 2.19 MB
- 下载次数:
- 60
-
高速下载
|
|
