文档名:腾讯广告的数据分析系统
任务越来越多,计算资源消耗越来越大,合并原始数据聚合的工作,减少重复IO和数据解析的开销,多个pig,hive,mapreduce->一个mapreduce生成多个聚合结果,一份代码,易于性能优化,时间均匀分布,提高集群利用率。
作者:李锐
作者单位:腾讯
母体文献:2018中国大数据技术大会(BDTC)论文集
会议名称:2018中国大数据技术大会(BDTC)
会议时间:2018年12月6日
会议地点:北京
主办单位:中国计算机学会
语种:chi
分类号:TP3
关键词:数据分析系统 计算框架 任务解耦 调度优化
在线出版日期:2021年11月12日
基金项目:
相似文献
相关博文
- 文件大小:
- 1.84 MB
- 下载次数:
- 60
-
高速下载
|
|