基于SQLonHadoop的不同数据格式的试飞数据查询性能研究

基于SQLonHadoop的不同数据格式的试飞数据查询性能研究.pdf
随着国内民用大飞机行业的快速发展,产生了海量试飞数据,使用大数据技术存储处理试飞数据的需求日益增长.针对试飞数据的特性,结合现有Hadoop生态,从数据存储格式、SQL-on-Hadoop技术等维度出发,通过数据查询实验,确定数据存储、数据处理的技术路线.实验结果表明,以ORC或Parquet格式存储试飞数据,能节省大量存储空间,且对试飞数据获取速度无影响甚至有提升;SparkSQL因其计算框架优势能在一秒内完成单次数据查询,适合在少量试飞数据集中快速查询的场景;从硬件成本角度,Hive技术在实时要求不高的试飞数据查询中能发挥关键作用.
作者：王伟冯灿李成浩
作者单位：中国商飞民用飞机试飞中心,上海201323
母体文献：
会议名称：上海市科学技术协会第十八届学术年会暨上海市航空学会2020年综合性学术年会  
会议时间：2020年10月1日
会议地点：上海
主办单位：上海市科协,上海市航空学会
语种：chi
分类号：TP3TP2
关键词：民用飞机  试飞数据  存储格式  查询性能
在线出版日期：2021年3月31日
基金项目：
相似文献
相关博文

2024-12-3 00:08 上传 基于SQLonHadoop的不同数据格式的试飞数据查询性能研究.pdf

文件大小:

1.87 MB

下载次数:

60

高速下载