文档名：嵌入式异构智能计算系统并行多流水线设计
摘要：嵌入式智能计算系统因其功耗受限和多传感器实时智能处理需要,对硬件平台的智能算力能效比和智能计算业务并行度提出了严峻挑战.传统嵌入式计算系统常采用的DSP+FPGA数字信号处理架构,无法适用于多个神经网络模型加速场景.本文基于ARM+DLP+SRIO嵌入式异构智能计算架构,利用智能处理器多片多核多内存通道特性,提出了并行多流水线设计方法.该方法充分考虑智能计算业务中数据传输、拷贝、推理、结果反馈等环节时间开销,为不同的神经网络模型合理分配智能算力资源,以达到最大的端到端智能计算业务吞吐率.实验结果表明,采用并行多流水线设计方法的深度学习处理器利用率较单流水线平均提高约25.2%,较无流水线平均提高约30.7%,满足可见光、红外、SAR等多模图像实时智能处理需求,具有实际应用价值.
Abstract：Duetothelimitedpowerconsumptionandtheneedforreal-timeintelligentprocessingofmultiplesensors,embeddedAIcomputingsystemsdesireforhigherenergyefficiencyandmoreparallelintelligentcomputingservicessimul-taneously.ThedigitalsignalprocessingarchitectureDSP+FPGAcommonlyusedintraditionalembeddedcomputingsys-temsisnotsuitableformultipleANNmodelsinferenceacceleration.Basedonembeddedheterogeneousintelligentcomput-ingarchitectureARM+DLP+SRIO,thispaperproposesaparallelmultipipelinedesignmethodbytakingadvantageofthecharacteristicsofmultichip,multi-coreandmultimemorychannelsofdeeplearningprocessors.Consideringthetimecostofdatatransmission,copy,referenceandfeedback,thismethodallocatesintelligentcomputingresourcesfordifferentneu-ralnetworkmodelstoachievethemaximumend-to-endthroughput.Theexperimentalresultsshowthattheutilizationofthedeeplearningprocessorusingtheparallelmultipipelinedesignmethodisabout25.2%higherthanthatofasinglepipeline,andabout30.7%higherthanthatwithoutpipeline.Itmeetsthereal-timeintelligentprocessingrequirementsofvisiblelight,infraredandSARimages,andisvaluableforpracticalapplications.
作者：赵二虎 吴济文 肖思莹 晋振杰 徐勇军 Author：ZHAOEr-hu WUJi-wen XIAOSi-ying JINZhen-jie XUYong-jun
作者单位：中国科学院计算技术研究所专项技术研究中心,北京100190;中国科学院大学,北京100049中国科学院计算技术研究所专项技术研究中心,北京100190
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2023, 51(11)
分类号：TP389.1
关键词：嵌入式智能计算系统 异构计算架构 神经网络模型 并行多流水线 深度学习处理器
Keywords：embeddedAIcomputingsystems heterogeneouscomputingarchitecture neuralnetworkmodel paral-lelmultipipeline deeplearningprocessor(DLP)
机标分类号：TP311TN919-34R197.324
在线出版日期：2024年2月1日
基金项目：嵌入式异构智能计算系统并行多流水线设计[
期刊论文] 电子学报--2023, 51(11)赵二虎 吴济文 肖思莹 晋振杰 徐勇军嵌入式智能计算系统因其功耗受限和多传感器实时智能处理需要,对硬件平台的智能算力能效比和智能计算业务并行度提出了严峻挑战.传统嵌入式计算系统常采用的DSP+FPGA数字信号处理架构,无法适用于多个神经网络模型加速场...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
嵌入式异构智能计算系统并行多流水线设计 Parallel Multi Pipeline Design of Embedded Heterogeneous AI Computing Systems
嵌入式异构智能计算系统并行多流水线设计.pdf
- 文件大小:
- 2.24 MB
- 下载次数:
- 60
-
高速下载
|
|
