文档名：基于自适应梯度优化的二值神经网络
摘要：二值神经网络由于在储存空间和计算上的高效性,在视觉任务中被广泛运用.为了训练不可导的二值网络,直通近似(Straight-ThroughEstimator)和S型近似(Sigmoid)等多种松弛优化方法被用来拟合量化函数.但是,这些方法存在两个问题:(1)由于松弛函数和量化算子的差异导致的梯度失配;(2)由于激活值饱和引起的梯度消失.量化函数自身的特性使二值网络梯度的准确性和有效性无法同时保证.本文提出了基于自适应梯度优化的二值神经网络(AdaptiveGradientbasedBinaryNeuralNetworks,AdaBNN),其通过自适应地寻找梯度准确性和有效性之间的最佳平衡来解决梯度失配和梯度消失的问题.具体而言,本文从理论上证明了梯度准确性和有效性之间的矛盾,并通过比较松弛梯度的范数和松弛梯度与真实梯度之间的差距,构建了这一平衡的度量标准.因此,二值神经网络能根据所提出的度量调整松弛函数,从而得到有效训练.在ImageNet数据集上的实验表明,本文的方法相较于被广泛使用的BNN网络将top-1准确率提升了17.1％.
作者：王子为 鲁继文 周杰Author：WANGZi-wei LUJi-wen ZHOUJie
作者单位：清华大学自动化系,北京100084;北京信息科学与技术国家研究中心,北京100084
刊名：电子学报 ISTICEIPKU
Journal：ActaElectronicaSinica
年，卷(期)：2023, 51(2)
分类号：TP391.4TP29
关键词：二值神经网络 梯度饱和 梯度失配 自适应梯度 图像分类
机标分类号：TP391R318H3.1
在线出版日期：2023年5月8日
基金项目：国家重点研发计划，国家自然科学基金，国家自然科学基金，国家自然科学基金，国家自然科学基金基于自适应梯度优化的二值神经网络[
期刊论文] 电子学报--2023, 51(2)王子为 鲁继文 周杰二值神经网络由于在储存空间和计算上的高效性,在视觉任务中被广泛运用.为了训练不可导的二值网络,直通近似(Straight-ThroughEstimator)和S型近似(Sigmoid)等多种松弛优化方法被用来拟合量化函数.但是,这些方法存在两...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
基于自适应梯度优化的二值神经网络 Learning Adaptive Gradients for Binary Neural Networks
基于自适应梯度优化的二值神经网络.pdf
- 文件大小:
- 1.75 MB
- 下载次数:
- 60
-
高速下载
|
|
