ThLU激活函数.pdf
激活函数在深度学习中具有重要作用,深度学习在人工智能领域取得瞩目成绩的部分原因在于其激活函数的改进.但是目前的激活函数仍存在着神经元死亡现象严重、梯度消失等缺点.为了解决以上问题,本文基于tanh函数的负半轴可以减轻梯度消失,和ReLU函数正半轴不存在神经元死亡现象,提出了一个新的激活函数:ThLU函数.ThLU函数的正半轴来自于ReLU函数的正半轴,负半轴来自于tanh函数的负半轴.为了验证ThLU函数的性能,本文基于VggNet-16神经网络架构,分别在CIFAR-10和CIFAR-100数据集上进行了试验验证.试验结果表明:基于ThLU函数训练得到的神经网络模型比基于ReLU,LReLU和ELU函数训练得到的神经网络模型具有更高的准确率、更低的损失.即:ThLU函数可以减轻神经元死亡和梯度消失现象,是一个高效的激活函数.
作者：刘坤华钟佩思郑义杨凯歌刘梅曾庆良
作者单位：山东科技大学先进制造技术研究中心,山东青岛266590
母体文献：第五届全国现代制造集成技术学术会议论文集
会议名称：第五届全国现代制造集成技术学术会议
会议时间：2018年11月17日
会议地点：上海
主办单位：《计算机集成制造系统》编辑部
语种：chi
分类号：
关键词：深度学习 ThLU函数 正半轴 负半轴 神经网络模型
在线出版日期：2021年9月26日
基金项目：
相似文献
相关博文
- 文件大小:
- 615.6 KB
- 下载次数:
- 60
-
高速下载
|
|
