文档名：特征增强的改进LightGBM流量异常检测方法
摘要：针对机器学习在流量异常检测中存在选择特征过于依赖专家经验、原始特征表达能力不足、数据受噪声和离群点影响导致模型鲁棒性差以及处理非平衡海量高维数据时少数异常类检测率低等问题,提出一种特征增强的改进LightGBM(lightgradientboostingmachine)流量异常检测方法.首先,采用隔离森林(isolationforest,iForest)实现异常值处理,并利用异常值处理后的数据训练引入全局平均池化(globalaveragepooling,GAP)的一维卷积去噪自编码器(convolutionaldenoisingautoencoder,CDAE),间接地消除数据中的噪声,得到原始特征的低维增强表达.然后,采用自适应合成采样(adaptivesynthetic,ADASYN)对异常值处理后的数据实现数据增强并运用训练完成的CDAE进行特征提取,将得到的低维特征作为LightGBM的输入,训练并进行贝叶斯参数寻优.最后,通过得到的CDAE+LightGBM组合模型实现对异常流量的精准分类.在NSL-KDD数据集上所提方法的五分类准确率和F1分数分别达到了87.80％和87.75％,能够有效提升检测精度,增强未知攻击的检测能力.在CICIDS2017场景数据集上的测试进一步验证了所提方法可行性,且优于与同类型的深度学习算法.
Abstract：Focusingontheproblemsofmachinelearningintrafficanomalydetection,includingrelianceonexpertexperienceforfeatureselection,insufficientexpressionabilityofrawfeatures,poorrobustnessofmodelsduetonoiseandoutliersindata,andlowdetectionratesforminorityclassesinimbalancedhigh-dimensionaldatasets,animprovedLightGBMforTrafficAnomalyDetectionMethodwithFeatureEnhancementisproposed.Firstly,theisolationforest(iForest)methodisutilizedtohandleoutliers,andthedataprocessedbyoutliertreatmentisusedtotrainanone-dimensionalconvolutionaldenoisingauto-encoder(CDAE)withglobalaveragepooling(GAP),whichindirectlyeliminatesnoiseinthedataandobtainslow-dimensionalenhancedexpressionsoforiginalfeatures.Then,adaptivesyntheticsampling(ADASYN)isappliedtothedataafteroutliertreatmentfordataaugmentation,andthetrainedCDAEisusedtoextractfeatures.Theobtainedlow-dimensionalfeaturesareusedasinputforLightGBM,whichistrainedandoptimizedwithBayesianparametertuning.Atlast,theprecisionclassificationofanomaloustrafficisachievedthroughtheutilizationoftheobtainedCDAE+LightGBMensemblemodel.Theproposedmethodattainsaccuracyratesof87.80％andF1scoresof87.75％inafive-classclassificationtaskontheNSL-KDDdataset.Experimentalresultsdemonstratethattheproposedapproachsignificantlyenhancesdetectionaccuracyandreinforcesthecapabilitytoidentifyunknownattacks.ThetestonCICIDS2017scenedatasetfurtherverifiesthefeasibilityoftheproposedmethod,whichsuperiortothesametypeofdeeplearningalgorithm.
作者：陈万志 赵林 王天元 Author：ChenWanzhi ZhaoLin WangTianyuan
作者单位：辽宁工程技术大学软件学院葫芦岛125105国网辽宁省电力有限公司营口115005
刊名：电子测量与仪器学报 ISTICPKU
Journal：JournalofElectronicMeasurementandInstrumentation
年，卷(期)：2024, 38(3)
分类号：TP393TN911.7
关键词：流量异常检测 隔离森林 卷积去噪自编码器 自适应合成采样 LightGBM
Keywords：trafficanomalydetection isolationforest convolutionaldenoisingauto-encoder adaptivesyntheticsampling LightGBM
机标分类号：TP391TP181R394.3
在线出版日期：2024年7月8日
基金项目：国家重点研发计划，辽宁省教育厅高校科研基金项目特征增强的改进LightGBM流量异常检测方法[
期刊论文] 电子测量与仪器学报--2024, 38(3)陈万志 赵林 王天元针对机器学习在流量异常检测中存在选择特征过于依赖专家经验、原始特征表达能力不足、数据受噪声和离群点影响导致模型鲁棒性差以及处理非平衡海量高维数据时少数异常类检测率低等问题,提出一种特征增强的改进LightGBM(l...参考文献和引证文献
参考文献
引证文献
本文读者也读过
相似文献
相关博文
特征增强的改进LightGBM流量异常检测方法 Improved LightGBM for traffic anomaly detection method with feature enhancement
特征增强的改进LightGBM流量异常检测方法.pdf
- 文件大小:
- 6.48 MB
- 下载次数:
- 60
-
高速下载
|
|
