基于XGBoost和LightGBM双层模型的恶意软件检测方法

doi:10.3969/j.issn.1671-1122.2020.12.008

信息网络安全 ›› 2020, Vol. 20 ›› Issue (12): 54-63.doi: 10.3969/j.issn.1671-1122.2020.12.008

基于XGBoost和LightGBM双层模型的恶意软件检测方法

徐国天(), 沈耀童

中国刑事警察学院网络犯罪侦查系,沈阳 110854

收稿日期:2020-10-09 出版日期:2020-12-10 发布日期:2021-01-12
通讯作者: 徐国天 E-mail:459536384@qq.com
作者简介:徐国天（1978—）,男,辽宁,副教授,硕士,主要研究方向为网络空间安全、电子数据取证|沈耀童（1998—）,男,河南,硕士研究生,主要研究方向为电子数据取证
基金资助:
公安部软科学计划(2020LLYJXJXY031);辽宁省自然科学基金(2019-ZD-0167);辽宁省自然科学基金(20180550841);辽宁省自然科学基金(2015020091);中央高校基本科研业务(3242017013);公安部技术研究计划(2016JSYJB06);辽宁省社会科学规划基金(L16BFX012)

A Malware Detection Method Based on XGBoost and LightGBM Two-layer Model

XU Guotian(), SHEN Yaotong

Cyber Crime Investigation Department, Criminal Investigation Police University of China, Shenyang 110854, China

Received:2020-10-09 Online:2020-12-10 Published:2021-01-12
Contact: XU Guotian E-mail:459536384@qq.com

摘要/Abstract

摘要：

目前基于网络流量的恶意软件检测方法大多依靠专家经验获取特征,此过程耗时费力且提取的流量特征较少,同时,传统特征工程在特征维度较高时复杂度大大增加。针对上述问题,文章提出一种使用极限梯度提升树（XGBoost）和轻量级梯度提升机（LightGBM）双层模型的恶意软件检测方法。在获取目标软件网络流量并提取相关特征后,使用过滤法和互信息法进行特征处理,将数据集导入首层XGBoost模型进行训练;然后结合网格搜索的调参方式得到最优参数组合,获取每个样本在最佳XGBoost模型中各棵树的叶子节点位置,以此创造新特征集;再利用LightGBM模型对新数据集进行训练,从而得到最终检测模型。实验结果表明,与其他检测方法相比,文章方法在恶意软件检测的准确率和实时性方面有显著提高。

关键词: 恶意软件检测, 流量特征, 极限梯度提升树, 轻量级梯度提升机, 网格搜索

Abstract:

At present, most of the malware detection methods based on network traffic rely on expert experience to acquire features. This process is time-consuming and laborious, and less traffic features are extracted. At the same time, the complexity of traditional feature engineering will greatly increase when the feature dimension is high. According to the above problem, this paper presents a use of limit gradient tree (XGBoost) and lightweight gradient hoist (LightGBM) malware detection method of double model, in the access network traffic and extract the target software related characteristics, using the characteristics of filtering method and mutual information method, and the data set into the first floor training XGBoost model, combined with the grid search of ways to get the optimal parameter combination, for obtaining the best XGBoost model in each sample of each tree in the leaf node position, to create a new collection, The LightGBM model is used to train the new data set so as to obtain the final detection model. The experimental results show that compared with other detection methods, the accuracy and real-time performance of the malware detection proposed in this paper are significantly improved.

Key words: malware detection, flow characteristics, extreme gradient boosting, LightGBM, grid search

中图分类号:

TP309

徐国天, 沈耀童. 基于XGBoost和LightGBM双层模型的恶意软件检测方法[J]. 信息网络安全, 2020, 20(12): 54-63.

XU Guotian, SHEN Yaotong. A Malware Detection Method Based on XGBoost and LightGBM Two-layer Model[J]. Netinfo Security, 2020, 20(12): 54-63.

图/表 15

图1

图2

图3

图4

表1

表2

图5

表3

表4

表5

图6

表6

表7

图7

表8

参考文献 13

[1]	CUI Yanpeng, YAN Bo, HU Jianwei. Android Malware Detection Method Based on Abstract API Call Sequence[J]. Computer Applications and Software, 2019,36(9):321-326.
	崔艳鹏, 颜波, 胡建伟. 基于抽象API调用序列的Android恶意软件检测方法[J]. 计算机应用与软件, 2019,36(9):321-326.
[2]	HOU Liuyang, LUO Senlin, PAN Limin, et al. Multi-feature Android Malware Detection Method[J]. Netinfo Security, 2020,20(1):67-74.
	侯留洋, 罗森林, 潘丽敏, 等. 融合多特征的Android恶意软件检测方法[J]. 信息网络安全, 2020,20(1):67-74.
[3]	ZHANG Zhen, CAO Tianjie. Detecting Android Malware Based on Matching Sequence of Behavioral Characteristic Value[J]. Computer Engineering and Applications, 2018,54(24):97-102.
	张震, 曹天杰. 行为特征值序列匹配检测Android恶意应用[J]. 计算机工程与应用, 2018,54(24):97-102.
[4]	ZHANG Chaoqin, HU Guangwu, WANG Zhenlong, et al. A Novel SVM-Based Detection Method For Android Malware[J]. Computer Applications and Software, 2018,35(10):292-298.
	张超钦, 胡光武, 王振龙, 等. 一种基于支持向量机的安卓恶意软件新型检测方法[J]. 计算机应用与软件, 2018,35(10):292-298.
[5]	LI Hao, MA Kun, CHEN Zhenxiang, et al. Unknown Malware Detection Based on Network Traffic Analysis[J]. Journal of Jinan University, 2019,33(6):500-505.
	李浩, 马坤, 陈贞翔, 等. 基于网络流量分析的未知恶意软件检测[J]. 济南大学学报(自然科学版), 2019,33(6):500-505.
[6]	WANG Shuwei, ZHANG Linjie, JIA Zhe, et al. Android Malware Recognition Based on Network Traffic[J]. Radio Engineering, 2020,50(7):612-618.
	王澍玮, 张林杰, 贾哲, 等. 基于网络流量的安卓恶意软件识别[J]. 无线电工程, 2020,50(7):612-618.
[7]	PENG Guojun, LI Jingwen, SUN Runkang, et al. Android Malware Detection Research and Development[J]. Journal of Wuhan University (Science Edition), 2015,61(1):21-33.
	彭国军, 李晶雯, 孙润康, 等. Android恶意软件检测研究与进展[J]. 武汉大学学报(理学版), 2015,61(1):21-33.
[8]	LI Zhanshan, LIU Zhaogeng. Feature Selection Algorithm Based on XGBoost[J]. Journal on Communications, 2019,40(10):101-108.
	李占山, 刘兆赓. 基于XGBoost的特征选择算法[J]. 通信学报, 2019,40(10):101-108.
[9]	WANG Shengwu, CHEN Hongmei. Feature Selection Method Based on Rough Sets and Improved Whale Optimization Algorithm[J]. Computer Science, 2020,47(2):44-50.
	王生武, 陈红梅. 基于粗糙集和改进鲸鱼优化算法的特征选择方法[J]. 计算机科学, 2020,47(2):44-50.
[10]	BIAN Lingyu, ZHANG Linlin, ZHAO Kai, et al. Ethereum Malicious Account Detection Method Based on LightGBM[J]. Netinfo Security, 2020,20(4):73-80.
	边玲玉, 张琳琳, 赵楷, 等. 基于LightGBM的以太坊恶意账户检测方法[J]. 信息网络安全, 2020,20(4):73-80.
[11]	HE X R, PAN J F, JIN O, et al. Practical Lessons from Predicting Clicks on Ads at Facebook[C]// ACM SIGKDD. The 8th International Workshop on Data Mining for Online Advertising, August 24, 2014, New York,USA. New York:ACM SIGKDD, 2014: 1-9.
[12]	WANG Yao, LI Wei, WU Kehe, et al. Application of Fusion Model of GBDT and LR in Encrypted Traffic Identification[J]. Computer and Modernization, 2020(3):93-98.
	王垚, 李为, 吴克河, 等. GBDT与LR融合模型在加密流量识别中的应用[J]. 计算机与现代化, 2020(3):93-98.
[13]	LAYA T H, ANDI F A, ARASH H L. Extensible Android Malware Detection and Family Classification Using Network-flows and API-calls[J]. The IEEE(53rd) International Carnahan Conference on Security Technology, 2019,4(1):26-30.

参数	最优值
n_estimators	88
eta	0.2
max_depth	6
min_child_weight	1
gamma	0
subsample	0.9
colsample_bytree	0.5

序号	特征名称	特征描述
1	fl_dur	数据流持续时间
2	tot_fw_pk	转发总包数
3	tot_bw_pk	反向转发总包数
4	tot_l_fw_pkt	报文总大小
5	fw_pkt_l_max	正向报文最大数据包大小
6	fw_pkt_l_min	正向报文最小数据包大小
7	fw_pkt_l_avg	正向报文平均大小
8	fw_pkt_l_std	数据包正向的标准偏差大小
9	Bw_pkt_l_max	反向最大包数
10	Bw_pkt_l_min	反向最小包数
…	…	…

真实类别	正例	反例
正例	TP（真正例）	FP（假正例）
反例	FN（假反例）	TN（真反例）

模型方法	Accuracy	Recall	F1	Precision
SVM	0.583	0.897	0.677	0.545
RF	0.814	0.859	0.821	0.802
AdaBoost	0.842	0.858	0.841	0.826
GBDT	0.880	0.896	0.879	0.864
XGBoost	0.886	0.900	0.885	0.871
LightGBM	0.875	0.904	0.876	0.851
MLP	0.816	0.837	0.816	0.800
本文模型	0.945	0.950	0.946	0.942

模型方法	Accuracy	Recall	F1	Precision
RF+LR	0.942	0.954	0.943	0.933
RF+XGBoost	0.904	0.925	0.906	0.893
RF+LightGBM	0.903	0.916	0.904	0.899
XGBoost+XGBoost	0.944	0.932	0.945	0.944
本文模型	0.945	0.950	0.946	0.942

基于XGBoost和LightGBM双层模型的恶意软件检测方法

A Malware Detection Method Based on XGBoost and LightGBM Two-layer Model

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 13

相关文章 10

编辑推荐

Metrics

本文评价

[1]	宋鑫, 赵楷, 张琳琳, 方文波. 基于随机森林的Android恶意软件检测方法研究[J]. 信息网络安全, 2019, 19(9): 1-5.
[2]	张健, 陈博翰, 宫良一, 顾兆军. 基于图像分析的恶意软件检测技术研究[J]. 信息网络安全, 2019, 19(10): 24-31.
[3]	黄世锋, 郭亚军, 崔建群, 曾庆江. 基于优化模糊C均值的手机恶意软件检测[J]. 信息网络安全, 2016, 16(1): 45-50.
[4]	树雅倩, 付安民, 黄振涛. 基于云平台的移动支付类恶意软件检测系统的设计与实现[J]. 信息网络安全, 2016, 16(1): 59-63.
[5]	李建熠, 李晖, 黄梦媛. 基于内核日志的移动终端恶意软件检测[J]. 信息网络安全, 2015, 15(7): 58-63.
[6]	. 基于信息熵的网络流量信息结构特征研究[J]. , 2014, 14(3): 28-.
[7]	严承华;程晋;樊攀星. 基于信息熵的网络流量信息结构特征研究[J]. , 2014, 14(3): 0-0.
[8]	巫锡洪;刘宝旭;杨沛安. 基于域名的僵尸网络行为分析[J]. , 2013, 13(9): 0-0.
[9]	康文丹;展鹇;白静;蔡旺. 基于行为的移动智能终端恶意软件自动化分析与检测系统[J]. , 2013, 13(12): 0-0.
[10]	彭国军;王泰格;邵玉如;刘梦冷. 基于网络流量特征的未知木马检测技术及其实现[J]. , 2012, 12(10): 0-0.

样本	新特征集（One-Hot编码）
A	1	0	0	1	0	0	1	0	0	0
B	0	1	0	0	0	1	0	1	0	0
C	1	0	0	0	0	1	0	0	1	0
D	0	0	1	0	1	0	0	0	0	1