面向诈骗短信息识别的融合多策略数据增强技术研究

doi:10.3969/j.issn.1671-1122.2022.10.017

信息网络安全 ›› 2022, Vol. 22 ›› Issue (10): 121-128.doi: 10.3969/j.issn.1671-1122.2022.10.017

面向诈骗短信息识别的融合多策略数据增强技术研究

胡勉宁¹, 李欣¹^,²(), 李明锋¹, 孙海春¹

1.中国人民公安大学信息网络安全学院,北京 100038
2.安全防范技术与风险评估公安部重点实验室,北京 100038

收稿日期:2022-07-21 出版日期:2022-10-10 发布日期:2022-11-15
通讯作者: 李欣 E-mail:lixin@ppsuc.edu.cn
作者简介:胡勉宁（2000—）,男，四川，硕士研究生，主要研究方向为自然语言处理、开源情报|李欣（1977—），男，江西，副教授，博士，主要研究方向为云计算、网络安全|李明锋（2003—），男，四川，本科，主要研究方向为自然语言处理|孙海春（1985—），女，山东，副教授，博士，主要研究方向为自然语言处理、知识图谱
基金资助:
国家自然科学基金(62076246)

Research on Multi-Strategy Data Enhancement Technology for Fraud Short Message Identification

HU Mianning¹, LI Xin¹^,²(), LI Mingfeng¹, SUN Haichun¹

1. School of Information Network Security, People’s Public Security University of China, Beijing 100038, China
2. Key Laboratory of Security Technology and Risk Assessment, Ministry of Public Security, Beijing 100038, China

Received:2022-07-21 Online:2022-10-10 Published:2022-11-15
Contact: LI Xin E-mail:lixin@ppsuc.edu.cn

摘要/Abstract

摘要：

针对诈骗短信息识别模型对新型诈骗短信息识别率低的模型鲁棒性问题，文章提出了一种文本生成和深度合成的数据融合增强技术的模型训练方法。借助统计分析发现新型诈骗短信息异于普通诈骗短信息的内容和结构特点，文章分别使用文本生成、深度合成和两者融合技术等数据增强方式来增强原生诈骗短信息训练集，同时在CNN、LSTM、GRU等多个模型中对新型诈骗短信息和原生诈骗短信息进行对比实验，进一步验证模型性能的优化程度。实验结果表明，使用数据融合增强技术后，模型对新型诈骗短信息的识别率由73.4%提升到98.4%，F1值由0.64提升到0.98，诈骗短信息识别模型的整体性能得到了提升。

关键词: 诈骗短信息识别, 数据增强, 文本生成, 深度合成

Abstract:

Aiming at the low robustness of the fraud short message identification model to the new fraud short message identification model, this paper proposed a model training method that included text generation and deep synthesis of data fusion enhancement technology. Through statistical analysis, it is found that the content and structural characteristics of the new fraud short message are different from those of ordinary fraud short message. By using data enhancement methods such as text generation, deep synthesis and integration technologies, the training set of native fraud short message is enhanced respectively, and comparative experiments are conducted on new fraud short message and native fraud short message in CNN, LSTM, GRU and other models to verify the optimization degree of model performance. Experimental results show that after using the data fusion enhancement technology, the recognition rate of the model for the new fraud short message increases from 73.4% to 98.4%, and the F1 value increases from 0.64 to 0.98. The overall performance of the fraud short message identification model is improved.

Key words: fraud short message identification, data enhancement, text generation, deep synthesis

中图分类号:

TP309

胡勉宁, 李欣, 李明锋, 孙海春. 面向诈骗短信息识别的融合多策略数据增强技术研究[J]. 信息网络安全, 2022, 22(10): 121-128.

HU Mianning, LI Xin, LI Mingfeng, SUN Haichun. Research on Multi-Strategy Data Enhancement Technology for Fraud Short Message Identification[J]. Netinfo Security, 2022, 22(10): 121-128.

图/表 14

图1

图2

图3

表1

表2

表3

图4

表4

表5

表6

图5

表7

图6

图7

参考文献 15

[1]	MA Zhonghong. Research on the Difficulties and Countermeasures of New Network Crime Investigation Represented by Telecommunication Fraud Based on the Investigation of W Province[J]. Journal of People's Public Security University of China (Social Sciences Edition), 2018, 34(3): 78-86.
	马忠红. 以电信诈骗为代表的新型网络犯罪侦查难点及对策研究——基于W省的调研情况[J]. 中国人民公安大学学报(社会科学版), 2018, 34(3): 78-86.
[2]	JOO J W, MOON S Y, SINGH S, et al. S-Detector: An Enhanced Security Model for Detecting Smishing Attack for Mobile Computing[J]. Telecommunication Systems, 2017, 66(1): 29-38.
[3]	FARVARESH H, SEPEHRI M. A Data Mining Framework for Detecting Subscription Fraud in Telecommunication[J]. Engineering Applications of Artificial Intelligence, 2011, 24(1): 182-194.
[4]	YANG Jiechao, XU Jiangchun, YUE Qiuyan, et al. Research on SMS Fraud User Identification Based on SPARK and Random Forest[J]. Computer Engineering and Science, 2019, 41 (6): 1136-1144.
	杨杰超, 许江淳, 岳秋燕, 等. 基于SPARK与随机森林的短信诈骗用户识别研究[J]. 计算机工程与科学, 2019, 41(6): 1136-1144.
[5]	WANG Shihao, CAI Yanguang. A Fraud Identification Method for Telecom Customers Based on Improved GA-SVM[J]. Journal of Dongguan Institute of Technology, 2019, 26 (5): 14-20
	王世豪, 蔡延光. 基于改进GA-SVM的电信客户欺诈识别方法[J]. 东莞理工学院学报, 2019, 26(5):14-20
[6]	JIANG Nan. Securing Large Cellular Networks via a Data Oriented Approach: Applications to SMS Spam and Voice Fraud Defenses[D]. Minnesota: University of Minnesota, 2013.
[7]	BOUKERCHE A, Notare M. Behavior-Based Intrusion Detection in Mobile Phone Systems[J]. Journal of Parallel and Distributed Computing. 2002, 62, (9): 1476-1490.
[8]	DONG Lin, HUANG Liqing, YE Feng, et al. Overview of Generalized Methods for Face Forgery Detection[J]. Computer Science, 2022, 49 (2): 12-30.
	董琳, 黄丽清, 叶锋, 等. 人脸伪造检测泛化性方法综述[J]. 计算机科学, 2022, 49(2): 12-30.
[9]	LAN Tian, PENG Chuan, LI Sen, et al. Overview of Mono Speech Noise Reduction and Reverberation[J]. Computer Research and Development, 2020, 57 (5): 928-953.
	蓝天, 彭川, 李森, 等. 单声道语音降噪与去混响研究综述[J]. 计算机研究与发展, 2020, 57(5): 928-953.
[10]	CHENG Haoyi, LI Peifeng, ZHU Qiaoming. A Method of Event Anaphora Resolution Based on Cross Language Data Enhancement[J]. Journal of Chinese Information Science, 2022, 36 (3): 19-26
	程昊熠, 李培峰, 朱巧明. 基于跨语言数据增强的事件同指消解方法[J]. 中文信息学报, 2022, 36(3): 19-26.
[11]	XU Huiyan, WU Keli, SUN Qingying, et al. Template-Based SMS Platform[J]. Computer System Application, 2015, 24 (5): 79-83.
	徐会艳, 吴克力, 孙庆英, 等. 基于模板的短信平台[J]. 计算机系统应用, 2015, 24(5): 79-83.
[12]	LI Ping. Research on Several Issues of Criminal Cases Related to COVID-19[J]. Criminal Law, 2020, 64 (4): 22-38.
	李萍. 涉新冠疫情犯罪案件若干问题研究[J]. 刑法论丛, 2020, 64(4): 22-38.
[13]	TONG Xin, WANG Luona, WANG Runzheng, et al. A Method for Generating Word Level Confrontation Samples for Chinese Text Classification[J]. Netinfo Security, 2020, 20 (9): 12-16.
	仝鑫, 王罗娜, 王润正, 等. 面向中文文本分类的词级对抗样本生成方法[J]. 信息网络安全, 2020, 20(9): 12-16.
[14]	QIAN Lingfei, CUI Xiaolei. Research on the Construction Method of Domain Knowledge Map Based on Data Enhancement[J]. Modern Intelligence, 2022, 42 (3): 31-39.
	钱玲飞, 崔晓蕾. 基于数据增强的领域知识图谱构建方法研究[J]. 现代情报, 2022, 42(3): 31-39.
[15]	XIAN Yantuan, GAO Fanya, XIANG Yan, et al. A Low Resource Dependency Syntax Analysis Method with Multi Strategy Data Enhancement[J]. Computer Science, 2022, 49 (1): 73-79.
	线岩团, 高凡雅, 相艳, 等. 融合多策略数据增强的低资源依存句法分析方法[J]. 计算机科学, 2022, 49(1): 73-79.

实验组	数据类型	实验模型
实验组	数据类型	CNN	LSTM	GRU
真实语料实验组	训练集	Data1（50%）+Data2（50%）
真实语料实验组	测试集	Test Data1、Test Data2
生成语料实验组	训练集	Data1（50%）+Data4（50%）
生成语料实验组	测试集	Test Data1、Test Data2
混合语料实验组	训练集	Data1（50%）+Data2（25%）+Data4（25%）
混合语料实验组	测试集	Test Data1、Test Data2

攻击策略	样本类型	样本内容
繁体字替换	原始样本	尊敬的客户您好，您刚刚申请的贷款初步审核已经通过，请您添加微信客服办理手续
繁体字替换	对抗样本	尊敬的客戶您好，您刚刚申请的貸款初步审核已经通过，请您添加微信客服办理手续
拼音改写	原始样本	尊敬的客户您好，您刚刚申请的贷款初步审核已经通过，请您添加微信客服办理手续
拼音改写	对抗样本	尊敬的KeHu您好，您刚刚申请的DaiKuan初步审核已经通过，请您添加微信客服办理手续
词组拆解	原始样本	尊敬的客户您好，您刚刚申请的贷款初步审核已经通过，请您添加微信客服办理手续
词组拆解	对抗样本	尊敬的客。户您好，您刚刚申请的贷#款初步审核已经通过，请您添加微信客服办理手续
词序扰动	原始样本	尊敬的客户您好，您刚刚申请的贷款初步审核已经通过，请您添加微信客服办理手续
词序扰动	对抗样本	尊敬的户客您好，您刚刚申请的款贷初步审核已经通过，请您添加微信客服办理手续

实验组	数据类型	实验模型
实验组	数据类型	CNN	LSTM	GRU
真实语料实验组	训练集	Data1（50%）+Data2（50%）
真实语料实验组	测试集	Test Data1、Test Data2
合成语料实验组	训练集	Data1（50%）+Data5（50%）
合成语料实验组	测试集	Test Data1、Test Data2

实验组	数据类型	实验模型
实验组	数据类型	CNN	LSTM	GRU
真实语料实验组	训练集	Data1（50%）+Data2（50%）
真实语料实验组	测试集	Test Data1、Test Data2
融合语料实验组	训练集	Data1（50%）+Data6（50%）
融合语料实验组	测试集	Test Data1、Test Data2
混合语料实验组	训练集	Data1（50%）+Data2（25%）+Data6（25%）
混合语料实验组	测试集	Test Data1、Test Data2

序号	数据集	别名	数量/条
1	TFCDATASET中正常短信息	Data1	1317
2	TFCDATASET中诈骗短信息	Data2	1163
3	小样本诈骗短信息数据	Data3	156
4	基于Data2生成的数据	Data4	4000
5	基于Data2深度合成的数据	Data5	1163
6	基于Data4深度合成的数据	Data6	1163
7	基于Data1和Data3混合的短信息数据	Test Data1	100
8	基于Data2和Data3混合的短信息数据	Test Data2	100

面向诈骗短信息识别的融合多策略数据增强技术研究

Research on Multi-Strategy Data Enhancement Technology for Fraud Short Message Identification

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 15

相关文章 2

编辑推荐

Metrics

本文评价

变量	含义
TP	将诈骗短信息识别为诈骗短信息数
TN	将正常短信息识别为正常短信息数
FP	将正常短信息识别为诈骗短信息数
FN	将诈骗短信息识别为正常短信息数

模型	测试集	Data1+Data2训练集	Data1+Data5训练集
模型	测试集	原始准确率	准确率	改变幅度
CNN	小样本诈骗短信息集	83.88%	59.81%	-24.07%
CNN	原生诈骗短信息集	99.53%	96.47%	-3.06%
LSTM	小样本诈骗短信息集	75%	97.76%	+22.76%
LSTM	原生诈骗短信息集	99.53%	72.43%	-27.1%
GRU	小样本诈骗短信息集	73.4%	95.83%	+22.43%
GRU	原生诈骗短信息集	99.53%	71.96%	-27.57%

[1]	马瑞, 蔡满春, 彭舒凡. 一种基于改进的Xception网络的深度伪造视频检测模型[J]. 信息网络安全, 2021, 21(12): 109-117.
[2]	吴警, 芦天亮, 杜彦辉. 基于Char-RNN改进模型的恶意域名训练数据生成技术[J]. 信息网络安全, 2020, 20(9): 6-11.