一种改进的深度神经网络后门攻击方法

doi:10.3969/j.issn.1671-1122.2021.05.010

信息网络安全 ›› 2021, Vol. 21 ›› Issue (5): 82-89.doi: 10.3969/j.issn.1671-1122.2021.05.010

一种改进的深度神经网络后门攻击方法

任时萱, 王茂宇, 赵辉()

四川大学网络空间安全学院,成都 610065

收稿日期:2020-12-28 出版日期:2021-05-10 发布日期:2021-06-22
通讯作者: 赵辉 E-mail:303031725@qq.com
作者简介:任时萱（1996—）,男,吉林,硕士研究生,主要研究方向为神经网络安全、网络入侵检测与信息安全|王茂宇（1995—）,男,四川,硕士研究生,主要研究方向为容灾备份、网络安全|赵辉（1976—）,男,四川,副教授,博士,主要研究方向为信息和网络安全
基金资助:
国家重点研发计划(2020YFB1805400);国家自然科学基金(U1736212);中国博士后科学基金(2019TQ0217);中央高校基本科研业务费(YJ201933);四川省重点研发计划(20ZDYF3145)

An Improved Method of Backdoor Attack in DNN

REN Shixuan, WANG Maoyu, ZHAO Hui()

School of Cyber Science and Engineering, Sichuan University, Chengdu 610065, China

Received:2020-12-28 Online:2021-05-10 Published:2021-06-22
Contact: ZHAO Hui E-mail:303031725@qq.com

摘要/Abstract

摘要：

触发器生成网络是深度神经网络后门攻击方法的关键算法。现有的触发器生成网络有以下两个主要问题：第一,触发器候选数据集使用静态的人工选择,未考虑候选数据集对目的神经元的敏感性,存在冗余数据。第二,触发器生成网络仅考虑如何更好地激活目的神经元,并未考虑触发器的抗检测问题。针对候选数据集冗余的问题,文章使用敏感度分析方法,选择相对目标神经元更敏感的数据集从而降低冗余数据。面对现有的触发器检测方法,改进的触发器生成网络可以在保证攻击准确度的情况下,通过设计聚类结果与随机化混淆作为综合惩罚的方法,使生成的触发器绕过检测。实验结果表明,使用这种方法生成的触发器可以在保持较高攻击精确率的同时,在聚类检测方法上表现出较低的攻击检测率,在STRIP扰动检测方法上表现出较高的攻击拒识率。

关键词: 深度神经网络后门攻击, 触发器生成网络, 目的神经元, 触发器

Abstract:

Trigger generation network is the key algorithm of backdoor attack in deep neural network. The existing trigger generation networks have the two main problems: First, the candidate dataset of trigger uses static manual selection, and doesn’t consider the sensitivity of candidate dataset. Therefore, it has redundant data. Second, the trigger generation network only considers how to activate the target neuron, and does not consider the anti-detection problem of the generated triggers. Aiming at the problem of redundancy of candidate data sets, this paper uses sensitivity analysis methods to select data sets that are more sensitive to the target neuron to reduce redundant data. In the face of the existing trigger detection methods, the improved trigger generation network can ensure the accuracy of the attack, by designing the clustering result and randomization confusion as a comprehensive punishment method, the generated trigger can bypass the detection. Experimental results show that the trigger generated by this method can maintain a high attack accuracy rate. The results also show a low attack detection rate in the cluster detection method and a high attack rejection rate in the STRIP perturbation detection method.

Key words: backdoor attack in deep neural network, trigger generation network, targe tneuron, trigger

中图分类号:

TP309

任时萱, 王茂宇, 赵辉. 一种改进的深度神经网络后门攻击方法[J]. 信息网络安全, 2021, 21(5): 82-89.

REN Shixuan, WANG Maoyu, ZHAO Hui. An Improved Method of Backdoor Attack in DNN[J]. Netinfo Security, 2021, 21(5): 82-89.

图/表 11

图1

图2

表1

图3

表2

图4

图5

表3

表4

图6

表5

参考文献 15

[1]	MAO Jian, ZHAO Hongdong, YAO Jingjing. Application and Prospect of Artificial Neural Network[J]. Electronic Design Engineering. 2011,19(24):62-65.
	毛健, 赵红东, 姚婧婧. 人工神经网络的发展及应用[J]. 电子设计工程, 2011,19(24):62-65.
[2]	LIU Yingqi. Trojaning Attack on Neural Networks[EB/OL]. https://docs.lib.purdue.edu/cgi/viewcontent.cgi?article=2782&context=cstech, 2018-06-12.
[3]	GU Tianyu. Badnets: Evaluating Backdooring Attacks on Deep Neural Networks[EB/OL]. https://ieeexplore.ieee.org/document/8685687, 2019-12-03.
[4]	WANG B, YAO Yuanshun, SHAN S, et al. Neural Cleanse: Identifying and Mitigating Backdoor Attacks in Neural Networks[C]// IEEE. 2019 IEEE Symposium on Security and Privacy (SP), May 20-22, 2019, San Francisco, CA, USA. New York: IEEE, 2019: 707-723.
[5]	CHEN Xinyun, LIU Chang, LI Bo, et al. Targeted Backdoor Attacks on Deep Learning Systems Using Data Poisoning[EB/OL]. https://arxiv.org/pdf/1712.05526.pdf, 2020-08-20.
[6]	SALEM A, WEN Rui, MICHAEL B, et al. Dynamic Backdoor Attacks Against Machine Learning Models[EB/OL]. https://arxiv.org/pdf/2003.03675, 2020-09-25.
[7]	SALEM A, MICHAEL B, ZHANG Yang. Don't Trigger Me! A Triggerless Backdoor Attack Against Deep Neural Networks[EB/OL]. https://arxiv.org/abs/2010.03282, 2020-09-26.
[8]	CHEN B. Detecting Backdoor Attacks on Deep Neural Networks by Activation Clustering[EB/OL]. https://arxiv.org/pdf/1811.03728.pdf, 2018-09-05
[9]	SHOKRI R. Bypassing Backdoor Detection Algorithms in Deep Learning[C]// IEEE. 2020 IEEE European Symposium on Security and Privacy (EuroS&P), September 7-11, 2020, Virtual, Genoa, Italy. New York: IEEE, 2020: 175-183.
[10]	YAO Yuanshun, LI Huiying, ZHENG Haitao, et al. Latent Backdoor Attacks on Deep Neural Networks[C]// ACM SIGSAC. 2019 ACM SIGSAC Conference on Computer and Communications Security, November 11-15, 2019, London, UK. New York: ACM, 2019: 2041-2055.
[11]	LIU Yingqi, LEE Wenchuan, TAO Guanhong, et al. ABS: Scanning Neural Networks for Back-doors by Artificial Brain Stimulation[C]// ACM SIGSAC. 2019 ACM SIGSAC Conference on Computer and Communications Security, November 11-15, 2019, London, UK. New York: ACM, 2019: 1265-1282.
[12]	CHEN Huili, FU Cheng, ZHAO Jishen, et al. DeepInspect: A Black-box Trojan Detection and Mitigation Framework for Deep Neural Networks[C]// IJCAI Int. IJCAI International Joint Conference on Artificial Intelligence, August 10-16, 2019, Macao, China. California: IJCAI, 2019: 4658-4664.
[13]	GAO Yansong, XU Change, WANG Derui, et al. STRIP: A Defence Against Trojan Attacks on Deep Neural Networks[C]// ACSAC. In Annual Computer Security Applications Conference, December 9-13, 2019, San Juan, Puerto Rico, USA. New York: ACSAC, 2019: 113-125.
[14]	SALTELLI A. Sensitivity Analysis for Importance Assessment[J]. Risk Analysis, 2002,22(3):579-590. doi: 10.1111/risk.2002.22.issue-3 URL
[15]	PEI Kexin, CAO Yinzhi, YANG Junfeng, et al. Deepxplore: Automated Whitebox Testing of Deep Learning Systems[C]// SOSP. 26th Symposium on Operating Systems Principles, October 14, 2017, Shanghai, China. New York: ACM, 2017: 1-18.

名词术语	基本解释
敌手	实施攻击的主体
触发器	作为神经网络输入用于触发后门攻击的数据集合
触发器候选数据集	在单个输入的数据集合中用作后续生成触发器的数据集合
触发器生成网络	用于生成触发器的神经网络
目的神经元	攻击者选择的用于触发恶意分类的神经元
伴随神经元	攻击者用于诱导差值检测的神经元
攻击精确率	恶意的输入示例成功触发攻击占总输入恶意示例的比值

True（T）	预测结果为正常
False（F）	预测结果为异常
Positive（P）	标签结果为正常
Negative（N）	标签结果为异常

数据集	攻击精确率（Original-Net）	攻击精确率（R-Net）	精确率（Original-Net）	精确率（R-Net）
CIFAR-10	98.7%	97.9%	93.6%	92.1%
VGG_FACE	97.6%	94.5%	89.2%	91.1%

数据集	被检测为恶意输入的频次（Original-Net）	检测率（Original-Net）	被检测为恶意输入的频次（R-Net）	检测率（R-Net）
CIFAR-10	9647	96.5%	2909	29.1%
VGG_FACE	9823	98.2%	1637	16.4%

数据集	攻击误识率（Original-Net）	攻击拒识率（Original-Net）	攻击误识率（R-Net）	攻击拒识率（R-Net）
CIFAR-10	0.1%	1.2%	0%	37.2%
VGG_FACE	0%	0.9%	0%	29.8%

一种改进的深度神经网络后门攻击方法

An Improved Method of Backdoor Attack in DNN

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 15

相关文章 15

编辑推荐

Metrics

本文评价

[1]	李鹏, 郑田甜, 徐鹤, 朱枫. 基于区块链技术的RFID安全认证协议[J]. 信息网络安全, 2021, 21(5): 1-11.
[2]	郑军, 聂榕, 王守信, 谭毓安. 基于Docker容器故障恢复的属性权重快照选择策略[J]. 信息网络安全, 2021, 21(5): 12-18.
[3]	周由胜, 钟天琦. 基于区块链的公平交换方案[J]. 信息网络安全, 2021, 21(5): 19-30.
[4]	吴驰, 帅俊岚, 龙涛, 于俊清. 基于Linux Shell命令的用户异常操作检测方法研究[J]. 信息网络安全, 2021, 21(5): 31-38.
[5]	顾兆军, 蔡畅, 王明. 基于改进保留格式加密的民航旅客数据脱敏方法[J]. 信息网络安全, 2021, 21(5): 39-47.
[6]	王刚, 王志屹, 张恩宁, 马润年. 多阶段平台动态防御的信号博弈模型及迁移策略[J]. 信息网络安全, 2021, 21(5): 48-57.
[7]	刘子昂, 黄缘缘, 马佳利, 周睿. 基于区块链的医疗数据滥用监控平台设计与实现[J]. 信息网络安全, 2021, 21(5): 58-66.
[8]	徐万山, 张建标, 袁艺林, 李铮. 基于BMC的服务器可信启动方法研究[J]. 信息网络安全, 2021, 21(5): 67-73.
[9]	王开轩, 滕亚均, 王琼霄, 王伟. 隐式证书的国密算法应用研究[J]. 信息网络安全, 2021, 21(5): 74-81.
[10]	张俊, 王永杰, 张敬业, 杨林. 基于最优有效路径的域间路由系统级联失效模型[J]. 信息网络安全, 2021, 21(5): 90-99.
[11]	王健, 赵曼莉, 陈志浩, 石波. 基于假名的智能交通条件隐私保护认证协议[J]. 信息网络安全, 2021, 21(4): 49-61.
[12]	郑洪英, 李琳, 肖迪. 面向雾计算的压缩感知图像秘密传输和篡改恢复方案[J]. 信息网络安全, 2021, 21(4): 10-20.
[13]	游文婷, 张乐友, 叶亚迪, 李晖. 多用户通信机制中支持隐私保护的属性基动态广播加密[J]. 信息网络安全, 2021, 21(4): 21-30.
[14]	宋宇波, 马文豪, 胡爱群, 王俊波. 一种基于像素值偏移编解码技术的屏摄隐通道研究[J]. 信息网络安全, 2021, 21(4): 31-38.
[15]	蔡满春, 王腾飞, 岳婷, 芦天亮. 基于ARF的Tor网站指纹识别技术[J]. 信息网络安全, 2021, 21(4): 39-48.