基于多窗口机制的聚类异常检测算法

doi:10.3969/j.issn.1671-1122.2016.11.006

信息网络安全 ›› 2016, Vol. 16 ›› Issue (11): 33-39.doi: 10.3969/j.issn.1671-1122.2016.11.006

基于多窗口机制的聚类异常检测算法

何明亮¹(), 陈泽茂¹, 左进²

1. 海军工程大学信息安全系,湖北武汉 430033
2. 91428部队,浙江宁波 315000

收稿日期:2016-07-01 出版日期:2016-11-20 发布日期:2020-05-13
作者简介:
作者简介：何明亮（1988—）,男,湖北,硕士研究生,主要研究方向为信息安全;陈泽茂（1975—）,男,福建,教授,博士,主要研究方向为网络安全;左进（1989—）,男,四川,硕士,主要研究方向为信息安全。
基金资助:
湖北省自然科学基金[2015CF867]

Cluster Anomaly Detection Algorithm Based on Multi-windows Mechanism

Mingliang HE¹(), Zemao CHEN¹, Jin ZUO²

1. Information Security Department, Naval University of Engineering, Wuhan Hubei 430033, China
2. 91428 Troops of PLA, Ningbo Zhejiang 315000, China

Received:2016-07-01 Online:2016-11-20 Published:2020-05-13

摘要/Abstract

摘要：

文章通过分析单窗口聚类异常检测算法的不足,综合利用权值、相似度和局部密度等概念对单窗口检测出的潜在异常点进行归属查找和异常合并,设计了一种基于多窗口机制的数据流异常检测算法。该算法首先在单个窗口内用改进的K-means聚类算法对预处理之后的数据流进行初步聚类检测,将每个窗口聚类的结果分为正常簇集合和潜在异常点集合。然后对单窗口检测结果进行二次判断。针对单窗口检测的潜在异常点,利用相似度原理进行正常类簇的归属查找,排除异常误判;利用局部密度等概念,对剩下的潜在异常点进行异常合并,再次排除可能的正常点。最后利用时间权值,综合多个数据流窗口的检测结果得出最终异常数据。仿真实验表明,相较于单窗口数据流异常检测算法,该算法提高了数据流的异常检测率,减少了异常误判,在检测率和误报率方面更具优势。

关键词: 单窗口, 多窗口, 数据流, 异常检测

Abstract:

This paper analyses the weaknesses of cluster anomaly detection algorithm based on single-window, takes advantage of weigh value, similarity, local density and other concepts to conduct affiliation search and abnormal merging on potential abnormal point obtained by single-window algorithm. Moreover, a dataflow anomaly detection algorithm based on multi-window mechanism is designed. This algorithm firstly conducts primary cluster detection to preprocessed dataflow with improved K-means cluster algorithm in single window and then conduct second judge to the results. For the potential abnormal point detected by single-window algorithm, similarity principle is adopted to conduct normal cluster affiliation search to exclude misjudges, other conceptions like local density is adopted to conduct abnormal merging to the rest potential abnormal points to exclude normal points again. Lastly, the time weigh value is used to obtain final abnormal data comprehensively from the detection results of several dataflow windows. The simulation shows that this algorithm has advantage over single-window cluster anomaly detection algorithm on detection rate and misjudge rate.

Key words: single window, multi-windows, data flow, anomaly detection

中图分类号:

TP309

何明亮, 陈泽茂, 左进. 基于多窗口机制的聚类异常检测算法[J]. 信息网络安全, 2016, 16(11): 33-39.

Mingliang HE, Zemao CHEN, Jin ZUO. Cluster Anomaly Detection Algorithm Based on Multi-windows Mechanism[J]. Netinfo Security, 2016, 16(11): 33-39.

图/表 12

图1

图2

图3

图4

表1

表2

图5

图6

表3

图7

表4

图8

参考文献 19

[1]	SHIE B E, YU P S, TSENG V S.Efficient Algorithms for Mining Maximal High Utility Itemsets from Data Streams with Different Models[J]. Expert Systems with Applications, 2012, 39(17): 12947-12960.
[2]	吴晓平,周舟,李洪成. Spark框架下基于无指导学习环境的网络流量异常检测研究与实现[J]. 信息网络安全,2016(6):1-7.
[3]	Angiulli F, Fassetti F.Detecting Distance-based Outliers in Streams of Data[C]//ACM. The 16th ACM Conference on Information and Knowledge Management, November 6-10, 2007, Lisbon, Portugal. New York: ACM, 2007: 811-820.
[4]	姚晨. 高纬数据流的异常检测[D]. 成都:电子科技大学,2011.
[5]	陈晓,赵晶玲. 大数据处理中混合型聚类算法的研究与实现[J]. 信息网络安全,2015(4):45-49.
[6]	程军锋,王治和,刘佳,等. 一种基于滑动窗口的一趟数据流聚类算法[J]. 首都师范大学学报,2014,35(4):38-40.
[7]	朱琳,刘晓东,朱参世. 基于衰减滑动窗口数据流聚类算法研究[J]. 计算机工程与设计,2012,33(7):2659-2796.
[8]	张付霞,蒋朝惠. 一种基于网格聚类的查询隐私匿名算法研究[J]. 信息网络安全,2015(8):53-58.
[9]	田俊锋,王惠然,刘玉玲. 基于属性排序的入侵特征缩减方法研究[J]. 计算机研究与发展,2006,43(S2):565-569.
[10]	BRUHA I.Pre-and Post-Processing in Machine Learning and Data Mining[J]. Machine Learning and Its Applications, 2010, 18(3): 258-266.
[11]	陈才杰. 粗糙集理论在知识发现数据预处理中的研究与应用[D]. 武汉:武汉理工大学,2014.
[12]	MACQUEEN J. Some Methods for Classification and Analysis of Multivariate Observations[EB/OL]. , 2016-6-20.
[13]	TZORTZIS G,LIKAS A.The Minmax k-means Clustering Algorithm[J]. Pattern Recognition,2011, 44(4): 866-876.
[14]	蒋大宇. 快速有效的并行二分K均值算法[D]. 哈尔滨:哈尔滨工程大学,2013.
[15]	朱建宇. K均值算法研究及其应用[D]. 大连:大连理工大学,2013.
[16]	李旬,徐剑,焦英楠,等. 基于异常特征的社交网页检测技术研究[J]. 信息网络安全,2015(5):41-46.
[17]	LI Huafu.MHUI-max: An Efficient Algorithm for Discovering High-utility Itemsets from Data Streams[J]. Journal of Information Science, 2011, 37(5): 532-545.
[18]	程转流,胡为成. 滑动窗口模型下的概率数据流聚类[J]. 计算机工程与应用,2011,47(4):141-145.
[19]	AHMED C F, TANBEER S K, JEONG B S, et al.Interactive Mining of High Utility Patterns over Data Streams[J]. Expert Systems with Application, 2012, 39(15): 11979-11991.

基于多窗口机制的聚类异常检测算法

Cluster Anomaly Detection Algorithm Based on Multi-windows Mechanism

RichHTML

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 19

相关文章 15

编辑推荐

Metrics

本文评价

[1]	顾兆军, 任怡彤, 刘春波, 王志. 基于一致性预测算法的内网日志检测模型[J]. 信息网络安全, 2020, 20(3): 45-50.
[2]	张艺, 刘红燕, 咸鹤群, 田呈亮. 基于授权记录的云存储加密数据去重方法[J]. 信息网络安全, 2020, 20(3): 75-82.
[3]	王伟, 沈旭东. 基于实例的迁移时间序列异常检测算法研究[J]. 信息网络安全, 2019, 19(3): 11-18.
[4]	杨威超, 郭渊博, 钟雅, 甄帅辉. 基于设备型号分类和BP神经网络的物联网流量异常检测[J]. 信息网络安全, 2019, 19(12): 53-63.
[5]	朱海麒, 姜峰. 人工智能时代面向运维数据的异常检测技术研究与分析[J]. 信息网络安全, 2019, 19(11): 24-35.
[6]	邓海莲, 刘宇靖, 葛一漩, 苏金树. 域间路由异常检测技术研究[J]. 信息网络安全, 2019, 19(11): 63-70.
[7]	李巍, 狄晓晓, 王迪, 李云春. 基于子图的服务器网络行为建模及异常检测方法研究[J]. 信息网络安全, 2018, 18(2): 1-9.
[8]	何利, 姚元辉. 基于上下文聚类的云虚拟机异常检测与识别策略[J]. 信息网络安全, 2018, 18(12): 54-65.
[9]	赵刚, 姚兴仁. 基于用户画像的异常行为检测模型[J]. 信息网络安全, 2017, 17(7): 18-24.
[10]	张曙光, 咸鹤群, 刘红燕, 侯瑞涛. 云存储环境中基于离线密钥传递的加密重复数据删除方法研究[J]. 信息网络安全, 2017, 17(7): 66-72.
[11]	吴鑫, 严岳松, 刘晓然. 基于改进HMM的程序行为异常检测方法[J]. 信息网络安全, 2016, 16(9): 108-112.
[12]	杨连群, 温晋英, 刘树发, 王峰. 一种改进的图分割算法在用户行为异常检测中的应用[J]. 信息网络安全, 2016, 16(6): 35-40.
[13]	刘汝隽, 辛阳. 网络安全数据可视分析系统的设计与实现[J]. 信息网络安全, 2016, 16(11): 40-44.
[14]	汤健, 孙春来, 毛克峰, 贾美英. 基于主元分析和互信息维数约简策略的网络入侵异常检测[J]. 信息网络安全, 2015, 15(9): 78-83.
[15]	李凌云, 敖吉, 乔治, 李剑. 基于微博的安全事件实时监测框架研究[J]. 信息网络安全, 2015, 15(1): 16-23.