基于改进时间序列模型的日志异常检测方法

doi:10.3969/j.issn.1671-1122.2020.09.001

信息网络安全 ›› 2020, Vol. 20 ›› Issue (9): 1-5.doi: 10.3969/j.issn.1671-1122.2020.09.001

基于改进时间序列模型的日志异常检测方法

陆佳丽()

北京天融信科技股份有限公司,北京 100085

收稿日期:2020-07-16 出版日期:2020-09-10 发布日期:2020-10-15
通讯作者: 陆佳丽 E-mail:lu_jiali@topsec.com.cn
作者简介:陆佳丽（1995—）,女,河北,硕士,主要研究方向为网络安全

Log Anomaly Detection Method Based on Improved Time Series Model

LU Jiali()

Beijing Topsec Science & Technology Inc., Beijing 100085, China

Received:2020-07-16 Online:2020-09-10 Published:2020-10-15
Contact: Jiali LU E-mail:lu_jiali@topsec.com.cn

摘要/Abstract

摘要：

安全日志分析在网络安全领域具有不可替代的重要作用。针对安全日志的特点,文章提出一种多模型组合的时间序列异常检测算法。该方法结合时间序列的特点,利用傅立叶级数剔除复杂季节分量,利用趋势外推法剔除趋势分量,再利用ESD检验对随机残差分量进行异常检测。实验结果表明,该算法具有良好的检测准确性。

关键词: 安全日志, 时间序列, 异常检测

Abstract:

Security log analysis plays an irreplaceable role in the field of network security. Aiming at the characteristics of security log, this paper proposes a multi-model combination time series anomaly detection algorithm. It combines the characteristics of time series, uses Fourier series to remove complex seasonal components, uses trend extrapolation to remove trend components, and then uses ESD testing to perform anomaly detection on random residual components. The experimental results show that the time series anomaly detection algorithm proposed in this paper has good detection accuracy.

Key words: security log, time series, anomaly detection

中图分类号:

TP309

陆佳丽. 基于改进时间序列模型的日志异常检测方法[J]. 信息网络安全, 2020, 20(9): 1-5.

LU Jiali. Log Anomaly Detection Method Based on Improved Time Series Model[J]. Netinfo Security, 2020, 20(9): 1-5.

图/表 4

参考文献 12

[1]	HU Jiaojiao, WANG Xiaofeng, ZHANG Meng, et al. Time-series Data Anomaly Detection Method Based on Deep Learning[J]. Information and Control, 2019,48(1):1-8. doi: 10.1016/S0019-9958(81)90558-1 URL
	胡姣姣, 王晓峰, 张萌, 等. 基于深度学习的时间序列数据异常检测方法[J]. 信息与控制, 2019,48(1):1-8.
[2]	WANG Teng, JIAO Xuewei, GAO Yang. An Anomaly Detection Algorithm Based on Attention-GRU and iForest for Periodic Time Series[J]. Computer Engineering and Science, 2019,41(12):2217-2222.
	王腾, 焦学伟, 高阳. 一种基于Attention-GRU和iForest的周期性时间序列异常检测算法[J]. 计算机工程与科学, 2019,41(12):2217-2222.
[3]	MARTINS H, PALMA L, CARDOSO A, et al. A Support Vector Machine Based Technique for Online Detection of Outliers in Transient Time Series[EB/OL]. https://www.researchgate.net/publication/308106728_A_support_vector_machine_based_technique_for_online_detection_of_outliers_in_transient_time_series, 2020-5-15.
[4]	CHENG Yanyun, ZHANG Shouchao, YANG Yang. Research on Time Series Outlier Detection Based on Big Data[J]. Computer Technology and Development, 2016,26(5):139-144.
	程艳云, 张守超, 杨杨. 基于大数据的时间序列异常点检测研究[J]. 计算机技术与发展, 2016,26(5):139-144.
[5]	ZHANG Rixin, ZHU Yuelong, WAN Dingsheng, et al. Research on Two-stage Anomaly Detection Method Based on Feature Vector[J]. Information Technology, 2019,43(11):67-71, 77.
	张日新, 朱跃龙, 万定生, 等. 基于特征向量的两阶段异常检测方法研究[J]. 信息技术, 2019,43(11):67-71,77.
[6]	AYMEN A, ABDENNACEUR K, ADEL M. Outlier Detection for Wireless Sensor Networks Using Density-Based Clustering Approach[J]. Wireless Sensor Systems, 7(4):83-90.
[7]	SUN Jianshu, LOU Yuansheng, CHEN Yujun. Detection of Outliers in Hydrological Time Series Based on ARIMA-SVR[J]. Computer and Digital Engineering, 2018,46(2):225-230.
	孙建树, 娄渊胜, 陈裕俊. 基于ARIMA-SVR的水文时间序列异常值检测[J]. 计算机与数字工程, 2018,46(2):225-230.
[8]	CHEN Xingshu, JIANG Tianyu, ZENG Xuemei, et al. Network Anomaly Detection Based on Multidimensional Time Series Analysis[J]. Engineering Science and Technology, 2017,49(1):144-150.
	陈兴蜀, 江天宇, 曾雪梅, 等. 基于多维时间序列分析的网络异常检测[J]. 工程科学与技术, 2017,49(1):144-150.
[9]	PENA E H M, JUNIOR S B, RODRIGUES J J P C, et al. Anomaly Detection Using Digital Signature of Network Segment with Adaptive ARIMA Model and Paraconsistent Logic[EB/OL]. https://www.researchgate.net/publication/263542880_Anomaly_detection_using_digital_signature_of_network_segment_with_adaptive_ARIMA_model_and_Paraconsistent_Logic, 2020-5-15.
[10]	HOCHENBAUM J, VALLIS O S, KEJARIWAL A. Automatic Anomaly Detection in the Cloud Via Statistical Learning[EB/OL]. https://www.researchgate.net/publication/316471104_Automatic_Anomaly_Detection_in_the_Cloud_Via_Statistical_Learning, 2020-5-15.
[11]	MA Jiayu, HAN Zhaozhou. Simulation and Testing of Loss Simulation Model[J]. Statistics and Decision, 2017,17(6):27.
	马佳羽, 韩兆洲. 复杂季节时间序列模型研究[J]. 统计与决策, 2017,17(6):27.
[12]	ROSNER, BERNARD. Percentage Points for A Generalized ESD Many-Outlier Procedure[J]. Technometrics, 1983,25(2):165-172. doi: 10.1080/00401706.1983.10487848 URL

[1]	黄娜, 何泾沙, 吴亚飚, 李建国. 基于LSTM回归模型的内部威胁检测方法[J]. 信息网络安全, 2020, 20(9): 17-21.
[2]	徐瑜, 周游, 林璐, 张聪. 无监督机器学习在游戏反欺诈领域的应用研究[J]. 信息网络安全, 2020, 20(9): 32-36.
[3]	顾兆军, 任怡彤, 刘春波, 王志. 基于一致性预测算法的内网日志检测模型[J]. 信息网络安全, 2020, 20(3): 45-50.
[4]	王伟, 沈旭东. 基于实例的迁移时间序列异常检测算法研究[J]. 信息网络安全, 2019, 19(3): 11-18.
[5]	杨威超, 郭渊博, 钟雅, 甄帅辉. 基于设备型号分类和BP神经网络的物联网流量异常检测[J]. 信息网络安全, 2019, 19(12): 53-63.
[6]	朱海麒, 姜峰. 人工智能时代面向运维数据的异常检测技术研究与分析[J]. 信息网络安全, 2019, 19(11): 24-35.
[7]	邓海莲, 刘宇靖, 葛一漩, 苏金树. 域间路由异常检测技术研究[J]. 信息网络安全, 2019, 19(11): 63-70.
[8]	陆勰, 罗守山, 张玉梅. 基于Hadoop的海量安全日志聚类算法研究[J]. 信息网络安全, 2018, 18(8): 56-63.
[9]	李巍, 狄晓晓, 王迪, 李云春. 基于子图的服务器网络行为建模及异常检测方法研究[J]. 信息网络安全, 2018, 18(2): 1-9.
[10]	何利, 姚元辉. 基于上下文聚类的云虚拟机异常检测与识别策略[J]. 信息网络安全, 2018, 18(12): 54-65.
[11]	安冉, 朱小波, 严寒冰. 一种基于时间序列分解的数据窃密事件检测方法研究[J]. 信息网络安全, 2017, 17(8): 76-82.
[12]	赵刚, 姚兴仁. 基于用户画像的异常行为检测模型[J]. 信息网络安全, 2017, 17(7): 18-24.
[13]	吴鑫, 严岳松, 刘晓然. 基于改进HMM的程序行为异常检测方法[J]. 信息网络安全, 2016, 16(9): 108-112.
[14]	杨连群, 温晋英, 刘树发, 王峰. 一种改进的图分割算法在用户行为异常检测中的应用[J]. 信息网络安全, 2016, 16(6): 35-40.
[15]	何明亮, 陈泽茂, 左进. 基于多窗口机制的聚类异常检测算法[J]. 信息网络安全, 2016, 16(11): 33-39.

基于改进时间序列模型的日志异常检测方法

Log Anomaly Detection Method Based on Improved Time Series Model

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 4

参考文献 12

相关文章 15

编辑推荐

Metrics

本文评价