融合时序和逻辑关系的日志异常检测系统设计

doi:10.3969/j.issn.1671-1122.2022.11.001

信息网络安全 ›› 2022, Vol. 22 ›› Issue (11): 1-6.doi: 10.3969/j.issn.1671-1122.2022.11.001

融合时序和逻辑关系的日志异常检测系统设计

牛艺诺¹^,², 张逸飞¹, 高能¹(), 马存庆¹

1. 中国科学院信息工程研究所信息安全国家重点实验室，北京 100093
2. 中国科学院大学网络空间安全学院，北京 100049

收稿日期:2022-06-20 出版日期:2022-11-10 发布日期:2022-11-16
通讯作者: 高能 E-mail:gaoneng@iie.ac.cn.
作者简介:牛艺诺（1999—），男，黑龙江，硕士研究生，主要研究方向为网络安全与信息系统安全|张逸飞（1994—），男，陕西，助理研究员，博士，主要研究方向为数据挖掘|高能（1976—），女，陕西，研究员，博士，主要研究方向为信息安全|马存庆（1984—），男，青海，高级工程师，博士，主要研究方向为信息安全
基金资助:
国家自然科学基金(61902398)

Design of Log-Based Anomaly Detection System Based on Temporal and Logical Relationship

NIU Yinuo¹^,², ZHANG Yifei¹, GAO Neng¹(), MA Cunqing¹

1. State Key Laboratory of Information Security, Institute of Information Engineering, Chinese Academy of Sciences, Beijing 100093, China
2. School of Cyber Security, University of Chinese Academy of Sciences, Beijing 100049, China

Received:2022-06-20 Online:2022-11-10 Published:2022-11-16
Contact: GAO Neng E-mail:gaoneng@iie.ac.cn.

摘要/Abstract

摘要：

随着计算机系统的发展，日志已经成为维护计算机系统稳定运行的重要数据来源。系统日志记录了系统运行时的状态和关键点的重要事件信息，可以帮助技术人员定位系统故障并分析其原因，为解决问题提供了数据支持，还可以监控非法操作并为恢复系统提供帮助，因此日志异常检测具有重要意义。但现有研究大多只利用了日志的单一特征进行异常检测，为此，文章设计了一个基于机器学习的日志异常检测系统，实现了日志收集、日志解析、日志特征提取和日志异常检测的完整流程；提出了融合日志时序关系和逻辑关系的机器学习方法，可以更好地利用日志特征，以增加检测结果的准确性。

关键词: 机器学习, 系统日志, 异常检测

Abstract:

With the development of computer systems, logs have become an important data source for maintaining stable operation of computer systems. System logs record the status and important event information of key points during system operation, which can help technicians locate system faults and analyze their causes, provide data support for problem solving, and monitor illegal operations and provide help for system recovery, so log anomaly detection is of great significance. However, most of the existing researches only utilize a single feature of logs for anomaly detection. To this end, the paper designed a machine learning-based log anomaly detection system, which implemented a complete process of log collection, log parsing, log feature extraction and log anomaly detection; a machine learning method that incorporates log temporal and logical relationships is proposed to make better use of log features to increase the accuracy of detection results.

Key words: machine learning, system log, anomaly detection

中图分类号:

TP309

牛艺诺, 张逸飞, 高能, 马存庆. 融合时序和逻辑关系的日志异常检测系统设计[J]. 信息网络安全, 2022, 22(11): 1-6.

NIU Yinuo, ZHANG Yifei, GAO Neng, MA Cunqing. Design of Log-Based Anomaly Detection System Based on Temporal and Logical Relationship[J]. Netinfo Security, 2022, 22(11): 1-6.

图/表 10

表1

图1

图2

图3

图4

图5

图6

图7

图8

图9

参考文献 15

[1]	KONTAKI M, GOUNARIS A, Papadopoulos A N, et al. Efficient and Flexible Algorithms for Monitoring Distance-Based Outliers Over Data Streams[J]. Information Systems, 2016, 55(7): 37-53. doi: 10.1016/j.is.2015.07.006 URL
[2]	DUAN Xiaoyu, YING Shi, YUAN Wanli, et al. A Generative Adversarial Networks for Log Anomaly Detection[J]. Computer Systems Science and Engineering, 2021(1): 135-148.
[3]	WANG Bingming, YING Shi, YANG Zhe. A Log-Based Anomaly Detection Method with Efficient Neighbor Searching and Automatic K Neighbor Selection[J]. Scientific Programming, 2020(6): 1-17.
[4]	ZHU Jieming, HE Shilin, LIU Jinyang, et al. Tools and Benchmarks for Automated Log Parsing[C]// ACM. 41st International Conference on Software Engineering:Software Engineering in Practice (ICSE-SEIP). New York:ACM, 2019: 121-130.
[5]	DU Min, LI Feifei, ZHENG Guineng, et al. DeepLog: Anomaly Detection and Diagnosis from System Logs through Deep Learning[C]// ACM. Sigsac Conference on Computer & Communications Security. New York: ACM, 2017: 1285-1298.
[6]	ESWARAN D, FALOUTSOS C, GUHA S, et al. SpotLight: Detecting Anomalies in Streaming Graphs[C]// ACM. the 24th ACM SIGKDD International Conference. New York: ACM, 2018: 1378-1386.
[7]	LIU Fucheng, WEN Yu, ZHANG Dongxue, et al. Log2vec: A Heterogeneous Graph Embedding Based Approach for Detecting Cyber Threats within Enterprise[C]// ACM. the 2019 ACM SIGSAC Conference. New York: ACM, 2019: 1777-1794.
[8]	WANG Jin, TANG Yangning, HE Shiming, et al. LogEvent2vec: LogEvent-to-Vector Based Anomaly Detection for Large-Scale Logs in Internet of Things[J]. Sensors (Basel, Switzerland), 2020, 20(9): 2451-2470. doi: 10.3390/s20092451 URL
[9]	YANG Lin, CHEN Junjie, WANG Zan, et al. Semi-Supervised Log-Based Anomaly Detection via Probabilistic Label Estimation[C]// ACM. 43rd International Conference on Software Engineering (ICSE). New York: ACM, 2021: 1448-1460.
[10]	Wang Jin, ZHAO Changqing, HE Shiming, et al. LogUAD: Log Unsupervised Anomaly Detection Based on Word2Vec[J]. Computer Systems Science and Engineering, 2022, 41(3): 1207-1222. doi: 10.32604/csse.2022.022365 URL
[11]	GERHARDS R, GmbH A. RFC 5424 The Syslog Protocol[EB/OL]. (2009-10-11)[2022-03-27]. .
[12]	LIN Fengxu, LIU Jinyang, ZHENG Jian, et al. The Usage of Rsyslog in Log Collection[J]. Cyberspace Security, 2019(4): 18-22.
[13]	MESSAOUDI S, PANICHELLA A, BIANCULLI D, et al. A Search-Based Approach for Accurate Identification of Log Message Formats[C]// ACM. 26th International Conference on Program Comprehension (ICPC). New York:ACM, 2018: 167-177.
[14]	HE Pinjia, ZHU Jieming, ZHENG Zibin, et al. Drain: An Online Log Parsing Approach with Fixed Depth Tree[C]// IEEE. 2017 IEEE International Conference on Web Services (ICWS). New York:IEEE, 2017: 33-40.
[15]	MA Daoying, ZHANG Aidong. An Adaptive Density-Based Clustering Algorithm for Spatial Database with Noise[C]// IEEE. International Conference on Data Mining. New York: IEEE, 2004: 467-470.

时间	模型名称	检测方法	模型方法	特点
2016	LogMine	基于规则	基于map reduce框架搭建的分布式算法	能够处理大量数据
2017	DeepLog	基于自然语言处理	基于LSTM将日志建模为自然语言序列	利用日志的时序性
2018	SpotLight	基于图	基于随机草图检测流图	利用流程关系
2019	Log2vec	基于图	图构造+图嵌入	利用了日志的逻辑关系
2020	LogEvent2vec	基于聚类	利用Word2vec将日志事件转化为向量	直接利用了结构化的日志
2021	PLELog	深度学习	标签+半监督	减少了聚类产生的噪音
2022	LogUAD	基于聚类	Word2vec+TF-IDF+无监督	利用日志间词序列权重

融合时序和逻辑关系的日志异常检测系统设计

Design of Log-Based Anomaly Detection System Based on Temporal and Logical Relationship

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 15

相关文章 15

编辑推荐

Metrics

本文评价

[1]	顾兆军, 刘婷婷, 高冰, 隋翯. 基于GAN-Cross的工控系统类不平衡数据异常检测[J]. 信息网络安全, 2022, 22(8): 81-89.
[2]	秦宝东, 余沛航, 郑东. 基于双陷门同态加密的决策树分类模型[J]. 信息网络安全, 2022, 22(7): 9-17.
[3]	王鹃, 王蕴茹, 翁斌, 龚家新. 机器学习在x86二进制反汇编中的应用研究综述[J]. 信息网络安全, 2022, 22(6): 9-25.
[4]	周婧怡, 李红娇. 针对PMU测量的虚假数据注入攻击检测方法[J]. 信息网络安全, 2022, 22(5): 75-83.
[5]	陈彬杰, 魏福山, 顾纯祥. 基于KNN的具有隐私保护功能的区块链异常交易检测[J]. 信息网络安全, 2022, 23(3): 78-84.
[6]	段晓毅, 李邮, 令狐韫行, 胡荣磊. 基于RF算法的侧信道攻击方法研究[J]. 信息网络安全, 2022, 22(1): 19-26.
[7]	秦中元, 胡宁, 方兰婷. 基于免疫仿生机理和图神经网络的网络异常检测方法[J]. 信息网络安全, 2021, 21(8): 10-16.
[8]	郭春, 蔡文艳, 申国伟, 周雪梅. 基于关键载荷截取的SQL注入攻击检测方法[J]. 信息网络安全, 2021, 21(7): 43-53.
[9]	徐洪平, 马泽文, 易航, 张龙飞. 基于卷积循环神经网络的网络流量异常检测技术[J]. 信息网络安全, 2021, 21(7): 54-62.
[10]	吴驰, 帅俊岚, 龙涛, 于俊清. 基于Linux Shell命令的用户异常操作检测方法研究[J]. 信息网络安全, 2021, 21(5): 31-38.
[11]	李佳玮, 吴克河, 张波. 基于高斯混合聚类的电力工控系统异常检测研究[J]. 信息网络安全, 2021, 21(3): 53-63.
[12]	吴佳洁, 吴绍岭, 王伟. 基于TCN和注意力机制的异常检测和定位算法[J]. 信息网络安全, 2021, 21(11): 85-94.
[13]	马骁, 蔡满春, 芦天亮. 基于CNN改进模型的恶意域名训练数据生成技术[J]. 信息网络安全, 2021, 21(10): 69-75.
[14]	陆佳丽. 基于改进时间序列模型的日志异常检测方法[J]. 信息网络安全, 2020, 20(9): 1-5.
[15]	黄娜, 何泾沙, 吴亚飚, 李建国. 基于LSTM回归模型的内部威胁检测方法[J]. 信息网络安全, 2020, 20(9): 17-21.