基于微博的安全事件实时监测框架研究

doi:10.3969/j.issn.1671-1122.2015.01.004

信息网络安全 ›› 2015, Vol. 15 ›› Issue (1): 16-23.doi: 10.3969/j.issn.1671-1122.2015.01.004

基于微博的安全事件实时监测框架研究

李凌云¹(), 敖吉², 乔治³, 李剑¹

1.北京邮电大学计算机学院,北京100876
2.中国科学院信息工程研究所,北京 100093
3.中国科学院计算技术研究所,北京 100190

收稿日期:2014-12-09 出版日期:2015-01-10 发布日期:2015-07-05
作者简介:
作者简介：李凌云（1991-）,男,河南,硕士研究生,主要研究方向：信息安全与数据挖掘;敖吉（1988-）,女,内蒙古,硕士研究生,主要研究方向：面向社会媒体数据流的安全态势分析;乔治（1986-）,男,山东,博士研究生,主要研究方向：数据挖掘与社会计算;李剑（1976-）,男,陕西,副教授,博士,主要研究方向：信息安全和数据挖掘。
基金资助:
国家自然科学基金[61472048,61402058]

Research on Security Event Real-time Monitoring Framework Based on Micro-blog

LI Ling-yun¹(), AO Ji², QIAO Zhi³, LI Jian¹

1. School of Computer Science, Beijing University of Posts and Telecommunications, Beijing 100876, China
2. Institute of Information Engineering, CAS, Beijing 100093, China
3. Institute of Computing Technology, CAS, Beijing 100190, China

Received:2014-12-09 Online:2015-01-10 Published:2015-07-05

摘要/Abstract

摘要：

文章根据微博事件发展规律和传播特点,在微博社会感知器网络基础上,提出了针对微博安全事件的实时监测框架,该框架包含若干项核心算法,如异常检测算法、地理位置定位算法、相关事件推荐算法和事件相关度分析算法。基于此框架,文章实现了微博事件实时监测系统。该系统采用混合网络爬虫和开放API接口方式采集微博数据,并实现了事件检索模块、事件实时监测模块和热点模块。同时该系统以多维度展示微博事件结果信息,且运行稳定、效果良好。总体上看,文章主要解决的问题是探索虚拟社交网络与物理世界时空相关性,监测特定事件,并在其爆发前发现并进行地理定位,从而提供预警。

关键词: 微博事件, 实时监测, 异常检测, 地理定位

Abstract:

According to the discipline of event’s development and the social characteristic of event’s propagation, this paper proposes a framework of real-time monitoring events which propagating on micro-blog, based on the theory of social sensor network, and this framework includes several key algorithms, such as abnormal detection algorithm, geography location positioning algorithm, related events recommendation algorithm, and event correlation analysis algorithm. Based on this framework, this paper develops and implements a real-time monitoring system about micro-blog events. This system applies hybrid web crawler and the way of open API interface to capture micro-blog data, and also implements the event retrieval module, real-time monitoring module and hot topic module. This system also displays the result information of micro-blog event in multiple dimensions, and operates stably. In conclusion, this paper is to explore the field of spatial-temporal correlation between the virtual network and the physical world, monitor the specific "event", and position its location before outbreak, and provide early warning.

Key words: micro-blog events, real-time monitoring, anomaly detection, location

中图分类号:

TP309

李凌云, 敖吉, 乔治, 李剑. 基于微博的安全事件实时监测框架研究[J]. 信息网络安全, 2015, 15(1): 16-23.

LI Ling-yun, AO Ji, QIAO Zhi, LI Jian. Research on Security Event Real-time Monitoring Framework Based on Micro-blog[J]. Netinfo Security, 2015, 15(1): 16-23.

图/表 9

图1

图2

图3

图4

图5

图6

图7

图8

图9

参考文献 21

[1]	王先国,陈勇军. Web2.0时代网站建设特征、内容及其应用研究[J]. 软件导刊,2013,12(12):9-11.
[2]	李婧,刘志明,崔朝国. 基于微博的舆情监测与分析的研究[J]. 智能计算机与应用,2013,3(2):50-53.
[3]	林大云. 基于Hadoop的微博信息挖掘[J]. 计算机光盘软件与应用,2012,1(4):7-8.
[4]	廉捷,周欣,曹伟,等. 新浪微博数据挖掘方案[J]. 清华大学学报(自然科学版),2011,51(10):1300-1305.
[5]	田野. 基于微博平台的事件趋势分析及预测研究[D]. 武汉:武汉大学,2012.
[6]	SHAN D, ZHAO W X, CHEN R, et al.EventSearch: A System for Event Discovery and Retrieval on Multi-Type Historical Data[C]//Proceeding of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2012, Beijing: ACM Press, 2012.
[7]	LEE C H, YANG H C, CHIEN T F, et al.A Novel Approach for Event Detection by Mining Spatio-temporal Information on Microblogs[C]//International Conference on Advances in Social Networks Analysis and Mining, 2011, Songdo: IEEE Press, 2011.
[8]	TAKESHI S, MAKOTO O, MATSUO Y.Earthquake Shakes Twitter Users: Real-time Event Detection by Social Sensors[C]//World Wide Web, 2010, Raleigh: ACM Press, 2010.
[9]	ANDREW C, ARIE C, ANTHONY S, et al.Earthquake: Twitter as a Distributed Sensor System[J]. Transaction in CIS, 2013, 17(1): 124-147.
[10]	LEE R, WAKAMIYA S, SUMIYA K.Discovery of Unusual Regional Social Activities Using Geo-tagged Microblogs[C]// World Wide Web,Hyderabad, 2011.
[11]	SINGH V.From Multimedia Data to Situation Detection[C]//Proc.ACM Multimedia, 2011, Scottsdale: ACM Press, 2011.
[12]	SINGH V, JAIN R.Structural Analysis of the Emerging Event-Web[C]//World Wide Web, 2010, Raleigh: ACM Press, 2010.
[13]	CHOUDHURY S, BRESLIN J G.Extracting Semantic Entities and Events from Sports Tweets[C]// Workshop on Making Sense of Microposts, 2011: 22-32.
[14]	ANTOS A, WIVES L, ALVARES O.Location-based Events Detection on Microblogs, Augusto Dias Pereira dos Santos[J]. arXiv preprint arVic, 2012, 3(3): 1-10.
[15]	MARCUS A, BERNSTEIN M, BADAR O, et al.TwitInfo:Aggregating and Visualizing Microblogs for Event Exploration[C]// Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2011, Vancouver: ACM Press, 2011.
[16]	MACEACHREN A M, ROBINSON A C, JAISWAL A, et al.Geo-Twitter Analytics Applications in Crisis Management[C]//Proceeding of the 25th International Cartographic Conference, 2010, Paris: ACMPress, 2010.
[17]	ADOMAVICUYS G, TUZHILIN A.Toward the Next Generation of Recommender Systems: a Survey of the State-of-the Art and Possible Extensions[J]. IEEE Transactions on Knowledge and Data Engineering, 2005, 17(6): 734-749.
[18]	陈斌,陈松灿,潘志松,等. 异常检测综述[J]. 山东大学学报(工学报),2009,39(6):13-22.
[19]	王波,甄峰,席广亮,等. 基于微博用户关系的网络信息地理研究—以新浪微博为例[J]. 地理研究,2013,32(3):380-391.
[20]	周立柱,林玲. 聚焦爬虫技术研究综述[J]. 计算机应用,2005,25(9):1965-1969.
[21]	田董涛. 微博客数据的获取与分析方法研究[D]. 北京:北京交通大学,2011.

基于微博的安全事件实时监测框架研究

Research on Security Event Real-time Monitoring Framework Based on Micro-blog

RichHTML

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 21

相关文章 15

编辑推荐

Metrics

本文评价

[1]	周书丞, 李杨, 李传荣, 郭璐璐, 贾辛洪, 杨兴华. 基于上下文的异常根因算法[J]. 信息网络安全, 2024, 24(7): 1062-1075.
[2]	张浩, 谢大智, 胡云晟, 叶骏威. 基于半监督学习的网络异常检测研究综述[J]. 信息网络安全, 2024, 24(4): 491-508.
[3]	王健, 陈琳, 王凯崙, 刘吉强. 基于时空图神经网络的应用层DDoS攻击检测方法[J]. 信息网络安全, 2024, 24(4): 509-519.
[4]	江荣, 刘海天, 刘聪. 基于集成学习的无监督网络入侵检测方法[J]. 信息网络安全, 2024, 24(3): 411-426.
[5]	宋玉涵, 祝跃飞, 魏福山. 一种基于AdaBoost模型的区块链异常交易检测方案[J]. 信息网络安全, 2024, 24(1): 24-35.
[6]	秦中元, 马楠, 余亚聪, 陈立全. 基于双重图神经网络和自编码器的网络异常检测[J]. 信息网络安全, 2023, 23(9): 1-11.
[7]	蒋英肇, 陈雷, 闫巧. 基于双通道特征融合的分布式拒绝服务攻击检测算法[J]. 信息网络安全, 2023, 23(7): 86-97.
[8]	施园, 李杨, 詹孟奇. 一种面向微服务的多维度根因定位算法[J]. 信息网络安全, 2023, 23(3): 73-83.
[9]	吴圣麟, 刘汪根, 严明, 吴杰. 基于无监督系统调用规则生成的容器云实时异常检测系统[J]. 信息网络安全, 2023, 23(12): 91-102.
[10]	廖丽云, 张伯雷, 吴礼发. 基于代价敏感学习的物联网异常检测模型[J]. 信息网络安全, 2023, 23(11): 94-103.
[11]	张玉臣, 李亮辉, 马辰阳, 周洪伟. 一种融合变量的日志异常检测方法[J]. 信息网络安全, 2023, 23(10): 16-20.
[12]	顾兆军, 刘婷婷, 高冰, 隋翯. 基于GAN-Cross的工控系统类不平衡数据异常检测[J]. 信息网络安全, 2022, 22(8): 81-89.
[13]	周婧怡, 李红娇. 针对PMU测量的虚假数据注入攻击检测方法[J]. 信息网络安全, 2022, 22(5): 75-83.
[14]	陈彬杰, 魏福山, 顾纯祥. 基于KNN的具有隐私保护功能的区块链异常交易检测[J]. 信息网络安全, 2022, 22(3): 78-84.
[15]	徐茹枝, 吕畅冉, 龙燕, 刘远彬. 工业控制系统高隐蔽性数据攻击防御方法研究[J]. 信息网络安全, 2022, 22(12): 34-46.