基于微博的安全事件实时监测框架研究

doi:10.3969/j.issn.1671-1122.2015.01.004

信息网络安全 ›› 2015, Vol. 15 ›› Issue (1): 16-23.doi: 10.3969/j.issn.1671-1122.2015.01.004

基于微博的安全事件实时监测框架研究

李凌云¹(), 敖吉², 乔治³, 李剑¹

1.北京邮电大学计算机学院,北京100876
2.中国科学院信息工程研究所,北京 100093
3.中国科学院计算技术研究所,北京 100190

收稿日期:2014-12-09 出版日期:2015-01-10 发布日期:2015-07-05
作者简介:
作者简介：李凌云（1991-）,男,河南,硕士研究生,主要研究方向：信息安全与数据挖掘;敖吉（1988-）,女,内蒙古,硕士研究生,主要研究方向：面向社会媒体数据流的安全态势分析;乔治（1986-）,男,山东,博士研究生,主要研究方向：数据挖掘与社会计算;李剑（1976-）,男,陕西,副教授,博士,主要研究方向：信息安全和数据挖掘。
基金资助:
国家自然科学基金[61472048,61402058]

Research on Security Event Real-time Monitoring Framework Based on Micro-blog

Ling-yun LI¹(), Ji AO², Zhi QIAO³, Jian LI¹

1. School of Computer Science, Beijing University of Posts and Telecommunications, Beijing 100876, China
2. Institute of Information Engineering, CAS, Beijing 100093, China
3. Institute of Computing Technology, CAS, Beijing 100190, China

Received:2014-12-09 Online:2015-01-10 Published:2015-07-05

摘要/Abstract

摘要：

文章根据微博事件发展规律和传播特点,在微博社会感知器网络基础上,提出了针对微博安全事件的实时监测框架,该框架包含若干项核心算法,如异常检测算法、地理位置定位算法、相关事件推荐算法和事件相关度分析算法。基于此框架,文章实现了微博事件实时监测系统。该系统采用混合网络爬虫和开放API接口方式采集微博数据,并实现了事件检索模块、事件实时监测模块和热点模块。同时该系统以多维度展示微博事件结果信息,且运行稳定、效果良好。总体上看,文章主要解决的问题是探索虚拟社交网络与物理世界时空相关性,监测特定事件,并在其爆发前发现并进行地理定位,从而提供预警。

关键词: 微博事件, 实时监测, 异常检测, 地理定位

Abstract:

According to the discipline of event’s development and the social characteristic of event’s propagation, this paper proposes a framework of real-time monitoring events which propagating on micro-blog, based on the theory of social sensor network, and this framework includes several key algorithms, such as abnormal detection algorithm, geography location positioning algorithm, related events recommendation algorithm, and event correlation analysis algorithm. Based on this framework, this paper develops and implements a real-time monitoring system about micro-blog events. This system applies hybrid web crawler and the way of open API interface to capture micro-blog data, and also implements the event retrieval module, real-time monitoring module and hot topic module. This system also displays the result information of micro-blog event in multiple dimensions, and operates stably. In conclusion, this paper is to explore the field of spatial-temporal correlation between the virtual network and the physical world, monitor the specific "event", and position its location before outbreak, and provide early warning.

Key words: micro-blog events, real-time monitoring, anomaly detection, location

中图分类号:

TP309

李凌云, 敖吉, 乔治, 李剑. 基于微博的安全事件实时监测框架研究[J]. 信息网络安全, 2015, 15(1): 16-23.

Ling-yun LI, Ji AO, Zhi QIAO, Jian LI. Research on Security Event Real-time Monitoring Framework Based on Micro-blog[J]. Netinfo Security, 2015, 15(1): 16-23.

图/表 9

图1

图2

图3

图4

图5

图6

图7

图8

图9

参考文献 21

[1]	王先国,陈勇军. Web2.0时代网站建设特征、内容及其应用研究[J]. 软件导刊,2013,12(12):9-11.
[2]	李婧,刘志明,崔朝国. 基于微博的舆情监测与分析的研究[J]. 智能计算机与应用,2013,3(2):50-53.
[3]	林大云. 基于Hadoop的微博信息挖掘[J]. 计算机光盘软件与应用,2012,1(4):7-8.
[4]	廉捷,周欣,曹伟,等. 新浪微博数据挖掘方案[J]. 清华大学学报(自然科学版),2011,51(10):1300-1305.
[5]	田野. 基于微博平台的事件趋势分析及预测研究[D]. 武汉:武汉大学,2012.
[6]	SHAN D, ZHAO W X, CHEN R, et al.EventSearch: A System for Event Discovery and Retrieval on Multi-Type Historical Data[C]//Proceeding of the 18th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, 2012, Beijing: ACM Press, 2012.
[7]	LEE C H, YANG H C, CHIEN T F, et al.A Novel Approach for Event Detection by Mining Spatio-temporal Information on Microblogs[C]//International Conference on Advances in Social Networks Analysis and Mining, 2011, Songdo: IEEE Press, 2011.
[8]	TAKESHI S, MAKOTO O, MATSUO Y.Earthquake Shakes Twitter Users: Real-time Event Detection by Social Sensors[C]//World Wide Web, 2010, Raleigh: ACM Press, 2010.
[9]	ANDREW C, ARIE C, ANTHONY S, et al.Earthquake: Twitter as a Distributed Sensor System[J]. Transaction in CIS, 2013, 17(1): 124-147.
[10]	LEE R, WAKAMIYA S, SUMIYA K.Discovery of Unusual Regional Social Activities Using Geo-tagged Microblogs[C]// World Wide Web,Hyderabad, 2011.
[11]	SINGH V.From Multimedia Data to Situation Detection[C]//Proc.ACM Multimedia, 2011, Scottsdale: ACM Press, 2011.
[12]	SINGH V, JAIN R.Structural Analysis of the Emerging Event-Web[C]//World Wide Web, 2010, Raleigh: ACM Press, 2010.
[13]	CHOUDHURY S, BRESLIN J G.Extracting Semantic Entities and Events from Sports Tweets[C]// Workshop on Making Sense of Microposts, 2011: 22-32.
[14]	ANTOS A, WIVES L, ALVARES O.Location-based Events Detection on Microblogs, Augusto Dias Pereira dos Santos[J]. arXiv preprint arVic, 2012, 3(3): 1-10.
[15]	MARCUS A, BERNSTEIN M, BADAR O, et al.TwitInfo:Aggregating and Visualizing Microblogs for Event Exploration[C]// Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, 2011, Vancouver: ACM Press, 2011.
[16]	MACEACHREN A M, ROBINSON A C, JAISWAL A, et al.Geo-Twitter Analytics Applications in Crisis Management[C]//Proceeding of the 25th International Cartographic Conference, 2010, Paris: ACMPress, 2010.
[17]	ADOMAVICUYS G, TUZHILIN A.Toward the Next Generation of Recommender Systems: a Survey of the State-of-the Art and Possible Extensions[J]. IEEE Transactions on Knowledge and Data Engineering, 2005, 17(6): 734-749.
[18]	陈斌,陈松灿,潘志松,等. 异常检测综述[J]. 山东大学学报(工学报),2009,39(6):13-22.
[19]	王波,甄峰,席广亮,等. 基于微博用户关系的网络信息地理研究—以新浪微博为例[J]. 地理研究,2013,32(3):380-391.
[20]	周立柱,林玲. 聚焦爬虫技术研究综述[J]. 计算机应用,2005,25(9):1965-1969.
[21]	田董涛. 微博客数据的获取与分析方法研究[D]. 北京:北京交通大学,2011.

基于微博的安全事件实时监测框架研究

Research on Security Event Real-time Monitoring Framework Based on Micro-blog

RichHTML

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 21

相关文章 15

编辑推荐

Metrics

本文评价

[1]	顾兆军, 任怡彤, 刘春波, 王志. 基于一致性预测算法的内网日志检测模型[J]. 信息网络安全, 2020, 20(3): 45-50.
[2]	王伟, 沈旭东. 基于实例的迁移时间序列异常检测算法研究[J]. 信息网络安全, 2019, 19(3): 11-18.
[3]	杨威超, 郭渊博, 钟雅, 甄帅辉. 基于设备型号分类和BP神经网络的物联网流量异常检测[J]. 信息网络安全, 2019, 19(12): 53-63.
[4]	朱海麒, 姜峰. 人工智能时代面向运维数据的异常检测技术研究与分析[J]. 信息网络安全, 2019, 19(11): 24-35.
[5]	邓海莲, 刘宇靖, 葛一漩, 苏金树. 域间路由异常检测技术研究[J]. 信息网络安全, 2019, 19(11): 63-70.
[6]	李巍, 狄晓晓, 王迪, 李云春. 基于子图的服务器网络行为建模及异常检测方法研究[J]. 信息网络安全, 2018, 18(2): 1-9.
[7]	何利, 姚元辉. 基于上下文聚类的云虚拟机异常检测与识别策略[J]. 信息网络安全, 2018, 18(12): 54-65.
[8]	赵刚, 姚兴仁. 基于用户画像的异常行为检测模型[J]. 信息网络安全, 2017, 17(7): 18-24.
[9]	吴鑫, 严岳松, 刘晓然. 基于改进HMM的程序行为异常检测方法[J]. 信息网络安全, 2016, 16(9): 108-112.
[10]	杨连群, 温晋英, 刘树发, 王峰. 一种改进的图分割算法在用户行为异常检测中的应用[J]. 信息网络安全, 2016, 16(6): 35-40.
[11]	刘汝隽, 辛阳. 网络安全数据可视分析系统的设计与实现[J]. 信息网络安全, 2016, 16(11): 40-44.
[12]	何明亮, 陈泽茂, 左进. 基于多窗口机制的聚类异常检测算法[J]. 信息网络安全, 2016, 16(11): 33-39.
[13]	汤健, 孙春来, 毛克峰, 贾美英. 基于主元分析和互信息维数约简策略的网络入侵异常检测[J]. 信息网络安全, 2015, 15(9): 78-83.
[14]	柳俊，周斌，黄九鸣. 基于二部图投影的微博事件关联分析方法研究[J]. 信息网络安全, 2014, 14(9): 44-49.
[15]	陆嘉琪. 用户异常行为检测技术在社交媒体等级保护实施中的应用[J]. , 2013, 13(Z): 0-0.