基于Hadoop的森林公安网络舆情监测系统设计与实现

doi:10.3969/j.issn.1671-1122.2018.12.011

信息网络安全 ›› 2018, Vol. 18 ›› Issue (12): 82-86.doi: 10.3969/j.issn.1671-1122.2018.12.011

基于Hadoop的森林公安网络舆情监测系统设计与实现

张春霞¹(), 王新猛¹, 张晓熙²

1.南京森林警察学院信息学院,江苏南京210046
2.突泉县公安局情报大队,内蒙古突泉 137500

收稿日期:2018-07-18 出版日期:2018-12-20 发布日期:2020-05-11
作者简介:
作者简介：张春霞（1979—）,女,河南,讲师,硕士,主要研究方向为数据挖掘;王新猛（1973—）,男,山东,教授,硕士,主要研究方向为公安情报学、侦查学;张晓熙（1993—）,男,内蒙古,本科,主要研究方向为大数据应用。
基金资助:
中央高校基本科研业务费专项资金[LGYB201604];江苏高校品牌专业建设工程资助项目[PPZY2015 A058]

Design and Implementation of Network Public Opinion Monitoring System for Forest Public Security Based on Hadoop

Chunxia ZHANG¹(), Xinmeng WANG¹, Xiaoxi ZHANG²

1.Department of Information, Nanjing Forest Police College, Nanjing Jiangsu 210046, China
2. Intelligence Brigade, Tuquan Public Security Bureau, Tuquan Inner Mongolia 137500, China

Received:2018-07-18 Online:2018-12-20 Published:2020-05-11

摘要/Abstract

摘要：

在走访调研中发现,国内森林公安应用系统中对网络舆情的收集、分析、上报工作尚处于人工方式的原始状态,导致收集效率低、分析时间长、研判准确率不高,特别是有效舆情的转化率低。为完善森林公安网络舆情监测工作机制,文章针对森林公安网络舆情监测的现实需求,设计了基于Hadoop的森林公安网络舆情监测系统,用Hadoop集群MapReduce分布式处理框架,实现森林公安网络舆情的并行爬取和分析。实践证明,基于Hadoop的森林公安网络舆情监测系统有效提高了森林公安网络舆情的收集和分析效率。

关键词: 森林公安, 网络舆情, Hadoop, MapReduce

Abstract:

The survey shows that the collection, analysis and reporting of network public opinion in the domestic forest public security application system is still in the original state of artificial mode, which leads the collection efficiency is low, the analysis time is long, and the accuracy of research and judgment is not high, specially conversion rate of effective public opinion is low. In order to improve the working mechanism of forest public security network public opinion monitoring, this paper designs a forest public security network public opinion monitoring system based on Hadoop according to the actual needs of forest public security network public opinion monitoring. The system realizes parallel crawling and analysis of forest public security network public opinion based on MapReduce distributed processing framework in Hadoop. The practice proves that forest public security network public opinion monitoring system based on Hadoop improves effectively the collection efficiency and analysis efficiency of forest public security network public opinion.

Key words: forest public security, network public opinion, Hadoop, MapReduce

中图分类号:

TP309

张春霞, 王新猛, 张晓熙. 基于Hadoop的森林公安网络舆情监测系统设计与实现[J]. 信息网络安全, 2018, 18(12): 82-86.

Chunxia ZHANG, Xinmeng WANG, Xiaoxi ZHANG. Design and Implementation of Network Public Opinion Monitoring System for Forest Public Security Based on Hadoop[J]. Netinfo Security, 2018, 18(12): 82-86.

图/表 5

参考文献 13

[1]	Forest Public Security Bureau of the State Forestry Administration. News Publicity and Public Opinion Disposal System of Forest Police Issued and Implemented[J].Forest Public Security,2015(1):35.
	国家林业局森林公安局.森林公安新闻宣传和舆情处置制度印发实施[J].森林公安,2015(1):35.
[2]	JIAN Ling.Design and Implementation of Petabyte Data Processing System Based on Hadoop[J]. Netinfo Security,2013,13(11):87-89.
	简玲. 基于Hadoop的PB级海量数据处理系统的设计与实现[J].信息网络安全,2013,13(11):87-89.
[3]	W3C. Document Object Model (DOM) Level 2 HTML Specification [EB/OL]. ,2003-1-9.
[4]	JOB BOLE. Comparison of NoSQL Databases among MongoDB, Cassandra and HBase[EB/OL]., 2015-9-24.
	伯乐在线. MongoDB、Cassandra和HBase 三种NoSQL数据库比较[EB/OL]., 2015-9-24.
[5]	WANG Shufen,GAO Junli,ZOU Pu,et al.A Framework of WAN Distributed Topic Crawling System Based on Hadoop[J].Computer Engineering & Science,2015(37):670-675.
	王淑芬,高军礼,邹普,等. 基于Hadoop的广域网分布式主题爬虫系统框架[J]. 计算机工程与科学, 2015(37):670-675.
[6]	ZHU Zede,LI Miao,ZHANG Jian,et al.Web Content Extraction Based on Text Density Model[J]. Pattern Recognition and Artificial Intelligence,2013(26):667-672.
	朱泽德,李淼,张健,等.基于文本密度模型的Web正文抽取[J].模式识别与人工智能,2013(26):667-672.
[7]	JELGER C, NOEL T, Frey A.Gateway and Address Autoconfiguration for IPv6 Ad Hoc Networks[EB/OL]. ,2018-6-30.
[8]	WANG Shaokang,DONG Kejun,YAN Baoping.Web Content Information Extraction Using Density of Feature Text[J].Computer Engineering and Applicantions,2010(46):1-3.
	王少康,董科军,阎保平.使用特征文本密度的网页正文提取[J].计算机工程与应用,2010(46):1-3.
[9]	LU Xie,LUO Shoushan,ZHANG Yumei.Research on Hadoop-based Massive Security Log Clustering Algorithm[J].Netinfo Security,2018,18(8):56-63.
	陆勰,罗守山,张玉梅.基于Hadoop的海量安全日志聚类算法研究[J].信息网络安全,2018,18(8):56-63.
[10]	JerryLead. K-means Clustering Algorithm [EB/OL]., 2011-4-6.
	JerryLead. K-means聚类算法[EB/OL]., 2011-4-6.
[11]	LIU Yunheng,LIU Yaozong.Hadoop-based Public Security Video Big Data Processing Method[J].Computer Science, 2016(43):448-451.
	刘云恒,刘耀宗.基于Hadoop的公安视频大数据的处理方法[J].计算机科学,2016(43):448-451.
[12]	BAO Liang,LI Qian.Practical Big Data [M].Beijing:Tsinghua University Press,2015.
	鲍亮,李倩.实战大数据[M].北京:清华大学出版社,2015.
[13]	Beijing Municipal Landscape and Greening Bureau.Order of Replenting Trees [EB/OL]., 2014-1-7.
	北京市园林绿化局.责令补种林木[EB/OL]. , 2014-1-7.

[1]	吴天雄, 陈兴蜀, 罗永刚. 大数据平台下应用程序保护机制的研究与实现[J]. 信息网络安全, 2019, 19(1): 68-75.
[2]	陆勰, 罗守山, 张玉梅. 基于Hadoop的海量安全日志聚类算法研究[J]. 信息网络安全, 2018, 18(8): 56-63.
[3]	马军岩, 曾国荪. 基于MapReduce的开源代码并行爬取方法研究与实现[J]. 信息网络安全, 2018, 0(1): 58-66.
[4]	王伟, 廖正宇, 张辉, 郭栋. 基于大数据的铁路信号系统数据存储与分析系统设计与实现[J]. 信息网络安全, 2017, 17(1): 29-37.
[5]	姜凤燕, 姜瑾, 姜吉婷. 基于大数据环境的电子取证研究[J]. 信息网络安全, 2016, 16(9): 60-63.
[6]	杨旭东. 网络舆情监控系统关键技术研究[J]. 信息网络安全, 2016, 16(9): 251-256.
[7]	陈希林, 马丁. 针对微博信息分析的HBase存储结构设计[J]. 信息网络安全, 2016, 16(9): 267-271.
[8]	孙晓冬, 肖萍. 基于主动模式的互联网舆情监控系统设计[J]. 信息网络安全, 2016, 16(9): 272-277.
[9]	王媛媛, 吕晓丹, 胡琪, 吴鸿川. 基于HBase的RDF数据存储方案研究与设计[J]. 信息网络安全, 2016, 16(3): 59-63.
[10]	李逸群, 严岭, 李军锋. 网络舆情影响程度定量评价指标体系及其量化计算方法[J]. 信息网络安全, 2015, 15(9): 196-200.
[11]	孙大鹏. 云计算技术在垃圾短信过滤中的应用与实现[J]. 信息网络安全, 2015, 15(7): 13-19.
[12]	严岭，李逸群. 网络舆情事件中的微博炒作账号发现方法研究[J]. 信息网络安全, 2014, 14(9): 26-29.
[13]	. 基于随机森林算法的网络舆情文本信息分类方法研究[J]. , 2014, 14(11): 36-.
[14]	陈耀兵;刘斌;史延涛. 基于Hadoop架构的大数据量日志存储和检索优化[J]. , 2013, 13(6): 0-0.
[15]	苏烈华;李恒训;李锁雷. 基于时空折中算法的密码分析系统设计与实现[J]. , 2013, 13(5): 0-0.

基于Hadoop的森林公安网络舆情监测系统设计与实现

Design and Implementation of Network Public Opinion Monitoring System for Forest Public Security Based on Hadoop

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 13

相关文章 15

编辑推荐

Metrics

本文评价