信息网络安全 ›› 2017, Vol. 17 ›› Issue (1): 29-37.doi: 10.3969/j.issn.1671-1122.2017.01.005
王伟1,2,3(), 廖正宇1,2,3, 张辉1,2,3, 郭栋1,2,3
收稿日期:
2016-11-28
出版日期:
2017-01-20
发布日期:
2020-05-12
作者简介:
作者简介: 王伟(1979—),男,湖北,副教授,博士,主要研究方向为信息安全、并行分布式计算;廖正宇(1992—),男,甘肃,硕士研究生,主要研究方向为云计算;张辉(1992—),男,江苏,硕士研究生,主要研究方向为虚拟化、容器技术;郭栋(1991—),男,内蒙古,硕士研究生,主要研究方向为云计算、云件。
基金资助:
Wei WANG1,2,3(), Zhengyu LIAO1,2,3, Hui ZHANG1,2,3, Dong GUO1,2,3
Received:
2016-11-28
Online:
2017-01-20
Published:
2020-05-12
摘要:
文章基于Hadoop技术,设计并实现了一个铁路信号数据存储与分析系统。首先,文章研究了Hadoop平台下分布式系统工作原理、HDFS分布式文件管理作用机制、MapReduce模型。然后,针对信号检测大数据设计相关文件解析接口,处理包括txt和CSV格式的数据包;利用HDFS分布式文件管理系统完成对数据的存储和管理;根据数据存储结构设计HBase表,建立快速存取查询索引,并编写HBase操作的各式API。最后,利用ExtJS搭建前端展示页面,通过服务器与Hadoop平台通信完成电气特性分析和日志分析,并将数据处理结果以列表、曲线图和散点图的可视化方式展示在前端;同时完成了对海量数据的挖掘和可视化展现工作。
中图分类号:
王伟, 廖正宇, 张辉, 郭栋. 基于大数据的铁路信号系统数据存储与分析系统设计与实现[J]. 信息网络安全, 2017, 17(1): 29-37.
Wei WANG, Zhengyu LIAO, Hui ZHANG, Dong GUO. Design and Implementation on Data Storage and Analysis System of Railway Signal System Based on Big Data[J]. Netinfo Security, 2017, 17(1): 29-37.
[1] | 中国铁路总公司. 铁路信号集中监测系统应用与维护技术[M]. 北京:中国铁道出版社,2013. |
[2] | 姚丽娟. 我国铁路信号系统的现状与发展[J]. 铁路通信信号,2003,39(4):27-29. |
[3] | Hadoop. Hadoop 分布式文件系统:架构和设计[EB/OL]. . |
[4] | 陈希林,马丁. 针对微博信息分析的HBase存储结构设计[J]. 信息网络安全,2016(9):267-271. |
[5] | ALEX H.Hadooop硬实战[M]. 梁李印,宁青,杨卓荦,译. 北京:电子工业出版社,2015. |
[6] | PATEL A B, BIRLA M, NAIR U. Addressing Big Data Problem using Hadoop and Map Reduce[EB/OL]., 2016-10-11. |
[7] | 王媛媛,吕晓丹,胡琪,等. 基于HBase的RDF数据存储方案研究与设计[J].信息网络安全,2016(3):59-63. |
[8] | 路嘉恒. Hadoop实战[M]. 北京:机械工业出版社,2012. |
[9] | DEAN J. GHEMAWAT S. MapReduce: Simplified data processing on largeclusters[EB/OL]. , 2016-9-13. |
[10] | DHRUBA B. HDFS Architecture[EB/OL]. , 2016-9-13. |
[11] | PORTER G.Decoupling Storage and Computing in Hadoop with SuperDataNode[J]. ACM Sigops Operating Systems Review, 2010, 44(2): 41-46. |
[12] | 刘鸿霞,李建清,张锐卿. 立体动态的大数据安全防护体系架构研究[J]. 信息网络安全,2016(9):18-25. |
[13] | BARKAN O, WEILL J, WOLF L, et al.Fast High Dimensional Vector Multiplication Face Recognition[C]//IEEE. 2013 IEEE International Conference on Computer Vision, December 1-8, 2013, Sydney, Australia. New Jersey: IEEE, 2013: 1960-1967. |
[14] | RANGER C, RAGHURAMAN R, PENMETSA A, et al.Evaluating MapReduce for Multi-core and Multiprocessor Systems[C]//IEEE. IEEE 13th International Symposium on High Performance Computer Architecture, February 10-14, 2007, Scottsdale, AZ, USA. New Jersey: IEEE, 2007: 13-24. |
[15] | 李宏军, 郎为民,邓刚. 一种高效的大数据中心完整性检查方案研究[J].信息网络安全,2016(5):1-8. |
[16] | 姜锋. 基于Hadoop平台的海量数据处理研究及应用[D]. 北京:北京邮电大学,2014. |
[17] | 吕明育. Hadoop架构下数据挖掘与数据迁移系统的设计与实现[D]. 上海:上海交通大学,2012. |
[18] | Apache. Hadoop Java API [EB/OL]. , 2016-9-10. |
[19] | 王紫东. 神朔铁路河东运输段信号专家系统方案设计[J]. 信息通信,2015(3):173-174. |
[20] | BORTHAKUR D.The Hadoop Distributed File System: Architecture and Design[J]. Hadoop Project Website, 2007, 11(11): 1-10. |
[21] | 董西成. Hadoop技术内幕深入解析MapReduce架构设计与实现原理[M]. 北京:机械工业出版社,2013. |
[22] | 管磊,胡光俊,王专. 基于大数据的网络安全态势感知技术研究[J]. 信息网络安全,2016(9):45-50. |
[23] | 徐照岗. 基于Hadoop的海量气象数据的存储设计与实现[D]. 青岛:山东科技大学,2010. |
[1] | 纪兆轩, 杨秩, 孙瑜, 单亦伟. 大数据环境下SHA1的GPU高速实现[J]. 信息网络安全, 2020, 20(2): 75-82. |
[2] | 谢永恒, 冯宇波, 董清风, 王梅. 基于深度学习的数据接入方法研究[J]. 信息网络安全, 2019, 19(9): 36-40. |
[3] | 文奕, 陈兴蜀, 曾雪梅, 罗永刚. 面向安全分析的大规模网络下的DNS流量还原系统[J]. 信息网络安全, 2019, 19(5): 77-83. |
[4] | 吴天雄, 陈兴蜀, 罗永刚. 大数据平台下应用程序保护机制的研究与实现[J]. 信息网络安全, 2019, 19(1): 68-75. |
[5] | 胡荣磊, 何艳琼, 曾萍, 范晓红. 一种大数据环境下医疗隐私保护方案设计与实现[J]. 信息网络安全, 2018, 18(9): 48-54. |
[6] | 冯新扬, 沈建京. 一种基于Yarn云计算平台与NMF的大数据聚类算法[J]. 信息网络安全, 2018, 18(8): 43-49. |
[7] | 陆勰, 罗守山, 张玉梅. 基于Hadoop的海量安全日志聚类算法研究[J]. 信息网络安全, 2018, 18(8): 56-63. |
[8] | 陶源, 黄涛, 张墨涵, 黎水林. 网络安全态势感知关键技术研究及发展趋势分析[J]. 信息网络安全, 2018, 18(8): 79-85. |
[9] | 游林, 梁家豪. 基于同态加密与生物特征的安全身份认证研究[J]. 信息网络安全, 2018, 18(4): 1-8. |
[10] | 鲁秀青, 咸鹤群. 云存储中基于用户授权的大数据完整性审计方案[J]. 信息网络安全, 2018, 18(4): 32-37. |
[11] | 张春霞, 王新猛, 张晓熙. 基于Hadoop的森林公安网络舆情监测系统设计与实现[J]. 信息网络安全, 2018, 18(12): 82-86. |
[12] | 马军岩, 曾国荪. 基于MapReduce的开源代码并行爬取方法研究与实现[J]. 信息网络安全, 2018, 18(1): 58-66. |
[13] | 郭敏, 曾颖明, 姚金利, 达小文. 基于大数据样本的软件行为安全分析[J]. 信息网络安全, 2017, 17(9): 153-156. |
[14] | 陈阳, 王勇, 孙伟. 基于YARN规范的智能电网大数据异常检测[J]. 信息网络安全, 2017, 17(7): 11-17. |
[15] | 王文杰, 胡柏青, 刘驰. 开源大数据治理与安全软件综述[J]. 信息网络安全, 2017, 17(5): 28-36. |
阅读次数 | ||||||||||||||||||||||||||||||||||||||||||||||||||
全文 95
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||
摘要 518
|
|
|||||||||||||||||||||||||||||||||||||||||||||||||