基于YARN规范的智能电网大数据异常检测

doi:10.3969/j.issn.1671-1122.2017.07.002

信息网络安全 ›› 2017, Vol. 17 ›› Issue (7): 11-17.doi: 10.3969/j.issn.1671-1122.2017.07.002

基于YARN规范的智能电网大数据异常检测

陈阳¹(), 王勇², 孙伟³

1. 安徽工程大学现代教育技术中心,安徽芜湖 241000
2. 安徽工程大学计算机与信息学院,安徽芜湖 241000
3. 电子科技大学软件学院,四川成都 610054

收稿日期:2017-05-12 出版日期:2017-07-20 发布日期:2020-05-12
作者简介:
作者简介：陈阳（1977—）,男,安徽,高级工程师,硕士,主要研究方向为大数据应用;王勇（1979—）,男,安徽,副教授,博士,主要研究方向为软件工程与机器学习;孙伟（1992—）,男,四川,硕士研究生,主要研究方向为密码学。
基金资助:
国家自然科学基金[61572033];安徽省高校省级自然科学研究重大项目[KJ2015ZD08];安徽省高校优秀人才支持计划重点项目[gxyqZD2016124]

A YARN-based Smart Grid Big Data Abnormal Detection

Yang CHEN¹(), Yong WANG², Wei SUN³

1. Center of Modern Education Technology, Anhui Polytechnic University, Wuhu Anhui 241000, China
2. School of Computer and Information, Anhui Polytechnic University, Wuhu Anhui 241000, China
3. School of Information and Software Engineering, University of Electronic Science and Technology of China, Chengdu Sichuan 610054, China

Received:2017-05-12 Online:2017-07-20 Published:2020-05-12

摘要/Abstract

摘要：

文章描述了Hadoop早期版本在处理智能电网大数据上的不足,同时分析了YARN规范对Map-Reduce进行改进后对电网大数据处理的优点。文章详细讨论了YARN-DPP平台中智能电网大数据处理的编码与实现及YARN-DPP的优势,并以IEEE 118节点的电网作为智能电网大数据异常检测的案例程序,对YARN-DPP平台的硬件环境与软件运行环境进行配置。实验结果表明,针对海量的智能电网状态安全大数据异常检测的程序,YARN-DPP平台具有较好的吞吐量与加速比,可以满足现代智能电网大数据异常检测的需求,在计算速度上比单机串行计算及Map-Reduce计算要快。

关键词: 智能电网, 大数据, YARN规范, Map-Reduce

Abstract:

The defects of processing smart grid big data in Map-Reduce early version were also discussed, and the advantages of processing smart grid big data in YARN were also described in this paper. The coding model and implementation and advantages of YARN-DPP were also analyzed. In order to demonstrate the effectiveness of YARN-DPP, the hardware configuration environments and software running environments had been completed. A serial of simulation experiments in IEEE 118 node grid system were also done. The results and performance analysis demonstrated that good throughput and speedup had been obtained in YARN-DPP. It can meet the fast demands in large scale grid system big data processing. The computing speed was faster than sequence computation and Map-Reduce computation.

Key words: smart grid, big data, YARN normalization, Map-Reduce

中图分类号:

TP393

陈阳, 王勇, 孙伟. 基于YARN规范的智能电网大数据异常检测[J]. 信息网络安全, 2017, 17(7): 11-17.

Yang CHEN, Yong WANG, Wei SUN. A YARN-based Smart Grid Big Data Abnormal Detection[J]. Netinfo Security, 2017, 17(7): 11-17.

图/表 7

图1

图2

图3

表 1

表 2

表 3

图4

参考文献 22

[1]	ZHENG Yu, CAPRA L, WOLFSON O, et al.Urban Computing: Concepts, Methodologies, and Applications[J]. ACM Transaction on Intelligent Systems and Technology (ACM TIST), 2014, 1(1): 1-9
[2]	李增鹏,邹岩,张磊,等. 一种基于全同态加密的智能电网数据交换隐私保护方案[J]. 信息网络安全,2016(3):1-7.
[3]	CHAN K W, DAI R C, CHEUNG C H.A Coarse Gain Parallel Solution Method for Solving Large Set of Power Systems Network Equation[C]//IEEE. 2002 International Conference on Power System Technology, October 13-17, 2002, Kunming, China. New Jersey: IEEE, 2002: 2640-2644.
[4]	曲朝阳,陈帅,杨帆,等. 基于云计算技术的电力大数据预处理属性约简方法[J]. 电力系统自动化,2014,38(8):67-71.
[5]	王伟,廖正宇,张辉,等. 基于大数据的铁路信号系统数据存储与分析系统设计与实现[J]. 信息网络安全,2017(1):29-37.
[6]	袁宝超,刘道伟,刘丽平,等. 基于Spark的大电网广域时空序列分析平台构建[J]. 电力建设,2016,37(11):48-54.
[7]	DEAN J, GHENAWAT S.MapReduce: Simplified Data Processing on Large Clusters[C]//ACM. 6th Conference on Symposium on Operating Systems Design & Implementation, December 6-8, 2004, San Francisco, CA, USA. New York: ACM, 2004: 107-113.
[8]	Marozzo F, Talia D, Trunfio P.P2P-MapReduce: Parallel Data Processing in Dynamic Cloud Environments[J]. Journal of Computer & System Sciences, 2012, 78(5): 1382-1402.
[9]	许元斌,钟小强,王丹,等. 基于MapReduce模型的电力数据并行化的异常检测[J]. 情报探索,2014,202(8):74-78.
[10]	APACHE. Hadoop NextGen MapReduce(YARN)[EB/OL]. .
[11]	诸骏伟. 电力系统分析(上册)[M]. 北京:中国电力出版社,1994.
[12]	薛巍,舒继武,王心丰,等. 电力系统潮流并行算法的研究进展[J]. 清华大学学报,2002,42(9):1192-1196.
[13]	毛建容,杨洪耕. 在线安全分析软件中的预想事故分析[J]. 四川电力技术,2002,(4):48-50.
[14]	宗永升,张祎. 电力系统在线安全分析并行分布式计算[J]. 计算机工程与设计,2010,31(19):4436-4439.
[15]	李钦,朱延超,刘轶,等. 基于YARN集群的计算加速部件扩展支持[J]. 计算机研究与发展,2016,53(6):1263-1270.
[16]	李成华,张新访,金海,等. MapReduce:新型的分布式并行计算编程模型[J]. 计算机工程与科学,2011,33(3):129-135.
[17]	APACHE. Welcome to Apache Hadoop[EB/OL]. .
[18]	刘鸿霞,李建清,张锐卿. 立体动态的大数据安全防护体系架构研究[J]. 信息网络安全,2016(9):18-25.
[19]	CHAO Hong.Implementation of Parallel-in-time Newton Method for Transient Stability Analysis on a Message Passing Multicomputer[C]//IEEE. 2002 International Conference on Power System Technology, October 13-17, 2002, Kunming, China. New Jersey: IEEE, 2002: 1239-1243.
[20]	王澄,魏庆来,赵冬斌,等. 基于数据的智能电网电能自适应优化调控[J]. 控制工程,2014,21(5):753-759.
[21]	石沙沙,孙文红,江明建,等. 基于分布式数据聚合的智能电网隐私保护协议研究[J]. 信息网络安全,2015(12):59-65.
[22]	GAO Tanjie.Data Processing with Spark[M]. Beijing: China Machine Press, 2015.

基于YARN规范的智能电网大数据异常检测

A YARN-based Smart Grid Big Data Abnormal Detection

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 22

相关文章 15

编辑推荐

Metrics

本文评价

[1]	纪兆轩, 杨秩, 孙瑜, 单亦伟. 大数据环境下SHA1的GPU高速实现[J]. 信息网络安全, 2020, 20(2): 75-82.
[2]	董威, 李永刚. 基于复杂网络的智能电网网络攻击影响分析研究[J]. 信息网络安全, 2020, 20(1): 52-60.
[3]	谢永恒, 冯宇波, 董清风, 王梅. 基于深度学习的数据接入方法研究[J]. 信息网络安全, 2019, 19(9): 36-40.
[4]	刘玉岭, 唐云善, 张琦, 李枫. 电力调度自动化软件安全态势评估方法[J]. 信息网络安全, 2019, 19(8): 15-21.
[5]	周权, 许舒美, 杨宁滨. 一种基于ABGS的智能电网隐私保护方案[J]. 信息网络安全, 2019, 19(7): 25-30.
[6]	文奕, 陈兴蜀, 曾雪梅, 罗永刚. 面向安全分析的大规模网络下的DNS流量还原系统[J]. 信息网络安全, 2019, 19(5): 77-83.
[7]	黎妹红, 齐小晨, 吴倩倩. 基于动态密钥的智能电网无线通信数据加密传输方案[J]. 信息网络安全, 2019, 19(12): 10-21.
[8]	田秀霞, 陈希, 田福粮. 基于区块链的社区分布式电能安全交易平台方案[J]. 信息网络安全, 2019, 19(1): 51-58.
[9]	吴天雄, 陈兴蜀, 罗永刚. 大数据平台下应用程序保护机制的研究与实现[J]. 信息网络安全, 2019, 19(1): 68-75.
[10]	胡荣磊, 何艳琼, 曾萍, 范晓红. 一种大数据环境下医疗隐私保护方案设计与实现[J]. 信息网络安全, 2018, 18(9): 48-54.
[11]	冯新扬, 沈建京. 一种基于Yarn云计算平台与NMF的大数据聚类算法[J]. 信息网络安全, 2018, 18(8): 43-49.
[12]	陶源, 黄涛, 张墨涵, 黎水林. 网络安全态势感知关键技术研究及发展趋势分析[J]. 信息网络安全, 2018, 18(8): 79-85.
[13]	游林, 梁家豪. 基于同态加密与生物特征的安全身份认证研究[J]. 信息网络安全, 2018, 18(4): 1-8.
[14]	鲁秀青, 咸鹤群. 云存储中基于用户授权的大数据完整性审计方案[J]. 信息网络安全, 2018, 18(4): 32-37.
[15]	李梁, 张应辉, 邓恺鑫, 张甜甜. 5G智能电网中具有隐私保护的电力注入系统[J]. 信息网络安全, 2018, 18(12): 87-92.