开源大数据治理与安全软件综述

doi:10.3969/j.issn.1671-1122.2017.05.005

信息网络安全 ›› 2017, Vol. 17 ›› Issue (5): 28-36.doi: 10.3969/j.issn.1671-1122.2017.05.005

开源大数据治理与安全软件综述

王文杰, 胡柏青, 刘驰()

北京理工大学软件学院,北京 100081

收稿日期:2017-03-11 出版日期:2017-05-20 发布日期:2020-05-12
作者简介:
作者简介：王文杰（1995—）,男,江西,硕士研究生,主要研究方向为大数据安全;胡柏青（1992—）,男,湖北,硕士研究生,主要研究方向为大数据安全;刘驰（1984—）,男,北京,教授,博士,主要研究方向为大数据、物联网技术。
基金资助:
国家自然科学基金[61300179]

A Survey of Open Source Software for Big Data Governance and Security

Wenjie WANG, Baiqing HU, Chi LIU()

School of Software, Beijing Institute of Technology, Beijing 100081, China

Received:2017-03-11 Online:2017-05-20 Published:2020-05-12

摘要/Abstract

摘要：

随着网络和信息技术的不断发展与普及,人类产生的数据量也正在呈指数级增长。数据不再像传统技术时代那样在数据所有者的可控范围内,因此大数据安全与隐私成为了人们共同关注的热点问题。大数据安全与治理是为了解决数据的安全性以及数据隐私难以得到保障等问题而形成的最为热门的研究领域之一。文章首先介绍了大数据安全与治理的基本概念,接着分别讨论了Apache Falcon、Apache Atlas、Apache Ranger、Apache Sentry与Kerberos等大数据治理与安全开源框架。Apache Falcon和Apache Atlas能够对大数据平台执行包括数据采集、数据处理、数据备份和数据清洗在内的数据生命周期管理,也能够对大数据平台的各种组件进行很好的调度。Apache Ranger和Apache Sentry框架可以提供对大数据平台中的数据访问进行细粒度的权限控制和日志审计功能。Kerberos框架主要用来对大数据平台上框架进行权限认证,维护大数据平台上框架的安全。

关键词: 大数据, 安全, 治理, 开源

Abstract:

With the development of Internet technology, the amount of data increase exponentially. This data is no longer easily to be controlled by the owner which is different from the traditional technology. Therefore, big data security and privacy has become a hot issue. Big data security and governance is one of the most popular research fields to solve the data security and data privacy. This paper introduces the basic concepts of data security and governance first, and then talks about open source framework, including Apache Falcon, Apache Atlas, Apache Ranger, Apache Sentry and Kerberos. Apache Falcon and Apache Atlas can perform data lifecycle management, including data collection, data processing, data backup and data cleansing, for big data platforms, as well as for fine scheduling of components of big data platforms. Apache Ranger and Apache Sentry can fine grained authorization to do a specific action or operation and provide a central audit server. Kerberos is mainly used for big data platform for the authority of the framework of certification, and maintain security of the big data platform.

Key words: big data, security, governance, open source

中图分类号:

TP393

王文杰, 胡柏青, 刘驰. 开源大数据治理与安全软件综述[J]. 信息网络安全, 2017, 17(5): 28-36.

Wenjie WANG, Baiqing HU, Chi LIU. A Survey of Open Source Software for Big Data Governance and Security[J]. Netinfo Security, 2017, 17(5): 28-36.

图/表 10

图1

表1

图2

图3

图4

图5

表2

图6

图7

图8

参考文献 17

[1]	LANEY D. Application Delivery Strategies[EB/OL]. .
[2]	维克托·迈尔-舍恩伯格. 大数据时代[M]. 盛扬燕,周涛,译. 杭州:浙江人民出版社,2012.
[3]	张邵华,潘蓉,宗宇伟. 大数据治理与服务[M]. 上海:上海科技技术出版社,2016.
[4]	刘鸿霞,李建清,张锐卿. 立体动态的大数据安全防护体系架构研究[J]. 信息网络安全,2016(9):18-25.
[5]	闫晓丽.大数据分析与个人隐私保护[J]. 中国信息安全, 2014(3):105-107.
[6]	李宏军, 郎为民,邓刚. 一种高效的大数据中心完整性检查方案研究[J]. 信息网络安全,2016(5):1-8.
[7]	方滨兴,贾焰,李爱平. 大数据隐私保护技术综述[J]. 大数据,2016,2(1):1-18.
[8]	HORTONWORKS. Falcon[EB/OL]., 2016-9-12.
[9]	Apache.What Falcon Does[EB/OL]., 2016-9-12.
[10]	Apache. Data Governance and Metadata framework for Hadoop [EB/OL]. .
[11]	Apache. Atals Architecture[EB/OL]. .
[12]	Hortonworks. How Ranger Works [EB/OL]. , 2016-12-13.
[13]	Coloudera. Authorization With Apache Sentry [EB/OL]. , 2016-12-13.
[14]	Cloudera. Sentry [EB/OL]. .
[15]	KOHL J, NEUMAN C.The Kerberos Network Authentication Service (V5)[J]. RFC Editor, 1993, 7(3): 167.
[16]	陈晓,赵晶玲.大数据处理中混合型聚类算法的研究与实现[J]. 信息网络安全,2015(4):45-49.
[17]	朱天清,何木青,邹德清. 基于差分隐私的大数据隐私保护[J]. 信息安全研究, 2015,1(3):224-229.

开源大数据治理与安全软件综述

A Survey of Open Source Software for Big Data Governance and Security

RichHTML

PDF (PC)

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 17

相关文章 15

编辑推荐

Metrics

本文评价

[1]	刘建伟, 韩祎然, 刘斌, 余北缘. 5G网络切片安全模型研究[J]. 信息网络安全, 2020, 20(4): 1-11.
[2]	江金芳, 韩光洁. 无线传感器网络中信任管理机制研究综述[J]. 信息网络安全, 2020, 20(4): 12-20.
[3]	傅智宙, 王利明, 唐鼎, 张曙光. 基于同态加密的HBase二级密文索引方法研究[J]. 信息网络安全, 2020, 20(4): 55-64.
[4]	赵志岩, 纪小默. 智能化网络安全威胁感知融合模型研究[J]. 信息网络安全, 2020, 20(4): 87-93.
[5]	马力. 网络安全等级保护测评中结论产生的定量计算方法研究[J]. 信息网络安全, 2020, 20(3): 1-8.
[6]	李宁, 李柏潮. 移动互联网的通行证式统一威胁管理架构[J]. 信息网络安全, 2020, 20(3): 18-28.
[7]	张兴隆, 李钰汀, 程庆丰, 郭路路. 一种防范TLS协议降级攻击的浏览器安全模型[J]. 信息网络安全, 2020, 20(3): 65-74.
[8]	黎水林, 祝国邦, 范春玲, 陈广勇. 一种新的等级测评综合得分算法研究[J]. 信息网络安全, 2020, 20(2): 1-6.
[9]	王晓, 赵军, 张建标. 基于可信软件基的虚拟机动态监控机制研究[J]. 信息网络安全, 2020, 20(2): 7-13.
[10]	郎为民, 张汉, 赵毅丰, 姚晋芳. 一种基于区块链的物联网行为监控和活动管理方案[J]. 信息网络安全, 2020, 20(2): 22-29.
[11]	姚萌萌, 唐黎, 凌永兴, 肖卫东. 基于串空间的安全协议形式化分析研究[J]. 信息网络安全, 2020, 20(2): 30-36.
[12]	纪兆轩, 杨秩, 孙瑜, 单亦伟. 大数据环境下SHA1的GPU高速实现[J]. 信息网络安全, 2020, 20(2): 75-82.
[13]	喻露, 罗森林. RBAC模式下数据库内部入侵检测方法研究[J]. 信息网络安全, 2020, 20(2): 83-90.
[14]	唐春明, 林旭慧. 隐私保护集合交集计算协议[J]. 信息网络安全, 2020, 20(1): 9-15.
[15]	荆涛, 万巍. 面向属性迁移状态的P2P网络行为分析方法研究[J]. 信息网络安全, 2020, 20(1): 16-25.