信息网络安全

信息网络安全 ›› 2017, Vol. 17 ›› Issue (11): 44-49.doi: 10.3969/j.issn.1671-1122.2017.11.007

• • 上一篇    下一篇

面向多应用多租户的消息数据订阅关键技术研究

付戈1(), 张欣华2, 李超1   

  1. 1. 国家计算机网络应急技术处理协调中心,北京 100029
    2. 国家计算机网络应急技术处理协调中心吉林分中心,吉林长春 130061
  • 收稿日期:2017-08-01 出版日期:2017-11-20 发布日期:2020-05-12
  • 作者简介:

    作者简介： 付戈（1983—）,男,河南,高级工程师,博士,主要研究方向为海量数据存储技术、大数据分析技术等;张欣华（1983—）,女,吉林,工程师,硕士,主要研究方向为网络安全技术;李超（1982—）,男,河北,高级工程师,博士,主要研究方向为网络安全技术、计算机网络、大数据分析技术等。

  • 基金资助:
    国家重点基础研究发展计划（973计划）[2014CB340305];2016年度国家计算机网络应急技术处理协调中心青年基金[2016QN-02]

Study of Message Data Subscription Based on Multi-Application Big Data Analysis

Ge FU1(), Xinhua ZHANG2, Chao LI1   

  1. 1.National Computer Network Emergency Response Technical Team/Coordination Center of China, Beijing 100029, China
    2. Jilin Branch of National Computer Network Emergency Response Technical Team/Coordination Center of China, Changchun Jilin 130061, China
  • Received:2017-08-01 Online:2017-11-20 Published:2020-05-12

RichHTML

1

PDF (PC)

524

摘要：

针对企业级多应用多租户海量数据分析业务的业务痛点,为了减少数据订阅带来的资源问题,提高资源利用率,促进企业级大数据平台建设及应用的“可持续、集约型”发展,文章提出了一种面向Kafka分布式异步消息中间件的消息数据按需复杂订阅解决方案,实现在多应用多租户环境下根据用户需求进行“行级”及“列级”消息数据订阅功能。并研制了按需复杂订阅原型系统,很好地解决企业级应用的投资大、灵活性差等问题。实验及测试结果表明基于Kafka的复杂规则订阅系统具有较高的数据吞吐率,具有较强的实用性。

关键词: 复杂消息订阅, 多应用多租户, 大数据分析

Abstract:

Based on the problems of enterprise applications of multi-application big data analysis, in order to reduce the resource consumption for big data subscription, improve resource utilization, achieve the goal of "sustainable and intensive development" for enterprise big data platform, we proposes a resolution to complicated message data subscription for Kafka, which supports "row-level" and "column-level" message subscription for multi-application big data analysis. We also develop a complicated subscription prototype system. The experimental results show that the system has features of high throughput and high availability.

Key words: complicated message subscription, multi-application, big data analysis

中图分类号: