最新CDHHDPMAPRDKH星环组件比较.docx
- 文档编号:16995860
- 上传时间:2023-07-21
- 格式:DOCX
- 页数:8
- 大小:28.78KB
最新CDHHDPMAPRDKH星环组件比较.docx
《最新CDHHDPMAPRDKH星环组件比较.docx》由会员分享,可在线阅读,更多相关《最新CDHHDPMAPRDKH星环组件比较.docx(8页珍藏版)》请在冰点文库上搜索。
最新CDHHDPMAPRDKH星环组件比较
CDH-HDP-MAPR-DKH-星环组件比较
一、组件比较:
序号
组件名称
CDH
〔美国
Cloudera〕
HDP
〔美国
Hortonworks〕
MAPR
〔美国
MapR〕
DKH
〔中国
大快〕
Transwarp
〔中国
星环〕
1
Hadoop
√
√
√
√
√
2
HBase
√
√
√
√
3
Zookeeper
√
√
√
√
√
4
Spark
√
√
√
√
5
Hive
√
√
√
√
6
Hue
√
√
√
7
Impala
√
√
8
Sqoop
√
√
√
√
√
9
Flume
√
√
√
√
√
10
Oozie
√
√
√
√
√
11
Solr
√
√
√
12
Isilon
√
13
KVindexer
√
14
ClouderaManager
√
15
kafka
√
√
16
Storm
√
√
√
17
Elasticsearch
√
√
18
DK-ESSQL
√
19
DK-NLP
√
20
DK-SPIDER
√
34
HttpFS
√
35
Sentry
√
36
Sahara
√
37
Myriad
√
38
TranswarpInceptor
√
39
TranswarpHyperbase
√
40
TranswarpStream
√
41
Ambari
√
二、组件简介:
1、Hadoop
简介:
集群根底组件,分为存储〔HDFS〕和计算〔Mapreduce〕两大局部。
apache社区开源。
技术来源于Google的GFS和Mapreduce。
2、Hbase
简介:
键-值非关系型数据库,apache社区开源。
是Google的Bigtable一个开源的实现。
3、Zookeeper
简介:
集群协调组件,已开源。
是Google的Chubby一个开源的实现。
4、Spark
简介:
内存计算框架,伯克利首先提出,现已开源。
5、Hive
简介:
基于HDFS的SQL工具,facebook开发,后开源。
6、Hue
简介:
图形化集群工具,cloudera开发,后开源。
7、Impala
简介:
基于HDFS的SQL工具,cloudera开发,后开源。
8、Sqoop
简介:
用于关系型数据库与NOSQL数据库之间的数据导入导出。
Cloudera开发,已开源。
9、Flume
简介:
用于数据流的导入,Cloudera开发,已开源。
10、Oozie
简介:
工作流系统,用于提交、监控集群作业。
Cloudera开发,已开源。
11、Solr
简介:
基于Lucene的全文搜索效劳器。
已开源。
12、Isilon
简介:
基于OneFs操作系统的存储产品,美国赛龙公司开发,后属于EMC,一种集群存储方案。
13、K-Vstoreindexer
简介:
为HBase到solr的索引中间件,为NGDATA公司开发,已开源。
14、ClouderaManager
简介:
CDH集群安装管理工具。
Cloudera开发。
15、kafka
简介:
消息队列组件。
已经开源。
16、Storm
简介:
流数据处理组件。
17、Elasticsearch
简介:
基于Lucene的全文搜索效劳器。
已开源。
18、ESSQL
简介:
基于Elasticsearch的SQL工具,大快开发。
19、DK-NLP
简介:
自然语言处理组件。
大快开发,已开源。
20、DK-SPIDER
简介:
分布式爬虫组件。
大快开发。
21、DKM
简介:
集群安装管理工具。
大快开发。
22、DK-DMYSQL
简介:
分布式MYSQL组件,大快改写。
23、ApacheFalcon
简介:
Falcon是一个面向Hadoop的、新的数据处理和管理平台,设计用于数据移动、数据管道协调、生命周期管理和数据发现。
24、ApacheKnox
简介:
Apacheknox是一个访问hadoop集群的restapi网关,它为所有rest访问提供了一个简单的访问接口点。
25、ApachePhoenix
简介:
Phoenix是HBase的SQL驱动。
26、ApachePig
简介:
Pig定义了数据流语言PigLatin,它是MapReduce编程抽象。
27、ApacheRanger
简介:
ranger是一个hadoop集群权限框架,提供操作、监控、管理复杂的数据权限,它提供一个集中的管理机制,管理基于yarn的hadoop生态圈的所有数据权限。
28、ApacheSlider
简介:
Slider是一个YARN应用,用于发布已有的分布式应用到YARN上,并对这些应用进行监控以及根据需要调整规模。
29、Tez
简介:
Tez支持DAG作业的计算框架,它直接源于MapReduce框架,核心思想是将Map和Reduce两个操作进一步拆分形成一个大的DAG作业。
30、ApacheDrill
简介:
ApacheDrill是一个低延迟的分布式海量数据〔涵盖结构化、半结构化以及嵌套数据〕交互式查询引擎,使用ANSISQL兼容语法。
31、MapR-DB
简介:
MapR开发
32、MapRStreams
简介:
MapR开发
33、Mahout
简介:
机器学习算法库,现已停止更新。
34、HttpFS
简介:
Cloudera开发的基于http协议的HDFS操作组件。
35、Sentry
简介:
ApacheSentry是Cloudera公司发布的一个Hadoop开源组件,截止目前还是Apache的孵化工程,它提供了细粒度级、基于角色的授权以及多租户的管理模式。
36、Sahara
简介:
Sahara旨在为用户提供简单部署Hadoop集群的能力,提供在OpenStack上快速配置和部署Hadoop集群的能力。
37、Myriad0.1.0
简介:
Myriad是一个Mesos框架用来动态扩展YARN集群,并支持运行Hadoop应用,如Spark和非Hadoop应用,如Node.js、Memcached、RoR等。
38、TranswarpInceptor
简介:
由ApacheSpark改写,TranswarpInceptor交互式分析引擎提供高速SQL分析和R语言数据挖掘能力,可帮助企业建立高速可扩展的数据仓库和/或数据集市,结合多种报表工具提供交互式数据分析、即时报表和可视化能力。
星环开发。
39、TranswarpHyperbase
简介:
TranswarpHyperbase实时数据库是建立在ApacheHBase根底之上,融合了多种索引技术、分布式事务处理、全文实时搜索、图形数据库在内的实时NoSQL数据库。
星环开发。
40、TranswarpStream
简介:
TranswarpStream实时流处理引擎提供了强大的流计算表达能力,支持复杂的应用逻辑,生产系统的消息通过实时消息队列进入计算集群,在集群内以流水线方式被依次处理,完成数据转换、特征提取、策略检查、分析告警等复杂效劳计算,最终输出到Hyperbase等存储集群,实时生成告警页面、实时展示页面等。
星环开发。
41、ApacheAmbari
简介:
Ambari创立、管理、监视Hadoop的集群,是为了让Hadoop以及相关的大数据软件更容易使用的一个web工具。
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 最新 CDHHDPMAPRDKH 组件 比较