Apache Hadoop - Wikiwand
For faster navigation, this Iframe is preloading the Wikiwand page for Apache Hadoop.

Apache Hadoop

维基百科,自由的百科全书

此条目的引用需要进行清理,使其符合格式。 (2017年11月22日)参考文献应符合正确的引用、脚注及外部链接格式。
Apache Hadoop
开发者 Apache软件基金会
初始版本 2006年4月1日,​14年前​(2006-04-01[1]
稳定版本
3.0.0
(2017年12月13日 (2017-12-13)[2]
预览版本
3.0.0-alpha4
(2017年7月7日 (2017-07-07)[2]
原始码库 编辑维基数据链接
编程语言 Java
操作系统 跨平台
类型 大数据分布式系统
许可协议 Apache许可证 2.0
网站 hadoop.apache.org

Apache Hadoop是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop是根据Google公司发表的MapReduceGoogle文件系统的论文自行实现而成。所有的Hadoop模块都有一个基本假设,即硬件故障是常见情况,应该由框架自动处理。

Hadoop框架透明地为应用提供可靠性和数据移动。它实现了名为MapReduce的编程范式:应用程序被分割成许多小部分,而每个部分都能在集群中的任意节点上运行或重新运行。此外,Hadoop还提供了分布式文件系统,用以存储所有计算节点的数据,这为整个集群带来了非常高的带宽。MapReduce和分布式文件系统的设计,使得整个框架能够自动处理节点故障。它使应用程序与成千上万的独立计算的电脑和PB级的数据连接起来。现在普遍认为整个Apache Hadoop“平台”包括Hadoop内核、MapReduce、Hadoop分布式文件系统(HDFS)以及一些相关项目,有Apache Hive和Apache HBase等等。

主要子项目

Hadoop小电脑集群用Cubieboard电脑。
Hadoop小电脑集群用Cubieboard电脑。
  • Hadoop Common:在0.20及以前的版本中,包含HDFS、MapReduce和其他项目公共内容,从0.21开始HDFS和MapReduce被分离为独立的子项目,其余内容为Hadoop Common
  • HDFS:Hadoop分布式文件系统(Distributed File System)-HDFS(Hadoop Distributed File System)
  • MapReduce:并行计算框架,0.20前使用org.apache.hadoop.mapred旧接口,0.20版本开始引入org.apache.hadoop.mapreduce的新API

相关项目

知名用户

Hadoop在Yahoo!的应用

2008年2月19日,雅虎使用10,000个微处理器核心的Linux电脑集群运行一个Hadoop应用程序。[3]

其他用户

其他知名用户包括[4]

Hadoop与Sun Grid Engine

昇阳电脑的Sun Grid Engine可以用来调度Hadoop Job。[5][6]

Hadoop与Condor

威斯康辛大学麦迪逊分校的Condor电脑集群软件也可以用作Hadoop Job的调度。[7]

参见

参考文献

  1. ^ Hadoop Releases. apache.org. Apache Software Foundation. [2019-04-28]. 
  2. ^ 2.0 2.1 Hadoop Releases. Hadoop.apache.org. [2017-11-17]. 
  3. ^ Yahoo! Launches World's Largest Hadoop Production Application (Hadoop and Distributed Computing at Yahoo!) 互联网档案馆存档,存档日期2008-05-14.
  4. ^ PoweredBy. [2008-09-07]. (原始内容存档于2012-11-29). 
  5. ^ Creating Hadoop pe under SGE. Sun Microsystems. 2008-01-16. (原始内容存档于2008-09-12). 
  6. ^ HDFS-Aware Scheduling With Grid Engine (PDF). Sun Microsystems. 2009-09-10. [永久失效链接]
  7. ^ Condor integrated with Hadoop's Map Reduce (PDF). 威斯康辛大学麦迪逊分校. 2010-04-15. 

外部链接

{{bottomLinkPreText}} {{bottomLinkText}}
Apache Hadoop
Listen to this article