Apache Hadoop

Apache Hadoop is een open source softwareframework voor gedistribueerde opslag en verwerking van grote hoeveelheden data met behulp van het MapReduce paradigma. Hadoop is als platform een drijvende kracht achter de populariteit van big data.^[2] Het draait op een cluster van computers dat bestaat uit commodity hardware. In het ontwerp van de Hadoop-softwarecomponenten is rekening gehouden met uitval van systemen in een cluster, door o.a. data te repliceren en te verspreiden over meerdere computers/opslagmedia.

Apache Hadoop
Ontwerper(s)	Doug Cutting, Mike Cafarella
Ontwikkelaar(s)	Apache Software Foundation
Uitgebracht	1 april 2006 (19 jaar)
Recentste versie	3.4.1 (18 oktober 2024)[1]
Status	Actief
Besturings­systeem	multiplatform, POSIX
Geschreven in	Java
Categorie	Gedistribueerd bestandssysteem
Licentie(s)	Apache License 2.0
Versiebeheer	Officiële broncode
Website	Projectpagina
Portaal    Informatica Vrije software

Modules

Hadoop bestaat in de basis uit de volgende modules:

• Hadoop Common - een verzameling softwarebibliotheken die door de overige modules gebruikt worden;
• Hadoop Distributed File System (HDFS) - het gedistribueerde bestandssysteem dat bestanden gedistribueerd over de systemen in het cluster opslaat;
• Hadoop YARN (sinds versie 2.0) - de resource manager die beschikbare systeembronnen toewijst aan de applicaties die op Hadoop draaien;
• Hadoop MapReduce - een implementatie van het MapReduce-paradigma voor het op grote schaal verwerken van data.

Applicaties

Naast deze basismodules is er een groot aantal applicaties ontwikkeld voor gebruik in of op Hadoop. Veelgebruikte applicaties zijn Apache Hive, Apache Pig, Apache HBase, Apache Phoenix, Apache Spark, Apache Flume, Apache Oozie, Apache Zookeeper, Apache Sqoop en Apache Storm. Met de naam Hadoop wordt daarom vaak niet alleen het framework, maar het hele ecosysteem van applicaties rondom het framework bedoeld.