Apache Spark

Spark on Apache Software Foundationin avoimen lähdekoodin ohjelmisto yleiskäyttöiseen klusteripohjaiseen laskentaan.

Spark
Kehittäjä	Apache Software Foundation
Kehityshistoria
Vakaa versio	4.0.0 (19. toukokuuta 2025)[1]
Tiedot
Ohjelmointikielet	Scala, Java, Python, R, SQL ja Java Database Connectivity
Lisenssi	Apache-lisenssi, versio 2.0 ja BSD-lisenssi
Aiheesta muualla
Verkkosivusto
Versiohallinta
Infobox OK

Spark laajentaa ja yleistää MapReducen käyttöä ns. Big data käytössä ja mahdollistaa laajemman eri muotoisten tietolähteiden käytön (esimerkiksi tekstitiedostot ja SQL-kyselyt).

Spark tarjoaa ohjelmointirajapinnat muun muassa Java, Python, R ja Scala -kielille ja sitä voidaan käyttää Apache Hadoop ja Apache Mesos -klustereissa.^[2] Spark on usein mukana Hadoopin kanssa, mutta on korvannut MapReducen käytön nopeusedun vuoksi.^[2]

Spark käyttää välimuistina RAM-muistia eikä tiedostojärjestelmää kuten Hadoop, minkä ansiosta Sparkilla on mahdollista käsitellä tapauksia, joita Hadoopilla ei voi.^[3] Pienissä kuormituksissa Spark voi olla sata kertaa nopeampi.^[3]