Apache Hive
From Wikipedia, the free encyclopedia
Remove ads
Apache Hive és un projecte de programari d'emmagatzematge, agrupament, gestió i anàlisi de dades construït sobre Apache Hadoop.[1] Apache Hive ofereix una interfície semblant a SQL per a consultar i fer anàlisi de dades emmagatzemades en diversos sistemes de fitxers i bases de dades. Inicialment desenvolupat per Meta Platforms (Facebook Inc. en aquell moment), l'eina és ara utilitzada per altres empreses com Netflix.[2][3] Amazon manté una derivació del programari Apache Hive inclosa en Amazon Elastic MapReduce, eina dels seus serveis AWS.[4]
Remove ads
Característiques
Apache Hive dona suport a l'anàlisi de grans conjunts de dades emmagatzemats amb Apache Hadoop i amb altres sistemes compatibles com el sistema d'emmagatzematge d'arxius Amazon S3. Ofereix un llenguatge de consultes basat en SQL anomenat HiveQL,[5] que permet llegir i convertir consultes de forma transparent a MapReduce, Apache Tez[6] i tasques Spark. Els tres motors d'execució tot just mencionats poden funcionar sota YARN. Per a accelerar les consultes, Apache Hive proveeix l'usuari d'índexs, que inclouen índexs de bitmaps. Altres característiques significatives de Hive són les següents:
- Diferents tipus d'emmagatzematge, com text, RCFile, HBase, ORC i d'altres.
- Emmagatzematge de metadades en bases de dades relacionals, fet que permet reduir el temps emprat en verificacions semàntiques durant l'execució de consultes.
- Operacions sobre dades comprimides emmagatzemades en l'ecosistema Hadoop fent servir algoritmes com el Deflate, BWT, Snappy i d'altres.
- Funcions definides per l'usuari (comunament UDF, de l'anglès User-Defined Functions), per a manipulació de textos, dates, i altres tipus de memòria. Apache Hive també permet estendre les UDF, propietat útil per a lidiar amb casos no contemplats inicialment per les funcions.
Per defecte, Hive emmagatzema les seves metadades en una base de dades Apache Derby, però pot ser configurat per a utilitzar MySQL.[7]
Remove ads
Referències
Wikiwand - on
Seamless Wikipedia browsing. On steroids.
Remove ads