Nell'era dei Big Data, l'archiviazione e il recupero efficiente delle informazioni sono sfide cruciali per qualsiasi organizzazione. Due tecnologie chiave che rispondono a queste esigenze sono Apache Impala e Apache Parquet. Apache Parquet è un formato open-source di file di dati a colonne, pensato per lo stoccaggio e il recupero efficiente dei dati. Offre una compressione efficiente dei dati e schemi di codifica con prestazioni avanzate per gestire dati complessi in massa. Quando si accoppia questo formato con un motore di interrogazione rapido come Impala, si ottengono prestazioni straordinarie per le query analitiche.
In questa guida approfondiremo il funzionamento di Parquet, come integrarlo con Impala e le migliori pratiche per ottimizzare le prestazioni del tuo Data Lake.
Cos'è Apache Parquet e Perché Usarlo?
In questa piccola guida, ti porteremo per mano alla scoperta del formato Parquet e ti spiegheremo cos’è. È un formato di archiviazione ottimizzato per lavorare con dati complessi e voluminosi. Apache Parquet è stato sviluppato da zero, pertanto può supportare strutture di dati nidificate avanzate. Parquet è progettato per offrire opzioni di compressione flessibili e schemi di codifica efficienti.
Lo stoccaggio colonnare utilizzato da Apache Parquet è pensato per offrire maggiore efficienza rispetto ai formati strutturati a righe come CSV. I database colonnari memorizzano i dati raggruppando le colonne anziché il database standard basato su righe che raggruppa per righe. Invece di raggruppare righe come un foglio di calcolo Excel o un database relazionale standard, un file Apache Parquet raggruppa le colonne per prestazioni più veloci.
Parquet vs CSV: Un Confronto Pratico
CSV è un formato semplice e comune utilizzato da numerosi strumenti quali Excel, Fogli Google e molti altri. Tuttavia, presenta forti limiti con grandi volumi di dati:
Leggi anche: Manutenzione parquet cerato
- In un file CSV, se vuoi accedere soltanto alla colonna "Età" per tutte le righe, il sistema deve leggere l’intero file, riga per riga, per estrarre l’informazione relativa.
- Viceversa ad un file Parquet, essendo organizzato per colonne, si può accedere direttamente, e anche esclusivamente, alla colonna "Età", senza dover leggere anche le altre colonne. Questo approccio è particolarmente valido per le query che devono leggere colonne specifiche all'interno di una grande tabella.
- Poiché il tipo di dati in ogni colonna è molto simile, la compressione di ogni colonna è semplice (e questo rende le query ancor più veloci).
Di conseguenza, le query di aggregazione richiedono meno tempo rispetto ai database a righe. Quando si fa una query su un file a colonne, è possibile saltare i dati irrilevanti molto velocemente. Parquet aiuta gli utilizzatori a ridurre le necessità di stoccaggio di almeno un terzo per grandi set di dati; inoltre, migliora notevolmente i tempi di scansione e deserializzazione e, quindi, i costi complessivi.
---Integrazione con Apache Impala
Impala è un motore di query SQL MPP (Massive Parallel Processing) nativo per Apache Hadoop. Impala performs best when it queries files stored as Parquet format. The whole technology that Cloudera Impala is based on comes from the Google Dremel Whitepaper and in that paper you can find the concept that Parquet is based on. So just remember not to query json, csv or sequence files - parquet your files before you let analysts query them.
Impala vs Altre Soluzioni SQL-on-Hadoop
Impala vs. Hive
There’s nothing to compare here. These days, Hive is only for ETLs and batch-processing. Your analysts will get their answer way faster using Impala, although unlike Hive, Impala is not fault-tolerance. But that’s ok for an MPP engine. Impala is faster than Hive because it’s a whole different engine and Hive is over MapReduce (which is very slow due to its too many disk I/O operations).
Impala vs. SparkSQL
Yes, SparkSQL is much faster than Hive, especially if it performs only in-memory computations, but Impala is still faster than SparkSQL. It’s faster because Impala is an engine designed especially for the mission of interactive SQL over HDFS, and it has architecture concepts that helps it achieve that. For example the Impala ‘always-on’ daemons are up and waiting for queries 24/7 - something that is not part of SparkSQL. And some more reasons like Impala’s codegen mechanism, the Parquet format optimization, statistics, metadata cache, etc.
---Best Practices di Ottimizzazione per Impala e Parquet
Per massimizzare l'efficienza delle query su Impala utilizzando file Parquet, è fondamentale seguire alcune linee guida strategiche.
Leggi anche: Abbinare parquet e mobili bianchi: idee e consigli
1. Gestione delle Partizioni e Dimensione Ottimale dei File
Partition your data according to your analysts queries. Impala doesn’t have any indexes so that’s the only way to reduce the amount of data you process in each query. We use DT (date time) as the main partitioning method for most of our tables. Tuttavia, un eccesso di partizionamento può degradare le prestazioni.
Make sure you don’t have too many small files - it will hurt your catalog server, refreshes and query performance really badly. La dimensione ideale per un file Parquet in ambiente HDFS/Impala è di circa 256MB. File troppo piccoli aumentano drasticamente i metadati che il Catalog Server deve gestire e rallentano il tempo di scansione HDFS a causa dell'elevato numero di thread necessari per leggere i file.
2. Utilizzo del Predicate Pushdown
Uno dei vantaggi del formato di file storage Parquet è una strategia chiamata predicate pushdown. Con il predicate pushdown, il motore di database filtra i dati nelle prime fasi dell'elaborazione in modo che i dati più mirati vengano trasferiti lungo la pipeline. Grazie alla minore quantità di dati destinati a una query, migliora le performance delle query in modo significativo.
3. Calcolo delle Statistiche (Compute Stats)
Statistics will make your queries much more efficient, especially the ones that involve more than one table (joins). Therefore you should compute stats for all of your tables and maintain a workflow that keeps them up-to-date with incremental stats.
4. Tipi di Dati Corretti
L'uso del tipo di dato corretto per ogni colonna è fondamentale. Evita di definire tutte le colonne come STRING. Scegliere il tipo di dato più specifico e adatto ottimizza lo spazio occupato e velocizza l'esecuzione delle query su Impala.
Leggi anche: Armonia di Design: Cubo di Vetro
Confronto dei Formati di Archiviazione
La tabella seguente riassume le differenze principali tra i formati di file più comuni utilizzati nei Data Lake:
- CSV: Orientato alle righe, non supporta la compressione nativa per colonna, lento per query analitiche.
- Parquet: Orientato alle colonne, compressione elevata ed efficiente, ideale per query analitiche complesse e pushdown dei predicati.
Creazione di File Parquet con Python
I file Parquet sono facili da integrare anche al di fuori dell'ecosistema Hadoop. Ad esempio, puoi crearli nei tuoi script Python, a condizione di importare le librerie necessarie (come pandas e pyarrow):
Esempio di scrittura in Python:import pandas as pd
df = pd.DataFrame({'col1': [1, 2], 'col2': [3, 4]})
df.to_parquet('mytable.parquet', engine='pyarrow')
Il codice di cui sopra crea il file "mytable.parquet" e lo scrive nella tabella. Se intendi utilizzare file Parquet per Hadoop, Apache Spark o altri database compatibili, puoi automatizzare la creazione di file utilizzando Python o importare file nell'ambiente di database per l'analisi.