Secondo la Global Data Management Community (DAMA) la Data Quality “consiste nella pianificazione, implementazione e controllo delle attività che applicano tecniche di gestione della qualità dei dati, al fine di garantire che siano adatti allo scopo e soddisfino le esigenze degli utilizzatori.”
Ma perchè un’azienda dovrebbe dotarsi di un sistema di Data Quality?
Secondo Gartner (Gartner: “5 Steps to Build a Business Case for Continuous Data Quality Assurance”, 20 Aprile 2020, Saul Judah, Alan D. Duncan, Melody Chien, Ted Friedman) “la scarsa qualità dei dati distrugge il valore del business. Una recente ricerca indica che le organizzazioni stimano il costo medio della scarsa qualità dei dati a 10,8 milioni di dollari all’anno. Questo numero è destinato ad aumentare man mano che gli ambienti di business diventano sempre più digitalizzati e complessi”.
Le informazioni sono la base di ogni processo aziendale e la qualità dei dati che vengono raccolti, memorizzati e utilizzati condizionano inevitabilmente il business dell’organizzazione di oggi e domani. Insomma, la scarsa qualità dei dati distrugge il valore del business perché dai dati si arriva alle informazioni che costituiscono la conoscenza e generano le intuizioni di business che portano ad un vantaggio competitivo e garantiscono il posizionamento di mercato. È paragonabile alle fondamenta di una casa, solo se sono solide possiamo aspettarci di resistere anche ai terremoti.
Date di nascita valorizzate nel 2190, sequenze di numeri identici come partite iva, indirizzi costituiti dalla sola indicazione della via. Queste sono solo alcune delle anomalie presenti nei database di un’azienda, ma se un indirizzo errato può tradursi in un mancato contatto con un cliente o potenziale tale generando una perdita, conseguenze differenti si avranno quando un dato errato viene utilizzato nella determinazione del profilo di rischio. Ancor più pericolosa è la consegna al management di report contenenti dati non corretti che possono portare a decisioni strategiche “distorte” e a impatti sulle prestazioni finanziarie dell’organizzazione.
Tutto ciò genera, inoltre, tra i dipendenti grande sfiducia nei confronti dei dati minando la credibilità degli stessi e il loro utilizzo.
Per poter essere competitivi è essenziale costruire un sistema di verifica della qualità dei dati in modo da disporre di informazioni affidabili per l’utilizzo business a cui sono destinate, rispettando i tempi di cut-off del processo, nonché essere in grado di attivare azioni diagnostiche ben architettate e di rimozione strutturale delle anomalie riscontrate.
Quali sono le modalità di applicazione e i maggiori criteri di controllo?
Realizzare un sistema di Data Quality è un’attività a lungo termine. Entrare nel dettaglio di ogni fase richiederebbe la stesura di un libro, ma in sintesi possiamo riassumere alcuni passi principali:
- La definizione di una policy aziendale che illustri le “regole del gioco” per tutti gli attori coinvolti;
- l’individuazione di ambito pilota sul quale identificare i dati presenti nelle varie fasi del processo sui quali eseguire opportune fasi di trasformazione e di controllo utilizzando un sistema a regole, anche espresse in linguaggio naturale (regole tecniche, ad es. verifica del rispetto formato data e di business, ad es. un prestito estinto ha saldo uguale a zero o di riconciliazione, dopo aver opportunamente normalizzato i dati da confrontare);
- manutenere a regime l’impianto e monitorare l’andamento della qualità dei dati dotandosi di una serie di indicatori a supporto;
- intraprendere eventuali attività di rimozione delle anomalie rilevate e di miglioramento strutturale;
- ampliare a nuove destinazioni d’uso.
La parte più impegnativa, in termini di tempo necessario, è probabilmente la definizione degli impianti di controllo che verificano la conformità dei dati ad una serie di criteri, producono esiti e consentono di intercettare i dati anomali. Nel 2013 DAMA UK (DAMA-DMBOK Capitolo 13) ha identificato sei dimensioni rispetto a cui far convergere i controlli tecnici e di business:
- Completezza: la percentuale di dati archiviati rispetto al potenziale del 100%;
- Unicità: nessuna istanza (cosa) dell’entità verrà registrata più di una volta in base al modo in cui tale cosa viene identificata;
- Tempestività: il livello a cui i dati rappresentano la realtà nel momento richiesto;
- Validità: i dati sono validi se sono conformi alla sintassi (formato, tipo, intervallo) della sua definizione;
- Accuratezza: il livello in cui i dati descrivono correttamente l’oggetto o l’evento “mondo reale” che viene descritto;
- Consistenza: l’assenza di differenza, quando si confrontano due o più rappresentazioni di una “cosa” con una definizione.
I criteri sopra elencati rappresentano ovviamente soltanto una selezione di un insieme più ampio di criteri di qualità dei dati noti in letteratura.
Come strutturare metriche e indicatori di Data Quality?
Il corretto funzionamento a regime e il miglioramento delle prestazioni del sistema di Data Quality non possono prescindere dalla disponibilità di una serie di misure: non è possibile migliorare se non si misura. Un sistema di metriche deve rappresentarne le esigenze informative primarie:
- è bene individuare poche misure chiave e concentrare su di esse l’attività di reporting. Se è vero che “non si può gestire quello che non si può misurare” è anche vero che “misurare costa”;
- in linea generale, è bene che le metriche siano il più possibile riunite a sistema, cioè coese e collegate le une alle altre da uno schema logico. È bene ricercare sempre una consistenza nei termini e nelle definizioni delle metriche;
- il sistema deve essere bilanciato, cioè comprendere varie tipologie e prospettive, pesandole per rappresentatività;
- è bene presentare le metriche suddivise in gruppi o tipologie affini;
- lo scopo delle metriche di un sistema di Data Quality non è quello di misurare la produttività o la qualità delle persone o stimolare la competizione tra le persone/uffici, ma di misurare la qualità del prodotto (i dati) e dei processi. Ad esempio: anziché misurare il numero di flussi validati al giorno è meglio misurare il numero di flussi senza errori. La misurazione delle prestazioni delle persone può essere una tentazione, ma è sicuramente una delle cose più dannose per un’iniziativa di qualità. L’unica eventuale misurazione di prestazione accettabile è a livello di gruppo di lavoro;
- una metrica dovrebbe sempre essere validata empiricamente in una varietà di contesti prima di essere pubblicata.
Perché Irion EDM è un supporto tecnologico prezioso per strutturare un impianto di Data Quality efficace?
Un sistema di qualità, con il crescere del numero di ambiti informativi da controllare e del numero di controlli da gestire, qualificare, eseguire periodicamente, misurare trova un supporto irrinunciabile nell’impiego di strumenti tecnologici che ne automatizzino le fasi più impegnative, quali, ad esempio, l’esecuzione periodica dei controlli, il calcolo delle metriche di qualità, la produzione di reportistica.
Irion ha realizzato moltissimi progetti in questo ambito, sviluppando una piattaforma che permette di ridurre i tempi di predisposizione e accelerare l’applicazione delle procedure di controllo nel pieno rispetto delle policy aziendali. Qualche esempio?
- potenti motori di controllo che eseguono 2,5 milioni di controlli al minuto, verificando oltre 60 milioni di record;
- un impianto flessibile di Data Quality Governance collaborativo per le interazioni tra i vari data specialist;
- un efficace sistema per la gestione della remediation e delle issue di scarsa qualità dei dati;
- un modulo che permette di adottare metriche già testate da varie realtà o di definire, calcolare e analizzare qualunque tipologia di indicatore su qualunque tipologia di processo di business;
- automatismi per generare intelligentemente, in pochi secondi, le regole tecniche a partire dai metadati.
