“Data Fabrics Add Augmented Intelligence to Modernize Your Data Integration” è la nuova ricerca Gartner per i leader di data e analytics. Gartner ha individuato Irion EDM tra le piattaforme di Data Fabric ready.
Il Data Management sta evolvendo rapidamente.
Il mercato richiede sempre di più piattaforme integrate in grado di:
- trasformare i metadati da passivi ad attivi e gestirli;
- erogare molteplici servizi di Data Management;
È un cambio di paradigma dirompente rispetto alle tecnologie tradizionali di Data Management, che ricade in un nuovo modello, il Data Fabric.
Le piattaforme devono mettere a disposizione funzionalità complete per gestire dati eterogenei per formato, tipologia, collocazione, volumi, velocità e metadati sempre più connessi alle funzioni attuative.
Irion EDM è fondato su un paradigma originale e su tecnologie proprietarie e già ora è in grado di rispondere ai principali requisiti di questo nuovo modello. È una piattaforma facile da utilizzare, interamente sviluppata con tecnologie Microsoft e che valorizza le competenze SQL già presenti in azienda.
Cos’è il Data Fabric
Il Data Fabric è rappresentabile come architettura basata su una trama di servizi, microservizi e componenti di Data Management e Data Integration, altamente riusabili.
Una caratteristica di questi elementi è quella di poter essere realizzati in modo autonomo da un singolo team di sviluppo e di poter poi essere integrati con altri, attraverso opportuni protocolli di comunicazione/collaborazione a comporre soluzioni complesse.
Come Irion EDM risponde alle richieste del Data Fabric
Irion EDM consente, tra l’altro, di scomporre una soluzione di Data Management in una serie di unità di lavoro specializzate, moduli auto-consistenti in grado di produrre un output applicando un trattamento specifico ad un dato insieme di dati in input, grazie alla tecnologia proprietaria denominata DELT® (Declarative Extract Load & Transform®).
Ogni modulo può essere gestito autonomamente da un team di sviluppo. L’esecuzione dei moduli della soluzione viene orchestrata runtime dal sistema in funzione delle condizioni di contesto della singola istanza di esecuzione.
Il grafo dinamico di esecuzione può essere visualizzato interattivamente (DELT® Graph).
I nodi del grafo possono essere realizzati in linguaggi differenti: Irion EDM consente nativamente di realizzare componenti in SQL, MS-Powershell, R, Python. È possibile realizzare moduli scritti in altri linguaggi/ambienti. L’utilizzatore può scegliere le modalità di comunicazione/collaborazione ottimale per integrarli nella soluzione considerando:
- le caratteristiche tecnologiche;
- i volumi;
- le performance;
- la business continuity;
Adottare un modello Data Fabric consente di creare soluzioni di Data Management, by design, che gestiscano accessi e processi in un unico ambiente integrato con:
- diverse organizzazioni dati (DB relazionali, flussi, data lake…);
- differenti ubicazioni (on cloud, on premises, hybrid);
e per profili con diverse competenze (data engineer, data scientist, business analyst,…).
Irion EDM è in grado di connettersi ad un elevatissimo numero di fonti: sono disponibili centinaia di connettori alle strutture informative e ai sistemi applicativi più disparati, da quelli più datati ai più moderni, strutturati e non strutturati. Connettori specifici possono essere sviluppati grazie a potenti funzionalità incluse nella piattaforma. Tutti i dati disponibili nelle differenti fonti sono accessibili dai moduli come tabelle virtuali.
Grazie ad IsolData® (altra tecnologia proprietaria) i dati elaborati dai moduli dell’applicazione non persistono nel sistema, ma vengono automaticamente gestiti senza che questo richieda lo sviluppo di codice. IsolData® è infatti la capacità di Irion di isolare in uno spazio di lavoro dedicato, tutto ciò che serve (input, output, dati temporanei) per eseguire una singola unità di elaborazione di una soluzione. In IsolData® le tabelle temporanee vengono create automaticamente e cancellate quando non sono più necessarie. Ma se alcuni dati, creati durante l’elaborazione, sono necessari per un uso futuro (ad es. controlli di qualità dei dati che coinvolgono dati storici), è anche possibile salvare questi dati in un’area persistente.
L’importanza di essere Metadata Driven
Irion EDM è costruito su un modello di Data Management guidato da metadati, con una serie di motori pilotabili attraverso metadati “operativi”. Ogni motore è specializzato in una particolare tecnica di Data Management. Irion EDM usa i metadati, che sono parte essenziale della soluzione di Data Management, per:
- navigarli grazie ad un’interfaccia grafica;
- determinare il comportamento dei motori attivi nella soluzione;
- generare la documentazione automatica in linguaggio naturale (al volo, in modo che sia sempre fedelmente aggiornata).
Irion EDM consente di fruire di un ambiente collaborativo. Attraverso la stessa interfaccia grafica gli utenti possono definire altri metadati creando nuove entità, attributi, legami in funzione di obiettivi, viste, prospettive di interesse di differenti comunità aziendali (business e IT). I metadati definiti dagli utenti possono essere collegati in un modello integrato con quelli operativi che guidano il funzionamento dei motori. È possibile quindi costruire liberamente più livelli di astrazione e collegarli attraverso legami “verticali” che costituiscono un ponte di comunicazione tra i diversi linguaggi aziendali e abilitano un utilizzo attivo dei metadati. Il modello può essere, inoltre, ulteriormente arricchito con metadati alimentati da informazioni gestite internamente o esternamente a Irion, relativi a fenomeni dinamici quali:
- la frequenza di accesso;
- le piattaforme accessibili;
- i volumi;
- i pattern di impiego.
La presenza nella piattaforma di R e Python consente di realizzare funzioni per l’analisi evoluta (AI/ML) di questi fenomeni. Queste analisi possono individuare una serie di casi d’uso da impiegare attivamente nel sistema come, ad esempio, la possibilità di rendere disponibili agli utenti di un determinato dominio i dati di proprio interesse, anche suggerendogliene di nuovi, in modo semplice ed efficiente.
Irion, grazie al suo paradigma originale alle sue tecnologie proprietarie, è fin d’ora pronto a realizzare la nuova generazione di soluzioni data intensive.
Irion EDM è il telaio che abilita la realizzazione di sistemi Data Fabric.
È il Data Management a prova di futuro.
Vuoi approfondire il tema Data Fabric?
Leggi il documento di Ehtisham Zaidi, Eric Thoo, Guido De Simoni e Mark Beyer
https://www.gartner.com/document/3978267
L’Autore
Mauro Tuvo
Irion Principal Advisor
In Irion in qualità di Principal Advisor, Mauro Tuvo da oltre trent’anni supporta organizzazioni italiane ed europee nella gestione degli asset informativi, curando lo sviluppo e il presidio dell’offerta, il disegno delle soluzioni e lo sviluppo delle opportunità di business legate alle tematiche di Enterprise Data Management. Le sue attività si sono nel tempo concentrate su Data Quality, Data Governance e Compliance (GDPR, IFRS17, Regulatory Reporting), maturando negli anni una vasta esperienza nella definizione e nella applicazione di metodologie che lo vedono protagonista sul mercato e in contesti accademici e di indirizzo. Autore di testi, articoli e pubblicazioni su tematiche relative alla gestione dei dati, Mauro ha svolto attività di docenza in master e corsi di specializzazione presso le università di Padova, Pavia e Verona. Partecipa in qualità di relatore a convegni e seminari e, dal 2011, è membro dell’Osservatorio Information Governance di ABI Lab.
Potrebbe interessarti anche:
