· Manfredi Miraula · Case Study · 2 min read
Da ore a minuti: pipeline dati near real-time per una grande azienda farmaceutica
I dati operativi arrivavano con ore di ritardo per colpa di batch lenti, limitando le decisioni in tempo reale. Abbiamo ridisegnato la pipeline per garantire sincronizzazione near real-time — inclusi file binari fino a 4GB.
I dati che arrivano in ritardo non sono dati — sono storia.
In una grande azienda farmaceutica, le decisioni operative venivano prese su informazioni già vecchie di ore. I team conoscevano i numeri, ma i numeri non erano aggiornati. Il colpevole: un’architettura batch che aveva funzionato una volta, ma non riusciva più a stare al passo con il business.
Il problema
I team operativi avevano bisogno di accedere ai dati in tempo utile per guidare le decisioni. Ma la pipeline esistente elaborava i dati in batch lenti e monolitici — aggiornandosi solo periodicamente e creando un ritardo che rendeva l’analisi in tempo reale impossibile.
La sfida era aggravata da un vincolo tecnico: il sistema doveva gestire anche file binari fino a 4GB, non solo record tabellari. Le soluzioni di streaming standard non erano progettate per questo.
Ogni ora di ritardo significava decisioni prese sulla realtà di ieri.
La soluzione
Abbiamo ridisegnato la pipeline dati da zero con un’architettura near real-time su Azure Service Bus:
- Ingestion event-driven — i flussi di dati si attivano automaticamente al cambiamento della sorgente, non su schedule fissa
- Elaborazione incrementale — vengono processati solo i record modificati, riducendo drasticamente il carico computazionale e la latenza
- Sincronizzazione file binari — uno strato custom gestisce payload binari di grandi dimensioni (fino a 4GB) con sincronizzazione near real-time
- Osservabilità completa — monitoring e alerting su salute della pipeline, latenza e qualità del dato in ogni fase
Abbiamo costruito sull’infrastruttura esistente del cliente, evitando interruzioni ai consumer downstream durante la migrazione.
I risultati
- Dati disponibili in minuti, non in ore
- Sincronizzazione near real-time di file binari fino a 4GB
- Decisioni operative migliorate grazie a dati correnti e affidabili
- Zero interruzioni ai consumer downstream esistenti durante la migrazione
Il principio che si applica ovunque
Il batch processing è spesso la scelta giusta di default — finché il business non lo supera. Quando i tuoi team prendono decisioni su dati obsoleti, il problema non sono le persone — è l’architettura.
Una riprogettazione mirata può sbloccare capacità che prima erano semplicemente impossibili.
I dati lenti frenano il tuo team? Scrivici — valutiamo insieme se un approccio simile ha senso per voi.