Attività Didattica

• [2002 - 2010]: Calcolabilità e Complessità , 76 ore, 12 CFU;
• [2002 - 2012]: Algoritmi e Strutture Dati , 108 ore, 12 CFU;
• [2003 - 2007]: Applicazioni di Sistemi Distribuiti , 28 ore, 3 CFU;
• [2010 - oggi]: Sistemi Operativi , 96 ore 10 CUF;

Attività Scientifica

Le simulazioni numeriche sono da anni ampiamente utilizzate in parecchie aree della scienza, ed in particolare in quei casi in cui la complessità del sistema da studiare non permette di ottenere predizioni significative con tecniche di calcolo analitiche. Nell'ambito della fisica teorica, alcuni esempi significativi sono rappresentati dalla teoria della Cromodinamica Quantistica (QCD), basata sulla teoria di Gauge su reticolo (LGT), per lo studio delle interazione delle particelle elementari della materia, dalle Equazioni di Boltzmann per lo studio della fluidodinamica, e dalla teoria degli Spin Glass per lo studio di sistemi disordinati complessi, come i materiali ferro-magnetici. Predizioni quantitative per questi problemi possono essere ottenute solamente mediante estensive simulazioni Monte Carlo, per le quali è necessario utilizzare sistemi ad elevata potenza di calcolo e massicciamente paralleli.

L'attività di ricerca può divisa in due filoni principali:

• nel primo mi sono dedicato alla progettazione di sistemi di calcolo ottimizzati per applicazioni scientifiche a parallelismo massiccio e ad alte prestazioni. Questa attività è stata principalmente svolta tra il 1997 e 2009 nell'ambito dei progetti APE, JANUS e QPACE;

• nel secondo mi sono dedicato allo studio e la modellazione delle perfomance di processori multi-core e many-core per applicazioni scientifiche, come ad esempio simulazioni Monte Carlo di fluido-dinamica mediante modelli di Lattice-Boltzmann, e simulazioni di sistemi di Spin Glass.

Progetto APE (1997-2004)

Nell'ambito dei progetti APE sono stato coinvolto nelle seguenti attività:

• progettazione VLSI. Ho contribuito alla progettazione e al test dei processori dei sistemi APEmille e apeNEXT. Ho anche sviluppato una ambiente di test per il controllo di tutte le funzionalità dei chip e ho eseguito un ampio numero di simulazioni funzionali dei chip modellati tramite il linguaggio VHDL.

• sviluppo del compilatore. Ho coordinato lo sviluppo del generatore e ottimizzatore di microcodice denominato shaker, fondamentale per ottenere elevate prestazioni di calcolo. Il generatore e ottimizzatore di codice costituisce l'ultimo passo della catena di compilazione dei sistemi APE, e traduce il programma assembly, generato dal compilatore, in codice eseguibile dalla macchina. Durante tale processo, traduce ogni istruzione assembly in un micro-programma composto da una o più istruzioni VLIW (Very Long Instruction Word). Successivamente, schedula le micro-istruzioni in modo da massimizzare l'efficienza di esecuzione, compattando in ogni parola VLIW il massimo numero possibile di micro-istruzioni, rispettando sia le dipendenze logiche tra le istruzioni che i vincoli imposti dall'hardware. Il microcodice così ottenuto viene passato all'allocatore dei registri, altro passo dello shaker, il quale mappa i registri virtuali sui registri fisici della macchina.

• sviluppo del sistema operativo. Ho coordinato la progettazione, sviluppo ed implementatazione del sistema operativo dei sistemi APE denominato CAOS (Cool Ape Operating System). Il sistema operativo si occupa del caricamento del programma, del data IO e dell'exception handling, sulle varie partizioni della macchina, ognuna delle quali lavora con un singolo programma in esecuzione. CAOS è quindi un sistema relativamente semplice, comparato a tradizionali sistemi operativi, ma deve curare in particolare l'efficienza di Input-Output della macchina, che ha un ruolo chiave nella efficienza globale dei programmi di LGT, caratterizzati da grossi volumi di dati.

• sviluppo ed ottimizzazione di applicazioni di simulazione di fisica teorica. Ho frequentemente collaborato con gruppi di ricerca di fisica, in Germania ed in Italia, per l'analisi, sviluppo ed ottimizzazione di programmi di simulazione. Mi sono occupato, soprattutto in collaborazione con il gruppo LGT di Pisa e di DESY, della ottimizzazione dei programmi di LGT e dello sviluppo di programmi di soluzione numerica delle equazioni della dinamica dei fluidi in regime turbolento.

• Computing for LQCD: Ape NEXT
• The apeNEXT project
• apeNEXT: A Multi-TFlops computer for elementary particle physics
• Self-diagnostic tools of the APEmille parallel machine

Progetto Janus (2005-2008)

Scopo del progetto è stato quello di realizzare un sistema di calcolo parallelo ottimizzato per simulazioni Monte Carlo di sistemi altamente disordinati come gli Spin Glass, rilevanti nell'area della fisica della materia dello stato solido (condensed matter physics) e dell'ottimizzazione.

Le prestazioni delle simulazioni dei sistemi di calcolo commodity non sono sufficienti a soffisfare le richieste computazionali per lo studio dei sistemi di Spin Glass. Tale limitazione è principalmente dovuta al fatto che i kernel di calcolo degli algoritmi di simulazione effettuano prevalentemente operazioni su variabili singolo bit (rappresentanti i valori degli spin) per cui una implementazione su processori con architetture standard risulta poco efficiente. Inoltre, l'elaborazione di un singolo spin richiede il valore di almeno altri 7 valori single-bit, il numero esatto dipende dall'algoritmo di simulazione utilizzato, per cui la banda passante verso la memoria limita il numero di spin che possono essere aggiornati in parallelo.Janus è un sistema parallelo eterogeneo composto da 16 schede ognuna delle quali contiene 16 processori FPGA-based, denominati scientific processor (SP), e 1 processore di I/O anch'esso realizzato mediante una FPGA. L'idea di Janus è quella di permettere l'implementazione di algoritmi di simulazione Monte Carlo di spin glass in hardware, ovvero su un dispositivi elettronici le cui funzionalità sono programmabili mediante un linguaggio di descrizione hardware come il VHDL. In questo modo è possibile definire ed allocare su una singola FPGA circa un migliaio di motori di update, ognuno dei quali effettua calcoli su singoli bit ed ha accesso ad una memoria privata.

Nell'ambito del progetto Janus ho contribuito alla definizione dell'architettura del sistema, e sono stato responsabile per il coordinamento dello sviluppo del sistema di IO, per scambiare dati da e verso l'host. Ho quindi sviluppato un modulo che realizza una interfaccia gigabit ethernet, un driver linux, un protocollo di comunicazione, e una libreria di funzioni che permettono all'utente di caricare il programma sui processori della macchina, monitorare la loro esecuzione ed effettuare il download e l'upload dei dati.A Febbraio 2008 è stato assemblato presso l'istituto BIFI un sistema Janus di 256 processori. L'intero sistema ha una potenza di calcolo complessiva, per applicazioni di simulazione di Spin Glass, di circa 75 Tera-ops, ed un rapporto performance per Watt di circa 7.5 Giga-ops/Watt.

Janus ha permesso per la prima volta di simulare un sistema di Spin Glass per un tempo dell'ordine di 1 secondo, contribuendo a verificare e capire meglio i risultati sperimentali. Tali risultati sono stati pubblicate su varie referenze. In merito a tali pubblicazioni desidero precisare che, trattandosi di pubblicazioni di pura fisica, sono stato inserito nella lista degli autori come segno di riconoscimento della comunità di Spin Glass per il mio contributo dato nella realizzazione del sistema di calcolo utilizzato per le simulazioni Monte Carlo.

Pubblicazioni rilevanti per questa attvità sono:

• Reconfigurable computing for Monte Carlo simulations: results and prospects of the Janus project
• Janus: An FPGA-Based System for High-Performance Scientific Computing
• Ianus: An adaptive FPGA computer

Progetto QPACE (2007-2009)

Tale studio ha dimostrato che è possibile definire un'equazione di bilanciamento la cui soluzione permette di partizionare in modo ottimale l'area del chip tra unità di storage (memoria on-chip) e unità funzionali. L'equazione di bilanciamento può essere utilizzata sia per valutare se l'architettura di processori esistenti soddisfa i requisiti computazionali di applicazioni LQCD, sia come linea guida per la progettazione di processori application-driven di futura generazione.

I risultati di tale ricerca hanno messo in evidenza che l'architettura del processore Cell, sviluppato inizialmente per il mercato dei video-game, se opportunamente programmato, soddisfa con alta efficienza le richieste computazionali di applicazioni LQCD, ed hanno dato origine alla proposta di progetto QPACE, di cui sono co-autore, per la realizzazione di un sistema di calcolo Petaflop scaling ottimizzato per applicazioni LQCD.

QPACE è un progetto finanziato dal governo tedesco, tramite il programma SFB, e da IBM, ed è iniziato formalmente a Gennaio 2008. Hanno partecipano al progetto le Università di Regensburg, Wuppertal, Ferrara e Milano, l'istituto JSC di Juelich, e l'istituto DESY di Zeuthen. Scopo del progetto è quello di sviluppare un sistema di calcolo parallelo per applicazioni scientifiche di fisica teorica, ed in particolare per applicazioni di Lattice QCD, interconnettendo i processori IBM-PowerXCell8i mediante una griglia mesh-3D derivante dall'esperienza del progetto apeNEXT.

Su una scheda di calcolo QPACE sono stati integrati un processore IBM-PowerXCell8i, 4 GB di memoria, ed una FPGA, un dispositivo elettronico programmabile a livello hardware, per supportare le funzionalità di IO del processore, sia verso la rete di interconnessione mesh-3D, sia verso l'esterno. Il processore PowerXCell8i è un processore multi-core con una potenza di calcolo di picco di 100 Gflop (peak double-precision), e con un alto rapporto Flops per Watt, rilevante per assemblare centinaia di chip in un volume di spazio di qualche metro cubo.

Il processore di comunicazione, esterno al processore di calcolo, è stato implementato su una FPGA, e si interfaccia da un lato con il processore di calcolo e dall'altro lato è connesso a sei link di comunicazione, ciascuno con una banda di trasferimento di 1GB/s, per link e per direzione.

Nell'ambito di questo progetto mi sono occupato di progettare ed implementare la logica del processore di rete, e il protocollo di comunicazione. Il processore di rete, chiamanto torus, è implementato su una FPGA, un dispositivo elettronico le cui funzionalità hardware sono programmabili mediante un linguaggio di programmazione di descrizione hardware come il VHDL. Il protocollo di trasferimento è stato implementato direttamente in hardware, e non prevede alcuna gestione del livello TLP (Transaction Layer Packet) da parte del sistema operativo. I dati sono trasmessi in pacchetti di 128 Bytes insieme ad un header ed un CRC per il controllo degli errori. In ricezione il CRC viene ricalcolato, confrontato con quello trasmesso insieme al pacchetto, ed viene inviato al trasmittente un feedback positivo o negativo corrispondente al risultato del confronto. In caso di feedback negativo il trasmittente provvede ad inviare nuovamente i pacchetti a partire da quello per cui ha ricevuto un feedback negativo. Il risultato ottenuto è un sistema di trasferimento affidabile con un bit error rate inferiore a 10^-14, con una banda passante di 1 GB/s per link e per direzione, ed una latenza di trasmissione inferiore a .5 micro-secondi.

Ad Agosto 2009 sono stati installati due prototipi di macchine QPACE da 1024 processori (8192 cores) ciascuna, con una potenza di calcolo di picco di 200 Tflops in double-precision, ed una potenza elettrica dissipata massima di 280 KWatt.

A novembre 2009 e Giugno 2010 il sistema QPACE e' stato giudicato come il miglior sistema al mondo con il migliore rapporto Flops/Watt (classifica Green500, green-500 list Nov. 2009, green-500 list Jun 2010).

Pubblicazioni rilevanti per questa attività sono:

• Lattice Boltzmann fluid-dynamics on the QPACE supercomputer
• Qpace: Power-efficient parallel architecture based on IBM PowerXCell 8i
• QPACE: Quantum chromodynamics parallel computing on the cell broadband engine

Valutazione di Performance di Processori Multi- e Many-Core (2009 - oggi)

Nell'ambito di questa attività ho preso in considerazioni due applicazioni di fisica teorica: un modello di simulazione dei fluidi basato su metodo Lattice Boltzmann, e un modello di simulazione di Spin Glass.

Inizialmente l'attività è stata principalmente svolta sul processore IBM Cell Broadband Engine. Ho implementato un algoritmo di simulazione di un modello di fluidodinamica basato sul metodo di Lattice Boltzmann 2D e 3D su processore multi-core IBM-Cell. Lo studio ha esplorato varie strategie di parallelizzazione, di allocazione della memoria e di scheduling delle istruzioni. Successivamente ho preso in considerazione anche i processori multi-core della classe Nehalem e Sandybridge, e i processori grafici NVIDIA Tesla C1060 e C2050.

Nell'ambito di questa attività ho coordinato l'implementazione e ottimizzazione di un codice di fluido-dinamica basato su un modello Lattice Boltzmann D2Q37 recentemente sviluppato. Ho implementato il codice prima su un cluster di nodi basati su processori multi-core Intel Nehalem, e successivamente su un cluster di nodi basato su due schede GP-GPU della classe C2050. Entrambe le implementazioni utilizzano una grande frazione della potenza di calcolo del processore, hanno una efficienza di esecuzione tra il 40% e il 50%, e scalano su decince di nodi.

Nel 2012 ho proposto all'INFN il progetto Computing on Knights Architecture (COKA) per lo studio delle performance di calcolo dei processori Many Integrated Core (MIC) sviluppati da Intel. Il progetto è stato finanziato e svolgo il ruolo di coordinatore nazionale. Il progetto studierà l'implementazione e l'ottimizzazione di applicazioni sia di fisica teorica che di fisica sperimentale.

Pubblicazioni rilevanti per questa attività sono:

• A multi-GPU implementation of a D2Q37 Lattice Boltzmann code
• An optimized D2Q37 Lattice Boltzmann code on GP-GPUs
• The potential of on-chip multiprocessing for QCD machines
• Lattice Boltzmann fluid-dynamics on the QPACE supercomputer
• Monte Carlo Simulations of Spin Glass Systems on the Cell Broadband Engine
• Multiphase lattice Boltzmann on the Cell Broadband Engine

Altre Attvità

• negli a.a.~2005/2006 e 2006/2007 ho tenuto un ciclo di lezioni al Master in progettazione microelettronica dell'Università di Padova. Gli argomenti trattati hanno riguardato l'architettura dei processori ad alte prestazioni, in particolare, la descrizione dettagliata dei meccanismi hardware (dynamic instruction scheduling, Tomasulo e Scoreboard scheduling, reordering buffer, branch predictors, dynamic register renaming, .... ) implementati neiprocessori per ottenere alte prestazioni di calcolo;

• a partire da Settembre 2004 ho collaborato alla realizzazione del processore Amchip3, un processore che implementa in hardware un algoritmo di pattern-matching. Scopo del progetto è di riconoscere nell'insieme delle tracce prodotte da un rivelatore di particelle quelle corrispondenti ad eventi significativi, contenute in un database. Tale processore è stato utilizzato per l'analisi dei dati dell'esperimento di fisica delle particelle elementari CDF dei laboratori Fermilab negli Stati Uniti. Il lavoro svolto è descritto in questa referenza: A VLSI processor for fast track finding based on content addressable memor ies.

Altre informazioni

• membro ufficiale del colleggio della scuola di Dottorato in "Matematica e Informatica" dell'Università di Ferrara;
• Nov 2003: componente dell' Organizing Comittee della Conferenza Non Perturbative Problems and Computational Physics:The Next Five Years, 27-28 November 2003, Ferrara (Italy);
• dal 2005 reviewer della rivista Parallel Computing Systems and Applications, Elsevir;
• nel 2006-2007 membro della commissione HPC Europe Taskforce (HET) per la definizione di un framework Europeo nell'area del High Performance Computing;
• nel 2008 membro del program committe della conferenza ACM International Conference on Computing Frontiers 2008, May 5-7, 2008, Ischia (Italy);
• Gen09-Dic11: coordinatore locale del progetto Hadron Physics 2 work-package 22, 7mo programma quadro della Comunità Europea
• scientific visitor presso l'istituto JSC di Juelich (Germania) nel periodo Giugno-Luglio 2009;
• scientific visitor presso l'istituto presso l'istituto DESY di Zeuthen-Berlino (Germania) nel periodo Luglio-Agosto 2010;
• Gen 2012: coordinatore locale del progetto Hadron Physics 3 work-package 10, 7mo programma quadro della Comunità Europea
• Gen12-: coordinatore nazionale del progetto INFN COKA
• Giu 2012: componente del program committe della conferenza 26^th ACM International Conference on Supercomputing (ICS), June 25-29, 2012, San Servolo - Venezia (Italy);
• Giu 2012: co-organizzatore e co-chair del workshop Future HPC systems: the Challenges of Power-Constrained Performance, June 25, 2012, San Servolo - Venezia (Italy).
• Jul 2012: external reviewer della coferenze 24th International Symposium on Computer Architecture andHigh Performance Computing