MACHINE LEARNING FOR PHYSICS

Anno accademico 2021/2022 - 1° anno - Curriculum APPLIED PHYSICS e Curriculum THEORETICAL PHYSICS
Docente: Marco RUSSO
Crediti: 6
SSD: FIS/01 - FISICA SPERIMENTALE
Organizzazione didattica: 150 ore d'impegno totale, 100 di studio individuale, 35 di lezione frontale, 15 di laboratorio
Semestre:

Obiettivi formativi

Gli obiettivi specifici di questo corso sono:

  • Trasmettere i principi basilari del Machine Learning
  • Fornire tramite degli esempi pratici alcune modalità di utilizzo del Machine Learning
  • Comprendere tutti i vari passaggi che permettono di transitare dal problema da risolvere o dal fenomeno da analizzare (e/o simulare) alla sua implementazione.
  • Acquisire la capacità di valutare tra più soluzioni quella più soddisfacenti.
  • Acquisire capacità di analizzare correttamente dati sperimentali.

Inoltre, in riferimento ai cosiddetti Descrittori di Dublino, questo corso contribuisce a acquisire le
seguenti competenze trasversali:

Conoscenza e capacità di comprensione (knowledge and understanding):

L'obiettivo primario del corso è individuato nell’acquisizione da parte degli studenti della varie “filosofie" che stanno alla base di numerose tecniche differenti nell'ambito del Machine Learning.

Capacità di applicare conoscenza e comprensione (applying knowledge and understanding),

Si intende fornire agli studenti le seguenti abilità:

- Dato un problema come inquadrarlo nella giusta cornice di Machine Learning.

- Progettare, descrivere ed implementare classificatori e/o regressioni;

- Preparare opportunamente i dati da processare

- Autonomia di giudizio (making judgements).

Attraverso l'esame di esempi generci e applicati alla fisica e una consistente componente pratica, il discente sarà in grado, sia in forma autonoma che in forma cooperativa, di analizzare problemi e progettare ed implementare le relative soluzioni.

Abilità comunicative (communication skills).

lo studente acquisirà le necessarie abilità comunicative e di appropriatezza espressiva nell'impiego del linguaggio verbale tecnico.

Capacità di apprendimento (learning skills).

Il corso intende fornire al discente le necessarie metodologie teoriche e pratiche da mettere in campo in contesti di ricerca e professionali con particolare attenzione all'ambito fisico.


Modalità di svolgimento dell'insegnamento

Lezioni frontali ed esercitazioni pratiche

Qualora l'insegnamento venisse impartito in modalità mista o a distanza potranno essere introdotte le necessarie variazioni rispetto a quanto dichiarato, al fine di rispettare il programma previsto e riportato nel syllabus.

Should the circumstances require online or blended teaching, appropriate modifications to what is hereby stated may be introduced, in order to achieve the main objectives of the course.


Prerequisiti richiesti

Aver sostenuto con esito positivo il corso di Informatica e Laboratorio

E' anche consigliato caldamente a tutti ed in particolare a chi desiderasse sviluppare nuove tecniche di Machine Learning di seguire il corso opzionale "Programmazione ad oggetti e Big Data" della triennale di Fisica


Frequenza lezioni

Obbligatoria


Contenuti del corso

- Types of machine learning algorithms

* Supervised Learning
* Unsupervised Learning
* Reinforcement Learning

- Regression or Classification what are them? Are they really different?

- Cost functions and their importance
* Typical regression error measures and their shortcomings.
* Classifier evaluation: Sensitivity, Specificity, Accuracy, ROC, AUC, etc.

- Datasets and Machine Learning the first and most important step
* Statistical validation
* Missing values
* Raw data: when we have to use or not to use them?
* Preprocessing
* Feature Extraction
* Feature Selection
* Feature Reduction
* Curse of dimensionality

- Model complexity
* Underfitting and overfitting
* Occam's razor principle
* Many parameters and the importance of regularization

- Singular Value Decomposition (SVD)
* Linear modeling is not infrequently enough
* Lowering machine learning algorithm coomplexity
* SVD/PCA as feature reduction but sometimes fails

- Neural Networks
* The biological neuron
* The artifical neuron
* Network topology
* The Multilayer Perceptron
* The universal approximation theorem
* Fixed, Self Adaptive, and Stochastic Gradient descend as a general technique
for parameter estimation
* Backpropagation
* Radial Basis Functions
* Deep Learning

- Cluster Analysis and Vector Quantization
* K-means/LBG algorithm
= Serial improvements
> Escaping from local minima: the Enhanced LBG Algorithm (ELBG)
> From target error to clusters: Fully Automatic Clustering system (FACS)
= Big data and parallel clustering
> Parallel algorithms for unsupervised learning (PAUL)
> Very large data sets vector quantization (LBGS)
* Other clustering approaches: Hierarchical Clustering and Fuzzy Clustering

- Global optimization inspired by biological evolution
* From Monte Carlo methods to Evolutionary Computation
= The Population: A set of candidate solutions as individuals
= Selection among individuals: Roulette, Ordering, Tournament.
= Generation of new solutions: offsprings
> Recombination/crossover
> Mutation
> Hill-climbing
= Multi-objective optimization: The Fitness Function
* Evolutionary techniques, some examples
= Genetic Algorithms and Holland's schema theorem
= Genetic Programming
= Parallel/Distributed Genetic Programming for Mathematical Modelling: The Brain Project
* Case study: Find the minimum of the function $y=\sum_{i=1}^1000$ (x_i-1000/i)^2 with $x_i in [0,2]$

- Fuzzy logic from classical boolean logic to many-valued logic.
* Fuzzy sets and membership functions.
* Operations on Fuzzy sets.
* Fuzzy relations, rules, propositions, implications and inferences.
* Defuzzification techniques.
* Fuzzy logic controller design.

- Hybridization is often the way to get better results

- Case studies in physics
* Data Analysis of Gravitation Wave time series
* Track recognition in Nuclear Physics Collisions
* Structure of the proton using contemporary methods of artificial intelligence


Testi di riferimento

Appunti forniti a lezione. Tali appunti, il codice sviluppato a lezione e qualunque altro materiale utile per il corso sarà disponibile sul sito del docente: superpippo.ct.infn.it/~marco/didattica.



Programmazione del corso

 ArgomentiRiferimenti testi
1TuttiAppunti e dispense fornite dal docente 

Verifica dell'apprendimento

Modalità di verifica dell'apprendimento

Tesina pratica svolta in accordo col docente. Concordato l'argomento si procede alla realizzazione di un opportuno codice o hardware. Durante le lezioni il lavoro sarà svolto assieme al docente stesso. Al termine delle lezioni il tutto verrà ultimanto in completa autonomia dallo studente. Assieme al codice/hw si prevede la consegna di una relazione scritta preferibilmente in latex. Nella valutazione finale dello studente si terranno in considerazione entrambi le componenti. Essendo il corso incentrato proprio sull'argomento prescelto all'inizio del corso stesso, tutto il materiale didattico dovra' essere acquisito dal discente al fine di superare l'esame.


Esempi di domande e/o esercizi frequenti

http://superpippo.ct.infn.it/~marco/didattica