M2 Mathématiques et Apprentissage Statistique

Dans ce cours de nature pratique, on verra comment résoudre un problème basé sur des données
grâce au deep learning. On discutera d’abord comment obtenir un dataset et s’assurer de sa qualité
pour pouvoir commencer un traitement basé sur le deep learning, et comment s’assurer une
plateforme où entrainer des réseaux de neurones. Plusieurs challenges seront proposés aux
étudiants, qui pourront choisir quel algorithme utiliser pour les résoudre.

Ce séminaire sera l'occasion de rencontrer des professionnels de la science des données et de mieux
comprendre les différentes facettes de la profession.

Dans un contexte à caractère professionnel, les cours en anglais Master visent à aider les étudiants
à faire face aux exigences du monde du travail.

Rappel sur le modèle linéaire; principe de pénalisation; régression LASSO, Ridge et Elasticnet;
régression PLS; introduction aux régressions non-linéaires.

Introduction à l'intelligence artificielle et au concept d'apprentissage; algorithme K-means et
clustering; classification hiérarchique; réduction de la dimensionnalité ; introduction à la détection
de nouveautés/anomalies, one-class-classification.

Le module est une introduction à la statistique non paramétrique. Les sujets traités seront
l'estimation de la fonction de répartition, la construction des estimateurs à noyau et des estimateurs
par projection de la fonction de densité, estimateurs adaptatifs, modèles de régression, régions de
confiance non-paramétriques. Les objectifs majeurs de cette UE sont la compréhension des
hypothèses sous-jacentes aux méthodes non paramétriques et l'acquisition d'une part de la capacité
à appliquer les méthodes non paramétriques aux problèmes modernes d'analyse de données, et
d'autre part d'une expérience pratique dans la mise en oeuvre des méthodes et de l'utilisation des
paquets R existants.

Le but est d'effectuer des prévisions à partir d'une série chronologique, les différentes étapes sont :
modélisation par un processus, estimation du modèle, validation et prévisions. Programme :
Décomposition d'une série chronologique : tendance, saisonnalité et bruit. Estimation des
différentes composantes. Etude du bruit : processus stationnaires, ARMA. Savoir les
identifier. Processus ARIMA et SARIMA. Mise en pratique sur des exemples avec le logiciel R.

Méthodes de Monte-Carlo, algorithme de Metropolis-Hastings, échantillonneur de Gibbs.
Algorithme EM.
Modèle de mélange.
Mise en applications avec le logiciel R sur des exemples.

Ce module présentera des méthodes d'inférence basées sur les statistiques bayésiennes,
paramétriques et non-paramétriques. Une discussion sur la quantification de l'incertitude sera
abordée.

Cette UE se constitue de 2 mini-cours théoriques en statistique mathématique ou appliquée dont les
contenus peuvent changer d’une année à l’autre.

Dans ce cours nous explorerons la théorie et la pratique du deep learning, en donnant les bases
mathématiques de ce sujet, mais toujours en assurant de savoir implémenter les algorithmes
mentionnés. La première partie du cours se concentre sur les concepts de base des réseaux de
neurones artificiels : couches linéaires suivies par des fonctions d’activation, comment elles
généralisent les algorithmes linéaires (par exemple la régression logistique), comment on peut les
entrainer grâce à l’algorithme du gradient. Ensuite, nous allons présenter les différentes couches
qui sont le plus souvent utilisées dans des contextes spécifiques pour obtenir la plus grande
précision dans la pratique : couches de convolution, les différentes réseaux récurrents, les couches
de normalisation et, si le temps les permet, les concepts d’attention et l’architecture
« transformer ».