M2 Data Sciences

You will put your basic machine learning and data analysis knowledge to test by
- solving practical data science problems in scientific or industrial applications and by
- designing data science workflows.

To achieve the first objective, you will participate in a data challenge at the RAMP site. The particularity of RAMPs (vs Kaggle) is that you will submit code, not predictions. Your code will be inserted into a predictive workflow, trained and tested. A public cross-validation score will be available on a public leaderboard, real time. Your grade will be a function of the private test score of your best submission, obtained on a hidden test set. The challenge will also include a collaborative phase in which you can access all the submitted solutions, and you will be allowed and encouraged to reuse each other’s code. Part of your grade will come from your activities from this collaborative phase.

You will be able to choose from two to five problems coming from scientific or industrial applications (e.g., brain imaging, astrophysics, biology/chemistry, ad placement, insurance pricing). You can participate in more than one challenges: we will grade you based on your best performance.

Septembre - Octobre - Novembre.

PALAISEAU

Objectifs
– Connaître le cadre des bandits stochastiques à nombre fini de bras, et le cadre de la prévision de suites arbitraires par agrégation de prédicteurs
– Maîtriser les techniques de preuves de bornes inférieures sur le regret
– Maîtriser les techniques de preuves de bornes supérieures sur le regret

Descriptif
Ce cours est un cours très technique, centré sur les preuves mathématiques sans programmation d’algorithmes . L’objectif est d’apprendre à poser et modéliser un problème d’apprentissage séquentiel, d’exhiber des algorithmes si possible computationnellement efficaces pour majorer le regret, et de montrer ensuite l’optimalité des bornes obtenues, en prouvant qu’aucun autre algorithme ne peut faire mieux en un sens à préciser.

Cette démarche (modélisation, algorithme pour la borne supérieure, borne inférieure universelle) est la démarche canonique pour publier des résultats sur un problème donné. Nous verrons également comment rédiger élégamment des preuves. Ce cours est donc fort intéressant pour ceux qui se destinent à une thèse de mathématiques.

Septembre - Octobre - Novembre - Décembre - Janvier.

ORSAY

Septembre - Octobre - Novembre.

PALAISEAU

Big Data avec Hadoop:
Apache Hadoop has been evolving as the Big Data platform on top of which multiple building blocks are being developed. This course presents the Hadoop ecosystem, Hadoop Distributed File System (HDFS) as well as many of the tools developed on it:
MapReduce and YARN, Hive and HBase, Kafka, Flume, NiFi, Flink, Oozie, etc.
Students will also discover various subjects such as security, resource allocation and data governance in Hadoop
Data Science avec Spark

Data Science with Spark:
Apache Spark is rapidly becoming the computation engine of choice for big data. This course presents:
Spark’s architecture and Spark Core: RDDs (Resilient Distributed Datasets), Transformations, and Actions
Spark and Structured Data: explore Spark SQL and Spark Data Frames
Spark Machine Learning libraries (MLLIB and ML)
Spark Streaming.

Java, Python, Machine Learning and basic knowledge in Linux system administration and SQL.

Septembre - Octobre - Novembre - Décembre - Janvier.

PALAISEAU

Novembre - Décembre - Janvier.

PALAISEAU

Bases de traitement de l’image et vision par ordinateur

Fonctionnement d’une caméra, échantillonnage, filtrage, radiométrie, couleur, restauration d’image, morphologie mathématique, segmentation, descripteurs d’image, reconnaissance et détection d’objets, estimation de mouvement, estimation d’arrière-plan.

Novembre - Décembre - Janvier.

PALAISEAU

Objectifs
– Maîtriser les outils mathématiques pour la construction d’algorithmes d’optimisation convexe.
– Savoir démontrer la convergence des itérées.
– Savoir résoudre numériquement des problèmes d’optimisation comportant des termes de régularisation non dérivables et structurés.
– S’initier à l’optimisation distribuée et la programmation sous Hadoop Spark.
Descriptif du cours
Le cours n’a PAS vocation à fournir un répertoire d’algorithmes le plus abondant possible. Il s’agit de prendre du recul afin de comprendre les fondements mathématiques pour la construction d’une vaste classe de méthodes itératives. Après une introduction à la théorie de l’analyse convexe, nous verrons les conditions sous lesquelles on peut démontrer la convergence d’un algorithme du point fixe. Cette approche générale permet de d’obtenir, comme corollaire, la convergence de l’emblématique algorithme du gradient proximal. Elle permet également de construire d’autres algorithmes plus généraux : les méthodes primales-duales.
Ces méthodes permettent de résoudre des problèmes d’optimisation se rencontrant fréquemment en apprentissage statistique, traitement du signal, et traitement de l’image.
Sur le plan pédagogique, un juste compromis entre fondements théoriques et applications est visé. Deux TP permettront de mettre en application les méthodes numériques vues en cours. Ils incluent une initiation à l’optimisation distribuée et grande échelle, sous Hadoop Spark.

Septembre - Octobre - Novembre - Décembre - Janvier.

PALAISEAU

La majorité des problèmes d'apprentissage sont formulés comme des problèmes d'optimisation, à partir de l'observation d'un échantillon de données (ensemble d'entraînement). L'optimisation d'un objectif défini à partir de cet échantillon permet de proposer un estimateur qui a une bonne performance sur l'ensemble d'apprentissage.
Cependant, on s'intéresse généralement à la capacité de généralisation de cet estimateur, ie sa performance sur une nouvelle observation. Avec l'émergence des grandes quantités de données depuis les années 2000, le lien entre l'algorithme utilisé et la capacité de généralisation de l'estimateur associé est devenu un sujet majeur.
Aujourd'hui, la question de la généralisation est encore une problématique de recherche majeure, tant pour ses aspects théoriques que pratiques.
Dans ce cours, on s'intéresse à l'ensemble des résultats tant théoriques que heuristiques qui permettent d'aborder ce problème.
Plus précisément, on étudiera dans un premier temps les différentes approches qui permettent d'obtenir des garanties théoriques quant à la généralisation des algorithmes, en particulier les approches liées à la complexité, à la stabilité et aux méthodes d'arrêt anticipé (Early stopping, approximation stochastique). Dans une seconde partie, on étudiera les approches heuristiques et les différences (expliquées ou constatées) dans le cadre du deep
learning (non convexe et over-parametrized).

Connaissances élémentaires en optimisation convexe et statistiques. Avoir suivi le cours d'optimisation pour les data-sciences permettra de mieux cerner les différents algorithmes en jeu.

Novembre - Décembre - Janvier.

PALAISEAU

In several high-dimensional problems, the information of interest take the form of a high-dimensional matrix with a low statistical complexity structure. In multivariate regression applications such as multitask collaborative filtering and recommender systems, we can measure the statistical complexity of the information matrix through group sparsity or the rank. In Principal Component Analysis, the goal is to learn the covariance structure of a high-dimensional random vector. In this problem, the statistical complexity is better quantified by the effective rank.

The goal of this course is to highlight how the complexity structure of a matrix conditions the design and the theoretical analysis of an estimation procedure. To this end, we will introduce several tools: oracle inequalities, minimax theory and concentration inequalities.

Program:
- Multi-task regression
- Trace regression and matrix completion
- Covariance matrix estimation and Principal Component Analysis.

Novembre - Décembre - Janvier.

PALAISEAU

Septembre - Octobre - Novembre.

PALAISEAU

Septembre - Octobre - Novembre.

PALAISEAU

Le cours de Machine Learning est un cours dédié à la mise en place de projet complet de Data Science :

Lors de cet UE, vous développerez en groupe des applications de Machine Learning pour répondre à des préoccupations Business des entreprises : cadrage du Business Case, exploration et nettoyage des données, choix de l’approche scientifique, implémentation numérique d’algorithmes d’apprentissage, analyse des performances, interprétation des travaux, pitch des résultats, etc.
L’animation du cours suscite et encourage la participation de tous les étudiants, le travail en équipe et l’intelligence collective.

Septembre - Octobre - Novembre.

PALAISEAU

Les modèles dits à chaîne de Markov cachée (ou à espace d’état), sont des modèles de séries temporelles faisant intervenir un ’signal’ (un processus X_t markovien décrivant l’état d’un système) observé de
façon imparfaite et bruitée sous forme de données, par ex. Y_t f(X_t) + U_t.

Ces modèles sont très utilisés dans de nombreuses disciplines :

Finance : volatilité stochastique (X_t est la volatilité non-observée)
Ingénierie : pistage de cible (X_t est la position d’un mobile dont on essaie de retrouver la trajectoire ; reconnaissance de la parole ( X_t est un phonème)
Biostatistique : Ecologie (X_t taille de la population)
Epidémiologie (X_t nombre de personnes infectées)

Le but de ce cours est de présenter les méthodes modernes d’analyse séquentielle de tels modèles,
basés sur des algorithmes particulaires (Monte Carlo séquentiel). On traitera notamment les problèmes du
filtrage, du lissage, de prédiction, et d’estimation des paramètres. A la fin du cours, nous évoquerons
aussi rapidement l’extension de tels algorithmes à des problèmes non-séquentiels, notamment en
Statistique Bayésienne.

Septembre - Octobre - Novembre.

PALAISEAU

Dans un problème statistique en grande dimension nous avons recours principalement à des méthodes non paramétriques, c'est-à-dire qui permettent que la dimension du modèle augmente avec le nombre de données disponibles.
L'objet de ce cours est de donner un aperçu de quelques méthodes d'estimation non paramétrique et leur usage pour les tests statistiques et les intervalles de confiance (quantification de l'incertitude). Le choix des paramètres de réglage est fait de manière adaptative aux données, pour un choix très général de la loi sous-jacente aux
données.
Les méthodes seront illustrées sur des modèles issus des applications, comme des modèles de mélange de populations (clustering), modèles graphiques ou modèles qui assurent la confidentialité des données.
Plan
- Estimateurs à noyaux et par projection d'une densité. Validation croisée. Vitesses de convergence et optimalité.
- Estimation non-paramétrique de la fonction de régression. Estimateurs par polynômes locaux, par projection (bases de Fourier, bases d'ondelettes). Vitesses de convergence et adaptation.
- Estimation de fonctionnelles et tests non paramétriques. Vitesses de convergence et de tests, principes des intervalles de confiance non paramétriques.

Novembre - Décembre - Janvier.

PALAISEAU

Modern machine learning heavily relies on optimization tools, typically to minimize the so called loss functions on training sets. The objective of this course is to cover the necessary theorical results of convex optimization as well as the computational aspects. This course contains a fair amount of programming as all algorithms presented will be implemented and tested on real data. At the end of the course, students shall be able to decide what algorithm is the most adapted to the machine learning problem given the size the data (number of samples, sparsity, dimension of each observation).

Septembre - Octobre - Novembre - Décembre - Janvier.

PALAISEAU

Les modèles de Markov partiellement observés (MMPO) admettent de multiples applications dans des domaines très divers. Les modèles de Markov cachés (MMC), qui sont des MMPO de base, apparaissent comme les modèles parmi les plus simples permettant une recherche des réalisations des processus cachés à partir des processus observés dans les cas de grandes masses de données. Les calculs séquentiels – donc explicites et rapides - sont permis par la nature markovienne du couple (processus caché, processus observé).
- processus cachés discrets : modèles classiques (chaînes, arbres, champs de Markov cachés) et traitements bayésiens correspondants, estimation des paramètres permettant des traitements non supervisés. Diverses extensions: semi-Markov cachés, Markov couples, Markov triplets, Markov évidentiels. Illustrations en segmentation statistique d’images, qui est un problème important en traitement d’images.
- processus cachés continus. L’exposé des systèmes gaussiens classiques, rendant possible les filtrages optimaux de type Kalman, sera suivi par les descriptions des modélisations plus complexes de type Markov couple et Markov triplet. En particulier, on étudiera les systèmes à sauts permettant de faire un lien avec la première partie du cours. L’intérêt des notions traitées sera illustré par des applications en poursuite.
- notions sur les machines de Boltzmann et des réseaux de connaissances profonds, qui peuvent être vues comme des modèles de Markov partiellement observés particuliers.

Novembre - Décembre - Janvier.

PALAISEAU

Ce cours de 20h propose une introduction à l’apprentissage par renforcement. Il est basé sur la nouvelle édition du livre “Reinforcement Learning: An Introduction” de R. Sutton et A. Barto

Plan
1. Introduction à l’apprentissage par renforcement et processus de décision markovien
2. Le cas des bandits
3. Méthodes tabulaires: prédiction par programmation dynamique, méthode de Monte Carlo et TD
Learning
4. Planification et apprentissage pour les méthodes tabulaires
5. Méthodes approchées: prédiction, planification et apprentissage.

Novembre - Décembre - Janvier.

PALAISEAU

The main purpose of this course is to introduce the mathematical formalism of the learning theory and to showcase its relations with more classical statistical theory of nonparametric estimation.

Presentation of 3 central problems: regression, binary classification, clustering or density estimation. Connection between these problems.
Universal consistency. Overfitting and underfitting. The Hoeffding inequality and empirical risk minimisation. Rademacher complexities.
Density estimation by histograms. Bias-variance decomposition and the rate of convergence over Holder classes.
Adaptive choice of the bandwidth by the method of estimated unbiased risk minimization. Local choice of the bandwidth by the Lepski method.
Nonparametric regression and sparsity. Thresholding Fourier coefficients.

Novembre - Décembre - Janvier.

PALAISEAU

Goal of the lectures:
- to draw your attention to some issues in data analysis, and some proposals to handle them;
- to learn to read a research paper, to catch the take home message and to identify the limits;
- to favor your own critical analysis.
The lecture will be based on some recent research papers.

Novembre - Décembre - Janvier.

ORSAY

Février - Mars.

PALAISEAU

Deep Learning (machine learning based on deep articial neural networks) has become extremely popular over the last years due to the very good results it allows for regression, classication or generation. The objective of this course is to cover the three main types of networks (multi-layer-perceptron, recurrent-neural-network and con-
volutional neural network). This course range from the perceptron to the generation of adversarial images.
Each lesson is followed by a corresponding lab where student learn to implement these networks using the currently most popular frameworks (tensorflow, pytorch and keras).

Septembre - Octobre - Novembre.

PALAISEAU

à choisir parmi des UEs d'autres M2.

Septembre - Octobre - Novembre.

à choisir parmi d'autres UEs de M2.

Septembre - Octobre - Novembre.

Février - Mars.

PALAISEAU

Février - Mars.

PALAISEAU

Février - Mars.

PALAISEAU

In machine learning, there has been great progress in obtaining powerful predictive models, but these models rely on correlations between variables and do not allow for an understanding of the underlying mechanisms or how to intervene on the system for achieve a certain goal. The concepts of causality are fundamental to have levers for action, to formulate recommendations and to answer the following questions: "what would happen if" we had acted differently?

The questions of causal inference arise in many areas (socio-economics, politics, psychology, medicine, etc.): depending on the context which drug to use to improve the patient's health? what marketing strategy for product placement should be used to influence consumer buying behavior, etc. The formalism of causal inference makes it possible to study these questions as a problem of classical statistical inference. The gold standard for estimating the effect of treatment is a randomized controlled trial (RCT) which is, for example, mandatory for the authorization of new drugs in pharmaceutical and medical research. However, RCTs are generally very expensive in terms of time and financial costs, and in some areas such as economics or political science, it is often not possible to implement an RCT, for example to assess the effectiveness of a given policy.

The aim of this course is to present the available methods to perform causal inference from observational data. We focus on both the theoritical framework and practical aspects (available software solution).

Février - Mars.

PALAISEAU

Février - Mars.

PALAISEAU

Methods for estimating multiple objects from sensor data are in increasing demand and are critically important for national security. For example, the increasing use of space for defence and civil applications makes it imperative to protect space-based infrastructure. Advanced surveillance capabilities are needed to be able to identify and monitor activities in earth’s orbit from a variety of different sensing platforms and modalities.
Considering systems of multiple objects with point process models adopted from the applied probability literature enables advanced models to be constructed in a simple way. This course draws together mathematical concepts from diverse domains to provide a strong grounding for developing new algorithms for practical applications.
This course will investigate mathematical concepts in multiobject estimation to enable prospective researchers to better understand and contribute to innovations in this field. The goal is to develop a broad mathematical perspective for mathematical modelling for multi-object estimation and explore the literature in spatial statistics and point processes to aid new advances in sensor fusion for the development of future technologies for autonomous systems.

Février - Mars.

PALAISEAU

Février - Mars.

PALAISEAU

Février - Mars.

PALAISEAU

We first recall some fundamental results in probability theory (martingales, markov chains, etc.). Next, we use these results to study the asymptotic behavior of iterative stochastic algorithms i.e., algorithm for which each iteration depends on the realization of a random variable. This covers many applications (stochastic optimization for machine learning, reinforcement learning, game theory, etc.). We especially emphasize two applications : in optimization, we focus on the analysis of the stochastic gradient descent and its variants; in reinforcement learning, we analyze the convergence of temporal difference learning and Q-learning algorithms.

Program:
- Applicative context and mathematical foundations.
- The ODE method and almost sure convergence techniques in the decreasing step case.
- Weak convergence techniques and the constant step case.
- Fluctuations and saddle point avoidance.
- Applications: Convex and non-convex optimization, Reinforcement learning, Temporal Difference learning, Q-learning.

Février - Mars.

PALAISEAU

Many real-world applications involve objects with an explicit or implicit structure. Social networks, protein-protein interaction networks, molecules, DNA sequences and syntactic tags are instances of explicitly structured data while texts, images, videos, biomedical signals are examples with implicit structure. The focus of the course is solving learning and prediction tasks, estimation of dependency measures, and hypothesis testing under this complex/structured assumption.
The first part of the course provides a transversal and comprehensive overview on the recent advances and tools for this exploding field of structured output learning, including graphical models, max margin approaches as well as deep learning. The covered methods can be categorized into two sub-classes: scoring and energy-based techniques, and structured output regression algorithms.
The second part of the course gives an alternative view on the structured problem family, dealing with topics on dependency estimation and hypothesis testing. We are going to construct features of probability distributions which will enable to define easy-to-estimate independence measures and distances of random variables. As a byproduct, we will get nonparametric extensions of the classical t-test (two-sample test) and the Pearson correlation test (independence test).

Février - Mars.

PALAISEAU

Février - Mars.

PALAISEAU

Février - Mars.

Février - Mars.

Février - Mars.

Février - Mars.

Février - Mars.