jeudi 6 octobre 2011

Présentation 20/01/2012 Prediction in dynamic graph sequences

Lieu ENGREF
amphi b 208 2eme etage
12h30-13h30
Vendredi 20 janvier 2012

Emile RICHARD
1000mercis (en CIFRE) et au CMLA-ENS Cachan



Prediction in dynamic graph sequences

Nous nous intéressons aux problèmes de prédiction dans les graphes dynamiques. Les données relationnelles générées massivement par les applications internet (telles que les réseaux sociaux, réseaux de collaborations ou les historiques d'achats), ainsi que les données d'interaction des gènes et des protéines étudiées en biologie cellulaire, sont naturellement modélisées par des graphes. Le problème de prédiction dans ces graphes évoluant dans le temps présente un intérêt majeur pour divers types d'applications : par exemple pour la conception de moteurs de recommandation, ou en biologie, pour l'analyse des mécanismes sous-jacents au développement du cancer.
Nous suggérons d'aborder le problème sous forme de minimisation d'un problème régularisé. Après formulation du problème comme un problème d'optimisation, nous suggérons des algorithmes inspirés des récents travaux sur la complétion de matrice ainsi que des méthodes de prédiction de séries temporelles multi-variées pour approcher la solution. Nous étudierons le rôle de différents régulariseurs et présenterons des résultats empiriques.

Présentation 16/12/2011 Prévision non paramétrique de processus à valeurs fonctionnelles.

Lieu ENGREF
12h30 - 13h30
Lieu : Amphi 7 Rdc


Jairo Cugliari
Postdoc at SELECT team, INRIA
Travail réalisé en thèse à EDF


Titre
Prévision non paramétrique de processus à valeurs fonctionnelles.
Résumé
Nous traitons le problème de la prédiction d’un processus stochastique à valeurs fonctionnelles. Nous commençons par étudier le modèle proposé par Antoniadis et al.
(2006) dans le cadre d’une application pratique -la demande d’énergie électrique en France- où l’hypothèse de stationnarité semble ne pas se vérifier. L’écart du cadre stationnaire est double: d’une part, le niveau moyen de la série semble changer dans le temps, d’autre part il existe groupes dans les données qui peuvent être vus comme des classes de stationnarité.

Nous explorons corrections qui améliorent la performance de prédiction. Les corrections
visent à prendre en compte la présence de ces caractéristiques non stationnaires. En particulier, pour traiter l’existence de groupes, nous avons contraint le modèle de prévision à n’utiliser que les données qui appartiennet au même groupe que celui de la dernière observation disponible.

Si le regroupement est connu, un simple post-traitement suffit pour obtenir des meilleures
performances de prédiction. Si le regroupement en blocs est inconnu, nous proposons de découvrir le regroupement en utilisant des algorithmes d’analyse de classification non supervisée. La dimension infinie des trajectoires, pas nécessairement stationnaires, doit être prise en compte par l’algorithme. Nous proposons deux stratégies pour ce faire, toutes les deux basées sur les transformées en ondelettes. La première se base dans l’extraction d’attributs associés à la transformée en ondelettes discrète. L’extraction est suivie par une sélection des caractéristiques le plus significatives pour l’algorithme de classification. La seconde stratégie classifie directement les trajectoires à l’aide d’une mesure de dissimilarité sur les spectres en ondelettes.

Présentation du 4 novembre 2011 Ranking binaire et agrégation pour le cas multi-classes

Lieu : ENGREF
Salle amphi 7 RdC
12h30-13h30
Vendredi 4 novembre 2011

Sylvain Robbiano
Télécom Paristech


"Ranking binaire et agrégation pour le cas multi-classes"

"Dans de nombreuses applications, il ne s’agit pas seulement de classer les observations (‘ pertinent’ vs. ‘ non
pertinent’), mais de les ranger/ordonner de façon adéquate (par degré de pertinence). Des travaux relatifs à la formulation et à la résolution du problème de scoring/ranking ont été réalisés sur le modèle des méthodes utilisées en Machine Learning pour résoudre les problèmes de classification (Arbres de décision, Support Vector Machines, Boosting).
Dans cet exposé, on se focalisera sur l'algorithme TreeRank, qui consiste à approcher la courbe ROC optimale via un algorithme récurcif, puis on mettra en oeuvre une méthode d'agrégation d'ordres, basée sur la distance du tau de Kendall, pour résoudre le problème du ranking multi-classes."



Article de Sylvain Robbiano

dimanche 15 mai 2011

Présentation du 10/06/2011 reinforcement learning et problème des bandits bornés

Date : vendredi 10/06/2011
Lieu :
ENGREF
19 avenue du Maine
75732 PARIS
Métro : Montparnasse, Falguière
Amphi 7



L'algorithme KL-UCB pour les bandits bornés, et au delà

par Aurélien Garivier (CNRS, Enst)

Résumé :
L'apprentissage par renforcement se distingue des autres théories
d'apprentissage statistique en qu'il place en son coeur la dimension
temporelle, mais aussi interactive, du phénomène d'apprentissage. Les
modèles les plus simples qui s'y rattachent sont communément appelés
"problèmes de bandits" : un agent, faisant face à une collection de
machines à sous plus ou moins avantageuses, doit à chaque instant
choisir l'une d'elle et reçoit une récompense en conséquence - avec pour
objectif de maximiser la somme des récompenses reçues. Derrière cette
mise en situation un peu baroque, on devine sans peine une grande
variété de motivations pratiques, des essais cliniques au routage de
paquets sur internet.
Parmi les stratégies proposées en apprentissage par renforcement, on
distingue les algorithmes optimistes : ils agissent à chaque instant
comme s'ils se trouvaient dans l'environnement le plus favorable pour
eux parmi tous ceux qui rendent les observations passées suffisamment
vraisemblables. Nous verrons comme le paradigme optimiste peut être mis
en oeuvre efficacement et simplement ici, et comment l'algorithme
KL-UCB, en introduisant une notion de divergence sur l'espace des
récompenses adaptée au problème, conduit à des résultats
significativement meilleurs que ses concurrents.

Basé sur l'article :
The KL-UCB Algorithm for Bounded Stochastic Bandits and Beyond
par Aurélien Garivier and Olivier Cappé
http://arxiv.org/abs/1102.2490


lundi 11 avril 2011

Présentations Jeudi 12 mai 2011 : Random Forests et conjoncture économique

Deux présentations pour le jeudi 12 mai :


Date : jeudi 12/05/2011
Lieu :
ENGREF
19 avenue du Maine
75732 PARIS
Métro : Montparnasse, Falguière
Salle 208

########################################
"Random forests / Forêts aléatoires"
Gérard Biau (Université Pierre et Marie Curie)


et


"Euro area GDP forecasting using large survey datasets: a Random Forest approach"
Olivier Biau (Commission Européenne)

#####Lieu


#####Résumés
Titre : Random forests / Forêts aléatoires

Résumé : Random forests are a scheme proposed by Leo Breiman in the 00's for building a predictor ensemble with a set of decision trees that grow in randomly selected subspaces of data. Despite growing interest and practical use, there has been little exploration of the statistical properties of random forests, and little is known about the mathematical forces driving the algorithm. In this talk, we will discuss an in-depth analysis of a random forests model suggested by Breiman in 2004, which is very close to the original algorithm. We show in particular that the procedure is consistent and adapts to sparsity, in the sense that its rate of convergence depends only on the number of strong features and not on how many noise variables are present.


"Euro area GDP forecasting using large survey datasets: a Random Forest approach"

Résumé: This paper investigates the potential of applying the Random Forests technique to modelling and forecasting macro-economic aggregates using large datasets of survey variables, in the same vein as Biau, Biau and Rouvière (2007). A specific application for short-term GDP forecasting in the euroarea is shown using the harmonised European Union Business and Consumer Survey dataset. The Random Forests technique is explored with two aims in mind: the first is to obtain (through a Monte Carlo exercise) a preliminary non-parametric forecast of GDP growth, and the second is to analyse a number of candidate explanatory variables to distinguish between those which significantly contribute to explaining and predicting the analysed phenomenon and those which mostly add random noise. The forecast performance of this survey-based model is assessed with an out-of-sample exercise (using vintage data): the results are compared both with the outputs from an auto-regressive model (taken as benchmark) and with the quarterly projections of the euro zone economic outlook (jointly released by three major European economic institutes: the German IFO, the French INSEE and the Italian ISAE), which are deemed to be among the most reliable forecasts. Evidence is found that a well-performing and parsimonious survey-based model can be specified to forecast GDP quarter-on-quarter growth in the euro area, and that Random Forests is therefore an effective tool for selecting the most relevant predictive variables.



lundi 7 mars 2011

Présentation du vendredi 08/04/2011, prédiction conforme parcimonieuse

Date : vendredi 08/04/2011
Lieu :
ENGREF
19 avenue du Maine
75732 PARIS
Métro : Montparnasse, Falguière
Salle 7


Prédiction conforme parcimonieuse

par Mohamed Hebiri (Université Marne la Vallée)



Résumé :
La prédiction conforme a été introduite par Vovk et al. (Vovk V.,
Gammerman A., et Shafer G. "Algorithmic learning in a random world".
Springer, New York, 2005.) dans le but de construire des intervalles de
confiance en utilisant la notion de conformité entre la nouvelle
observation et celles déjà observées.
Nous étendons ici cette méthode au modèle linéaire multivarié parcimonieux
(seul un petit nombre des variables a une réelle influence sur la variable
de sortie). Notre approche combine la méthodologie de la prédiction
conforme aux méthodes de régularisation parcimonieuse et plus
particulièrement à l'estimateur des moindres carrés pénalisé par la norme
$\ell_1$ des coefficients de régression (LASSO).

lundi 7 février 2011

Présentation du 04/03/2011 : prédiction avec experts, application à la qualité de l'air

Lieu :
ENGREF
19 avenue du Maine
75732 PARIS
Métro : Montparnasse, Falguière
Salle 7

Prédiction avec experts, statistiques déterministes appliquées à la prédiction de la qualité de l'air

par Gilles Stoltz (HEC, CNRS)


mardi 25 janvier 2011

Présentation du 04/02/2011 : prévision traffic passagers (ADP)



Daniel Sallier, Aéroports de Paris

A/ La méthode non économétrique Kenza d'estimation et de prévision à long terme de la demande finale des consommateurs (ici son papier sur le sujet).

Il s'agit de la méthode primaire de prévision du trafic annuel utilisée à ADP.

B/ la prévision probabilisée. Il s'agit de techniques dont partie des travaux de R&D ont été financés par la Commission Européenne qui permettent de déterminer les loi empirique de probabilité année après année des prévisions de trafic. Cette approche est en œuvre également à Aéroports de Paris depuis 2003.

Lieu :
ENGREF
19 avenue du Maine
75732 PARIS
Métro : Montparnasse, Falguière
Salle 7
Horaires : 12h30-14h00