PUBLICATIONS DU LABORATOIRE DES TATISTIQUEET PROBABILIT ÉS Data mining II. Modélisation Statistique & Apprentissage P HILIPPE B ESSE Version mars 2005 — mises à jour : www.lsp.ups-tlse.fr/Besse Laboratoire de Statistique et Probabilités — UMR CNRS C5583 Université Paul Sabatier — 31062 – Toulouse cedex 4. Chapitre 1 Introduction Objectif Dès qu’un phénomène, qu’il soit physique, biologique ou autre, est trop complexe ou encore trop bruité pour accéder à une description analytique débouchant sur une modélisation déterministe, un ensemble d’approches ont été élaborées afin d’en décrire au mieux le comportement à partir d’une série d’observations. Citons la reconnaissance de la parole ou de caractères manuscrits, l’imagerie médicale ou satellitaire, la prévision d’une grandeur climatique ou économique, du comportement d’un client. . . la plupart des disciplines scientifiques sont concernées. Historiquement, la Statistique s’est beaucoup développée autour de ce type de problèmes et a proposé des modèles incorporant d’une part des variables explicatives et, d’autre part, une composante aléatoire ou bruit. Il s’agit alors d’estimer les paramètres du modèle à partir des observations. Dans la même situation, la communauté informatique parle plutôt d’apprentissage visant le même objectif. Apprentissage machine (machine learning) ou reconnaissance de forme (pattern recognition) en sont les principaux mots-clefs. Problématique Supervisé vs. non-supervisé Distinguons deux types de problèmes : la présence ou non d’une variable à expliquer Y ou d’une forme à reconnaı̂tre qui a été, conjointement avec X, observée sur les mêmes objets. Dans le premier cas il s’agit bien d’un problème de modélisation ou apprentissage supervisé : trouver une fonction φ susceptible, au mieux selon un critère à définir, de reproduire Y ayant observé X. Y = φ(X) + ε où ε symbolise le bruit ou erreur de mesure avec le parti pris le plus commun que cette erreur est additive. Da