第 1 页
Les Perceptrons Multicouches: de la régression non-linéaire aux problèmes inverses Fouad BADRAN et Sylvie THIRIA Laboratoire d'Océanographie DYnamique et de Climatologie 4, Place Jussieu 75005 PARIS, FRANCE CEDRIC, Conservatoire National des Arts et Métiers 292, rue Saint-Martin 75003 PARIS, FRANCE Abstract The problem of nonlinear least square regression using multi-layered per- ceptrons is addressed in this paper. A general formulation using maxi- mum likelihood is given and a particular attention is paid to algorithm accounting for uncertainties. The generalization to density estimation is given. In the second part of the paper, a general framework allows to modelize general inverse problems. Keywords : Non linear regression. Multi-layered Perceptrons. Back-propagations . Inverse problem. Density estimation. Acknowlegment: Ce travaila été réalisée dans le cadre du programmeNeuroSAT (env94- CT96-0314) soutenu par la CEE.
第 2 页
2 1 Introduction Avec le développement de nouvelles méthodes qui permettent d'eectuer des mesures à distance, la géophysique accumule des quantités gigan- tesques de données. Ces données sont hétérogènes, elles proviennent de capteurs, d'appareils de mesure sophistiqués parfois embarqués à bord de satellites. Bien qu'elles soient le plus souvent très fortement bruitées, il est cependant possible d'en extraire des informations précises sur les phénomènes observés en faisant l'étude de certains paramètres, qui les caractérisent. Un grand nombre de méthodes sont mises en oeu- vre par la géophysique pour atteindre cette information, elles dépendent de domaines comme la physique ou la statistique. La physique essaie de représenter la réalité à l'aide de lois, la statistique essaie d'inférer certaines caractéristiques de la réalité à partir de données empiriques. L'information extraite va dépendre de l'ensemble des modèles physiques ou statistiques utilisés pour décrire le problème et des diérentes hy- pothèses qui seront choisies au départ. Nous aborderons dans cet article les modélisations les plus classiques de la statistique, qui permettent de traiter le problème de la détermination des fonctions de transfert ou de la restitution des paramètres physiques des phénomènes sous jacents aux mesures observées. Nous traiterons donc des problèmes de la régression, de la résolution de problèmes inverses et de la classication. La modélisation à partir de données empiriques est une tâche dicile, en eet les relations sous-jacentes aux mesures peuvent être fortement non linéaires et non univoques, elles sont de plus comme nous l'avons rappelé, fortement bruitées. Les méthodes conventionnelles sont souvent insusantes face à ce type de données, c'est pourquoi les recherches s'orientent vers le développement de nouveaux outils et de nouvelles méthodologies capables de traiter des données de plus en plus complexes. Les réseaux de neurones de type Perceptrons Multicouches (PMC) ont montré leur ecacité en tant qu'outil de modélisation appliqué aux don- nées empiriques, ils permettent d'apporter des solutions aux problèmes que nous venons d'évoquer. Dans la suite de l'article, nous présentons le modèle neuronal le plus connu qui est le Perceptron MultiCouches (PMC). Nous rappelons dans le premier paragraphe les propriétés théoriques associées au PMC, ce sont elles qui expliquent le mieux pourquoi l'utilisation d'un PMC per- met souvent d'obtenir des performances intéressantes. Le second para- graphe introduit les PMC, l'algorithme d'apprentissage et les propriétés d'approximateur universel. L'apprentissage d'un PMC se ramène tou- jours à la minimisation d'une fonction de coût, les plus classiques étant celles des moindres carrés simples ou généralisés. Le troisième para- graphe présente les propriétés de la fonctions de coût des moindre car- rés généralisés. Le quatrième paragraphe présente le cas particulier de la classication. Le cinquième paragraphe présente la régression non- Introduction
第 3 页
3 linéaire par PMC que nous abordons à partir de l'approche Bayesienne. De cette manière, il devient possible d'unier la présentation de deux problèmes: la régression et la détermination des matrices de variance- covariance. Le sixième paragraphe aborde la résolution des problèmes inverses. Nous présentons dans ce paragraphe les problèmes spéciques liés à l'inversion et les approches neuronales qui permettent de répon- dre à ces problèmes "mal posés" (approximation de fonctions densité, introduction de connaissance physique à priori). Le dernier paragraphe est une bibliographie commentée de diérentes applications réalisées en géophysique à l'aide de ces méthodes. 2 Les Perceptrons Multi-Couches (PMC) 2.1 dénitions Un réseau de neurones est un ensemble de processeurs élémentaires, les neurones qui sont largement connectés les uns aux autres et qui sont capables d'échanger des informations au moyen des connexions qui les relient. Les connexions sont directionnelles et à chacune d'elle est associé un réel appelé poids de la connexion. L'information est ainsi transmise de manière unidirectionnelle du neurone j vers le neurone i, aectée du coecient pondérateur wij. Un neurone calcule son état à partir d'informations venues de l'extérieur, ou bien il détermine son entrée à partir des neurones auxquels il est connecté et calcule son état comme une transformation souvent non linéaire de son entrée. Il transmet à son tour son état vers d'autres neurones ou vers l'environnement extérieur. Un neurone est donc déni par trois caractéristiques: son état, ses connexions avec d'autres neurones et sa fonction de transfert. Nous utiliserons dans la suite, les notations suivantes: O: l'ensemble des états possibles des neurones. oi: l'état du neurone i, où oi 2 O. fi: la fonction de transfert associée au neurone i. si: l'entrée du neurone i, si 2 R wij: le poids de la connexion du neurone j vers le neurone i; wij 2 W l'ensemble des poids du PMC. Ainsi le neurone i recevant les informations de ni neurones eectue l'opération suivante: Les Perceptrons Multi-Couches (PMC)
第 4 页
dénitions 4 Xn i oi = f(si) avec si = wijoj (1) j=1 Les fonctions de transfert les plus souvent utilisées sont la fonction iden- tité, la fonction sigmoïde, la fonction exponentielle et plus rarement les fonctions ondelettes [62]. la fonction identité: un neurone dont la fonction de transfert est la fonction identité appelé neurone linéaire. Pour un tel neurone, l'état est calculé à l'aide de l'équationX suivante: oi = si = wijoj (2) j la fonction sigmoïde: est la plus utilisée car elle introduit de la non-linéarité, mais c'est aussi une fonction continue, diérentiable. Une fonction sigmoïde peut être dénie par l'une des deux formes suivantes : eKs 1 K f(s) = A = A tanh ( s) (3) eKs + 1 2 ou bien A f(s) = (4) eKs + 1 contrairement à la fonction identité, ces fonctions sont bornées, elles tendent vers A quand s ! +1 et tendent respectivement vers -A ou 0 quand s ! 1. Le paramètre A régule la valeur de saturation, le paramètre K sert à réguler la pente de la courbe en tout point hors saturation. la fonction exponentielle: Elle est souvent utilisée au niveau de la couche de sortie an d'assurer des valeurs de sorties positives et non bornées. L'utilisation des fonctions de transfert non-linéaires permet l'obtention de modèles statistiques non-linéaires. Les Perceptrons Multi-Couches (PMC) [53] [28] [42] [5] sont des réseaux de neurones pour lesquels les neurones sont organisés en couches successives, les connections sont tou- jours dirigées des couches inférieures vers les couches supérieures et les neurones d'une même couche ne sont pas interconnectés. Un neurone ne peut donc transmettre son état qu'à un neurone situé dans une couche Les Perceptrons Multi-Couches (PMC)
第 5 页
dénitions 5 postérieure à la sienne. Choisir l'architecture d'un PMC consiste à xer le nombre de couches, le nombre de cellules par couche, la nature des diérentes connexions entre les neurones et la nature des neurones sur chaque couche. La première couche du réseau est la couche d'entrée, on suppose qu'elle contient p neurones, la dernière couche du réseau est sa couche de sortie, on suppose qu'elle contient q neurones. Les états des neurones de la première couche seront xés par le problème traité à travers un vecteur x = (x ; x ; : : :xp). Les états de la première couche étant xés, 1 2 le réseau va pouvoir calculer les états de ses autres neurones en appli- quant l'équation (1) de proche en proche d'une couche vers les couches supérieures. Cette partie du calcul est appellée propagation avant en opposition au calcul eectué par rétropropagation qui sera présenté à la section (2.2). Ainsi, la propagation avant permet de récupérer sur la couche de sortie un vecteur y = (y ; y ; : : :yq). C'est pourquoi un PMC 1 2 déni une fonction de Rp dans Rq. Pour un PMC d'architecture xé, la fonction dénie par le réseau dépend des valeurs des poids W de ses diérentes connexions. Une architecture génère donc une famille de fonctions : Rp ! Rq x 7! y = F(W; x) (5) Tenant compte de l'équation (1) et du fait que les fonctions de transfert des diérents neurones sont indéniment dérivables (sigmoïde, linéaire, : : : ), cette famille est formée de fonctions non-linéaires et indéniment dérivables. L'ensemble des familles dénies par l'ensemble des architectures pos- sibles est très adapté à la recherche de fonctions de régression non- linéaires. Plusieurs résultats théoriques ont été établis concernant leurs capacités d'approximateurs universels de fonctions [18] [23] [29] [41] [60]. Le résultat fondamental de ces travaux est que toute fonction continue de Rp dans Rq peut être approximée, d'une manière uniforme sur un compact de Rp, par une fonction dénie par un PMC à une seule couche cachée et ceci avec une précision choisie à l'avance. Cependant, plusieurs études ont montré l'intérêt de considérer des PMC à deux couches cachés [32] [48]. Ces résultats théoriques ne permettent pas d'avoir une idée précise du nombre de neurones cachés nécessaires pour approximer une fonction donnée. La détermination de l'architecture op- timale se fait en utilisant les théories statistiques concernant le choix d'un modèle. Un grand nombre de résultats existent qui appliquent les résultats généraux au cas particulier des architectures PMC [28]. Les Perceptrons Multi-Couches (PMC)
第 6 页
Apprentissage 6 2.2 Apprentissage Dans la suite de l'article nous utiliserons les PMC pour modéliser à par- tir des données empiriques acquises en géophysique. Nous supposerons que les appareils de mesure utilisés permettent de collecter un ensemble de couples d'observations D = (xobs; yobs); i = 1 Nobs . Comme i i nous l'avons mentionné dans l'introduction, ces couples d'observations sont souvent des représentations bruitées ou ambigües d'une réalité sous- jacente. Tenant compte des bruits et de la manière dont sont générées les données, nous supposons que (xobs; yobs) sont des réalisations de vari- ables aléatoires X et Y de fonction densité p(x; y) = p(y=x)p(x). Pour chacun des problèmes évoqués (classication, régression, esti- mation de fonction densité, : : : ) il existe une méthodologie particulière à mettre en oeuvre. Chacune aboutit à la minimisation d'une fonction de coût empirique Remp(W), fonction qui dépend des paramètres W du PMC et de l'ensemble D. L'apprentissage d'un PMC consiste à min- imiser cette fonction coût par descente de gradient. L'algorithme le plus connu est celui de la rétropropagation du gradient [42], [5], [28], il permet de calculer de manière récursive le gradient de Remp(W) par rapport à l'ensemble des paramètres (W). Comme mentionné au paragraphe (2.1) oi représenteP l'état du neurone i, si son entrée, fi sa fonction de transfert et wij le poids synaptique du neurone j vers le neurone i: oi = fi(si), si = wijoj. Le calcul du gradient se décompose de la façon suivante: j @Remp @Remp @si = (6) @wij @si @wij Si l'on note i les dérivées partielles de Remp par rapport à l'entrée du neurone i, le gradient par rapport aux paramètres W s'écrit alors: @Remp = ioj (7) @wij les quantités @Remp se calculent recursivement par rétropropagation i = @s i à partir de la couche de sortie : Si l'indice i caractérise un neurone de la couche de sortie, nous avons alors: @Remp i = fi0(si) (8) @oi Ceci suppose que la fonction de coût Remp est dénie explicitement en fonction des états des cellules de sorties oi. Les Perceptrons Multi-Couches (PMC)
第 7 页
Apprentissage 7 Si i est l'indice d'un neurone caché, en notant par k l'indice des neurones qui prennent leur information du neurone i, nous avons : X i = fi0 (si) kwki (9) k Pour une architecture de PMC donnée, seule la connaissance de la dérivées de la fonction coût par rapport aux états des neurones de sortie (@Remp ) intervient pour initialiser le calcul du gradient. L'algorithme @o de rétropropagation du gradient est donc général et peut s'appliquer à n'importe quelle fonction coût (Remp) dont on sait calculer les dérivées partielles par rapport aux états des cellules de sortie. Cet algorithme permet de calculer deux types de dérivées : Les dérivées par rapport aux poids synaptiques du réseau wij. Les dérivées par rapports aux entrées des neurones et en partic- ulier par rapport aux variables présentées sur la couche d'entrée du réseau (vecteur x = (x ; x ; : : : ; xp)). Ainsi, dans ce dernier 1 2 cas, pour toute variable d'entré xi on a : X @F(W; x) = kwki (10) @xi k Ainsi, l'algorithme de rétropropagation du gradient permet, d'une manière très simple, de calculer les dérivées partielles de la fonction F(W; x) qui est générée par le PMC. Cette simplicité de mise en oeuvre est particulièrement importante pour l'apprentissage des PMC compor- tant un grand nombre de poids. L'inversion par modèle adjoint qui sera présentée au paragraphe (6.3.1) doit son ecacité à cette propriété, il est tout à fait réaliste d'envisager son utilisation pour traiter d'applications réelles de grande taille. De cette rapide présentation de l'apprentissage, il ressort qu'une in- formation prépondérente est introduite par l'intermédiaire de la fonction de coût. La plus connue et la plus classiquement utilisée en statistique est la fonction des moindres carrés dont nous présentons les principales propriétés dans le paragraphe suivant. Les Perceptrons Multi-Couches (PMC)
第 8 页
8 3 La fonction de coût des moindre carrés 3.1 Présentation générale Comme nous venons de le dire l'apprentissage d'un PMC revient à la minimisation d'une fonction de coût, la plus classique étant la fonction de coùt des moindres carrés généralisés dont l'expression est la suivante: Z Z T R(W) = y F(W; x) 1(x) y F(W; x) p(x; y) dxdy (11) où 1(x) est une matrice dénie positive qui dépend en général de x, dans l'expression des moindre carrés simple cette matrice est remplacée par la matrice identité. On peut démontrer que la minimisation de cette fonction coût implique la minimisation de : Z T E(Y=x) F(W; x) 1(x) E(Y=x) F(W; x) p(x) dx (12) Ce qui montre qu'un bon minimum de (11) donne une bonne approxi- mation de : Z E(Y=x) = yp(y=x) dy (13) et que les sorties d'un PMC sont telles que : F(W; x) E(Y=x) (14) où E(Y=x) est la moyenne conditionnelle des observations yobs. Dans certains cas, où la matrice (x) = est constante et ne dépend plus de x, il est possible de donner des informations sur la précision de cette approximation. Si l'on note U = (u ; u ; : : : ; uq) la matrice 1 2 orthonormale des vecteur propres de la matrice et 2 la valeur propre j associée à uj, la matrice 1 peut alors se décomposer sous la forme: 2 3 664 12 0 775 1 . 1 = UD1UT où D1 = .. (15) 0 1 q2 La fonction de coût des moindre carrés
第 9 页
Présentation générale 9 la fonction de coût (11) s'écrit: ZRZ(W) = T UT y UT F W; x D 1 UT y UT F W; x p x; y dxdy XZZ ( ) ( ) ( ) q uT y uT F W; x j j ( ) 2 = p(x; y) dxdy (16) j j=1 Si l'on note Y = UT y = (Y ; ; Y ) les coordonnées de y dans les axes 1 p principaux, on obtient: XZZ q Y uT F W; x j j ( ) 2 R(W) = p(x; UY) dx dY (17) j j=1 Du résultat présenté en (12) on déduit: XZ q E Y =x uT F W; x ( j ) j ( ) 2 R(W) = p(x) dx+ constant (18) j j=1 ou de manière équivalente: XZ q uT E Y=x F W; x j ( ) ( ) 2 R(W) = p(x) dx+ constant (19) j j=1 Cette équation montre bien que la précision de l'approximation dépend de p(x) qui représente la concentrationlocale des données, elle est d'autant meilleure que p(x) est grand. De plus, pour un x donné la précision de l'approximation sur l'axe principal uj dépend de la valeur propre 2 qui j lui est associée: plus cette valeur est petite meilleure est la précision. Dans la pratique, il est presqueimpossible d'avoir accès à la fonction de coût R, on utilise la fonction de coût empirique dénie à partir de l'ensemble d'apprentissage D = (xobs; yobs); i = 1 Nobs par: i i NXobs Remp(W) = Ri (20) i=1 Avec T R yobs F W; xobs 1 xobs yobs F W; xobs (21) i = i ( i ) ( i ) i ( i ) La fonction de coût des moindre carrés
第 10 页
Présentation générale 10 Cette fonction de coût constitue une approximation discrète de la fonc- tion de coût théorique R et suppose implicitement : NXobs 1 (22) p(x) = Dirac obs n xi i=1 Où Diracx représente la distribution de Dirac au point x. Si nous no- tons par f = (f ; f ; : : : ; fq) la suite des q fonctions de transfert des 1 2 neurones de la couche de sortie, par s = (s ; s ; : : : ; sq) les entrées des 1 2 neurones de sortie et par o = (o ; o ; : : : ; oq) les états des neurones de 1 2 sortie associés à une observation xobs, l'initialisation de l'algorithme de la rétropropagation du gradient pour un neurone de sortie j au moment de l'apprentissage d'un vecteur xobs est alors : @R obs obs 1 x y o f0 s (23) = 2 ) ( ) ( j) @sj Dans cette formule R correspond à un Ri particulier déni par l'expression (21). Dans la pratique, on choisit le plus souvent la métrique de Ma- halanobis, ce qui revient à remplacer 1 par l'inverse de la matrice de variance-covariance de la variable aléatoire conditionnelle Y=x ( notée dans la suite Cy1(x)). Cette métrique permet de prendre en compte la dispersion des données pendant le processus de minimisation. Dans le cas où les composantes de Y=x sont indépendantes et ont le même écart-type , on a alors Cy(x) = 2I et Remp n'est autre que la fonc- tion de coût des moindre carrés simples. Si la loi de Y=x dépend de x, l'utilisation de l'erreur quadratique simple mène à des imprécisions. En eet, cette fonction de coût examine toutes les régions d'une manière identique et aecte aux diérentes sorties du réseau la même pondéra- tion sans tenir compte de leur variabilité respective. Les propriétés que nous venons de rappeler s'appliquent à toutes les méthodes qui minimisent des expressions aux moindres carré. La classication peut faire partie de ces méthodes, il sut d'introduire un codage spécique pour représenter les classes. Les spécicités liées aux problèmes de la classication permettent d'obtenir des propriétés sup- plémentaires. Le domaine de la classication est certainement celui dans lequel les PMC sont les plus populaires et où leurs performances sont le plus re- connues. Les PMC fournissent dans de nombreux cas des classieurs de très bonne qualité. Le but de cet article étant de traiter de la régression, La fonction de coût des moindre carrés
第 11 页
11 nous présentons dans ce qui suit uniquement les propriétés des classi- eurs qui permettront de proposer des méthodes utiles pour résoudre des problèmes inverses. Les méthodes utilisant la classication pour la résolution de problèmes inverses sont présentée au paragraphe (6.2.2). Nous renvoyons à [43], [47], [5], [28] pour une présentation exhaustive des diérentes approches de la classication à l'aide des PMC. 4 Perceptron et Classication La classication par PMC suppose d'introduire un codage qui permet de représenter les diérentes classes. Dans le cas d'un problème de clas- sication à q classes où l'on désigne par x les observations (x 2 Rp), la classe associée à x sera représentée par un vecteur y = (y ; y ; : : :yq) 1 2 dont les composantes ne peuvent prendre que deux valeurs (ou code) a ou b. le vecteur qui code la classe k (Classek) a toutes ses composantes égales à b exceptée la kième qui prend la valeur a. Ce codage permet d'utiliser comme classieur un PMC dont la couche de sortie comporte q neurones, chaque neurone représentant une des classes. L'apprentissage s'eectue de la même manière que pour la régression en minimisant la fonction de coût des moindres carrés simples ( = I). Les poids W du PMC sont estimés à partir d'un ensemble d'apprentissage D où chaque observation x est associée au vecteur y qui code sa classe. Si l'ensemble d'apprentissage est statistiquement représentatif de la pop- ulation étudiée et si l'architecture est bien adaptée à la complexité du problème de classication sous jacent, les propriété présentées en (13) s'appliquent donc et le PMC approxime la moyenne de la variable aléa- toire conditionnelle Y=x. Si l'on calcule l'espérance conditionnelle du vecteur de sortie en utilisant le codage vectoriel présentée plus haut, on obtient pour la kime composante de ce vecteur: E(Y=x)k = a p(Classek=x) + b 1 p(Classek=x) (24) En n d'apprentissage, l'état du neurone k de la couche de sortie du PMC est donc une approximation de (24). Si l'on utilise le codage particulier dans lequel a = 1 et b = 0, l'état du kième neurone de sortie approxime p(Classek=x) qui correspond à la probabilité a posteriori pour l'observation x d'appartenir à Classek. Le résultat de la section (3) nous permet de voir que la précision de cette approximation, dans une région donnée, dépend de la densité de probabilité p(x): plus la densité est grande, plus l'approximation est précise. Perceptron et Classication
第 12 页
12 La densité p(x) est une fonction qui décrit la répartition de l'ensemble des individus dans l'espace des données, elle n'est pas accessible dans la pratique sous sa forme théorique. La détermination des paramètres W du PMC se fait par apprentissage en minimisant l'erreur aux moindres carrés déterminée sur la base d'apprentissage D. L'équation (22) mon- tre que, dans ce cas, p(x) décrit une répartition apparente qui est celle des individus de la base d'apprentissage. La constitution de la base d'apprentissage permet d'inuencer la précision de la fonction de clas- sication que l'on cherche à obtenir. Si l'on choisit de construire la base d'apprentissage en respectant la distribution naturelle des données, on favorise la reconnaissance des classes les plus probables au détri- ment des classes rares. Si le but recherché est de reconnaître le mieux possible toutes les classes, le modélisateur peut inuencer la précision de l'approximation en choisissant une distribution qui fait disparaître l'inégalité des répartitions des diérentes classes. Une méthode simple consiste à utiliser un échantillon dans lequel chaque classe est également représentée. Si l'on ne dispose pas d'assez de données pour procéder à cet équilibre, on peut soit utiliser une fonction de coût utilisant des moindre carrés pondérés, soit avoir recours à des techniques de généra- tion de données. Dans le premier cas, les sorties correspondantes aux classes les moins représentées sont pondérées par des coecients plus importants. Dans le second cas, si l'on a une connaissance de la vari- abilité des mesures, il est possible de dupliquer les mesures existantes en ajoutant un bruit [5]. En n d' apprentissage, le réseau classie un individu donné x en lui attribuant la classe k telle que: 0 k = arg max(ok) (25) 0 k Où ok représente l'état de la kième cellule de sortie du PMC lorsqu'on lui présente en entrée x. Cette régle de décision qui utilise les probabilités estimées par le réseau correspond à la règle de décision de Bayes. Elle minimise, si le réseau est un bon estimateur des probabilités a posteriori, le risque d'erreur de classication [22]. Enn, il est à noter que dans le cas de la classication, il est possible d'utiliser comme fonction de coût la distance de Kullback-Leibler plus adaptée pour l'estimation des probabilités [43]. Nous nous plaçons maintenant dans un cadre plus général, qui est le plus souvent celui de la géophysique et dans lequel les données utilisées sont entachées d'erreur. Il est nécessaire dans ce cas d'utiliser le formal- isme probabiliste et de formuler d'une manière diérente le problème de l'apprentissage par PMC. Perceptron et Classication
第 13 页
13 5 Perceptron et Régression non linéaire 5.1 Formulation probabiliste La régression non linéaire est une des méthodes classiques de la statis- tique largement utilisée dans le traitement des données. Son but prin- cipal est d'aider à la détermination d'une fonction univoque permettant de relier deux variables distinctes pour lesquels on fait l'hypothèse qu'il existe une relation de dépendance fonctionnelle. Si l'on se place dans le cadre concret de la géophysique, la première variable x représente un vecteur de paramètres physiques (par exemple la température, la vitesse du vent : : : ) et la seconde y contient les observations eectuées par rapport à cette variable (par exemple l'émissivité, la rugosité d'une sur- face..). Il est alors justié de supposer que la relation est univoque et qu'il existe un modèle théorique idéal G qui permet d'inférer y à partir de la connaissance de x: y = G(x) (26) Dans cette expression G représente la fonction théorique sous-jacente que l'on cherche à estimer à l'aide d'un PMC, cette fonction est appelée modèle direct . Dans la réalité, la dépendance fonctionnelle n'est pas analytiquement évidente, mais on dispose à la fois d'un certain nombre d'observations empiriques et de connaissances physiques sur la nature de la relation recherchée. Les données disponibles se présentent sous la forme de couples d'observations (xobs; yobs) qui proviennent d'appareils de mesure diérents, ou pour les paramètres physiques (xobs il s'agit par- fois de valeurs obtenues à partir de modèles numériques. Ces données présentent donc une variabilité autour de "vraies" valeurs inconnues. La variabilité peut provenir de plusieurs causes qui sont liées à la sensibilité de l'appareil, à des variables non prises en compte dans la modélisa- tion, ou bien encore au manque de précision des modèles numériques représentant la physique étudiée. Dans tous les cas il importe de pren- dre en compte ces incertitudes. Une manière classique de formaliser le problème est de faire l'hypothèse que chaque observation (xobs, yobs) se décompose en une somme de deux termes le premier étant déterministe et le second stochastique. Dans une telle approche, les diérentes in- certitudes relatives au phénomène physique sont prises en compte par l'intermédiaire de la partie stochastique de l'expression. Nous noterons xvrai et yvrai les valeurs des composantes déterministes, une donnée particulière xobs est alors égale à : Perceptron et Régression non linéaire
第 14 页
Formulation probabiliste 14 xobs xvrai (27) = + De la même manière l'observation correspondante yobs s'écrit : yobs yvrai (28) = + dans ces expressions et représentent les parties stochastiques de ces observations. Le but de la régression non linéaire est alors de trouver une fonction qui approche au mieux la relation déterministe : yvrai G xvrai (29) = ( ) Dans la suite nous cherchons à approximer cette relation à l'aide d'un PMC, c'est à dire à l'aide d'une fonction F(W; x). Cette fonction per- met de relier de manière univoque x à l'observation y, elle représente la solution du "problème direct" qui consiste à modéliser le comportement de l'appareil de mesures. Dans cette terminologie, l'expression "prob- lème direct" est opposé à "problème inverse". On qualie d'inverse un problème où l'on cherche à inférer les paramètres physiques à partir des mesures observées; il s'agit d'un problème plus complexe puisque la re- lation recherchée peut être multivaluée. Les méthodes adaptées à la résolution de problèmes inverses font appel à des techniques spéciques; dans le paragraphe 6 nous exposons celles utilisant les PMC. Nous ne traitons pas dans la suite de l'article du cas général pour lequel il ex- iste des incertitudes sur les observations xobs. Ce problème peut être abordé à l'aide d'algorithmes neuronaux spécialisés utilisant des PMC qui permettent de ltrer le bruit des paramètres d'entrée et de détecter les mesures aberrantes [59] [2]. Nous supposerons donc dans la suite qu'il n'y a pas d'incertitudes sur les entrées ( = 0), et que pour chaque élément de l'ensemble d'apprentissage D nous avons: xobs xvrai (30) i = i Nous supposerons par contre que chaque observation yobs est perturbée i par un bruit additif i de moyenne nulle: yobs yvrai (31) i = i + i et que les dierents bruits i sont indépendants. Sous ces hypothèses, quelle que soit l'observation y on a: yvrai E Y=xobs (32) = ( ) Perceptron et Régression non linéaire
第 15 页
Formulation probabiliste 15 Nous détaillerons la méthode permettant, dans les conditions que nous venons de présenter, d'estimer le modèle direct G par un réseau PMC ayant des neurones linéaires sur sa couche de sortie. Le choix d'un tel modèle se justie par sa propriété d'approximateur universel de fonc- tions (paragraphe 2.1). La prise en compte durant l'apprentissage, des diérents bruits de mesure peut se faire en utilisant l'approche bayesi- enne qui estime W en maximisant la probabilité p(W=D). La formule de Bayes permet d'écrire: p(D=W)p(W) p(W=D) = (33) p(D) La maximisation de l'équation (33) revient à la minimisation de : 2 ln p(W=D) = 2 ln p(D=W) 2 ln p(W) + constante (34) Dans cette expression: la probabilité des données p(D) est constante par rapport à W et n'intervient pas dans le processus de minimisation. Le terme ln p(W) apparaît comme une contrainte supplémentaire sur la distribution des poids, il joue le rôle d'un terme de régu- larisation. Si l'on suppose que la distribution à priori des poids suit une loi normale de moyenne nulle et de matrice de variance- covariance I, ln p(W) apparaît comme un terme de régularisation de type "weight decay" [5]. Si la distribution à priori des poids suit une loi uniforme le terme ln p(W) devient une constante et peut être supprimé de la modélisation. Dans la suite, pour simplier la présentation, nous choisissons cette hypothèse et supprimons le terme ln p(W). En tenant compte de l'indépendance des mesures on obtient: Xobs N p D=W p xobs; yobs =W (35) ln ( ) = ln ( i i ) i=1 qui peut se décomposer: Perceptron et Régression non linéaire
第 16 页
Formulation probabiliste 16 Xobs N p D=W p yobs=xobs; W ln ( ) = ln ( i i ) i=1Xobs N p xobs=W (36) + ln ( i ) i=1 Le premier terme de l'égalité (36) représente la probabilité que les ob- servations yobs découlent de xobs quand la probabilité conditionnelle est i i génerée par le PMC (F(W; x)). Par hypothèse xobs est connu sans erreur i et le second terme de l'équation (36) ne dépend pas de W. La poursuite du calcul nécessite de faire des hypothèses supplémen- taires sur la nature du bruit additif qui représente la partie stochas- tique de l'observation yobs. Dans la suite de ce paragraphe, nous faisons i l'hypothèse que le bruit dépend de x et suit une loi gaussienne de moyenne nulle et de matrice de variance-covariance Cy(x), la relation (28) permet d'exprimer la densité conditionnelle du bruit sous la forme: 1 1 T p =x exp y yvrai C 1 x y yvrai ( ) = q y ( ) det 1 2 (2 )2 (Cy(x))2 (37) Si l'on suppose que le PMC utilisé est acceptable, c'est à dire que les sor- ties du réseaux approximent "correctement" l'espérance conditionnelle: yvrai E Y=xobs F W ; xobs (38) = ( i ) ( i ) On peut alors simplier l'expression de ln p(yobs=xobs; W) en rem- i i plaçant yvrai par F(W; x), approximation calculée par le PMC . T p yobs=xobs; W y F W ; x C 1 x y F W; x 2 ln ( i i ) = i ( i) y ( i) i ( i) ln det C1(xi) + q ln 2 (39) y L'équation (36) permet de redénir la fonction de coût: NXobs Remp(W) = Ri(W) + constante (40) i=1 Perceptron et Régression non linéaire
第 17 页
Détermination des paramètres de la loi normale Y=x 17 avec T R W yobs FW; xobs C 1 xobs yobs F W; xobs i( ) = i ( i ) y ( i ) i ( i ) det C 1 xobs (41) ln y ( i ) Le premier terme de la partie droite de Ri est tout simplement le coût des moindres carrés généralisés (21). L'équation (41) apparaît comme une généralisation de l'équation (21), le second terme du second membre de cette équation permet de tenir compte de la variabilité du bruit en sortie. Si nous disposons d'une estimation acceptable de Cy(x) alors ce second terme est une constante par rapport à W et il peut être supprimé de la fonction coût. Par contre, si Cy(x) est inconnu et doit être estimé durant l'apprentissage, il est alors important de tenir compte de ce terme. 5.2 Détermination des paramètres de la loi nor- male Y=x La résolution générale du problème de régression consiste à estimer, pour tout x, la moyenne conditionnelle E(Y=x) ainsi que les coecients de la matrice de variance-covariance Cy(x). Il faut donc dénir un PMC adapté à cette tâche avec une conguration de poids W qui minimise l'expression (40). Le réseau PMC doit avoir autant de neurones de sorties que de paramètres à estimer. Ces paramètres sont: les q com- posantes de E(Y=x), les q variances des composantes de Y=x ainsi que les q(q 1) coecients de corrélations. 2 Une méthodologie générale permettant d'estimer l'inverse de la ma- trice de variance covariance a été présentée dans [61], l'idée de base est d'estimer les coecients de la décomposition de Cholesky : C 1 x AT x A x (42) y ( ) = ( ) ( ) où A(x) = [aij(x); i < j)] est une matrice triangulaire admettant des eléments positifs sur la première diagonale. Nous présentons par la suite l'algorithme d'apprentissage dans un cas simplié où la matrice de variance-covariance est diagonale (coecients de corrélations nuls). Le kme élément de la diagonale étant 2(x). Cette version simpliée de k l'algorithme a été présentée dans [40] et [5] Pour une matrice de variance-covariance diagonale l'équation (41) de- vient: Perceptron et Régression non linéaire
第 18 页
Détermination des paramètres de la loi normale Y=x 18 X X q y F W; x 2 q k k( ) R(W) = + ln(2(x)) + constante (43) 2 x k k( ) k=1 k=1 où pour simplier l'écriture de l'équation nous avonsomis d'écrire l'indice i caractérisant un exemple particulier de la base d'apprentissage pour une observation xobs quelconque. L'architecture du réseau possède deux types diérents de neurones de sortie qui seront notés M et D, les états de ces neurones représentent les diérentes valeurs à estimer: Les sorties de type M estiment les q valeurs moyennes distinctes E(Y=xobs), dans ce cas on utilise des neurones linéaires. i Les sorties de type D estiment les q variances 2(x) ; comme ces k valeurs doivent être positives, les neurones du groupe D utilisent des fonctions de transfert exponentielles. Le nombre de neurones de la couche d'entrée du réseau est égal à la dimension du vecteur x. Le nombre de couches et de cellules cachées dépendra de la complexité du problème à résoudre. La couche de sortie admet 2q cellules dont les états constituent deux ensembles diérents: OM = foM(W; xobs) ; k = 1 qg k OD = f oD(W; xobs) ; k = 1 qg k Le vecteur OM correspond à F (W; x) de l'équation (43). An de noter k les entrées des cellules de sorties nous utiliserons des notations similaires en remplaçant o par s et O par S pour les deux groupes de cellules S = fSM; SDg: les neurones de type M ont des fonctions de transferts linéaires on a donc oM = sM . k k les neurones de type D ont des fonctions de transfert exponentielles on a donc : oD esD . k = k An de simplier les formules utilisées pendant l'apprentissage nous in- troduisons quelques simplications et quelques notations intermédiaires. Nous omettrons l'indice i, xobs représentera donc une observation par- ticulière et R la fonction coût partielle Ri qui lui estasso ciée. Pour chacune des observations xobs nous noterons = M = yobs OM , k k = 1 q l'erreur attachée à cette observation. La fonction de coût qui représente l'erreur attachée à cette observation s'écrit: Perceptron et Régression non linéaire
第 19 页
Détermination des paramètres de la loi normale Y=x 19 Xq Xq (M)2 R W k sD (44) ( ) = + k esD k k=1 k=1 L'apprentissage consiste à déterminer les poids W qui minimisent (44), l'initialisation de l'algorithme de rétro-propagation du gradient demande le calcul de @R pour chaque neurone de sortie : @S @R M pour k 2 M : k (45) = 2 @sM esD k k @R M 2 k pour k 2 D : = + 1 (46) @sD esD k k 5.2.1 L'algorithme Nous présentons dans ce paragraphe l'algorithme permettant de min- imiser la fonction (44). Cet algorithme comporte trois phases. Les deux premières phases (1 et 2) sont exécutées à la suite d'une manière itéra- tive, une phase est itérée un certain nombre de fois avant de passer à la suivante (phase 1 itérée, phase 2 itérée,..). La phase 3 est exécutée à la suite de cette initialisation pour raner la solution obtenue: Phase 1 : Le but de cette phase est de proposer une bonne es- timation de la valeur moyenne E(Y=x) avant de passer aux deux phases 2 et 3, cette phase ne concerne que les sorties de type M. Au cours de la phase 1, on suppose que les q écart-types k(x) ne dépendent pas des poids W et restent constants. Seul le pre- mier terme de l'équation (44) est minimisé. La minimisation porte alors sur le coût lié à l'erreur quadratique généralisée. L'algorithme de rétropropagation du gradient s'applique uniquement aux neu- rones qui permettent d'estimer les q moyennes (neurones de type M). Leurs gradients de sortie sont initialisés par l'équation (45) au début de chaque itération. Lors du premier passage de la phase 1 nous supposons que les q écart-types i sont constants et égaux à 1. Dans ce cas Remp se réduit à l'erreur quadratique simple. Au cours des itérations qui suivent les écart-types supposés constants ont pour valeur celles estimées durant la phase 2. Dans cette phase, l'apprentissage calcule une approximation de E(Y=xobs), la précision obtenue peut être analysée en utilisant les Perceptron et Régression non linéaire
第 20 页
20 résultats du paragraphe (5.1). En n de phase on obtient les sorties des neurones de type M: F W ; x ; : : : ; F W ; x oM ; oM; : : : ; oM (47) 1( ) q( ) = ( q ) 1 2 Phase 2: Le but de cette phase est de donner une première esti- mation des écart-types k(x). Les q états des neurones de sortie du type M sont gés, ils conservent les valeurs F (W ; xobs) calculées j précédemment. On ne prend en compte que les erreurs qui appa- raissent sur les sorties de type D, la minimisation ne porte que sur le second terme de R(W) (44). Les q neurones de sorties de type D estiment les variances: F W ; x ; : : : ; F W ; x oD ; oD ; : : : ; oD (48) q+1( ) 2q( ) = ( q q q) +1 +2 2 les gradients de l'algorithme de rétropropagation sont initialisés au début de chaque itération par l'équation (46). Au cours de la première itération de cette phase on utilise la matrice W calculée en n de phase précédente. Phase 3 : Durant cette phase, la fonction de coût (44) est min- imisée dans sa globalité. On suppose que les 2q sorties du réseau sont variables, chaque itération de la rétropropagation du gradient est initialisée par l'équation (45) pour les sorties de type M et par l'équation (46) pour les sorties de type D. 6 Perceptron et Modèle Inverse 6.1 Position du problème Nous introduisons dans ce paragraphe des formalismes adaptés à la réso- lution de problèmes inverses à l'aide de PMC. Sous sa forme générale le problème se formule de la manière suivante: connaissant les observations y, quelles sont les valeurs des paramètres, représentés par x, qui les ont inférées. On recherche donc maintenant une fonction F telle que: Rq ! Rp y 7! x = F1(W; y) (49) En géophysique, on cherche à inférer des paramètres physiques à partir d'observations fortement bruitées issues de capteurs, il est donc impossible de ne pas tenir compte des incertitudes. Nous introduisons de la manière la plus complète possible le traitement de ces incertitudes, Perceptron et Modèle Inverse
评论 (0)
暂无评论。快来抢沙发吧！