RÉSEAUX DE NEURONES GIF-21140 et GIF-64326 par Marc Parizeau Automne 2004 Table des matières 1 2 3 Introduction 1 1.1 Objectifs . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2 Histoire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 Modèle de neurone et réseau 5 2.1 Notations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Modèle d’un neurone . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 2.3 Fonctions de transfert . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.4 Architecture de réseau . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 Algèbre linéaire 3.1 3.2 4 17 Définition d’un espace vectoriel . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 3.1.1 Dépendance linéaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.1.2 Bases et dimensions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.1.3 Produit scalaire . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.1.4 Norme . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.1.5 Orthogonalité . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 Transformations linéaires . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.1 Représentations matricielles . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.2 Changement de base . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.2.3 Valeurs et vecteurs propres . . . . . . . . . . . . . . . . . . . . . . . . . . 25 Processus d’apprentissage 27 4.1 Par correction d’erreur . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 4.2 Par la règle de Hebb . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 4.3