La méthode élucide le fonctionnement interne des réseaux neuronaux


Les réseaux de neurones, qui apprennent à effectuer des tâches de calcul en analysant de vastes séries de données de formation, sont responsables des systèmes d'intelligence artificielle les plus performants d'aujourd'hui, des systèmes de reconnaissance vocale, aux traducteurs automatiques et aux voitures autonomes.

Mais les réseaux de neurones sont des boîtes noires. Une fois qu'ils ont été formés, même leurs concepteurs ont rarement une idée de ce qu'ils font – quels éléments de données ils traitent et comment.

Deux ans auparavant, une équipe de chercheurs en vision informatique du Laboratoire de l'informatique et de l'intelligence artificielle (CSAIL) du MIT a décrit une méthode pour regarder dans la boîte noire d'un réseau neuronal formé pour identifier les scènes visuelles. La méthode a fourni des idées intéressantes, mais il fallait que les données soient envoyées à des examinateurs humains recrutés par le service de crowdsourcing Mechanical Turk de Amazon.

Lors de la conférence sur la vision informatique et la reconnaissance des motifs de cette année, les chercheurs de CSAIL présenteront une version entièrement automatisée du même système. Lorsque l'article précédent a rapporté l'analyse d'un type de réseau neuronal formé pour effectuer une tâche, le nouvel article rapporte l'analyse de quatre types de réseaux de neurones formés pour effectuer plus de 20 tâches, y compris la reconnaissance de scènes et d'objets, la colorisation des images grises et Résoudre des casse-tête. Certains des nouveaux réseaux sont si importants que l'analyse de l'un d'entre eux aurait été coûteux dans l'ancienne méthode.

Les chercheurs ont également mené plusieurs ensembles d'expériences sur leurs réseaux qui non seulement mettent en lumière la nature de plusieurs algorithmes de vision d'ordinateur et de photographie de calcul, mais pourraient également fournir des preuves sur l'organisation du cerveau humain.

Les réseaux de neurones sont ainsi appelés parce qu'ils ressemblent faiblement au système nerveux humain, avec un grand nombre de «noeuds» de traitement de l'information assez simples mais densément connectés. À l'instar des neurones, les noeuds d'un réseau neuronal reçoivent des signaux d'information de leurs voisins puis, soit «incendie» – émettent leurs propres signaux – soit ne le font pas. Et comme pour les neurones, la force de la réponse de tir d'un noeud peut varier.

Dans le nouveau document et le plus tôt, les chercheurs du MIT ont redressé les réseaux de neurones pour effectuer des tâches de vision par ordinateur afin qu'ils révèlent la force avec laquelle des nœuds individuels ont déclenché en réponse à différentes images d'entrée. Ensuite, ils ont sélectionné les 10 images d'entrée qui ont provoqué la réponse la plus forte de chaque nœud.

Dans le document précédent, les chercheurs ont envoyé les images aux travailleurs recrutés par Mechanical Turk, qui ont été invités à identifier ce que les images avaient en commun. Dans le nouvel article, ils utilisent plutôt un système informatique.

"Nous avons catalogué 1 100 concepts visuels – des choses comme la couleur verte, ou une texture swirly, ou un matériau en bois, ou un visage humain, ou une roue de vélo, ou un sommet enneigé de la neige", explique David Bau, un étudiant diplômé du MIT En génie électrique et informatique et l'un des deux premiers auteurs du papier. «Nous avons tiré parti de plusieurs ensembles de données que d'autres personnes ont développé et les a fusionnées dans un ensemble de concepts visuels large et densément marqués. Il a beaucoup d'étiquettes, et pour chaque étiquette, nous savons quels pixels dans lesquels l'image correspond à cette étiquette . "

Les autres auteurs du papier sont Bolei Zhou, co-premier auteur et collégien étudiant diplômé; Antonio Torralba, professeur MIT de génie électrique et informatique; Aude Oliva, chercheuse principale de CSAIL; Et Aditya Khosla, qui a obtenu son doctorat en tant que membre du groupe de Torralba et est maintenant le responsable technologique de la société d'informatique médicale PathAI.

Les chercheurs savaient également quels pixels dont les images correspondaient aux réponses les plus solides d'un noeud de réseau donné. Les réseaux de neurones d'aujourd'hui sont organisés en couches. Les données sont introduites dans la couche la plus basse, qui les traite et les transmet à la couche suivante, et ainsi de suite. Avec les données visuelles, les images d'entrée sont brisées en petits morceaux, et chaque morceau est alimenté vers un noeud d'entrée séparé.

Pour chaque réponse forte d'un noeud de haut niveau dans l'un de leurs réseaux, les chercheurs pourraient retracer les modèles de tir qui l'ont amené et ainsi identifier les pixels d'image spécifiques auxquels ils répondaient. Parce que leur système pourrait souvent identifier les étiquettes qui correspondaient aux grappes de pixels précises qui provoquaient une forte réponse à partir d'un nœud donné, cela pourrait caractériser le comportement du noeud avec une grande spécificité.

Les chercheurs ont organisé les concepts visuels dans leur base de données dans une hiérarchie. Chaque niveau de la hiérarchie intègre des concepts à partir du niveau ci-dessous, en commençant par les couleurs et en travaillant vers le haut à travers des textures, des matériaux, des pièces, des objets et des scènes. En règle générale, les couches inférieures d'un réseau neuronal déclencheraient en réponse à des propriétés visuelles plus simples – telles que les couleurs et les textures – et des couches supérieures allumeraient en réponse à des propriétés plus complexes.

Mais la hiérarchie a également permis aux chercheurs de quantifier l'accent mis sur les réseaux formés pour effectuer différentes tâches placées sur différentes propriétés visuelles. Par exemple, un réseau formé pour colorier des images en noir et blanc a consacré une grande majorité de ses noeuds à la reconnaissance des textures. Un autre réseau, lorsqu'il a été formé pour suivre des objets sur plusieurs images de vidéo, a consacré un pourcentage plus élevé de ses noeuds à la reconnaissance de scène qu'il ne l'a fait lors de la formation pour reconnaître les scènes; Dans ce cas, beaucoup de ses noeuds étaient en fait dédiés à la détection d'objets.

Une des expériences des chercheurs pourrait imaginer une lumière sur une question vexée en neuroscience. La recherche impliquant des sujets humains avec des électrodes implantées dans leur cerveau pour lutter contre de graves troubles neurologiques a semblé suggérer que les neurones individuels dans le cerveau disparaissent en réponse à des stimuli visuels spécifiques. Cette hypothèse, appelée à l'origine l'hypothèse grand-mère-neurone, est plus familière à une génération récente de neuroscientifiques que l'hypothèse Jennifer-Aniston-neurone, après la découverte que plusieurs patients neurologiques avaient des neurones qui ne semblaient réagir qu'aux représentations de célébrités particulières de Hollywood.

De nombreux neurologistes contestent cette interprétation. Ils font valoir que les constellations de neurones en mouvement, plutôt que les neurones individuels, ancrent les discriminations sensorielles dans le cerveau. Ainsi, le soi-disant neurone Jennifer Aniston n'est qu'un des nombreux neurones qui tirent collectivement en réponse aux images de Jennifer Aniston. Et c'est probablement une partie de nombreuses autres constellations qui se déclenchent en réponse à des stimuli qui n'ont pas encore été testés.

Parce que leur nouvelle technique analytique est entièrement automatisée, les chercheurs du MIT ont pu tester si quelque chose de similaire a lieu dans un réseau de neurones formé pour reconnaître les scènes visuelles. En plus d'identifier les noeuds de réseau individuels qui ont été accordés à des concepts visuels particuliers, ils ont également considéré des combinaisons de noeuds sélectionnés au hasard. Les combinaisons de noeuds, cependant, ont choisi beaucoup moins de concepts visuels que les nœuds individuels, soit environ 80 pour cent de moins.

"À mes yeux, cela suggère que les réseaux neuronaux essayent réellement de se rapprocher de l'obtention d'un grand neurone", dit Bau. "Ils ne tentent pas de froisser l'idée de grand-mère partout dans le monde. Ils essayent de l'attribuer à un neurone. C'est un indice intéressant de cette structure que la plupart des gens ne croient pas, c'est aussi simple."

###

Contexte supplémentaire

Papier:
Dissection du réseau: quantification de l'interprétation des représentations visuelles profondes

ARCHIVE:
Expliqué: Réseaux de neurones

ARCHIVE:
L'ordinateur apprend à reconnaître les sons en regardant la vidéo

ARCHIVE:
Faire des ordinateurs s'expliquer

ARCHIVE:
La reconnaissance d'objets gratuitement

Lire la suite (en anglais)

N'oubliez pas de voter pour cet article !
1 étoile2 étoiles3 étoiles4 étoiles5 étoiles (Pas encore de votes)
Loading...

Vous aimerez aussi...

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Font Resize
Contrast
Aller à la barre d’outils