Le Big Data peut aider les ordinateurs à identifier les émotions liées aux images

Les sites populaires tels que Twitter et Facebook et d'autres canaux sont maintenant remplis d'images qui aident une personne à mieux exprimer ses pensées et ses sentiments. De nouvelles recherches suggèrent que les «mégadonnées» - toute collection d'ensembles de données si volumineux ou complexes qu'il est difficile de les traiter à l'aide d'applications de traitement de données traditionnelles - peuvent être utilisées pour apprendre aux ordinateurs à interpréter le contenu et les sentiments associés aux images.

Le Dr Jiebo Luo, professeur d'informatique à l'Université de Rochester, en collaboration avec des chercheurs d'Adobe Research, a récemment présenté un article lors d'une conférence de l'American Association for Artificial Intelligence (AAAI), décrivant un réseau neuronal convolutif profond (CNN) à formation progressive. .

L'ordinateur entraîné peut ensuite être utilisé pour déterminer les sentiments que ces images sont susceptibles de susciter. Luo dit que ces informations pourraient être utiles pour des choses aussi diverses que la mesure d'indicateurs économiques ou la prévision d'élections.

La tâche est cependant complexe. L'analyse des sentiments du texte par des ordinateurs est en soi une tâche difficile. Et dans les médias sociaux, l'analyse des sentiments est plus compliquée car de nombreuses personnes s'expriment à l'aide d'images et de vidéos, qui sont plus difficiles à comprendre pour un ordinateur.

Par exemple, lors d'une campagne politique, les électeurs partageront souvent leurs points de vue à travers des photos.

Deux images différentes peuvent montrer le même candidat, mais elles peuvent faire des déclarations politiques très différentes. Un humain pourrait reconnaître l'un comme étant un portrait positif du candidat (par exemple, le candidat souriant et levant les bras) et l'autre étant négatif (par exemple une image du candidat ayant l'air vaincu).

Mais aucun humain ne peut regarder toutes les images partagées sur les réseaux sociaux - ce sont vraiment du «big data». Pour pouvoir faire des suppositions éclairées sur la popularité d’un candidat, les ordinateurs doivent être formés pour digérer ces données, ce que l’approche de Luo et de ses collaborateurs peut faire avec plus de précision qu’elle n’était possible jusqu’à présent.

Les chercheurs considèrent la tâche d'extraction des sentiments des images comme un problème de classification d'images. Cela signifie que chaque image doit être analysée et des étiquettes doivent être appliquées.

Pour commencer le processus de formation, Luo et ses collaborateurs ont utilisé un grand nombre d'images Flickr qui ont été vaguement étiquetées par un algorithme de machine avec des sentiments spécifiques, dans une base de données existante connue sous le nom de SentiBank (développée par le groupe du Dr Shih-Fu Chang à Columbia. Université).

Cela donne à l'ordinateur un point de départ pour commencer à comprendre ce que certaines images peuvent véhiculer.

Mais les étiquettes générées par la machine incluent également une probabilité que cette étiquette soit vraie, c'est-à-dire, dans quelle mesure l'ordinateur est-il sûr que l'étiquette est correcte?

L'étape clé du processus de formation vient ensuite, lorsqu'ils rejettent toutes les images pour lesquelles le sentiment ou les sentiments avec lesquels ils ont été étiquetés pourraient ne pas être vrais. Ils n'utilisent donc que les images «mieux» étiquetées pour une formation continue de manière progressivement améliorée dans le cadre du puissant réseau de neurones convolutifs.

Resaercher a constaté que cette étape supplémentaire améliorait considérablement la précision des sentiments avec lesquels chaque image est étiquetée.

Ils ont également adapté ce moteur d'analyse des sentiments avec quelques images extraites de Twitter. Dans ce cas, ils ont utilisé «l'intelligence des foules», plusieurs personnes aidant à catégoriser les images via la plateforme Amazon Mechanical Turk.

Ils n'ont utilisé qu'un petit nombre d'images pour affiner l'ordinateur et pourtant, en appliquant ce processus d'adaptation de domaine, ils ont montré qu'ils pouvaient améliorer les méthodes actuelles d'analyse des sentiments des images Twitter.

Une découverte surprenante est que la précision de la classification des sentiments d'image a dépassé celle de la classification des sentiments textuels sur les mêmes messages Twitter.

Source: Université de Rochester