Eyes on Emotions: What Makes Faces So Captivating? - Polytech Grenoble
Poster De Conférence Année : 2024

Eyes on Emotions: What Makes Faces So Captivating?

Résumé

Attention maps can be used to predict the regions most likely to attract the eye, thus highlighting the so-called “salient regions”. These regions depend both on the statistical properties of the scenes and the task of the observers. Several bottom-up models have been proposed to predict salient regions and more recently, DeepGaze IIE, a deep neural network model, has been trained directly onto human eye-tracking data to generalize them to unseen images but ignores task effects on eye fixations. Other methods, such as LayerCAM [4] provide maps that enhance the regions used by CNNs for a specific task. In this context, we are interested in studying the salient regions of emotional faces. Emotional faces are specific stimuli that strongly attract gaze [1],especially on the eye and mouth. But it is unclear whether humans focus on these regions due to the performed task of expression recognition or due to the fact that these are "salient". In a previous work [2], we demonstrated that CNNs maps highlight these and predict eye behaviour. Here, we: • develop saliency maps that incorporates both bottom-up and top-down information. • compare visual ROIs between eye-tracking and models’ data for emotional faces. • evaluate CNN maps for predicting visual fixations during two tasks.
Les cartes d'attention peuvent être utilisées pour prédire les régions les plus susceptibles d'attirer le regard, mettant ainsi en évidence les "régions saillantes". Ces régions dépendent à la fois des propriétés statistiques des scènes et de la tâche des observateurs. Plusieurs modèles ascendants ont été proposés pour prédire les régions saillantes et, plus récemment, DeepGaze IIE, un modèle de réseau neuronal profond, a été entraîné directement sur des données de suivi oculaire humain pour les généraliser à des images non vues, mais il ignore les effets de la tâche sur les fixations oculaires. D'autres méthodes, comme LayerCAM [4], fournissent des cartes qui renforcent les régions utilisées par les CNN pour une tâche spécifique. Dans ce contexte, nous nous intéressons à l'étude des régions saillantes des visages émotionnels. Les visages émotionnels sont des stimuli spécifiques qui attirent fortement le regard [1], en particulier sur les yeux et la bouche. Mais il n'est pas clair si les humains se concentrent sur ces régions en raison de la tâche de reconnaissance des expressions ou parce qu'elles sont "saillantes". Dans un travail précédent [2], nous avons démontré que les cartes des CNN mettent en évidence ces régions et prédisent le comportement oculaire. Ici, nous : • développons des cartes de saillance qui intègrent à la fois des informations ascendantes et descendantes. • comparons les ROI visuelles entre les données de suivi oculaire et les modèles pour les visages émotionnels. • évaluons les cartes des CNN pour prédire les fixations visuelles au cours de deux tâches.
Fichier principal
Vignette du fichier
poster.pdf (8.15 Mo) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-04689081 , version 1 (05-09-2024)

Identifiants

  • HAL Id : hal-04689081 , version 1

Citer

Quentin Sénant, Aurore Philippe, Lea Entzmann, Nathalie Guyader, Martial Mermillod. Eyes on Emotions: What Makes Faces So Captivating?. ECVP 2024 - 46th European Conference on Visual Perception, Aug 2024, Aberdeen, United Kingdom. . ⟨hal-04689081⟩
0 Consultations
0 Téléchargements

Partager

More