Unsupervised object learning explains face but not animate category structure in human visual cortex
Notice bibliographique
Résumé
Deep convolutional neural networks (DCNNs) are currently the best computational models of human vision. However, DCNNs cannot fully explain the representation of natural object categories in high-level human visual cortex. DCNNs are classically trained to recognize objects using supervised learning, while humans rely heavily on unsupervised learning. Here, we test whether unsupervised learning yields an object representation that more strongly emphasizes natural categories and better explains human brain activity than supervised learning. We trained ResNet50 on the ImageNet database, using both supervised and contrastive unsupervised learning. For both types of learning, we characterized the network’s internal representation of 96 real-world object images over the course of 200 training epochs. We fitted a category model to the resulting learning trajectories using ordinary least squares to measure the strength of category clustering for faces, animate objects and inanimate objects. We then compared the networks’ learning trajectories and clustering strengths with the object representation in high-level visual cortex, measured with fMRI in human adult observers. We focused our analysis on the deepest convolutional layer and used bootstrap resampling for statistical inference. We found that the unsupervised network better explains the human object representation than the supervised network (FDR corrected p<0.05 for 80 percent of epochs). This difference emerges relatively early in training and increases as learning progresses. Better performance of the unsupervised network is partly driven by its ability to discover natural face category structure in the input images. Importantly, both supervised and unsupervised models fall short of predicting category clusters of animate and inanimate objects in the human brain data (FDR corrected p<0.05 for all epochs), suggesting that these categories are difficult to learn from static images alone. Our findings suggest that the natural category structure in the human high-level visual cortex may arise from unsupervised learning during development.
Récupéré en direct depuis OpenAlex et désinversé. Les résumés ne sont pas conservés dans cette base de données : les index inversés représentent 8,6 Go des 9,3 Go de texte de la base, et le serveur dispose de 13 Go libres.
Comment cette classification a été obtenuedéplier
Prédiction machine sur la base complète
Imitation des enseignantsNi prévalence calibrée, ni vérité terrain. Validation humaine à venir. Le volet Gemma est une étiquette directe du modèle pour chaque travail de la base, lue sur la notice réduite au titre. Le volet Codex est un classifieur appris des 10 348 étiquettes directes de Codex et calibré sur les taux pondérés de l'échantillon; les champs sans appui suffisant ne portent aucun appel Codex. Le mode candidate est l'union des deux volets; le consensus est leur intersection. Ces sorties portent le statut machine_predicted_unvalidated et ne sont pas des étiquettes humaines.
Scores du classifieur distillé par catégorie (deux têtes)
| Catégorie | Codex | Gemma |
|---|---|---|
| Métarecherche | 0,001 | 0,003 |
| Méta-épidémiologie (sens strict) | 0,000 | 0,000 |
| Méta-épidémiologie (sens large) | 0,000 | 0,001 |
| Bibliométrie | 0,000 | 0,000 |
| Études des sciences et des technologies | 0,000 | 0,000 |
| Communication savante | 0,001 | 0,001 |
| Science ouverte | 0,000 | 0,000 |
| Intégrité de la recherche | 0,000 | 0,001 |
| Charge utile insuffisante (le modèle a refusé de juger) | 0,001 | 0,000 |
Scores machine (provisoires)
Les deux têtes enseignantes du modèle étudiant, lues sur ce travail. Un score ordonne la base pour la relecture; il n'affirme jamais une catégorie, et le statut de validation accompagne chaque rangée tel quel.
Scores de référence d'un modèle non mature (critères de maturité non atteints, 7 itérations). Un score ordonne; il n'affirme jamais une catégorie.
score_only:v0-immature-baseline · tel quel depuis la passe de notation : score_only signifie que le nombre peut ordonner les travaux, et qu'aucune étiquette de catégorie n'en découleClassification
machine, non validéePrédiction automatique; un appel candidat d’une seule source (Gemma direct ou Codex distillé), pas un consensus.
Le détail, modèle par modèle et score par score, se trouve en fin de page sous « Comment cette classification a été obtenue ».