Hackathon 2024 : Atelier ROBOFLOW “IA et patrimoine visuel”(pictorIA x BnF DataLab)

*Menu pour l’annotation des images
Les 19 et 20 décembre 2024, le DataLab de la BnF a accueilli un hackathon innovant, organisé par le consortium Hum-Num pictorIA en partenariat avec la BnF. Son objectif était d’explorer l’utilisation de l’intelligence artificielle sur des corpus patrimoniaux, tant visuels que multimodaux, ce qui a conduit à la mise en place de plusieurs ateliers. L’atelier Roboflow a été utilisé dans le cadre de l’analyse des photographies issues des albums des Salons des Beaux-Arts (1864-1901). L’objectif principal était de créer un modèle de vision par ordinateur capable de détecter et de segmenter les œuvres d’art (peintures et sculptures) exposées, ainsi que leurs légendes. Grâce à l’outil, il a été possible d’entraîner un modèle pour automatiser cette tâche de segmentation et de labellisation des images, facilitant ainsi l’indexation et la recherche d’œuvres dans les bases de données existantes.
Prise en Main et déroulement de l’atelier :
L’atelier a impliqué plusieurs étapes clés pour la prise en main de Roboflow, du traitement des images à l’entraînement du modèle : création du corpus d’entraînement :
Un corpus d’images a été constitué à partir des photographies des albums des Salons des Beaux-Arts. Ce corpus initial comportait 27 images, dans lesquelles les œuvres (peintures et sculptures) ainsi que leurs légendes ont été annotées manuellement. Ce travail de segmentation a permis de créer deux classes d’annotations : peintures et légendes.
Entraînement du Modèle :
Une fois le corpus annoté, un modèle de segmentation a été créé à l’aide de Roboflow. L’outil propose une interface intuitive permettant de définir les classes, d’entraîner le modèle et de tester ses performances sur un ensemble d’images.
Validation et Tests :
Après l’entraînement initial du modèle (Hackathon 1), de nouvelles images ont été ajoutées au corpus (33 images supplémentaires), permettant de créer un modèle amélioré (Hackathon 3). Ce dernier modèle pouvait désormais identifier non seulement les peintures et légendes, mais aussi les sculptures.

*Image faisant partie du dataset d’entraînement, segmentée à la main.

*Test du modèle entraîné après le hackathon sur des peintures

*Test du modèle entraîné après le hackathon sur une sculpture.
Après l’entraînement du modèle, nous avons créé un workflow simple qui détecte les objets et les labellise :

Les résultats obtenus avec ce workflow ne sont pas toujours satisfaisants. Ci-dessous, un exemple des résultats obtenus avec un test réussi du workflow.

*Image de départ

*Étape de segmentation

*Application des labels
Le modèle n’a pas été déployé et n’a donc pas été appliqué à un large corpus d’images, faute de temps. Le déploiement permettrait de récupérer des fichiers JSON avec la localisation des bounding boxes et leurs labels associés, ainsi que des images avec bounding boxes et labels.
Dans l’ensemble, Roboflow est facile à prendre en main. La version d’essai est gratuite et ne nécessite pas d’entrer une carte bancaire. Les fonctionnalités proposées sont largement suffisantes pour un premier essai.
Résultats :
L’utilisation de Roboflow a permis des résultats intéressants, bien que certaines améliorations soient encore nécessaires :
- Modèle initial (Hackathon 1) : Ce modèle de segmentation, formé sur 27 images, a pu identifier les peintures et leurs légendes de manière correcte dans la majorité des cas. L’outil a réussi à détecter les objets et à leur attribuer les bonnes étiquettes (labels), bien que quelques erreurs aient été observées, notamment dans des situations où la qualité de l’image ou la composition était complexe.
- Modèle amélioré (Hackathon 3) : Après l’ajout de 33 nouvelles images au corpus d’entraînement, le modèle a montré des résultats améliorés, capable d’identifier aussi bien les peintures que les sculptures. L’identification des légendes a également été plus précise.
- Précision du Modèle : En termes de performance, le modèle a bien fonctionné pour la segmentation des peintures et des légendes, mais a parfois montré des lacunes pour la reconnaissance des sculptures, en particulier lorsque ces dernières étaient partiellement obscurcies ou mal cadrées. La détection des sculptures, en raison de leur forme et de leur texture différentes des peintures, a posé quelques difficultés, entraînant des erreurs de labellisation dans certaines situations.
Limites et Perspectives :
Quelques limitations ont été relevées durant l’atelier, qui pourraient être prises en compte pour améliorer les résultats :
- Qualité du Corpus d’Entraînement : Le nombre relativement restreint d’images utilisées pour l’entraînement (27 pour le premier modèle, 60 pour le second) a limité la capacité du modèle à généraliser sur des images plus variées. Un corpus plus large et plus diversifié permettrait de renforcer la robustesse du modèle.
- Reconnaissance des Sculptures : Bien que le modèle ait été capable d’identifier les sculptures dans la deuxième phase de l’entraînement, des erreurs de segmentation ont persisté, notamment lorsque les sculptures étaient partiellement visibles ou en perspective inhabituelle. L’ajout de plus d’exemples de sculptures dans le corpus d’entraînement pourrait améliorer la précision.
- Exécution du Modèle : Le modèle n’a pas été déployé à grande échelle pendant l’atelier, ce qui signifie qu’il n’a pas été testé sur un grand nombre d’images. Une phase de déploiement plus étendue permettrait de mieux évaluer la capacité du modèle à travailler sur un volume plus important de données.
Conclusion :
- L’atelier Roboflow a permis de réaliser des progrès significatifs dans l’analyse et la segmentation des images des Salons des Beaux-Arts. L’outil a facilité la création d’un modèle capable de détecter et de segmenter automatiquement les œuvres d’art et leurs légendes, contribuant ainsi à la mise en valeur du fonds photographique.
- Bien que les résultats soient prometteurs, la précision du modèle pourrait encore être améliorée, notamment en augmentant le nombre d’images pour l’entraînement et en affinant les annotations pour des objets plus complexes comme les sculptures. À terme, le modèle pourrait être déployé à une plus grande échelle et utilisé pour des tâches telles que la recherche de similarités avec d’autres bases de données existantes, comme la Joconde ou les collections du Cnap.
En somme, Roboflow s’avère un outil puissant pour l’analyse des photographies d’archives, mais nécessite encore des ajustements pour atteindre un niveau optimal de précision et de généralisation.
OpenEdition vous propose de citer ce billet de la manière suivante :
chaharzad (14 octobre 2025). Hackathon 2024 : Atelier ROBOFLOW “IA et patrimoine visuel”(pictorIA x BnF DataLab). Consortium-HN pictorIA. Consulté le 11 novembre 2025 à l’adresse https://pictoria.hypotheses.org/5643

