Hackathon 2024 : Atelier PANOPTIC “IA et patrimoine visuel”(pictorIA x BnF DataLab)

Les 19 et 20 décembre 2024, le DataLab de la BnF a accueilli un hackathon innovant, organisé par le consortium Hum-Num pictorIA en partenariat avec la BnF. Son objectif était d’explorer l’utilisation de l’intelligence artificielle sur des corpus patrimoniaux, tant visuels que multimodaux, ce qui a conduit à la mise en place de plusieurs ateliers. Dans le cadre l’atelier : PANOPTIC, plusieurs jeux de données issus des Archives nationales ont été explorés et traités à l’aide d’outils numériques afin d’améliorer la gestion, l’indexation et l’enrichissement de ces archives visuelles. Les deux fonds principaux sur lesquels nous avons travaillé étaient :
- Fonds Jules Breton, qui documente des expérimentations liées à l’armement pendant la Première Guerre mondiale ;
- Les albums des Salons de Beaux-Arts (1864-1901), mettant en lumière des œuvres d’art achetées par l’Etat.
Ce compte rendu se concentre sur la prise en main des outils, le déroulement du processus, les résultats obtenus et les perspectives d’amélioration. Les objectifs principaux étaient de :
- Identifier et classifier les images issus des fonds Jules Breton et des albums des Salons.
- Mettre en place des processus d’indexation et de détection de doublons dans des corpus d’images importants.
- Tester l’efficacité d’outils d’annotation, de segmentation et d’analyse d’images, ainsi que leur capacité à améliorer l’indexation des fonds photographiques.
Jeux de données
Le Fonds Jules Breton se compose de 47 albums photographiques (1 542 planches et 7 836 photographies isolées). Ce corpus présente des photographies des premières et deuxièmes guerres mondiales, des expériences militaires, des armements, ainsi que des paysages de guerre et des villes colonisées. Les photographies sont en grande partie légendées, mais de nombreuses images restent non identifiées. Le volume total est de 10 666 vues. Les albums des Salons, ce jeu de données représente des œuvres d’art exposées au Salon des Beaux-Arts et achetées par l’Etat entre 1864 et 1901. Il se compose de 2 371 vues de photographies reproduisant des œuvres d’art, accompagnées de légendes descriptives. Ce corpus servait de référence pour l’appariement d’images d’art et la mise à jour des bases de données existantes.
Outils utilisés
Lors de l’atelier, plusieurs outils d’analyse et d’annotation d’images ont été testés. Voici les principaux outils utilisés et leur fonctions.
- Arkindex : plateforme pour l’extraction de texte et de l’indexation des données. Cependant, des fonctionnalités attendues, comme la reconnaissance de texte manuscrit ou tapuscrit, n’étaient pas disponibles.
- Aikon : permet la visualisation et l’analyse d’images, mais l’importation des images issues du fonds Jules Breton n’a pas pu être effectuée.
- Panoptic : Outils de visualisation et de clustering d’images, utilisé pour le fonds Jules Breton. Il a permis de regrouper les images similaires et de repérer des doublons.
- Roboflow : Outil de préparation de corpus d’entraînement pour la reconnaissance d’objets et d’annotations d’images. Il a été particulièrement utile pour la segmentation des photographies dans les albums des Salons.
- Layout Parser : utilisé pour extraire des photographies sur fond uni, particulièrement dans le cas des images en vrac du fonds Jules Breton. Ce modèle a bien fonctionné pour les images simples, mais a montré des limites pour les images complexes ou non rectangulaires.
- Google Vision API et Ollama : Bien que ces outils aient été évoquées, ils n’ont pas été intègres de manière complète durant l’atelier en raison de problèmes techniques.
Déroulement et prise en main des outils
Panoptic – outil de Clustering et de gestion d’images.
L’utilisation de Panoptic pour le fonds Jules Breton a été un moment clé. Après une installation initiale et l’importation des images, celles-ci ont été vectorisées, puis manipulées pour repérer des images similaires grâce à la fonctionnalité de clustering. L’outil permettait de créer des groupes d’images en fonction de leur ressemblance visuelle, ce qui a facilité l’identification des doublons dans un fonds si vaste. Les résultats obtenus ont montré que Panoptic était particulièrement efficace pour regrouper des images similaires et repérer des doublons, notamment en ajustant le taux de similarité pour le clustering.
- Prise en main de Panoptic avec les Fonds Jules Breton (Archives Nationales)


- L’importation : les images sont importées puis vectorisées, il faut attendre la fin de la vectorisation pour les manipuler.

- Appuyer sur le petit plus (entouré en rouge) pour ajouter des dossiers à Panoptic. Il est possible d’ajouter plusieurs dossiers en important leur dossier parent.
Les dix mille images du fonds Henri-Jules Breton ont été ajoutées, d’abord dossiers par dossiers (pour essayer le logiciel), puis le dossier complet. Panoptic ne permet pas de réorganiser ces dossiers dans l’ordre dans la barre latérale.

- Importer un CSV : permet d’importer un fichier de propriété au format CSV (avec pour séparateur ” ; ” )
- Voir le document d’aide pour la rédaction des colonnes : PANOPTIC_TUTO_v0_2.pdf
- Pour le fonds Breton, nous avons importé un CSV contenant toutes les cotes des albums afin de les associer aux images par un tag.

- Filtrer : afficher uniquement les images selon des critères (ex: ne pas afficher toutes les images qui ont l’attribut “ignorer” coché)
- Grouper : groupe les images selon des critères (tag,…, ex : grouper par cote)
- Trier : trie les images au sein des groupes selon des critères (ex : nom dans l’ordre alphabétique)

*La fonction Exécuter permet de rechercher du texte.

Les clusters : créer des clusters rassemble des images automatiquement en fonction de leur ressemblance.

Find_duplicates : permet de définir un minimum de taux de similarités entre les images rassemblés par les clusters. Très efficace pour rassembler les doublons et les images très similaires.
Problèmes rencontrés : L’outil n’a pas permis de réorganiser les dossiers dans l’interface et les images étaient parfois difficiles à manipuler en raison de la volumétrie (10 000 images). De plus, la gestion des métadonnées à l’aide de fichiers CSV a montré qu’il était possible d’enrichir les informations des images pour améliorer l’indexation, mais cela nécessitait une préparation préalable des données.
Résultats et perspectives d’amélioration
Les résultats obtenus durant cet atelier montrent un potentiel évident pour l’amélioration de la gestion et de l’indexation des archives photographiques :
- Avec Panoptic, l’identification des doublons et la recherche de similarités ont été améliorées, bien que l’outil puisse être optimisé en termes de gestion des métadonnées et de réorganisation des dossiers.
- Panoptic s’est montré un outil efficace pour le traitement du fonds Jules Breton, permettant de regrouper les images similaires et d’identifier les doublons grâce à la fonctionnalité de clustering. L’importation des images et leur vectorisation ont facilité l’organisation d’un large volume de données, et l’intégration de métadonnées via des fichiers CSV a amélioré l’indexation.
- Cependant, quelques limitations sont à noter, notamment l’impossibilité de réorganiser les dossiers dans l’interface et les difficultés liées au volume d’images à traiter. L’exploitation des métadonnées n’a pas été optimale en raison de la préparation insuffisante des fichiers CSV.
En somme, Panoptic s’est révélé précieux pour l’analyse et l’enrichissement des archives photographiques, bien qu’une meilleure gestion des métadonnées et des données initiales pourrait optimiser davantage les résultats.
OpenEdition vous propose de citer ce billet de la manière suivante :
chaharzad (14 octobre 2025). Hackathon 2024 : Atelier PANOPTIC “IA et patrimoine visuel”(pictorIA x BnF DataLab). Consortium-HN pictorIA. Consulté le 11 novembre 2025 à l’adresse https://pictoria.hypotheses.org/5583

