Compte-rendu de la journée-atelier “IA et images en SHS” – 15 mai 2024 – BnF DataLab

Julien Schuh – Introduction

Le consortium est constitué de partenaires partageant des questionnements sur l’application des outils d’apprentissage automatique et d’intelligence artificielle aux images issues des sciences humaines et sociales. L’intelligence artificielle est un enjeu essentiel. Il est impératif d’adapter nos méthodes de travail et nos pratiques professionnelles en conséquence. Il est nécessaire de se former à ces outils tout en modifiant leur production pour qu’ils répondent à nos besoins de recherche comme l’archivage et la préservation patrimoniale. Une discussion collective est indispensable pour établir des protocoles communs et favoriser l’interconnexion. Cela permettra d’éviter une production fragmentée et isolée d’outils par chaque acteur. L’objectif de ce consortium est de réunir des personnes autour de ces problématiques. 

Actuellement, le consortium bénéficie d’une labélisation par Huma-Num pour une durée d’un an. À la fin de cette période, une évaluation sera réalisée en vue d’une labélisation pour trois années supplémentaires. Durant ces quatre années, le consortium vise à cartographier les outils existants, identifier ceux nécessaires à consolider, et proposer ses propres protocoles et référentiels. De nombreux projets souhaitent utiliser des outils d’intelligence artificielle, mais sont souvent freinés par un manque de connaissances sur leur faisabilité, leur applicabilité, et les infrastructures nécessaires. Le consortium entend créer une base de connaissances commune sur ces enjeux et proposer des formations adaptées. L’année 2024 est consacrée principalement à la présentation et à la mise en relation des partenaires. 

Catherine Eloi : les projets du DataLab

Le partenariat entre pictorIA, le DataLab et la Bibliothèque nationale de France (BnF) a commencé au début de l’année 2024. Il est important pour la BnF de soutenir les acteurs de l’intelligence artificielle en France et principalement les chercheurs, le public naturel de la Bibliothèque nationale. L’intégration de solutions d’intelligence artificielle pour améliorer l’accessibilité des collections numériques est indispensable au moment où l’intelligence artificielle prend une place croissante dans notre société. 

En 2021, la BnF s’est dotée d’une feuille de route en matière d’intelligence artificielle, accessible sur son site. Gallica Image n’est qu’un des nombreux projets d’intelligence artificielle de la BnF. Elle collabore étroitement avec Christopher Kermorvant et Teklia, et développe également des outils d’annotation de corpus. En outre, la BnF facilite l’expérimentation en reconnaissance de texte manuscrit (HTR) pour les écritures occidentales ainsi que des langues comme l’arménien ou le syriaque. Le BnF DataLab permet aux chercheurs de réaliser de la fouille de données numériques dans les collections. Ce service a été ouvert en octobre 2021 grâce à une convention de partenariat signée par l’IR* Huma-Num et le CNRS. Le BnF DataLab a pour objectif de faciliter l’accès aux  collections numériques de Gallica et de Gallica intramuros. Ce service a pour rôle de développer les usages et les pratiques de la recherche autour des collections numériques avec l’assistance des experts de la BnF. La BnF est aussi un lieu de résidence de recherche car elle accueille dans l’espace du DataLab l’équipe ObTIC. Depuis trois ans, le BnF DataLab et Huma-Num lancent collectivement des appels à projets afin que les porteurs retenus profitent d’un accueil au sein du BnF DataLab d’une durée d’un an avec un accompagnement scientifique, technique et d’une aide financière. Le DataLab est à la disposition des chercheurs pour échanger sur des projets. Il permet de fédérer pour aider à la connaissance commune des outils. 

Jean-Philippe Moreux : « IIIF et IA »

IIIF est « un protocole d’échange et un accélérateur de création d’idées », pour reprendre les termes de Jean-Philippe Moreux. Le protocole donne accès à des images et permet d’expérimenter ainsi que de développer des prototypes en interne ou en collaboration avec des laboratoires. Pour ce faire, il faut partir d’un entrepôt qui est compatible avec IIIF, appliquer un certain nombre de traitements automatiques, manuels ou semi-automatiques. Cela permet d’obtenir des données, des métadonnées et des images enrichies. IIIF n’est pas uniquement utile pour l’accès aux images. Cela permet aussi d’accéder aux textes. Un projet vient de démarrer avec la BnF, l’EPITA, l’IGN et l’EHESS sur la création d’un outil d’annotation léger. Cet écosystème IIIF comprend essentiellement des idées, des protocoles et des boîtes à outils. Les projets Transkribus et eScriptorium ont des formats d’import et d’export qui permettent d’échanger, de travailler sur des collections IIIF mais également de sortir éventuellement de IIIF. IIIF est aussi un format qui permet de conserver des jeux de données. JSON est compris par les développeurs donc il est possible, en partant d’une collection de manuscrits, de documents enrichis dans l’univers IIIF, de basculer vers des formats qui seront compris par les informaticiens. GallicaPix est le précurseur de Gallica Image. Une fois que les collections ont été traitées par des modèles de détection d’objets ou des modèles de classification, il est possible de donner ces nouvelles métadonnées aux utilisateurs mais aussi de laisser les utilisateurs valoriser ces données. IIIF permet de porter ces annotations sous la forme de boîtes qui encadrent les concepts, qui permettent de classifier ou de porter la classification qui a été déployée par des modèles d’intelligence artificielle, dans le format IIIF. Ces métadonnées sont consultables et sont destinées à l’utilisateur. Elles sont portées par le format JSON. 

VIKUS est un visualiseur de collections IIIF conçu dans une optique de recherche, de consultation, et de navigation dans les collections iconographiques. Cela permet d’offrir des fonctionnalités de consultation spécifique comme une recherche iconographique. Dans VIKUS, l’utilisateur peut déployer des fonctionnalités d’agrégation, de similarité d’images de la collection, une frise temporelle qui permet de naviguer dans la collection ainsi qu’une recherche par métadonnées.

Marion Charpier « Ontologie et annotation : bonnes pratiques et cas d’usage »

Philosophiquement et selon le CNTRL, l’ontologie est l’étude des propriétés les plus générales de l’être, telles que l’existence, la possibilité, la durée et le devenir. Un modèle supervisé est un modèle destiné à être entraîné. Il est conçu dans l’objectif d’être capable de prédire et de détecter des objets demandés. Le jeu de données en computer vision doit à la fois répondre à la problématique initiale scientifique mais aussi garantir la formation de modèles robustes et adaptés à la problématique de recherche. Cet équilibre est important et va se structurer à travers une ontologie. L’annotation est un processus qui permet d’offrir un nouveau regard sur le corpus. Souvent, quand un projet de recherche en computer vision est envisagé, les chercheurs ont des connaissances et des idées très précises. Généralement, ils se confrontent à la complexité des données qui les force à repenser leur ontologie et à l’affiner au fur et à mesure pour pouvoir répondre au mieux à la problématique initiale. 

Le projet Royère est le projet sur lequel Marion Charpier travaille au sein du Musée des Arts Décoratifs. Un fonds d’archives a été déposé par le designer Jean Royère dans les années 1980. Le fonds est constitué de 18000 items qui se répartissent en quatre grandes catégories. Il est possible d’avoir un chevauchement des différentes classes. L’objectif du projet est d’offrir une description. L’idée était de créer une base de données permettant de trier à partir des différentes classes annotées. Dans ce cadre, Marion Charpier a conçu une première ontologie. En explorant le fonds, elle a pu déterminer une quinzaine de classes. Ces différentes classes lui ont permis de faire des entraînements qui ont montré qu’il existait des confusions entre certaines classes. Il fallait repenser l’ontologie et rajouter des classes d’objets, même si Marion Charpier ne cherchait pas à les identifier. Elle a ajouté la reconnaissance de plantes. Cette classe est discriminante. Elle ne permet pas d’apporter une plus-value sur la recherche mais elle permet d’obtenir un modèle plus robuste. L’annotation est un processus très long. Marion Charpier a expliqué que l’idéal serait de créer une ontologie parfaitement calibrée dès le début mais que cela est quasiment impossible. Après avoir ré-entraîné des modèles, elle a finalement créé une troisième ontologie qui intégrait, en plus des contraintes de la computer vision, la classification que Jean Royère avait fait lui-même de son travail et de son fonds d’archives. Marion Charpier a repensé l’ontologie de Jean Royère pour qu’elle puisse correspondre à un travail de computer vision. Jean Royère propose une déclinaison de quatre ou cinq types de tables. Cependant, un modèle ne peut pas faire la différence entre une table de salon et une table basse. Marion Charpier a donc réunit dans une seule catégorie toutes les tables. Cette classe s’appelle « Table ». 

Marion Charpier : « l’utilisation de modèles supervisés qui nécessitent la création d’ontologies claires et rigoureusement définies doivent refléter la complexité des tâches de recherche à accomplir tout en étant un moyen de communication efficace quant à la définition des données du corpus. La création des jeux de données est une étape cruciale ». 

Christopher Kermorvant : « Les outils en open-source de Teklia pour le traitement de documents numérisés »

Teklia est une entreprise à but lucratif. Cependant, Teklia dédie environ 50% de ses activités à la recherche, en collaboration avec des instituts de recherche et de conservation. L’objectif de Teklia n’est pas de produire des logiciels uniquement destinés aux chercheurs. Teklia a une plateforme de traitement de documents qui a été développée en 2019. La plateforme a été mise en open source en avril 2024. Elle offre des outils de traitement automatique de documents. Néanmoins, Teklia cible les documents d’archives et les documents historiques. Ces documents doivent être numérisés. Ce sont souvent des documents qui n’étaient pas numériques à l’origine, qui ont été transformés en images et nécessitent un traitement automatique. Teklia a utilisé sa plateforme pour une soixantaine de projets divers. Il est possible de traiter tout type de document. Teklia ne réalise pas seulement de la transcription de documents manuscrits. L’un des objectifs de l’entreprise est de faire le passage à l’échelle. L’idée est de pouvoir traiter 1000 comme 10000000 d’images. Pour ce faire, il y aura un impact sur l’architecture selon Christopher Kermorvant.

La plateforme Arkindex permet le traitement de documents et la plateforme Callico est destinée à l’annotation. Ces deux plateformes sont en open source. Néanmoins, la communauté participe à faire évoluer les outils. Arkindex permet de faire du stockage et de la gestion de documents. L’utilisateur peut structurer hiérarchiquement et à volonté son corpus. Il peut également tout personnaliser. Il peut visualiser et naviguer. Il est possible d’annoter des zones sur le document, de faire de la classification et de la transcription. L’utilisateur peut faire de l’extraction clé-valeur, créer des entités nommées sur du texte et faire du groupement d’objets à l’intérieur de documents ou d’images. Une fois que le modèle a été entraîné et que l’utilisateur souhaite l’appliquer à grande échelle sur les documents, il peut le faire tourner sur la plateforme de son choix. Un certain nombre d’algorithmes est intégré dans la plateforme. Si un algorithme spécifique est développé, il est possible de l’ajouter à la plateforme et traiter les documents. 

Le projet SOCFACE est un projet de Teklia qui consiste à reconnaître, classifier, structurer et faire le jumelage de 100 ans de recensements français, entre 1836 et 1936. 30000000 d’images sont utilisées. Le volume est assez important. Les images ne sont pas à un seul endroit. Elle sont dans les archives départementales. Il faut aller chercher ces images puis les traiter. Ce projet a deux axes. Le premier axe est un questionnement lié au nombre d’images. Le deuxième est l’axe de la complexité du traitement. 

Teklia a aussi réalisé un projet avec le Musée Guimet, nommé HikarIA. L’objectif était d’analyser une collection d’albums photographiques japonais du XIXe siècle ainsi que de comprendre comment utiliser et adapter des modèles qui ne sont pas conçus pour de la photographie japonaise du XIXe siècle. Des modèles existants réalisent de l’analyse de photographies efficacement. Au début du projet, en 2023, les modèles n’étaient pas très précis. Désormais, les modèles sont capables de citer des instruments de musique japonais. Le plus important est l’infrastructure, utiliser les modèles et les évaluer. Tous les modèles développés dans des projets de recherche par Teklia sont mis en accès libre sur HuggingFace. Il y a treize modèles d’HTR, trois modèles de détection de lignes, trois modèles de NER et des jeux de données annotées. Le plus important est la plateforme et l’expertise de traitement de documents.

Dominique Andrieu et Barthélémy Serres (MSH Val de Loire) : « L’IA dans les Sciences géographiques – exemple d’application sur le cadastre napoléonien »

En information géographique, la télédétection constitue un facteur important pour le développement de la classification supervisée. L’apprentissage machine se développe énormément en 2024 en information géographique. Il existe des données fondées sur l’intelligence artificielle produites sur de grandes échelles. L’intelligence artificielle est de plus en plus présente dans les outils de la géomatique. La géomatique représente la cartographie automatique. 

L’outil dominant de la géomatique est ArcGIS Pro. Ce dernier propose différents types d’analyse d’images. Cela comprend la classification d’image, la détection d’objets, la segmentation sémantique, la segmentation d’instance, la conversion d’image et l’analyse d’évolution. La GéoAI est une science qui se développe. Les services cités sont fondés sur des images satellitaires, des photographies aériennes, et non pas sur la cartographie numérique. Le projet Veccar a été piloté par Dominique Andrieu en lien avec le réseau national de la MSH auquel a suivi le projet CANAPAI avec le financement de l’Université de Tours. Ces projets ont permis d’extraire les limites du cadastre napoléonien grâce à des outils d’intelligence artificielle. 

Jean-Christophe Carius : « Le projet PENSE de l’INHA. Annotation et enrichissement de corpus visuels en histoire de l’art et perspectives d’édition numérique scientifique multi-support à partir de données IIIF »

Jean-Christophe Carius accompagne les chercheurs dans leurs relations avec les outils numériques à l’INHA. Il souhaite découvrir au sein de pictorIA comment l’intelligence machine sert les sciences humaines et sociales mais aussi comment les sciences humaines et sociales permettent d’appréhender l’intelligence machine. L’INHA est une institution dédiée à l’histoire de l’art, composée d’une bibliothèque d’histoire de l’art mais possédant également une collection de documents historiques. 

L’INHA a la volonté de produire des collections numériques de sources enrichies. Cette institution souhaite réaliser un travail de recherche et d’analyse. Le projet pilote a été le projet des papiers Barye. Les documents historiques subissent un certain nombre d’opérations comme le classement archivistique, le classement recherche, l’établissement de métadonnées et la segmentation. Ce projet a été fait avec beaucoup d’enjeux de design, au sens de processus de design.

L’équipe de l’INHA a utilisé Transkribus pour les projets qui étaient constitués de textes mais également pour un projet qui comportait du texte et des images. Transkribus propose un environnement. Cependant, l’équipe de l’INHA l’a épluché pour comprendre son fonctionnement et quels étaient ses manquements ainsi que ses limitations, de façon à l’adapter à la démarche que l’équipe souhaitait appliquer. La transcription automatisée comporte toujours un grand nombre d’erreurs et ces erreurs sont désagréables à corriger. Selon Jean-Christophe Carius, demander à des experts de corriger un travail fait par une intelligence artificielle dégrade leur savoir. Il serait davantage souhaitable de mettre l’intelligence artificielle au service de leur travail. L’INHA a aussi traité des corpus ne comportant que des images. 

Le projet PENSE (Plateforme d’Édition Numérique de Sources Enrichies) permet d’enrichir la source numérisée et comporte des problématique liées à l’édition numérique. L’INHA travaille sur le format d’édition et sur la reconnaissance de l’image avec l’intelligence machine. L’INHA a fait une première expérience visant à intégrer une visionneuse IIIF dans OpenEdition, au sein d’un article. Suite à cela, un projet a été initié à l’INHA se nommant PerVisum. Les membres de ce projet travaillent sur le développement d’un article visuel, plus exactement sur un article qui mettrait l’image au centre de sa démonstration en se servant de la technologie IIIF. L’INHA aimerait le présenter sous une forme immersive avec des annotations mais souhaiterait aussi pouvoir générer une version PDF non interactive.

---

---