Compte-rendu de la journée-atelier “IA et IIIF”- 26 juin 2024 – BnF DataLab

Alexandre Tur et Laure-Anne Bertrand (BnF) : Production et diffusion d’annotations avec IIIF

La Bibliothèque nationale de France a présenté un développement destiné à la production et la diffusion d’annotations IIIF dans la base d’enluminures Mandragore. Mandragore est un ancien outil informatisé de la BnF, créé en 1989 sous le nom de Dbase. Son site de consultation a été mis en ligne en 2003. Alexandre Tur, Laure-Anne Bertrand et leur équipe l’ont retravaillé pour créer une nouvelle version en 2022. Cependant, Mandragore ne comporte pas encore de reconnaissance automatique ou d’intelligence artificielle.

En 2022, 6831 manuscrits sont décris. Le but de cet outil est de décrire les enluminures et les décors des manuscrits. Cette base est très large en terme d’aire culturelle et d’aire chronologique. L’intérêt de Mandragore est d’identifier l’endroit où se trouvent les enluminures et ce qu’elles représentent. Au-delà d’identifier les enluminures, l’outil les classe. Il repère quand un manuscrit est enluminé par plusieurs artistes. Les unités de création sont un ensemble de décors qui ont été constitués par la même personne. Un manuscrit peut comporter une unité de création. Il se peut également que plusieurs artistes se soient partagés le manuscrit. L’outil indexe ce qu’il détecte pour chaque unité de décor. 

L’équipe de la BnF a refait le site internet de l’outil, son interface de production et le modèle de données. Elle a décidé d’encoder les données en XML alors que la base de données était relationnelle auparavant. La BnF détenait le Catalogue des archives et manuscrits qui est en XML. Elle a réalisé des formulaires avec des listes déroulantes contrôlées et elle a travaillé sur les possibilités de liens avec les images. L’équipe d’ Alexandre Tur et Laure-Anne Bertrand s’est servie de Mirador pour son outil. La première étape consistait à détourer la zone du décor. Une instance de Mirador est à l’intérieur de PIXML. Il n’est pas souhaitable de stocker les coordonnées de l’image dans un manifeste. L’application est interne. Les manifestes ne sont pas beaucoup exploités. En deuxième option dans l’interface de production, l’utilisateur peut cliquer sur un concept afin de récupérer le texte du concept et faire correspondre la zone. Cela permet de gagner du temps car il est possible de travailler que dans Mirador. Il est également possible de travailler par strate et de ne pas tout détourer. L’un des enjeux est de vérifier que les concepts saisis existent. De plus, le stockage ne se fait pas en IIIF et la diffusion des annotations IIIF se fait par le biais d’un site internet créé en 2023. L’outil de la BnF comporte un moteur de recherche SolR. La vignette doit être téléchargée. L’équipe de la BnF a choisit d’utiliser Mirador pour obtenir une meilleure visualisation. L’intérêt de Mirador est que l’utilisateur peut voir toutes les annotations de la page et les parcourir. Il est possible de diffuser un manifeste IIIF et un fichier d’annotations. Les manifestes de Mandragore sont publiés mais il est impossible de les récupérer et de les ouvrir à ce jour. L’outil fait face à un « bug ». Quant à l’indexation automatique, il y a eu des expérimentations mais elles ont des limites. Les mots-clés qui sont utilisés dans Mandragore sont des mots-clés très précis. Les chercheurs le souhaitaient mais cela est compliqué pour le modèle d’identifier une espèce de poisson très particulière comme saumon. Il aurait été préférable d’utiliser des mots-clés moins précis comme poisson. 

David Newbury (comité exécutif IIIF)

David Newbury est le directeur adjoint du service Logiciels et expérience utilisateur de Getty. Il est également membre du comité exécutif de l’International Image Interoperability Framework (IIIF). Les membres du Consortium IIIF sont des bibliothèques de recherche mondiales, des bibliothèques nationales, des centres d’archives, des éditeurs de logiciels ainsi que des agences numériques et des universités. Le Consortium IIIF a été créé en 2015 par onze institutions. L’Université d’Oxford, la British Library, l’Université de Stanford, Artstor, Die Bayerische Staatsbibliothek, l’Université de Cornell, la Bibliothèque nationale de France, Nasjonalbiblioteket, l’Université de Princeton, Wellcome Trust et l’Université de Yale sont les membres du consortium qui étaient présents à sa réalisation. Le Consortium IIIF comprend actuellement soixante-neuf membres. 

L’objectif de ce consortium est de mettre à disposition des chercheurs et du grand public des ressources numérisées d’images, des ressources sonores ainsi que des enregistrements vidéo hébergés dans le monde entier. Le Consortium IIIF permet également de définir et de gérer un ensemble d’APIs. De plus, David Newbury et son équipe développent et documentent des technologies partagées. Le travail autour d’un dispositif d’annotation porté par le consortium IIIF s’inscrit dans le dernier objectif concernant la visualisation, la comparaison, la manipulation ainsi que l’annotation de documents visuels et audio numérisés. En effet, David Newbury et le Consortium IIIF travaillent en ce moment sur une collection d’images en réalisant un outil et un serveur d’annotations. 

Bastien Abadie (Directeur Technique, TEKLIA) : Architecture IIIF et IA. Enjeux du passage à l’échelle. 

Teklia est une société française qui a été fondée en 2014 par Christopher Kermorvant. Sa spécialité est le traitement de documents manuscrits ou imprimés. Leurs outils supportent quasiment tous les types de documents, de formats et de langues. Ils utilisent des algorithmes de Machine Learning ou de Deep Learning de manière distribuée. 

Arkindex est l’un de leurs outils. Il s’agit d’une plateforme Web. Il est possible d’y insérer le type de document que l’utilisateur souhaite étudier sous forme d’image mais il faut qu’il soit sur un serveur IIIF. En effet, tout document inséré dans Arkindex doit être en IIIF. Teklia a investi dès ses débuts dans le support IIIF. Il est possible de distribuer à grande échelle, sur des serveurs normaux ou des super-calculateurs. Teklia est récemment passé en Open Source avec Arkindex. IIIF entraîne l’utilisation d’APIs, des protocoles définis qui permettent l’accès aux images et aux métadonnées. Les chercheurs en humanités numériques utilisent IIIF pour partager des images. L’intérêt principal est la collaboration et la pérennité des URL. Le serveur IIIF garantit qu’à long terme les images restent disponibles aux mêmes adresses. Cela permet que les outils externes continuent à fonctionner de manière pérenne également. Publier des collections en IIIF permet de communiquer à faible coût. Les formats supportés par les majorité des serveurs IIIF sont JPEG, PNG, JPEG200, TIFF et PDF. 

Bastien Abadie a expliqué lors de son intervention du 26 juin 2024 qu’il ne fallait pas réaliser des environnements sous-dimensionnés et que les utilisateurs devaient éviter le filtrage par IP et User-Agent non explicite et tout mécanisme de filtrage. Teklia a fait le choix de supporter que IIIF dans Arkindex. La démarche de Teklia n’est pas de consulter un site, page à page et de prendre le temps de regarder chaque image. L’équipe de Teklia lance des serveurs qui exécutent le plus rapidement possible les opérations et téléchargent les images. Les challenges de l’utilisation de IIIF dans un contexte de Machine Learning et d’intelligence artificielle par Teklia sont d’avoir un seul stockage, une seule référence, un protocole accessible par tous les outils, une génération des miniatures depuis l’image originale ainsi qu’un stockage à long terme et en grande quantité. 

Le premier projet de Teklia est Himanis qui permettait le traitement de livres manuscrits du Moyen Âge. Le serveur IIIF était externe. Teklia déléguait la responsabilité des images à ses partenaires. Deux années après, Teklia a réalisé Balzac. Cet outil traite les recensements historiques du Quebec. Teklia a monté son propre serveur capable de stocker 2500000 images. L’équipe de Teklia a fait face à plusieurs problèmes dont la conversion d’images. Elle devait re-générer des images sources et les traiter. L’architecture était composée d’un gros serveur et de deux gros disques durs. Le projet Socface a été le plus gros projet de Teklia. Il était destiné au traitement du recensement français. Pour réaliser cette tâche, l’équipe de Teklia a monté un cluster Web. 

Ateliers

Marion Charpier et Emmanuelle Bermès : Initiation à IIIF

IIIF est une initiative née en 2011. Cela définit un ensemble d’interfaces de programmation d’application (API), ainsi qu’une communauté. IIIF permet de diffuser et d’échanger des images haute résolution sur le Web. Son but est d’offrir un cadre d’interopérabilité pour les bibliothèques numériques. Un consortium international IIIF a été créé en juin 2015. Il est constitué principalement de bibliothèques, de musées, d’universités, d’agrégateurs et de projets. La Bibliothèque nationale de France est un membre fondateur de la communauté IIIF. Elle met à disposition plus de sept millions de documents et plus de cent millions d’images par le biais de sa bibliothèque numérique Gallica. 

IIIF se compose d’un modèle de données nommé Shared Canvas et de quatre APIs qui sont l’API Image, l’API Presentation, l’API Content Search et l’API Authentification. Le Canvas sert de réceptacle pour les ressources numériques. Une API IIIF est une API qui a été standardisée par le Consortium IIIF. Elle permet de manipuler de façon homogène des images sans prendre en compte leurs localisations physiques ou lieux d’hébergement. L’API Image fonctionne avec des visualiseurs d’images haute résolution. OpenSeaDragon (visualiseur Javascript) et Mirador (visualiseur Javascript) sont des outils disponibles en Open Source permettant d’utiliser l’API IIIF. OpenSeadragon est un visualiseur basé sur le Web permettant de zoomer des images à haute résolution. Il est conçu pour les ordinateurs de bureau et les téléphones mobiles. Cependant, ce visualiseur n’est pas intégrable. Mirador est une plateforme de visualisation d’images fondée sur le Web permettant d’afficher, de zoomer, de faire un panorama, de faire des rotations, de comparer et d’annoter des images. Ce visualiseur propose d’afficher plusieurs documents dans un même espace. Mirador est facile à intégrer et a été optimisé pour afficher les ressources des référentiels qui prennent en charge les API IIIF. Ce visualiseur fournit plusieurs espaces de travail pour comparer les ressources. Il est possible de créer des annotations via le plugin. Mirador prend en charge l’affichage des normes OpenAnnotation et W3C Web Annotation. De plus, Mirador est disponible en douze langues. Les manifestes IIIF sont voués à fonctionner avec des visualiseurs compatibles avec IIIF. Les visualiseurs se fondent sur les informations contenues par le manifeste pour reconstituer l’artefact numérique au sein d’une interface. L’API Image permet de manipuler de manière dynamique une image. Biblissima est un projet qui permet de rechercher des manuscrits conformes à la norme IIIF et des livres rares datés d’avant 1800 provenant de diverses bibliothèques. Grâce à une API IIIF, il est possible d’obtenir des métadonnées des images. En effet, l’API Presentation est une API RESTful qui permet d’obtenir des métadonnées comme une notice bibliographique, des liens, des droits ou encore des descriptions. 

Les deux APIs principales de IIIF, API Image et API Presentation, ouvrent de nouvelles voies pour les chercheurs. Ces derniers peuvent désormais analyser en détail, comparer et annoter des images numérisées. De plus, IIIF favorise le développement d’un écosystème partagé dédié aux images numériques. Cela encourage également la réutilisation des images, la constitution de bibliothèques numériques et la valorisation de corpus visuels. De surcroît, les annotations sont très utiles aux chercheurs pour enrichir leurs collections et pour la mise en relation de différents contenus. 

Jean-Philippe Moreux et Marina Giardinetti : Roboflow et IIIF

Roboflow est une plateforme conçue pour faciliter le développement et l’entraînement de modèles de vision par ordinateur. Elle a été fondée en 2019 par Joseph Nelson et Brad Dwyer. Le premier objectif était de créer une plateforme qui simplifie le processus de gestion et de préparation des données visuelles. Roboflow permet de créer des ensembles de données, de les annoter et de former des modèles. Pour ce faire, l’utilisateur doit soumettre des images (ou des vidéos) à Roboflow. La mission de Roboflow est également de démocratiser l’accès à la vision par ordinateur. La plateforme se concentre sur la facilité d’utilisation, la flexibilité et l’intégration d’autres outils. Des tutoriels guident les utilisateurs pour chaque étape du processus. 

Roboflow supporte divers formats de données, facilitant l’importation depuis différentes sources et l’exportation vers plusieurs destinations. Les formats pris en charge incluent des formats d’image courants tels que JPEG, PNG, ainsi que des formats plus spécifiques comme DICOM pour les images médicales et BMP. La plateforme permet une conversion automatique. Les fichiers peuvent être convertis en formats optimaux pour le traitement et l’entraînement des modèles. L’importation des ensembles de données est une étape importante dans tout projet de vision par ordinateur. Roboflow simplifie ce processus en offrant une interface utilisateur intuitive et des options de personnalisation pour s’adapter à divers types de données et exigences de projets. Les utilisateurs peuvent simplement glisser-déposer leurs fichiers d’images dans la plateforme grâce à l’interface Drag-and-Drop. Une fois les images importées, Roboflow permet aux utilisateurs de structurer et d’organiser leurs ensembles de données. Les utilisateurs peuvent créer des projets pour organiser leurs ensembles de données. Les images peuvent être catégorisées pour faciliter la gestion. Des pipelines de prétraitement permettent de préparer et de nettoyer les données pour l’entraînement des modèles, incluant des opérations telles que la redimension, la rotation et l’ajustement des couleurs. 

La plateforme propose des outils d’annotation. Roboflow met à disposition des outils fondés sur des boîtes englobantes (Bounding Boxes) utilisées pour délimiter les objets dans une images avec des rectangles. Elles conviennent parfaitement pour les tâches de détection d’objets. Roboflow propose également des polygones. Ils permettent de dessiner les contours des objets, ce qui est particulièrement utile pour les formes irrégulières. Ils sont souvent utilisés pour les tâches de segmentation d’images. Roboflow met à disposition des utilisateurs un outil de segmentation sémantique ainsi qu’un système de Keypoints permettant d’appliquer des points sur des objets pour des tâches comme la reconnaissance des gestes ou la détection des poses. Les équipes peuvent collaborer en temps réel sur l’annotation des données, laisser des commentaires et suggérer des modifications sur les annotations existantes. Cependant, Roboflow prend également en charge les annotations créées avec Labellmg, un outil d’annotation graphique pour les ensembles de données d’images. Les utilisateurs peuvent importer leurs fichiers XML d’annotations créés avec Labellmg directement dans Roboflow. Les formats d’exportation sont COCO JSON, Pascal VOC XML et d’autres. Les fichiers exportés sont disponibles pour le téléchargement, incluant les annotations et les images. La plateforme est compatible avec des frameworks d’apprentissage automatique tels que PyTorch, Keras, Scikit-learn, Detectron2 et OpenCV. Roboflow assure que les ensembles de données sont prêts à être utilisés directement dans ces environnements. Cette compatibilité permet aux utilisateurs de choisir le framework qui convient le mieux à leurs besoins, qu’il s’agisse de modèles de détection d’objets, de segmentation d’images ou de classification d’images. Les fichiers exportés sont importés dans l’environnement de développement du framework choisi. Les utilisateurs peuvent également utiliser des APIs pour automatiser le processus de transfert des ensembles de données annotées vers les environnements de formation. 

Les données sont utilisées pour entraîner les modèles d’apprentissage automatique selon les besoins du projet. Les utilisateurs peuvent configurer les hyperparamètres d’entraînement directement sur la plateforme. Roboflow met à disposition des GPU hébergés pour entraîner les modèles. L’utilisateur n’est pas dans l’obligation d’apporter son propre modèle. Il peut se fonder sur des modèles de base ou utiliser des modèles pré-entraînés disponibles dans Roboflow Universe. Il en existe 50000. Des ensembles de validation peuvent être utilisés pour évaluer les performances du modèle sur des données non vues. Les résultats de l’entraînement peuvent être utilisés pour ajuster les hyperparamètres et ré-entraîner le modèle pour améliorer ses performances. La gestion des versions des modèles est facilitée par Roboflow, permettant aux utilisateurs de tester et revenir à des versions précédentes de leurs modèles. 

Roboflow est compatible avec les principaux services cloud tels que Amazon Web Services (AWS), Google Cloud Platform (GPC) et Microsoft Azure. Les plateformes cloud offrent des solutions de stockage pour de grands volumes de données. 

SAM-IIIF est un outil développé par Marina Giardinetti dans le cadre du consortium pictorIA, destiné à améliorer l’analyse des images dans les sciences humaines et sociales. Il combine le modèle de segmentation automatique SAM (Segment Anything Model) et le protocole IIIF (International Image Interoperability Framework). L’objectif principal de SAM-IIIF est de fournir un outil capable de segmenter automatiquement les images tout en respectant les normes d’interopérabilité et d’accessibilité du protocole IIIF. Cela permet d’améliorer la manipulation et l’analyse des images. 

SAM-IIIF applique le modèle SAM pour segmenter automatiquement les images en régions d’intérêt. Cette fonctionnalité permet de gagner du temps et d’améliorer la précision de l’analyse des images. Il utilise un réseau de neurones convolutifs pour générer les masques des objets présents dans les images. Les masques sont appliqués sur l’image originale pour que l’utilisateur puisse visualiser les objets segmentés. Le modèle, ayant été pré-entraîné sur un vaste ensemble de données, est prêt à être utilisé sans nécessiter d’entraînement supplémentaire. Cependant, l’utilisateur doit posséder un jeu de données Mandragore pré-annoté. L’outil identifie les objets en se fondant sur les annotations fournies. 

Ce modèle utilise IIIF pour standardiser l’accès, facilitant également le partage entre différentes plateformes. Il permet une compatibilité avec d’autres outils et services utilisant IIIF, favorisant une collaboration entre différents projets et institutions. L’outil est capable de traiter divers types d’images provenant des sciences humaines et sociales, facilitant l’extraction d’informations. PictorIA propose une interface utilisateur intuitive permettant aux chercheurs de facilement accéder aux fonctionnalités de segmentation. SAM-IIIF peut permettre aux chercheurs d’analyser et de segmenter des collections d’images historiques ou artistiques. La créatrice de l’outil, Marina Giardinetti, fournit un tutoriel pour guider les utilisateurs. 

Pour plus d’informations, vous pouvez visiter le projet GitLab de SAM-IIIF : https://gitlab.huma-num.fr/jschuh/pictoria/-/tree/main/SAM-IIIF. 

---

---