Moissonner un catalogue

Les moissonneurs permettent aux administrateurs de facilement créer et mettre à jour un grand nombre de jeux de données en les important depuis une source externe telle que, par exemple, un catalogue CSW ou un service ArcGIS.

Les deux principaux usages des moissonneurs sont :

  1. Amorcer votre domaine avec des jeux de données provenant d’un portail existant

  2. Maintenir vos jeux de données synchronisés avec un service externe

Les moissonneurs créent les jeux de données, mettent à jour leurs métadonnées et ressources, les maintiennent à jour, et les publient.

Schéma des moissoneurs

Vue d’ensemble

Créer un moissonneur

Pour commencer à utiliser un moissonneur, cliquez sur le menu moissonneurs de votre back-office, puis sur Ajouter un moissonneur. Choisissez ensuite le type de portail que vous souhaitez moissonner, et un nom pour votre moissonneur.

Ecran des moissonneurs

Cliquez ensuite sur Créer le moissonneur. Vous serez redirigé vers le formulaire de configuration du moissonneur. Des informations détaillées sur les différentes options spécifiques au type de moissonneur sélectionné sont disponibles ci-dessous.

Certaines options sont disponibles pour tous les moissonneurs :

  • Mettre à jour à la suppression : si des jeux de données sources sont supprimés du portail moissonné, le moissonneur les supprimera automatiquement du portail OpenDataSoft. Autrement, vous pourriez garder des jeux de données qui ne sont plus disponibles sur le service externe (si par exemple ils ont été supprimés de ce dernier).

  • Télécharger les ressources : les ressources seront téléchargées au lieu d’être attachées via leur URL. Cette option permet de détacher vos jeux de données du portail distant en copiant les données nécessaires sur la plateforme OpenDataSoft. Autrement, vos jeux de données seront liées au service externe, et y accèderont via leur URL lors de chaque publication.

  • Limiter la visibilité : l’accès aux jeux de données moissonnés sera limitée aux utilisateurs et groupes autorisés. Autrement, ils garderont la même visibilité que votre portail.

  • Métadonnées par défaut, Métadonnées Inspire, Métadonnées DCAT : vous permettent de surcharger certaines métadonnées de tous les jeux de données moissonnés. Cela vous permet par exemple de forcer le thème ou le producteur au lieu de récupérer celui spécifié par le service externe.

Une fois que vous avez terminé de configurer votre moissonneur, vous pouvez cliquer sur le bouton Aperçu pour tester le moissonnage sur quelques jeux de données. Si les titres et descriptions qui apparaissent vous paraissent corrects, vous êtes prêt. Autrement, veuillez vérifier les options de configuration du moissonneur.

Utiliser un moissonneur

Le moissonnage est un procédé qui peut être très long sur les services externes qui contiennent de nombreux ou de gros jeux de données. Il est donc séparé en deux phases.

  • Premièrement, le moissonneur se connecte au service externe et découvre tous les jeux de données qu’il contient. Il crée ensuite un jeu de données non publié pour chaque jeu de données distant qu’il trouve. Ces jeux de données contiennent toutes les métadonnées et ressources disponibles (c.f. option Télécharger les ressources). Cette opération a lieu lorsque vous cliquez sur le bouton Démarrer le moissonneur.

  • Ensuite, le moissonneur traite et publie tous les jeux de données moissonnés. Cette étape est la plus longue. Elle a lieu lorsque vous cliquez sur le bouton Publier.

Éditer les jeux de données moissonnés

Avant de les publier, vous pouvez éditer les métadonnées des jeux de données moissonnés. Sur la page du jeu de données (onglet information), vous pouvez surcharger chaque métadonnée en cliquant sur Surcharger et en ajoutant votre valeur. Cette surcharge sera conservée même si vous relancez le moissonneur.

Supprimer un moissonneur

Lorsque vous supprimez un moissonneur en cliquant sur le bouton Effacer le moissonneur, vous avez le choix entre conserver les jeux de données moissonnés (ils deviendront des jeux de données classiques dans votre catalogue), ou les supprimer avec les moissonneur.

Si vous décidez de les conserver, vous devrez les dépublier ou supprimer un par un si vous le faites plus tard, et ils seront dupliqués si vous recréez un moissonneur pour le même service externe.

Types de moissonneurs

Services

Note

Sauf indication contraire, tous les moissonneurs utilisent le HTTPS par défaut mais supportent le HTTP si spécifié dans l’URL fournie.

Le moissonneur FTP utilise FTPS (en mode explicite sur le port 21) par défaut, mais supporte le FTP si spécifié dans l’URL fournie ou si le FTPS n’est pas supporté par le serveur distant.

Planification

Il est possible d’exécuter périodiquement un moissonneur depuis sa page de configuration. Pour ce faire, faites défiler la page jusqu’en bas et cliquez sur “Définir un traitement récurrent”. Vous pouvez exécuter le moissonneur chaque jour, ou sélectionner les jours de la semaine ou du mois au cours desquels il sera exécuté. Vous devez néanmoins toujours sélectionner l’heure de la journée à laquelle le moissonneur sera exécuté car il ne peut pas être exécuté plus d’une fois par jour.

L’exécution périodique sera uniquement déclenchée si le moissonneur a déjà été exécuté au moins une fois.

À la fin d’une exécution planifiée, tous les jeux de données déjà publiés d’un moissonneur seront republiés. Les jeux de données dépubliés ou les nouveaux jeux de données ne seront cependant pas publiés automatiquement.

Planification d'un moissoneur