Publier des jeux de données

Un jeu de données présente un cycle de vie spécifique : il est créé dans le back office (non publié), vous configurez les sources, les processeurs et la sécurité, puis vous le publiez. Le jeu de données apparaît sur la plateforme (en fonction des règles de sécurité). Quand vous apportez des modifications au jeu de données, elles sont chargées dans la version publiée lorsque vous cliquez sur le bouton Publier. Vous pouvez à tout moment supprimer un jeu de données à l’aide de l’action dépublier.

Actions

Actions

  • Publier : met en ligne les modifications du jeu de données. La durée de cette action peut varier, par exemple si seules les métadonnées ont été modifiées ou si des modifications ont été apportées au schéma du jeu de données.

  • Dépublier : supprime le jeu de données du catalogue et tous les enregistrements sont effacés. Dans certains cas, des données peuvent être perdues (temps réel sans récupération, connecteurs spécifiques).

  • Interrompre : envoie la commande Interrompre au processus de traitement. Il laissera le jeu de données dans un état propre mais incomplet (tous les enregistrements n’ont pas été traités).

États

Le traitement des jeux de données est réalisé de manière asynchrone afin de garantir les meilleures performances possibles et d’éviter toute interférence avec d’autres tâches de traitement. Un jeu de données peut atteindre différents états pendant la tâche de traitement.

  • Mise en file d’attente : la tâche de traitement est en attente de la reprise.

  • Traitement : les enregistrements sont extraits depuis le connecteur, les processeurs sont appliqués, et le résultat est rendu disponible via l’API OpenDataSoft. Le nombre d’enregistrement augmente pendant cette étape.

  • Dépublication : le jeu de données est supprimé de l’API.

  • Interruption du traitement : la commande Interrompre a été envoyée à la plateforme. Le traitement du jeu de données s’arrêtera sous une minute.

  • Limite atteinte : l’utilisateur qui a lancé la tâche de traitement a atteint son quota autorisé. Il dépasse l’une des limites (du domaine, du groupe ou de l’utilisateur).