Collecte de données

Trois méthodes sont proposées pour ajouter des données à un jeu de données :

  • en téléchargeant un fichier local et statique sur la plateforme ;

  • en connectant la plateforme à un service distant (par ex. une API, un système d’information géographique, un FTP, etc.) : cela permet à la plateforme de récupérer ce que le service distant contient tout en restant synchronisé avec ;

  • en collant les données et en les téléchargeant sur la plateforme.

Types de fichiers supportés

Avant de collecter des données, et en particulier, des fichiers pour la plateforme, vous souhaitez peut-être vérifier les formats pris en charge par la plateforme OpenDataSoft (voir Formats pris en charge).

Téléchargement d’un fichier

Cette méthode consiste à télécharger directement un fichier sur la plateforme, afin d’associer un fichier statique à un nouveau jeu de données.

  1. Dans Catalogue > Jeu de données, cliquez sur le bouton Nouveau jeu de données.

  2. Cliquez sur le bouton Ajouter une source.

  3. Cliquez sur le bouton Ajouter un fichier.

  4. Choisissez le fichier à télécharger sur la plateforme.

  5. Dans la fenêtre de sélection de fichiers, cliquez sur le bouton Ouvrir.

Limite de la taille de fichier

La limite de taille d’un fichier est de 240 Mo. Si vos fichiers sont trop volumineux, vous pouvez les compresser avant de les télécharger sur la plateforme (voir Formats de fichiers compressés pris en charge).

Note

Après les étapes 1 et 2, vous pouvez simplement glisser et déposer le fichier, plutôt que de suivre l’intégralité de la procédure de sélection de fichiers.

Collecte de données distantes via une URL

Cette méthode consiste à connecter la plateforme à :

  • un serveur distant via son URL pour importer les fichiers stockés sur ce serveur distant ;

  • ou à une source de données distante qui expose ses données sur une API.

Planification de mises à jour et envoi de données en temps réel

Ces connexions à la plateforme permettent l’automatisation de la mise à jour des données en planifiant et en envoyant des données en temps réel (consultez Maintenir les données à jour).

Connexion à un serveur distant

  1. Dans Catalogue > Jeu de données, cliquez sur le bouton Nouveau jeu de données.

  2. Cliquez sur le bouton Ajouter une source.

  3. Dans le champ Saisir une URL, saisissez l’URL du serveur distant sur lequel les fichiers sont stockés.

OpenDataSoft prend en charge les protocoles suivants :

  • http et https, qui permettent d’accéder à un fichier simple (par ex. http://example.org/mydata.csv) ;

  • ftp et ftps, qui permettent d’accéder à un fichier simple (par ex. ftp://example.org/my_dir/mydata.csv) ou à un répertoire (par ex. ftp://example.org/my_dir/). L’utilisation d’un répertoire est souvent la solution privilégiée quand il s’agit d’automatiser les mises à jour incrémentielles entre le système d’information d’un client et la plateforme. Tous les fichiers contenus dans le répertoire doivent être au même format et avoir le même schéma (par ex. des fichiers CSV dont les titres de colonne sont identiques). En cas d’automatisation, lors de la publication du jeu de données, les nouveaux fichiers et les fichiers mis à jour sont récupérés depuis l’emplacement distant et sont traités. Grâce à la stratégie de dédoublonnement native d’OpenDataSoft, les enregistrements identiques ne sont pas traités deux fois (consultez la documentation relative aux champs spéciaux).

Fichiers supprimés sur le serveur FTP

Lors de la synchronisation depuis un emplacement FTP distant, OpenDataSoft conserve un cache persistant et ne nettoie pas automatiquement les fichiers absents du répertoire distant. Veuillez contacter l’assistance OpenDataSoft pour tout besoin de nettoyage.

Protocole SFTP

Nous ne prenons pas en charge le protocole sftp, qui est complètement différent du protocole ftps.

Connexion à une API

  1. Dans Catalogue > Jeu de données, cliquez sur le bouton Nouveau jeu de données.

  2. Cliquez sur le bouton Ajouter une source.

  3. Dans le champ Saisir une URL, saisissez l’URL du serveur de l’API.

OpenDataSoft prend en charge nativement les API suivantes :

Activation des connecteurs

Contactez l’équipe de support pour activer ces connecteurs sur votre domaine.

Note

OpenDataSoft peut également développer et intégrer des APIs web spécifiques. Notre toolkit dédié permet de développer des connecteurs performants et sécurisés supportant le traitement incremental des fichiers.

Options du connecteur

Options disponibles pour la configuration d’un connecteur

Collage des données

Cette méthode consiste à coller des données au format CSV. Elle est privilégiée pour effectuer des tests rapides.

  1. Dans Catalogue > Jeu de données, cliquez sur le bouton Nouveau jeu de données.

  2. Cliquez sur le bouton Ajouter une source.

  3. Dans la section Coller les données, saisissez ou collez des données au format CSV.

  4. Cliquez sur le bouton Envoyer les données.