Pour commencer
Que dois-je configurer ?
Presque rien. Indiquez à Datainspec une version de vos données en laquelle vous avez confiance. Il profile chaque colonne lui-même : il détermine quelle colonne est la clé, lesquelles sont des catégories, des mesures, des identifiants, des dates ou du texte libre, apprend leurs plages normales et choisit les contrôles adaptés à chacune. Aucun fichier de règles à écrire avant votre première analyse. S'il se trompe sur une colonne, vous le corrigez en un clic, et la correction est consignée.
Quelles données peut-il lire ?
Les fichiers CSV (y compris un dossier de fragments CSV), Parquet, DuckDB et SQLite sont pris en charge directement. D'autres bases SQL, comme PostgreSQL, se connectent par leur propre pilote, que nous configurons avec vous. D'autres sources sont à venir.
Où fonctionne-t-il ?
Sur votre propre ordinateur portable, poste de travail ou serveur, sous Windows ou Linux : dans une application de bureau, en ligne de commande ou dans un conteneur Docker, pour s'intégrer à un pipeline ou fonctionner sur un serveur.
De quoi ai-je besoin pour l'utiliser ?
Windows 11 (64 bits) ou Linux. L'application inclut son propre moteur, il n'y a donc rien d'autre à installer ; sous Linux, l'application de bureau est compilée pour votre pilote, tandis que la ligne de commande et l'image Docker sont prêtes à l'emploi. La mémoire nécessaire dépend du volume de vos données : avant une analyse volumineuse, il estime ses besoins et vous indique si la mémoire suffit.
M'avertira-t-il en cas de problème ?
Oui. Une icône dans la zone de notification affiche l'état de chaque point de contrôle, et Windows vous avertit lorsqu'un point de contrôle bloque ou qu'une analyse se termine. Dans un pipeline, le code de sortie informe votre orchestrateur.
Quel volume de données peut-il traiter ?
Avant une analyse volumineuse, il estime la mémoire nécessaire et vous indique si elle suffit. Sur le répertoire français des entreprises, avec 30 millions de lignes de chaque côté, une analyse complète de septembre comparé à octobre a pris environ 21 minutes sur un ordinateur portable.
Comment il décide
Comment sait-il ce qui est normal ?
À partir de la version que vous approuvez. Les seuils de chaque colonne proviennent de ses propres données : sa plage de valeurs, sa fréquence de valeurs vides, la répartition de ses valeurs. Une colonne de prix et une colonne de statuts ne sont pas évaluées selon les mêmes critères.
Puis-je modifier les seuils ?
Oui. Chaque seuil est visible par colonne. Modifiez celui de votre choix, indiquez pourquoi et revenez en arrière quand vous le souhaitez. Les modifications sont conservées dans le journal d'audit et s'appliquent dès l'analyse suivante.
Puis-je ajouter mes propres règles ?
Oui : des plages comme quantité ≥ 1 et des listes de valeurs autorisées, saisies dans un formulaire ou en YAML. Il suggère des règles à partir des données approuvées, vérifie toute nouvelle règle sur ces données avant son enregistrement et peut importer des règles depuis dbt ou Great Expectations.
Que se passe-t-il avant qu'une version devienne la référence ?
Un bilan de santé de la version elle-même : clés en double, colonnes vides ou constantes, nombres stockés sous forme de texte et codes de remplacement comme 9999.9. Les avertissements sont affichés avant l'approbation ; un avertissement critique doit être explicitement reconnu. Chaque version approuvée est conservée avec le nom de la personne qui l'a approuvée et la date ; vous pouvez comparer deux versions, et un retour arrière ajoute une nouvelle version sans rien effacer.
Chaque constat est-il un vrai problème ?
Non. Les données réelles changent aussi pour de bonnes raisons. Vous classez chaque constat en problème réel, changement attendu ou bruit, ou le mettez en veille. Votre décision est consignée avec votre nom et réapparaît lorsque le même constat revient.
Sécurité et équipes
Mes données quittent-elles ma machine ?
Non. Datainspec fonctionne là où se trouvent vos données et ne nous envoie rien : ni données, ni profils, ni constats, ni télémétrie.
Modifie-t-il mes données ?
Non. Il lit uniquement vos sources, avec un accès en lecture seule imposé à plusieurs niveaux et testé face à des requêtes malveillantes. Ses propres enregistrements et rapports sont stockés séparément.
Qui a fait quoi, et quand ?
Le journal d'audit conserve chaque approbation, blocage, retour arrière, correction de rôle et modification de seuil, avec la personne, l'heure et le motif. Filtrez-le et exportez-le en CSV. Chaque version approuvée dispose aussi de son propre certificat d'approbation.
Puis-je partager un rapport sans partager les données ?
Oui. Un export partageable sans données ne contient aucune valeur issue des données : uniquement des décomptes, des taux et des statistiques, sans les identifiants ni les valeurs.
Peut-il fonctionner dans notre pipeline ?
Oui. Lancez-le depuis l'application ou votre propre CI. Le code de sortie 0 signifie que tout est bon, 1 indique un avertissement, 2 un blocage, 3 un échec de l'analyse. Datainspec donne le verdict ; votre pipeline décide de la suite.
Utilise-t-il l'IA ?
Les contrôles reposent sur des statistiques et des règles, et chaque constat présente ses éléments de preuve. Les explications sont rédigées à partir de modèles de texte, ou par un modèle local sur votre machine si vous en installez un.
Comment se déroule un pilote ?
Quelques semaines sur un jeu de données récurrent, sur votre propre infrastructure, avec des critères de réussite convenus par écrit avant le démarrage. À la fin, nous examinons ensemble ce qui a été détecté, ce qui relevait du bruit et si vous souhaitez le conserver.
Encore une question ?
Écrivez à [email protected], ou demandez un pilote et posez-la sur vos propres données.