Le nettoyage des données peut commencer par une demande innocente: supprimer les noms de visite en double, normaliser les emplacements de l'hôtel ou ranger une liste de clients avant de déplacer les systèmes. Le danger est que des rangées apparemment similaires peuvent représenter des choses différentes. Deux activités peuvent partager un titre tout en utilisant des bateaux, des itinéraires, des groupes de voyageurs ou des règles d'annulation.
Un projet de nettoyage utile rend un ensemble de données adapté à une tâche commerciale définie tout en préservant les preuves nécessaires pour expliquer les changements. Ce n'est pas une compétition de supprimer le plus de lignes. Ce guide développe une méthode contrôlée pour un opérateur, une agence ou un éditeur de voyages en pleine croissance, en utilisant un catalogue fournisseur-produit comme exemple principal et en notant où l'information des clients a besoin de soins supplémentaires.
Rédigez un brief de projet avant d’ouvrir des outils de nettoyage
Nommez l'ensemble de données, le propriétaire, l'utilisation prévue et les limites. Par exemple: «Préparer le catalogue fournisseur-produit actif pour la recherche de propositions; normaliser les références et les étiquettes de localisation; préserver les produits abandonnés en tant que documents historiques; ne pas modifier les réservations confirmées ou les dossiers financiers.»
Définissez le succès en termes de décisions que les données doivent soutenir. Un conseiller devrait être en mesure d'identifier le produit correct, de distinguer ses variantes de départ et de trouver la source actuelle. Un éditeur peut avoir besoin de destinations fiables et de liens actuels. Ces besoins déterminent quels défauts sont les plus importants.
Le gouvernement britannique Cadre de qualité des données traite la qualité comme une forme physique pour l'usage et distingue plusieurs dimensions de qualité. Appliquez cette idée pratiquement. Un ensemble de données peut avoir chaque champ rempli tout en contenant des faits inexacts, ou des faits exacts trop anciens pour une nouvelle proposition. Décidez ce que signifie « assez bon pour cette tâche » avant de déclarer le projet terminé.
Préserver l'original et contrôler la copie de travail
Prenez un instantané ou une exportation correctement protégé avant d'apporter des modifications. Enregistrer sa date, sa portée, son système source et son nombre de lignes. Confirmez que la copie peut être ouverte et qu'elle contient les enregistrements prévus. Gardez l’accès proportionné aux informations, en particulier si des données sensibles du client ou du commerce sont impliquées.
Créez une copie de travail séparée et décidez qui peut la modifier. Si la source en direct continue de changer, choisissez une coupure et un moyen de capturer des documents nouveaux ou modifiés pendant le projet. Sinon, un fichier propre peut devenir obsolète avant son importation ou son utilisation.
Ne traitez pas une sauvegarde comme une autorisation pour apporter des modifications non contrôlées. La restauration d'un ensemble de données entier peut supprimer les nouveaux travaux légitimes. Le projet a également besoin d'un dossier de changement identifiant les lignes d'origine transformées, fusionnées, retenues ou rejetées. Un rollback utile peut nécessiter d'inverser un mappage spécifique plutôt que de tout remplacer. Testez cette logique sur un petit échantillon avant de l'appliquer largement.
Comprendre les entités avant de dédupliquer les lignes
Décidez ce que chaque rangée représente. Il peut s'agir d'un fournisseur, d'un produit, d'une option de départ, d'un tarif saisonnier, d'une réservation, d'un voyageur ou d'un contact. Une feuille de calcul qui mélange ces objets semble souvent dupliquée parce qu'elle stocke plusieurs relations légitimes dans des rangées plates.
Pour un catalogue de produits, séparez la référence du fournisseur de la référence du produit et de la référence de variante si nécessaire. Le nom de l'affichage est une étiquette, pas une identité fiable. « Island Adventure » pourrait faire référence à un voyage matinal partagé et à une charte privée. Un titre différent pourrait également faire référence au même produit après un rebrandisseur fournisseur.
Écrivez un dictionnaire de petites entités dans le langage courant. Inclure la référence stable, les champs requis, les relations autorisées et le système qui possède l'enregistrement. Si vous ne pouvez pas expliquer si deux rangées sont la même entité, arrêtez-vous avant de les fusionner. Résoudre d'abord le modèle économique. Les outils de nettoyage peuvent rendre les décisions d'identité incertaines, mais ils ne peuvent pas fournir le sens manquant derrière les rangées.
Profil des défauts et prioriser les conséquences
Inspecter un échantillon représentatif et résumer les questions réelles. Recherchez des références manquantes, des noms de destination incohérents, des formats de date mixte, des liens invalides, des comptes de participants impossibles, des produits obsolètes et des faits contradictoires avec les fournisseurs. Compter les défauts en utilisant des définitions que l'équipe comprend.
Séparer les défauts structurels de l'incertitude factuelle. Les espaces supplémentaires autour d'un code fournisseur sont un problème différent d'une zone de ramassage non vérifiée. Le premier peut être transformé en toute sécurité en vertu d'une règle éprouvée. Cette dernière a besoin d'une source faisant autorité et d'un propriétaire. Ne remplissez pas les faits inconnus avec un défaut plausible simplement pour rendre l'ensemble de données complet.
Le gouvernement Conseils de qualité des données comprend la planification de l'action et l'analyse des causes profondes. Pour ce projet, utilisez un petit registre de questions: défaut, utilisation affectée, preuve d'échantillon, règle proposée, contrôle du propriétaire et de l'acceptation. Commencez par des problèmes qui pourraient causer la mauvaise recommandation ou l'échec de la passation de pouvoir, puis corrigez les différences de présentation moins conséquentes. Un long nettoyage cosmétique ne devrait pas retarder la fixation d'une référence de produit cassé utilisée dans les travaux de vente en cours.
Standardiser les formats tout en préservant le sens original
Choisissez des conventions pour les dates, les devises, les noms de destination, les champs téléphoniques, les URL et les valeurs d'état. Enregistrez-les dans le mémoire du projet. Gardez les étiquettes d'affichage séparées des identifiants stables lorsque cela est pratique et conservez les valeurs d'origine lorsque cela est nécessaire pour l'audit ou l'appariement.
Google documents outils pour diviser le texte, supprimer les doublons et découper l'espace blanc. Appliquez ces contrôles à une copie et inspectez soigneusement la plage et les colonnes sélectionnées. Supprimer les doublons en fonction d'un nom seul peut supprimer des variantes légitimes. Les espaces de coupe sont utiles, mais il n'établit pas que le fait sous-jacent est correct.
Préserver les détails internationaux. Un champ de téléphone peut inclure un préfixe de pays et des zéros de premier plan avec un sens; le traiter comme un simple nombre peut l'endommager. Une date telle que le 04/05 est ambiguë sans contexte source. Un montant de devise sans sa devise ou sa base de prix est incomplet. Marquez des conversions incertaines pour la revue plutôt que de deviner. La normalisation devrait rendre le sens plus explicite, et non effacer les distinctions dont le personnel a besoin plus tard.
Écrire des règles de correspondance prudentes et de fusionner
Séparez un duplicata exact d'une éventuelle correspondance. Un duplicata exact peut partager un identifiant source stable et tous les attributs matériels. Une éventuelle correspondance peut simplement avoir des noms ou des coordonnées similaires. Définir les preuves nécessaires avant que l'un ou l'autre ne soit fusionné.
Utilisez des outils de similarité pour générer des candidats, pas des décisions incontestées. OpenRefine's documentation de clustering explique que le clustering de chaînes fonctionne au niveau syntaxique. Un libellé similaire ne prouve pas que deux documents représentent le même produit ou la même personne du monde réel.
Pour une correspondance de produit, comparez la référence du fournisseur, l'itinéraire, le type de départ, la durée, la période d'exploitation, les catégories de voyageurs et la source actuelle. Pour les contacts, soyez particulièrement prudent avec les courriels familiaux partagés, les numéros de téléphone de l'hôtel et les noms communs. Ne jamais fusionner deux personnes simplement parce qu'un nom normalisé ressemble. Gardez une file d'attente d'exception pour les cas incertains et attribuez un évaluateur responsable. Le coût de la conservation temporaire d'une paire non résolue peut être inférieur au coût de la combinaison de différents enregistrements et de la perte de la capacité de les distinguer.
Un hypothétique nettoyage de catalogue
Imaginez une agence qui a trois rangées nommées «Sunset Islands», «Sunset Island Tour» et «Sunset Islands Private». Les deux premiers partagent la même référence de produit fournisseur mais contiennent des dates de source différentes. Le troisième a une référence différente et utilise un navire privé.
L'analyste de nettoyage marque la première paire comme un éventuel duplicata et vérifie la source actuelle du fournisseur. Ils découvrent que la nouvelle ligne contient un point de rencontre mis à jour. La fusion conserve un enregistrement de produit actuel, préserve l'ancienne référence source dans la piste de changement et mappe les deux identifiants de ligne originaux à l'enregistrement survivant. Le produit privé reste séparé.
Une quatrième ligne utilise le même titre abrégé mais manque d'une référence de fournisseur. Il n'est pas attaché en silence au premier produit. L'examinateur demande des éclaircissements et le maintient dans la file d'attente d'exception avec une raison. Cet exemple hypothétique montre pourquoi un nettoyage utile peut se terminer par certains enregistrements non résolus. L’incertitude explicite est meilleure qu’un catalogue d’apparence propre qui dirige un conseiller vers la mauvaise expérience privée ou partagée.
Concilier le résultat à plus d'un niveau
Comparez les comptes d'entrée et de sortie, mais ne vous fiez pas au total seul. Un nombre de lignes inférieur peut être attendu après que les doublons vérifiés soient combinés. Il peut également cacher la suppression accidentelle. Chaque ligne originale supprimée ou fusionnée devrait avoir une destination ou une raison documentée.
Vérifiez les relations clés. Chaque produit actif peut-il encore être lié à son fournisseur ? Les références historiques sont-elles encore interprétables ? Les lignes de taux ont-elles conservé leur devise, leur fourchette de dates et leur catégorie de voyageurs? Les liens pointant-ils encore vers le produit prévu plutôt qu'une alternative similaire?
Utilisez des échantillons ciblés de changements à haut risque et un échantillon plus large de transformations de routine. Demandez à une deuxième personne d'examiner les fusions impliquant des identités ambiguës ou des différences matérielles de produits. Comparez les valeurs sommaires, le cas échéant, mais n'utilisez pas un total financier pour prouver que les champs non financiers sont corrects. Les sommes correspondantes peuvent coexister avec des produits échangés ou des dates erronées. Enregistrer les limitations connues dans le bon de livraison afin que le prochain utilisateur comprenne quels faits restent non vérifiés.
Testez les données nettoyées dans une tâche réelle
Demandez à un conseiller de trouver un produit approprié pour un client hypothétique en utilisant le catalogue nettoyé. Donnez-leur une date réaliste, un mix de groupe et une priorité pratique. Observez si la nouvelle structure les aide à distinguer le produit et à trouver sa source actuelle sans deviner.
Pour un opérateur, testez une mise à jour de la liste ou une remise du fournisseur. Pour un éditeur affilié, testez un rafraîchissement de contenu qui nécessite la destination correcte, le produit et le lien de réservation. Un jeu de données qui passe des vérifications de format peut toujours être gênant pour l'utilisateur réel.
Si le projet implique l'importation de données dans un autre système, utilisez le processus d'importation pris en charge et un test contrôlé lorsque disponible. Vérifiez la cartographie des champs, l'interprétation de la date, la conservation de l'identifiant et la façon dont les mises à jour diffèrent des nouveaux enregistrements. Ne présumez pas que l'importation du même fichier deux fois est inoffensive. Confirmez le comportement de la cible avant de répéter une importation. Ce guide ne revendique pas une capacité d'importation ou de synchronisation native sur un marché particulier; l'itinéraire technique doit être vérifié pour le système de destination réel.
Empêcher les mêmes défauts de retour le mois prochain
Tracer les défauts récurrents à leur point d'entrée. Une destination incohérente peut provenir d'un formulaire texte libre. Les références manquantes peuvent provenir de la copie d'une brochure du fournisseur sans enregistrer le code du produit. Des contacts en double peuvent survenir parce que le personnel ne peut pas trouver un enregistrement existant assez rapidement.
Modifier le processus source proportionnellement. Utilisez des choix contrôlés où les valeurs possibles sont vraiment stables, exigez les champs nécessaires à l'identité et enseignez au personnel comment marquer une inconnue plutôt que d'inventer une valeur. Gardez un mappage d'alias pour les noms historiques où les utilisateurs les recherchent encore.
Attribuer la propriété pour les contrôles en cours. Un échantillon mensuel peut examiner de nouveaux produits, modifier les faits des fournisseurs et les exceptions non résolues. Définir la cadence en fonction du changement et de l'utilisation réels, plutôt que de transformer chaque champ en une tâche quotidienne. Le Journal de changement de fournisseur fournit un compagnon utile pour les faits qui évoluent après le nettoyage. L’objectif est de réduire les nouveaux défauts à la source, et non de planifier un nettoyage d’urgence plus important à chaque saison.
Terminez avec un transfert utilisable et une limite définie
Votre dossier d'achèvement devrait indiquer l'ensemble de données et la version, la portée originale, les règles appliquées, l'emplacement de cartographie, les résultats de rapprochement, les exceptions non résolues, le propriétaire et le déclencheur d'examen suivant. Inclure une courte description de ce qui a été délibérément laissé intact. Cela aide un futur collègue à utiliser le résultat sans supposer que chaque fait historique a été révéré.
Utilisez cette liste de contrôle finale:
- L'original est conservé et l'accès est approprié.
- L'entité de chaque ligne et l'identifiant stable sont compris.
- Les règles de transformation ont été testées avant une large application.
- Les matchs possibles ont reçu une décision fondée sur des preuves.
- Les lignes supprimées et fusionnées ont des résultats traçables.
- Les relations et les champs à haut risque ont été vérifiés.
- Une véritable tâche de travail réussit avec les données nettoyées.
- Les propriétaires de corrections d'incertitude et de processus de source restants.
Pour une agence agréée envisageant Tripnatic, le Voyage d'agent fournit des flux de travail clients, devis et de réservation. L'enregistrement nécessite la vérification et l'approbation applicables avant l'activation. Un catalogue interne propre peut améliorer la préparation, mais il ne crée pas d'inscriptions approuvées, de capacité réservée ou de revenus garantis. Gardez le rôle du jeu de données nettoyé clair. Le projet est terminé lorsque les collègues peuvent utiliser l'information à son objectif déclaré et comprendre les preuves et les limites qui l'y sont imposées.
