Die Datenbereinigung kann mit einer unschuldigen Anfrage beginnen: Entfernen Sie doppelte Tournamen, standardisieren Sie Hotelstandorte oder räumen Sie eine Kundenliste auf, bevor Sie Systeme verschieben. Die Gefahr besteht darin, dass scheinbar ähnliche Reihen verschiedene Dinge darstellen können. Zwei Aktivitäten können sich einen Titel teilen, wenn verschiedene Boote, Routen, Reisebänder oder Stornierungsregeln verwendet werden.
Ein nützliches Bereinigungsprojekt macht einen Datensatz fit für eine definierte Geschäftsaufgabe und bewahrt gleichzeitig die Beweise, die zur Erklärung von Änderungen erforderlich sind. Es ist kein Wettbewerb, die meisten Zeilen zu löschen. Dieser Leitfaden entwickelt eine kontrollierte Methode für einen wachsenden Betreiber, eine Agentur oder einen Reiseverlag, wobei ein Lieferanten-Produkt-Katalog als Hauptbeispiel verwendet wird und festgestellt wird, wo Kundeninformationen besondere Sorgfalt benötigen.
Schreiben Sie einen Projektauftrag, bevor Sie die Bereinigungswerkzeuge öffnen
Nennen Sie den Datensatz, den Eigentümer, die Verwendung und die Grenzen. Zum Beispiel: "Bereiten Sie den aktiven Lieferanten-Produkt-Katalog für die Vorschlagsforschung vor; standardisieren Sie Referenzen und Standortetiketten; bewahren Sie nicht eingestellte Produkte als historische Aufzeichnungen auf; ändern Sie keine bestätigten Buchungen oder Finanzunterlagen."
Definieren Sie den Erfolg in Bezug auf Entscheidungen, die die Daten unterstützen müssen. Ein Berater sollte in der Lage sein, das richtige Produkt zu identifizieren, seine Abweichungsvarianten zu unterscheiden und die aktuelle Quelle zu finden. Ein Publisher benötigt möglicherweise zuverlässige Ziele und aktuelle Links. Diese Bedürfnisse bestimmen, welche Defekte am wichtigsten sind.
Die britische Regierung Rahmen für die Datenqualität behandelt Qualität als Zweckmäßigkeit und zeichnet mehrere Qualitätsabmessungen aus. Wende diese Idee praktisch an. Ein Datensatz kann jedes Feld ausfüllen lassen, während es ungenaue Fakten oder genaue Fakten enthält, die für einen neuen Vorschlag zu alt sind. Entscheiden Sie, was „gut genug für diese Aufgabe“ bedeutet, bevor Sie das Projekt für abgeschlossen erklären.
Bewahren Sie das Original auf und steuern Sie die Arbeitskopie
Machen Sie einen entsprechend geschützten Snapshot oder Export, bevor Sie Änderungen vornehmen. Zeichnen Sie Datum, Umfang, Quellsystem und Zeilenanzahl auf. Bestätigen Sie, dass die Kopie geöffnet werden kann und dass sie die beabsichtigten Datensätze enthält. Halten Sie den Zugriff in verhältnismäßiger Weise zu den Informationen, insbesondere wenn es sich um Kunden- oder kommerziell sensible Daten handelt.
Erstellen Sie eine separate Arbeitskopie und entscheiden Sie, wer sie bearbeiten kann. Wenn sich die Live-Quelle ständig ändert, wählen Sie einen Cutoff und eine Möglichkeit, neue oder geänderte Datensätze während des Projekts zu erfassen. Andernfalls kann eine saubere Datei veraltet sein, bevor sie importiert oder verwendet wird.
Behandeln Sie ein Backup nicht als Berechtigung, unkontrollierte Änderungen vorzunehmen. Wenn Sie einen ganzen alten Datensatz wiederherstellen, können Sie legitime neue Arbeiten entfernen. Das Projekt benötigt auch einen Änderungsdatensatz, der feststellt, welche ursprünglichen Zeilen transformiert, zusammengeführt, beibehalten oder abgelehnt wurden. Ein nützliches Rollback kann erfordern, ein bestimmtes Mapping umzukehren, anstatt alles zu ersetzen. Testen Sie diese Logik auf einer kleinen Probe, bevor Sie sie weit anwenden.
Verstehen Sie die Entitäten, bevor Sie Zeilen deduplizieren
Entscheiden Sie, was jede Zeile darstellt. Es kann ein Lieferant, Produkt, Abflugoption, Saisontarif, Buchung, Reise oder Kontakt sein. Eine Tabelle, die diese Objekte mischt, sieht oft dupliziert aus, weil sie mehrere legitime Beziehungen in flachen Zeilen speichert.
Trennen Sie für einen Produktkatalog bei Bedarf die Lieferantenreferenz von der Produktreferenz und der Variantenreferenz. Der Anzeigename ist ein Label, keine verlässliche Identität. "Island Adventure" könnte sich auf eine gemeinsame Morgenreise und eine private Charter beziehen. Ein anderer Titel könnte sich auch auf dasselbe Produkt nach einem Lieferanten-Rebranding beziehen.
Schreiben Sie ein Wörterbuch der kleinen Entität in der Alltagssprache. Fügen Sie die stabile Referenz, die erforderlichen Felder, zulässige Beziehungen und das System, das den Datensatz besitzt, hinzu. Wenn Sie nicht erklären können, ob zwei Zeilen dieselbe Entität sind, hören Sie auf, bevor Sie sie zusammenführen. Beheben Sie zuerst das Geschäftsmodell. Cleanup-Tools können unsichere Identitätsentscheidungen präzise aussehen lassen, aber sie können die fehlende Bedeutung hinter den Reihen nicht liefern.
Profilieren Sie die Mängel und priorisieren Sie die Konsequenzen
Überprüfen Sie eine repräsentative Stichprobe und fassen Sie die tatsächlichen Probleme zusammen. Suchen Sie nach fehlenden Referenzen, inkonsistenten Zielnamen, gemischten Datumsformaten, ungültigen Links, unmöglichen Teilnehmerzählungen, veralteten Produkten und widersprüchlichen Lieferantenfakten. Zählen Sie Fehler mit Definitionen, die das Team versteht.
Strukturfehler von sachlicher Unsicherheit trennen. Zusätzliche Räume um einen Lieferantencode sind ein anderes Problem als eine nicht verifizierte Pickup-Zone. Erstere können unter einer geprüften Regel sicher transformiert werden. Letzteres braucht eine maßgebliche Quelle und einen Eigentümer. Füllen Sie unbekannte Fakten nicht mit einem plausiblen Standard, nur um den Datensatz vollständig aussehen zu lassen.
Die Regierung Leitfaden für Datenqualität beinhaltet die Aktionsplanung und die Ursachenanalyse. Verwenden Sie für dieses Projekt ein kleines Ausgaberegister: Defekt, betroffene Verwendung, Beispielnachweise, vorgeschlagene Regel, Eigentümer- und Abnahmeprüfung. Beginnen Sie mit Problemen, die zu einer falschen Empfehlung oder einer fehlgeschlagenen Übergabe führen könnten, und beheben Sie dann weniger aufeinanderfolgende Darstellungsunterschiede. Eine lange kosmetische Reinigung sollte die Reparatur einer defekten Produktreferenz, die bei der laufenden Verkaufsarbeit verwendet wird, nicht verzögern.
Formate standardisieren und dabei die ursprüngliche Bedeutung bewahren
Wählen Sie Konventionen für Daten, Währungen, Zielnamen, Telefonfelder, URLs und Statuswerte. Nehmen Sie sie im Projektbrief auf. Halten Sie Anzeigebeschriftungen getrennt von stabilen Identifikatoren, wo sie praktisch sind, und behalten Sie Originalwerte bei, die für Audit oder Matching erforderlich sind.
Google Dokumente Tools zu Text aufteilen, Duplikate entfernen und Leerzeichen trimmen. Wenden Sie diese Steuerelemente auf eine Kopie an und überprüfen Sie den ausgewählten Bereich und die Spalten sorgfältig. Das Entfernen von Duplikaten, die auf einem Namen basieren, allein kann legitime Varianten entfernen. Das Trimmen von Räumen ist nützlich, aber es stellt nicht fest, dass die zugrunde liegende Tatsache korrekt ist.
Bewahren Sie internationale Details. Ein Telefonfeld kann ein Länderpräfix und führende Nullen mit Bedeutung enthalten; die Behandlung als einfache Zahl kann es beschädigen. Ein Datum wie 04/05 ist ohne Quellkontext mehrdeutig. Ein Währungsbetrag ohne Währung oder Preisgrundlage ist unvollständig. Markieren Sie unsichere Conversions für die Überprüfung, anstatt zu raten. Standardisierung sollte eine deutlichere Bedeutung machen, keine Unterscheidungen löschen, die das Personal später benötigt.
Schreiben Sie vorsichtige Match- und Merge-Regeln
Trennen Sie ein exaktes Duplikat von einem möglichen Match. Ein exaktes Duplikat kann eine stabile Quellkennung und alle materiellen Attribute freigeben. Eine mögliche Übereinstimmung kann lediglich ähnliche Namen oder Kontaktdaten haben. Deinisieren Sie die Beweise, die benötigt werden, bevor beide zusammengeführt werden.
Verwenden Sie Ähnlichkeitstools, um Kandidaten zu generieren, nicht unhinterfragte Entscheidungen. OpenRefine's Clustering Dokumentation erklärt, dass String-Clustering auf syntaktischer Ebene funktioniert. Ein ähnlicher Wortlaut beweist nicht, dass zwei Datensätze dasselbe reale Produkt oder dieselbe Person darstellen.
Für eine Produktübereinstimmung vergleichen Sie Lieferantenreferenz, Route, Abfahrtstyp, Dauer, Betriebszeitraum, Reisekategorien und aktuelle Quelle. Für Kontakte, seien Sie besonders vorsichtig mit gemeinsamen Familien-E-Mails, Hotel-Telefonnummern und gängigen Namen. Verschmelzen Sie niemals zwei Personen, nur weil ein normalisierter Name gleich aussieht. Führen Sie eine Ausnahmewarteschlange für unsichere Fälle und weisen Sie einen rechenschaftspflichtigen Prüfer zu. Die Kosten für die vorübergehende Erhaltung eines ungelösten Paares können niedriger sein als die Kosten für die Kombination verschiedener Datensätze und der Verlust der Fähigkeit, sie zu unterscheiden.
Eine hypothetische Katalogbereinigung
Stellen Sie sich vor, eine Agentur hat drei Reihen namens "Sunset Islands", "Sunset Island Tour" und "Sunset Islands Private". Die ersten beiden teilen sich die gleiche Lieferantenproduktreferenz, enthalten jedoch unterschiedliche Quelldaten. Die dritte hat eine andere Referenz und verwendet ein privates Schiff.
Der Cleanup-Analyst markiert das erste Paar als mögliches Duplikat und überprüft die aktuelle Quelle des Lieferanten. Sie entdecken, dass die neuere Zeile einen aktualisierten Treffpunkt enthält. Die Zusammenführung behält einen aktuellen Produktdatensatz bei, behält die ältere Quellreferenz im Change Trail bei und bildet beide Original-Zeilenkennungen dem erhaltenen Datensatz ab. Das private Produkt bleibt getrennt.
Eine vierte Reihe verwendet den gleichen Kurztitel, aber keine Lieferantenreferenz. Es wird nicht leise an das erste Produkt angeschlossen. Der Prüfer fordert eine Klärung an und hält sie mit einem Grund in der Ausnahmewarteschlange. Dieses hypothetische Beispiel zeigt, warum eine nützliche Säuberung mit einigen ungelösten Aufzeichnungen enden kann. Ausdrückliche Unsicherheit ist besser als ein sauber aussehender Katalog, der einen Berater auf die falsche private oder gemeinsame Erfahrung hinweist.
Das Ergebnis auf mehr als einer Ebene abgleichen
Vergleichen Sie die Ein- und Ausgabezahlen, verlassen Sie sich aber nicht auf die Gesamtsumme allein. Eine geringere Zeilenzahl kann erwartet werden, nachdem verifizierte Duplikate kombiniert wurden. Es kann auch versehentliches Löschen verbergen. Jede entfernte oder zusammengeführte Originalzeile sollte ein dokumentiertes Ziel oder einen dokumentierten Grund haben.
Überprüfen Sie die wichtigsten Beziehungen. Kann jedes aktive Produkt noch mit seinem Lieferanten verknüpft werden? Sind historische Referenzen noch interpretierbar? Behielten Kursreihen ihre Währung, ihre Datumsspanne und ihre Reisekategorien? Zeigen Links immer noch auf das beabsichtigte Produkt und nicht auf eine ähnlich benannte Alternative?
Verwenden Sie gezielte Stichproben von Veränderungen mit hohem Risiko und eine breitere Stichprobe von Routinetransformationen. Lassen Sie eine Überprüfung der zweiten Person mit mehrdeutigen Identitäten oder wesentlichen Produktunterschieden zusammenführen. Vergleichen Sie zusammenfassende Werte, falls relevant, aber verwenden Sie keine finanzielle Summe, um zu beweisen, dass nichtfinanzielle Felder korrekt sind. Passende Summen können mit getauschten Produkten oder falschen Daten koexistieren. Erfassen Sie bekannte Einschränkungen in der Lieferscheine, damit der nächste Benutzer versteht, welche Fakten nicht verifiziert bleiben.
Testen Sie die gereinigten Daten in einer echten Aufgabe
Bitten Sie einen Berater, ein geeignetes Produkt für einen hypothetischen Kunden mit dem gereinigten Katalog zu finden. Geben Sie ihnen ein realistisches Datum, Gruppenmix und eine praktische Priorität. Beobachten Sie, ob die neue Struktur ihnen hilft, das Produkt zu unterscheiden und seine aktuelle Quelle zu finden, ohne zu erraten.
Für einen Betreiber, testen Sie ein Listing-Update oder Lieferantenübergabe. Testen Sie für einen Affiliate-Publisher eine Aktualisierung des Inhalts, die den richtigen Ziel-, Produkt- und Buchungslink benötigt. Ein Datensatz, der Formatprüfungen übergibt, kann für den tatsächlichen Benutzer immer noch umständlich sein.
Wenn das Projekt das Importieren von Daten in ein anderes System beinhaltet, verwenden Sie den unterstützten Importprozess und einen kontrollierten Test, sofern verfügbar. Überprüfen Sie die Feldzuordnung, die Datumsinterpretation, die Erkennung von Identifikatoren und wie sich die Aktualisierungen von neuen Datensätzen unterscheiden. Gehen Sie nicht davon aus, dass der zweimalige Import derselben Datei harmlos ist. Bestätigen Sie das Verhalten des Ziels, bevor Sie einen Import wiederholen. Dieser Leitfaden beansprucht keine nativen Import- oder Synchronisationsfunktion in einem bestimmten Marktplatz; die technische Route muss für das eigentliche Zielsystem überprüft werden.
Verhindern Sie die gleichen Mängel, die nächsten Monat zurückkehren
Verfolgen Sie wiederkehrende Mängel bis zu ihrem Einstiegspunkt. Ein inkonsistentes Ziel kann aus einem Freitextformular stammen. Fehlende Referenzen können aus dem Kopieren einer Lieferantenbroschüre stammen, ohne den Produktcode aufzuzeichnen. Doppelte Kontakte können entstehen, da die Mitarbeiter eine vorhandene Datensatz nicht schnell genug finden können.
Ändern Sie den Quellprozess verhältnismäßig. Verwenden Sie kontrollierte Entscheidungen, bei denen die möglichen Werte wirklich stabil sind, die für die Identität notwendigen Felder erfordern und lehren Sie die Mitarbeiter, wie man ein Unbekanntes markiert, anstatt einen Wert zu erfinden. Führen Sie ein Alias-Mapping für historische Namen, bei denen Benutzer immer noch nach ihnen suchen.
Besitz für laufende Kontrollen abtreten. Ein monatliches Muster könnte neue Produkte, geänderte Lieferantenfakten und ungelöste Ausnahmen überprüfen. Stellen Sie die Trittfrequenz entsprechend der tatsächlichen Änderung und Verwendung ein, anstatt jedes Feld in eine tägliche Aufgabe zu verwandeln. Die Lieferanten-Änderungsprotokoll bietet einen nützlichen Begleiter für Fakten, die sich nach der Reinigung entwickeln. Ziel ist es, neue Defekte an der Quelle zu reduzieren, nicht jede Saison eine größere Notfallbereinigung zu planen.
Finish mit einer nutzbaren Übergabe und einer definierten Grenze
In Ihrem Abschlussbrief sollten der Datensatz und die Version, der ursprüngliche Umfang, der angewendete Regeln, der Zuordnungsort, die Abstimmungsergebnisse, die ungelösten Ausnahmen, der Eigentümer und der nächste Überprüfungstrigger angeben. Fügen Sie eine kurze Beschreibung dessen ein, was absichtlich unberührt blieb. Dies hilft einem zukünftigen Kollegen, das Ergebnis zu nutzen, ohne anzunehmen, dass jede historische Tatsache neu überprüft wurde.
Verwenden Sie diese letzte Checkliste:
- Das Original ist erhalten und der Zugang ist angemessen.
- Die Entität und die stabile Kennung jeder Zeile werden verstanden.
- Transformationsregeln wurden vor der breiten Anwendung getestet.
- Mögliche Spiele erhielten eine evidenzbasierte Entscheidung.
- Entfernte und zusammengeführte Zeilen haben nachvollziehbare Ergebnisse.
- Beziehungen und Hochrisikofelder wurden überprüft.
- Eine echte Arbeitsaufgabe ist mit den gereinigten Daten gelungen.
- Verbleibende Unsicherheit und Quellprozess-Fixes haben Eigentümer.
Für eine zugelassene Agentur, die die Tripnatic Agenturbereich bietet Kunden-, Angebots- und Buchungsworkflows. Die Registrierung erfordert eine entsprechende Überprüfung und Genehmigung vor der Aktivierung. Ein sauberer interner Katalog kann die Vorbereitung verbessern, aber er erstellt keine genehmigten Angebote, reservierte Kapazitäten oder garantierte Erträge. Halten Sie die Rolle des gereinigten Datensatzes klar. Das Projekt ist abgeschlossen, wenn Kollegen die Informationen für ihren angegebenen Zweck verwenden und die Beweise und Grenzen dahinter verstehen können.
