DQM Universal Projekt

Das DQM Universal Projekt ist die Grundlage für alle weiteren Projekttypen im Data-Quality-Management (DQM) Modul von Syncler.
Es bietet sämtliche Basisfunktionen für die Analyse, Transformation und Verarbeitung von Bestandsdaten.
Neben der Transformation kann auch ein vollständiger Workflow definiert werden, der mit Hilfe von DQM-Regeln die Daten prüft, anpasst oder klassifiziert.

Darüber hinaus kann das Projekt über eine Zeitsteuerung automatisiert ausgeführt werden.
Damit eignet es sich sowohl für einmalige Analysen als auch für regelmäßig wiederkehrende Qualitätsprüfungen.

Funktionsweise

Beim Start eines Universal Projekts werden zunächst die Ergebnisse vorheriger Ausführungen gelöscht, um sicherzustellen, dass jede Ausführung auf einer konsistenten Datenbasis erfolgt.
Anschließend wird – falls konfiguriert – die Transformation auf Basis der definierten Such- oder Arbeitstabelle ausgeführt.

Die resultierenden Daten werden anschließend durch den im Projekt definierten DQM-Workflow verarbeitet.
Dieser Workflow nutzt die in Syncler hinterlegten DQM-Regeln, um die Daten zu prüfen, anzupassen oder in logische Verzweigungen zu überführen.

Das Endergebnis der Projektausführung kann:

• zur Fehleranalyse in den Projektregisterkarten eingesehen,
• über definierte Syncs ins Quellsystem zurückgeschrieben oder
• als Grundlage für Reports und Scorings genutzt werden.

Einstellungen

In der Detailkonfiguration des Universal Projekts können verschiedene Parameter angepasst werden, die das Verhalten des Projekts bestimmen.

Quellsystem und Quellobjekt

Hier wird festgelegt, aus welchem System und welches Schemaobjekt als Grundlage für das Projekt verwendet wird.
Diese Definition bestimmt, welche Daten in die Arbeitstabelle übernommen werden und welceh Regeln im Workflow zur Verfügung stehen.

Such- und Arbeitstabelle

Die Such- bzw. Arbeitstabelle ist die lokale Kopie der Datenbasis, die für die Projektverarbeitung verwendet wird.
Alle im Projekt definierten Funktionen – inklusive Transformation, Workflow und Suchläufe – werden auf dieser Kopie ausgeführt, nicht auf den Originaldaten.

Diese Trennung stellt sicher, dass Analysen, Korrekturen oder Simulationen risikolos und effizient durchgeführt werden können.

Synchronisationen (Syncs)

Universal Projekte verfügen über zwei optionale Sync-Referenzen:

• Sync zur Suchtabelle

  • Dieser Sync befüllt die Arbeitstabelle in der Support-Datenbank.
  • Er kann direkt aus dem Projekt heraus manuell angelegt oder bearbeitet werden.
  • Alternativ kann er über die Funktion „Sync für Suchtabelle“ automatisch erzeugt werden.
  • Dabei werden Feldzuordnungen aus der Projektkonfiguration automatisch erkannt.

• Sync zum System

  • Dieser Sync ermöglicht den Rücktransfer von Daten aus der Arbeitstabelle in das Quellsystem.
  • Auch hier kann der Sync manuell bearbeitet oder automatisiert erstellt werden.
  • Diese Funktion ist besonders wichtig, wenn Projektergebnisse (z. B. korrigierte oder zusammengeführte Datensätze) wieder ins Ursprungssystem übernommen werden sollen.

Transformation

Vor der eigentlichen DQM-Verarbeitung kann eine Transformation auf die Daten angewendet werden.
Diese ermöglicht:

• die Vorselektion oder Aggregation von Datensätzen,
• die Berechnung zusätzlicher Felder oder
• das Filtern der Datengrundlage.

Die Transformation bildet somit den vorbereitenden Schritt, bevor der Workflow beginnt.

Workflow mit DQM-Regeln

Auf der Registerkarte „DQM-Regeln“ wird der Workflow des Projekts definiert.
Dieser Workflow funktioniert analog zu den DQM-Regeln in Syncs, ist jedoch auf die Verarbeitung kompletter Datenbestände ausgelegt.

Hier können alle im System verfügbaren Regeltypen genutzt werden, beispielsweise:

• Daten prüfen
  Überprüfung auf Vollständigkeit, Format oder Plausibilität.
• Daten anpassen
  Automatische Korrektur oder Vereinheitlichung von Feldwerten.
• Duplikate suchen
  Identifikation und Gruppierung doppelter Datensätze.
• Entscheiden
  Logische Verzweigungen im Workflow basierend auf Prüfergebnissen.
• E-Mail senden / Sync ausführen
  Starten externer Prozesse oder Benachrichtigung relevanter Benutzer.

Jede Regel kann einzeln konfiguriert werden.
Der Workflow wird bei der Projektausführung in der angegebenen Reihenfolge abgearbeitet.

Aktualisierungen bei Dublettensuchen

Für die Duplikatserkennung stehen im Universal Projekt zusätzliche Optionen zur Verfügung, um die automatische Aktualisierung von Gewinner- und Verliererdatensätzen zu definieren.

Gewinner- und Verlierer-Aktualisierung

• Über zwei separate Listen lassen sich Aktualisierungen definieren, die nach der Suche ausgeführt werden.
• Für Gewinner-Datensätze kann festgelegt werden, welche Felder nach der Zusammenführung aktualisiert werden sollen.
• Für Verlierer-Datensätze können Platzhalter eingesetzt werden, die mit den Werten des Gewinnerdatensatzes gefüllt werden (z. B. Kundennummern oder IDs).

Dies ermöglicht eine konsistente Übernahme der relevanten Daten in nachgelagerte Systeme und verhindert Datenverlust nach einer Zusammenführung.

Zeitsteuerung

Das Universal Projekt unterstützt die automatische, zeitgesteuerte Ausführung.
Die Zeitsteuerung kann im Projekt über die Registerkarte „Warteschlange“ eingerichtet werden.

Typische Anwendungsfälle:

• Nächtliche Ausführung für tägliche Datenvalidierungen
• Wöchentliche Läufe für Adress- oder Dublettenprüfungen
• Monatliche Scorings zur Trendanalyse der Datenqualität

Ablauf der Projektausführung

1. Vorbereitung

   • Ergebnisse früherer Läufe werden gelöscht.

2. Transformation

   • Optionaler Schritt zur Vorbereitung der Daten.

3. Workflowausführung

   • Alle Regeln im DQM-Workflow werden auf die Arbeitstabelle angewendet.

4. Ergebnisanalyse

   • Fehler, Änderungen und Dublettengruppen werden im Projekt gespeichert.
   • Ergebnisse können über die Registerkarten „Fehlerhafte Daten“, „Änderungen“ und „Suchergebnis“ eingesehen werden.

5. Optional: Rückschreiben

   • Über den Sync zum System können geprüfte oder bereinigte Daten wieder zurückgeführt werden.

Zusammenfassung

Das DQM Universal Projekt ist das Fundament der DQM-Projektarchitektur in Syncler.
Es vereint alle notwendigen Komponenten, um Bestandsdaten effizient zu prüfen, zu transformieren und zu bereinigen.
Mit den integrierten Workflow- und Sync-Funktionen können Prozesse sowohl vollautomatisch als auch manuell gesteuert werden – ein wesentlicher Bestandteil für nachhaltiges Data Quality Management in komplexen Systemlandschaften.