DQM - Syncs

Das DQM-Modul (Data Quality Management) kann sowohl in der Basis- als auch in der Premium-Edition innerhalb von Syncs verwendet werden.
Damit lassen sich Daten noch während der Verarbeitung prüfen, validieren und optimieren.

Der Einsatz in einem Sync unterscheidet sich von DQM-Projekten, da er direkt in den Verarbeitungsablauf eines Datensatzes eingebettet ist.
Dadurch kann die Datenqualität in Echtzeit überwacht und beeinflusst werden.

Zweck und Funktion

Das DQM-Modul innerhalb eines Syncs dient dazu, sicherzustellen, dass die Zieldaten eines Synchronisationsprozesses die gewünschten Qualitätsanforderungen erfüllen.
Dazu steht im Sync eine eigene Konfigurationsseite für den Workflow zur Verfügung.

Der Workflow ist in diesem Fall auf den Zieldatensatz ausgerichtet, d. h. alle Regeln werden auf den Datensatz angewendet, der unmittelbar vor dem Speichern im Zielsystem steht.

Ziel ist es, fehlerhafte oder unvollständige Datensätze automatisch zu erkennen, zu korrigieren oder von der weiteren Verarbeitung auszuschließen.

Konfiguration im Sync

Im Universal-Sync und in anderen DQM-fähigen Sync-Typen steht ein zusätzlicher Bereich zur Verfügung:

• DQM-Regeln

Hier können beliebige DQM-Regeln eingebunden werden, die dem Ziel-Schemaobjekt des Syncs zugeordnet sind.
Links finden Sie den verwendbaren Vorrat an Regeln. Regeln können hier auch direkt angelegt oder bearbeitet werden.
Rechts ist der aktuelle Ablauf dargestellt. Sollte eine Regeln eine Verzweigung ermöglichen, ist das mit einem eingerückten Unterpunkt dargestellt.
Ziehen Sie die gewünschte Regeln auf einen freien Platzhalter, um diese zu verwenden.

💡 Nur Regeln, die auf das Zielschemaobjekt abgestimmt sind, können verwendet werden.
Eine Ausnahme bilden die Regeln „Sync ausführen“ und „E-Mail senden“, da diese auf den Quelldatensatz zugreifen können.

Zeitpunkt der Ausführung

Der Workflow wird im Verarbeitungsprozess des Datensatzes nach der Feldzuordnung, aber vor dem Speichern des Zieldatensatzes ausgeführt.

Ablauf im Überblick:

1. Quell- und Zieldaten werden zugeordnet.
2. Bedingungen wie Vorbedingung Neuanlage oder Übereinstimmungssuche werden geprüft.
3. Wenn der Datensatz zur Verarbeitung freigegeben ist, startet der DQM-Workflow.
4. Nach erfolgreichem Abschluss wird der Datensatz gespeichert.

Wird der Datensatz durch eine Bedingung übersprungen oder wiederholt,
so wird der Workflow nicht ausgeführt.

Verfügbare Regeltypen im Sync-Workflow

Alle DQM-Regeln aus der zentralen Verwaltung können im Sync verwendet werden, sofern sie für das jeweilige Schemaobjekt freigegeben sind.
Darüber hinaus stehen im Workflow für Syncs einige spezielle Regeln zur Verfügung, die den Ablauf direkt beeinflussen.

1. Standard-Regeln

• Daten prüfen – Validiert Felder gegen definierte Bedingungen.
• Daten anpassen – Korrigiert oder formatiert Feldinhalte automatisch.
• Duplikate suchen – Prüft auf vorhandene Dubletten im Zielsystem.
• Entscheiden – Verzweigt den Workflow je nach Ergebnis.
• Sync ausführen – Startet einen anderen Sync mit dem aktuellen Quelldatensatz.
• E-Mail senden – Versendet Benachrichtigungen mit Platzhaltern und Templating.

2. Spezielle Sync-Regeln

Diese Regeltypen stehen nur innerhalb eines Sync-Workflows zur Verfügung:

Diese Regeln greifen direkt in die Verarbeitung ein und bestimmen, wie der aktuelle Datensatz weiterbehandelt wird.

Beispiel: Ablauf einer DQM-Prüfung im Sync

1. Sync liest Datensatz aus dem Quellsystem.
2. Feldzuordnung: Quellfelder werden den Zielfeldern zugewiesen.
3. DQM-Workflow startet:
   • Pflichtfelder werden geprüft.
   • Formate (z. B. E-Mail, Telefonnummer) werden validiert.
   • Dublettenprüfung erfolgt.
   • Gegebenenfalls wird der Datensatz angepasst.
4. Entscheidung:
   • Wenn alle Regeln erfüllt → Datensatz wird gespeichert.
   • Wenn Fehler auftreten → Workflow führt eine der Spezialregeln aus (z. B. „Überspringen“).
5. Protokollierung: Alle Ergebnisse werden im Sync-Log aufgezeichnet.

Die Regel „Duplikate suchen“

Diese Regel nimmt im Sync eine besondere Rolle ein.
Sie vergleicht den aktuellen Zieldatensatz mit vorhandenen Bestandsdaten, um doppelte Einträge zu vermeiden oder potentielle Ziele zu finden.

• Wird kein passender Datensatz gefunden → neuer Datensatz wird angelegt.
• Wird ein passender Datensatz gefunden → dieser wird aktualisiert oder zusammengeführt.
• Die Regel greift nur, wenn der aktuelle Datensatz neu angelegt werden soll.
  Bei Aktualisierungen oder vorhandenen Übereinstimmungssuchen wird sie nicht ausgeführt.

Wird ein Zieldatensatz durch diese Regel gefunden, so:

1. Wird er aus dem Zielsystem gelesen,
2. mit den aktuellen Feldzuordnungen aktualisiert und
3. in den weiteren Workflow übergeben.

Sollte der Sync Datensatz-Abbildungen verwenden, muss dies in der Suche berücksichtigt werden.
Sobald der gefundene Zieldatensatz bereits eine Datensatz-Abbildung hat, wird dieser verworfen und der aktuelle Datensatz wird neu angelegt.
Dies kann mit der Einstellung Formel für Unterteilung der Suchdaten verhindert werden. Diese Formel unterteilt die Bestandsdaten in durchsuchbar und nicht durchsuchbar. Eine positive ausgewertete Formel ordnet den Datensatz den durchsuchbaren Datensätzen zu. Wenn die Formel auf fehlende Sync-Kennzeichen oder Kundennummern prüft, werden nur noch abweichende Datensätze durchsucht, die potentiell keine Datensatz-Abbildung haben.

Fehlerszenarien und Steuerung

Die Reaktion auf fehlerhafte oder unvollständige Datensätze kann über die Spezialregeln gesteuert werden:

• Datensatz fehlgeschlagen:

  • Der Datensatz wird als Fehler protokolliert.
  • Die Verarbeitung des Syncs kann fortgesetzt oder abgebrochen werden.

• Datensatz überspringen:

  • Der Datensatz wird ignoriert, zählt jedoch als erfolgreich verarbeitet.
  • Wird häufig bei Prüfregeln eingesetzt, die unkritische Datenabweichungen erkennen.
  • Kann auch genutzt werden, wenn der Datensatz einem anderen Sync übergeben wurde.

• Datensatz wiederholen:

  • Der Datensatz wird im nächsten Durchlauf erneut geprüft.
  • Sinnvoll bei temporären Fehlern (z. B. Zielsystem nicht erreichbar).

Vorteile der DQM-Integration in Syncs

• Qualitätssicherung in Echtzeit
  → Fehlerhafte Daten werden früh erkannt und blockiert.

• Automatische Korrektur und Bereinigung
  → Reduziert manuellen Aufwand in nachgelagerten Systemen.

• Flexible Prozesssteuerung
  → Workflows können direkt auf Datenqualität reagieren.

• Nahtlose Integration mit DQM-Regeln
  → Einheitliche Logik für Syncs, Projekte und manuelle Prüfungen.

Best Practices

• Verwenden Sie möglichst feldspezifische Regeln, um die Ausführung effizient zu halten.
• Kombinieren Sie „Daten prüfen“ und „Daten anpassen“, um erst zu validieren und dann zu korrigieren.
• Setzen Sie „Datensatz überspringen“ nur dort ein, wo unvollständige Daten toleriert werden.

Weiterführende Themen

• DQM – Regeln
• Schritte des Universal-Sync