CSV Konnektor

Der CSV Konnektor ermöglicht das Lesen und Schreiben von CSV-Dateien in Syncler.
Die Dateien können über FTP oder SFTP ausgetauscht werden. Zusätzlich stehen spezialisierte Syncs zur Verfügung, die weitere Verarbeitungsparameter und Automatisierungsfunktionen bereitstellen.

In einer On-Premises Installation kann alternativ auch auf lokale Verzeichnisse zugegriffen werden.

Für den Betrieb müssen mindestens ein Quellverzeichnis (Lesen) und ein Zielverzeichnis (Schreiben) definiert werden.
Darüber hinaus können optionale Backup- und Fehlerverzeichnisse angegeben werden.
Über Syncs lassen sich zusätzliche Unterverzeichnisse für den Lesezugriff einschränken.

Einrichtung

Für den CSV Konnektor sind folgende Einstellungen erforderlich:

Verzeichnisse

• FTP Quellverzeichnis

  • Pfad zum Verzeichnis, aus dem CSV-Dateien gelesen werden.

• FTP Zielverzeichnis

  • Pfad zum Verzeichnis, in dem exportierte CSV-Dateien abgelegt werden.

• FTP Archivverzeichnis

  • Optionales Verzeichnis für Archivkopien.
  • Dateien werden nach erfolgreicher Verarbeitung dorthin verschoben.

• FTP Fehlerverzeichnis

  • Optionales Verzeichnis für fehlerhafte Dateien.
  • Dorthin verschobene Dateien können zur Analyse herangezogen werden.

• Datum an Archivdateinamen anhängen

  • Automatische Ergänzung eines Zeitstempels im Dateinamen für Archivdateien.

Verbindung

• FTP Server

  • Adresse oder Hostname des FTP/SFTP-Servers.

• FTP Port

  • Kommunikationsport (Standard: 21 für FTP, 22 für SFTP).

• FTP Benutzername

  • Benutzerkennung für den Zugriff.

• FTP Passwort

  • Passwort zur Authentifizierung.

• FTPS verwenden

  • Aktiviert den verschlüsselten FTP-Zugriff (FTPS).

• SFTP verwenden

  • Aktiviert die Nutzung von SFTP (über SSH).

Objekte

• Der CSV Konnektor stellt keine festen Schemaobjekte bereit.
• Das Lesen wird über Abfrage-Syncs umgesetzt:
  • In der Abfrage wird die Kopfzeile der CSV definiert.
  • Daraus wird dynamisch das Schemaobjekt erzeugt.
• Das Schreiben erfolgt über eine Exportliste im Sync, die die Spalten der CSV-Datei definiert.
• Ein zusätzliches Schemaobjekt ist für den Export nicht erforderlich.

Lesen von Daten

1. Verwenden Sie einen CSV-Sync.
2. Tragen Sie im Bereich „Abfrage“ die Kopfzeile der CSV-Datei ein.
   • Daraus wird automatisch das Datenschema erzeugt.
   • Dieses Schema kann für Transformationen und Feldzuordnungen verwendet werden.

⚠️ Besonderheiten:

• Falls die Datei keine Kopfzeile besitzt, können beliebige Feldbezeichnungen angegeben werden.
• Die Spaltenreihenfolge ist ausschlaggebend für die Zuordnung der Daten.
• Über Abfrage-Syncs können auch nur Teilbereiche der CSV-Datei verarbeitet werden (z. B. bestimmte Verzeichnisse).

Schreiben von Daten

• Das Schreiben erfolgt immer als vollständige CSV-Datei.
• Einzelne Zeilen können nicht in bestehende Dateien eingefügt werden.
• Vorgehen:
  1. Definieren Sie eine Export-Feldliste im Sync.
  2. Diese Feldliste selektiert die gleichnamigen Daten aus der Quelle.
  3. Bei der Ausführung wird eine neue Datei mit allen Datensätzen erstellt.

⚠️ Hinweise:

• Bereits bestehende Dateien werden überschrieben.
• Für Fehlerfälle können Dateien automatisch in das Fehlerverzeichnis verschoben werden.
• Zur Nachvollziehbarkeit können zusätzlich Archivkopien mit Datumsangaben erstellt werden.

Besonderheiten

• Lokaler Betrieb:

  • In On-Premises-Installationen können auch lokale Dateiverzeichnisse eingebunden werden.

• Fehlerbehandlung:

  • Dateien, die nicht gelesen oder verarbeitet werden können, werden in das definierte Fehlerverzeichnis verschoben.

• Backup:

  • Alle erfolgreich verarbeiteten Dateien können im Archivverzeichnis mit Zeitstempel gespeichert werden.

• Formatierung:

  • Der Konnektor erwartet UTF-8 oder ANSI-codierte CSV-Dateien.
  • Trennzeichen (z. B. , oder ;) können über den Sync definiert werden.

• Leistung:

  • Bei sehr großen (1M+) CSV-Dateien empfiehlt es sich, die Daten über mehrere kleinere Dateien zu verarbeiten.
  • Alternativ können Syncs so konfiguriert werden, dass Dateien nach Verarbeitung automatisch verschoben oder gelöscht werden.