Produktdaten zusammenführen zum Golden Record

Montagmorgen, 09:12 Uhr. Im gemeinsamen Postfach liegen drei neue Lieferantendateien. Die erste nennt die Spalte Kleur, die zweite Colour, die dritte schlicht kl. Derselbe Esszimmerstuhl steht in allen drei Dateien, aber mit drei verschiedenen EANs, von denen eine leer ist. Und das sind erst 3 von 40 Lieferanten, die Sie diese Woche verarbeiten müssen.

Bei Lieferant A heißt die Farbe Anthrazit, bei B Dunkelgrau, bei C DK-GREY. Die Abmessung steht in der einen Datei als DIM_MM 620x820x450 und in der anderen als drei separate Spalten. Sie können das von Hand zusammensetzen und einen guten Teil Ihrer Woche mit Ausschneiden und Einfügen verbringen, also mit dem wachsenden Excel-Chaos Ihrer Produktliste, oder Sie lassen ein System die Dateien zu einem Datensatz pro Produkt deduplizieren. Aber nur unter einer Bedingung: dass Sie bei jedem Wert noch sehen können, welcher Lieferant ihn geliefert hat.

Warum sich Produktdaten von Lieferanten nie von selbst zusammenführen

Jeder Großhändler liefert so, wie es in sein System passt. Die Spaltennamen unterscheiden sich, die Schreibweisen unterscheiden sich, die Einheiten unterscheiden sich. Manche Felder sind leer, EANs fehlen oder stehen in wissenschaftlicher Notation, weil Excel etwas daraus gemacht hat. Es gibt keinen gemeinsamen Standard, und der kommt auch nicht: Sie werden 40 Lieferanten nicht zwingen, Ihre Vorlage zu verwenden.

Das ist kein Einzelfall, sondern eine fortlaufende Situation. Produktdaten veralten ständig: Produkte kommen hinzu, Lieferanten wechseln und Spezifikationen ändern sich, also ist das, was heute stimmt, in einem Quartal schon teilweise überholt. Wer Dutzende Lieferantendateien zu einem Golden Record mit Herkunft pro Feld zusammenführen will, braucht also kein einmaliges Projekt, sondern einen Prozess.

Schritt 1: doppelte Produkte deduplizieren

Zusammenführen beginnt mit Erkennen. Dasselbe Produkt steckt oft in mehreren Dateien, und selten mit exakt demselben Schlüssel. In der Fachliteratur heißt das Entity Resolution oder Record Linkage: Datensätze werden über Produktcodes, Namen und Merkmale zu einer Source of Truth verknüpft, wobei probabilistisches Matching den Vergleich pro Feld gewichtet.

In der Praxis bedeutet das: zuerst harte Schlüssel wie SKU, EAN und Barcode, und dort, wo diese fehlen oder widersprüchlich sind, ein Abgleich über Titel, Marke und Spezifikationen. Die leere EAN von Lieferant C fällt dann nicht einfach durchs Raster, sondern wird auf Basis dessen verknüpft, was tatsächlich übereinstimmt.

Schritt 2: normalisieren auf IHRE Struktur

Hier geht oft etwas schief. Die Versuchung ist groß, die Struktur des Lieferanten zu übernehmen, denn die ist ja schon da. Aber dann bekommen Sie einen Katalog mit 47 verschiedenen Schreibweisen für Farbe. Purple, Lila und Violett sind für Ihren Kunden dasselbe Feld im Filter. DK-GREY, Dunkelgrau und Anthrazit auch.

Normalisieren bedeutet, dass Sie diese 47 Schreibweisen auf Ihre eigenen 12 Standardfarben zurückführen, und dass 620x820x450 in Millimetern sauber in Ihren eigenen Höhen-, Breiten- und Tiefenfeldern landet. Ihre bestehende Shop-Struktur ist der Ausgangspunkt, und neue Quellen docken daran an. Sie fangen also nicht bei null an: das System liest, wie Ihr Katalog aufgebaut ist, und passt die Lieferantendaten daran an.

Schritt 3: der Golden Record und Survivorship

Jetzt, wo die Dubletten abgeglichen und die Felder normalisiert sind, müssen Sie wählen. Wenn drei Lieferanten einen Preis, eine Lieferzeit und eine Beschreibung liefern, welcher Wert gewinnt dann? Im Master Data Management heißt das Survivorship: aus den abgeglichenen Datensätzen wird pro Feld der verlässlichste Wert zu einem Golden Record konsolidiert. Informatica und Data Ladder beschreiben genau diese drei Schritte: Matching, Merging und Survivorship.

Survivorship ist ein Regelwerk. Der Hauptlieferant gewinnt beim Preis, der Hersteller gewinnt bei den Spezifikationen, die längste Beschreibung gewinnt beim Text. So weit, so gut. Aber sobald dieser Datensatz einmal in Ihrem Shop steht, stellt sich die eigentliche Frage.

Nehmen Sie eine Hängeleuchte, die in drei Dateien auftaucht. Verschiedene Namen, drei Schreibweisen für die Farbe, drei Schreibweisen für die Maße und eine leere EAN bei der dritten. Klicken Sie und sehen Sie, wie die drei rohen Zeilen zu einem Golden Record verschmelzen:

Herkunft pro Feld: warum Provenance den Unterschied macht

Angenommen: ein falscher Preis steht live. Bei einem Black-Box-Import wissen Sie nur, dass der Preis 149 Euro beträgt. Nicht, welcher der 40 Lieferanten ihn geliefert hat, nicht, ob eine Automatisierung oder ein KI-Vorschlag ihn angepasst hat, nicht, ob jemand ihn von Hand überschrieben hat. Sie sitzen fest.

Data Provenance beantwortet genau diese Frage: woher kommt dieser Wert? Anbieter von Datenkatalogen wie Atlan machen den Unterschied deutlich: Bei Provenance geht es um Herkunft, Vertrauen und Nachweis, während es bei Lineage um den Fluss und die Veränderung von Daten geht. Auf Feldebene sehen Sie bei jedem Wert die Quelle. Und das ist keine Nebensache: ohne Herkunft können Sie einen Fehler nicht dahin zurückverfolgen, wer oder was ihn verursacht hat, und jede Korrektur bleibt ein Ratespiel.

Bei Herkunft pro Feld sehen Sie bei diesem Preis von 149 Euro, ob er von Lieferant B kam, ob eine Automatisierung ihn gerundet hat, ob KI ihn vorgeschlagen hat, oder ob eine Kollegin ihn manuell gesetzt hat. Und Sie können nachsteuern: ein manueller Wert gewinnt, und ein Feld können Sie sperren, damit der nächste Import es nicht wieder überschreibt.

Qualitätssicherung und der letzte Schritt in Ihren Shop

Zusammenführen ist erst abgeschlossen, wenn die Abweichungen abgefangen sind, bevor sie Ihren Shop erreichen. Ein Preis, der plötzlich zehnmal so hoch ist, ein negativer Bestand, ein Maß, das nicht stimmt: das sollten Sie am Tor abfangen, nicht erst über eine Retoure entdecken. Und das lohnt sich, denn falsche Produktdaten kosten Sie einen Kunden, der abspringt, und eine Retoure, die Sie hätten vermeiden können. Jede Abweichung, die Sie vor dem Shop abfangen, zahlt sich aus.

Der letzte Schritt ist der Weg nach draußen. Quellen binden Sie über Lieferantenfeeds, SFTP, E-Mail, ERP und REST-API an, und auf der anderen Seite gehen die sauberen Datensätze in Ihrem Webshop live. Unterwegs wird jedes Lieferantenfoto in WebP in der passenden Größe für jede Platzierung umgewandelt, bis zu rund 98 Prozent leichter, und doppelte Fotos werden nur einmal gespeichert. Schnellere Seiten sind für Google ein Rankingsignal: ein guter LCP liegt laut web.dev bei 2,5 Sekunden oder weniger.