Das Data Mesh ist erst einmal keine selbstständige Technologie, sondern es handelt sich um ein Paradigma. Die Idee des Data Meshs ist auch noch nicht alt, der Ansatz existiert erst seit 2018. Data Mesh ist vor allem an der Dezentralisierung der essenziellen Daten gelegen. Insofern handelt es sich um das genaue Gegenteil eines Data Lakes. Erklärtes Ziel ist es, die Organisation der Daten dezentral zu strukturieren und über eine klare Rollen- und Verantwortungsverteilung höhere Awareness und Flexibilität zu schaffen. Kurzum, dezentrale Bereiche sind für ihre Daten selber verantwortlich, sollen die eigenen Daten im täglichen Arbeiten nutzen und die Daten als Produkte anderen Playern zur Verfügung stellen.
Data Mesh ist wie beschrieben ein Paradigma und organisatorisches Konzept. Ein Data Mesh ist technologieagnostisch.
Im Gegensatz zu einem Data Mesh ist ein Data Lake eine Art Pool, in dem zentral alle Unternehmensrohdaten gesammelt werden. Die im Data Lake gesammelten Daten werden durch Transformation und Aufarbeitung (ETL Prozesse) in einem Mart oder Warehouse Ansatz Nutzer:innen zur Verfügung gestellt.
Data Fabric ist hingegen eher ein technischer Ansatz mit dem Daten und Meta Daten kontinuierlich analysiert werden, um sie optimal einzusetzen.
Noch zu erwähnen sind Data Marts, die Teildatenbestände beherbergen, um einen schnellen gezielten Zugriff zu gewährleisten und Data Warehouses die gesamte Datenbestände für Analysezwecke und schnellen Zugriff vorhalten. Data Marts und Data Warehouses halten Kopien der Originaldaten in einer für Analysen optimierten Art und Weise.
Statt zentralisierter Datenverwaltung fördert Data Mesh eine dezentrale Datenverantwortung. Jede Geschäftseinheit oder Domain ist für ihre eigenen Daten verantwortlich, was als "Domain-oriented" bezeichnet wird. Dies fördert Autonomie und Expertise in den einzelnen Geschäftsbereichen.
Daten werden als Produkte betrachtet, die von anderen Teams oder Geschäftsbereichen in der Organisation konsumiert bzw. genutzt werden können. Dies fördert einen klaren Fokus auf Datenqualität, Benutzerfreundlichkeit und Verständlichkeit.
Data Mesh fördert die Bereitstellung von selbstbedienbaren Dateninfrastrukturen als Plattform. Dies bedeutet, dass Teams in der Lage sind, ihre eigenen Dateninfrastrukturen zu gestalten und zu verwalten, wodurch sie autonomer werden.
Ähnlich wie Softwareprodukte werden auch Daten als Produkte behandelt. Es werden sogenannte "Data Product Teams" gebildet, die für die Entwicklung, Bereitstellung und Wartung von Datenprodukten verantwortlich sind.
Data Mesh schlägt vor, dass die Governance von Daten föderiert und auf die Teams verteilt wird. Dies ermöglicht eine flexiblere und skalierbarere Datenverwaltung.
Das Konzept der "Domain Data Ownership" bezieht sich darauf, dass die jeweiligen Domänen oder Geschäftsbereiche die Verantwortung für ihre eigenen Daten übernehmen. "Data Product Thinking" bedeutet, dass Daten nicht nur als Nebenprodukt, sondern als bewusst gestaltetes Produkt betrachtet werden.
Data Mesh fördert eine datengetriebene Kultur, in der datenbasierte Entscheidungen und Analysen integraler Bestandteil der Organisation sind.
In der aktuellen Daten Architekturlandschaft ist Data Mesh nicht weg zu denken. Die Mengen an Daten und Datenquellen zu zentralisieren wird immer aufwendiger in System, Prozessen und Strukturen. Die Antwort darauf liefert aktuell das Data Mesh. Es dezentralisiert die Daten Organisation, es schärft die Notwendigkeit einer Data Governance und es bringt in der Organisation, bezogen auf ihre Daten, die notwendige Awareness und Verantwortung in die dezentralen Bereiche. Daten werden zu Daten Produkten (Data Services), welche anderen Nutezr:innen angeboten werden.
Benötigen Sie Hilfe bei der Umsetzung eines Data Meshs? Kontaktieren Sie uns für ein unverbindliches Erstgespräch.
