Data Warehouse (DW): Der nutzbare Datenspeicher mit Geschäftszielen

Warum ist die Implementierung eines Data Warehouse für mein Unternehmen interessant?

Das Data Warehousing Information Center antwortet:

Um Aufgaben im Zusammenhang mit Abfragen und Berichten auf Servern durchzuführen, die nicht von Transaktionssystemen genutzt werden. Der kostengünstigste und agilste Weg für schnelle Antworten ist die Implementierung einer Data-Warehouse-Architektur, die separate Server nutzt.

Um Datenmodelle zu nutzen und Informationsabfragen zu beschleunigen. Es gibt Formen der Datenmodellierung, die Abfragen und Berichte normalerweise beschleunigen (z. B. ein Sternschema), die jedoch für die Transaktionsverarbeitung ungeeignet sein können, da die Modellierungstechnik die Transaktionsverarbeitung verlangsamen und verkomplizieren würde.

Um Abfragen und Berichte ohne Datenbankkenntnisse zu erstellen.

Um die Daten aus den transaktionalen Verarbeitungssystemen zu bereinigen.

Um die regelmäßige Abfrage und Berichterstattung von Daten aus mehreren Transaktionssystemen zu erleichtern.

Definition von DW – (Data Warehouse) und was es sein sollte

Ein Data Warehouse ist eine Sammlung von Daten, die auf einen bestimmten Bereich (Unternehmen, Organisation usw.) ausgerichtet, integriert, nicht flüchtig und zeitvariant ist und die Entscheidungsfindung in der Einheit unterstützt, in der sie verwendet wird. Es handelt sich vor allem um eine vollständige Akte einer Organisation, die über transaktionale und operative Informationen hinausgeht und in einer Datenbank gespeichert ist, die darauf ausgelegt ist, die Analyse und effiziente Verbreitung von Daten (insbesondere OLAP, Online Analytical Processing) zu fördern. Die Datenspeicherung sollte nicht für Daten des aktuellen Gebrauchs verwendet werden. Data Warehouses enthalten oft große Mengen an Informationen, die manchmal in kleinere logische Einheiten unterteilt werden, je nachdem, aus welchem Subsystem der Einheit sie stammen oder für welches sie benötigt werden.

In einem Data Warehouse möchte man Daten vorhalten, die für eine Organisation notwendig oder nützlich sind, d. h. es wird als Daten-Repository verwendet, um diese später in nützliche Informationen für den Benutzer umzuwandeln. Ein Data Warehouse muss die richtigen Informationen an die richtigen Personen zum optimalen Zeitpunkt und im passenden Format liefern. Das Data Warehouse beantwortet die Bedürfnisse von Expertennutzern unter Verwendung von Decision Support Systemen (DSS), Executive Information Systemen (EIS) oder Werkzeugen zur Erstellung von Abfragen oder Berichten. Endbenutzer können problemlos Abfragen in ihren Data Warehouses durchführen, ohne den Betrieb des Systems zu berühren oder zu beeinträchtigen. Beim Betrieb eines Data Warehouse sind folgende Ideen sehr wichtig:

• Integration der Daten aus Datenbanken, die über die verschiedenen Einheiten der Organisation verteilt sind und häufig unterschiedliche Strukturen aufweisen (heterogene Quellen). Im Data Warehouse muss eine globale Beschreibung und eine umfassende Analyse der gesamten Organisation ermöglicht werden.

• Trennung der in den täglichen Abläufen verwendeten Daten von den im Data Warehouse verwendeten Daten für Zwecke der Berichterstattung, der Unterstützung bei der Entscheidungsfindung, der Analyse und der Kontrollvorgänge. Beide Datentypen sollten nicht in derselben Datenbank zusammenfallen, da sie sehr unterschiedliche Ziele verfolgen und sich gegenseitig behindern könnten.

Routinegemäß werden Daten aus den verschiedenen Enterprise Resource Planning (ERP)-Systemen des Unternehmens und anderen geschäftsbezogenen Softwaresystemen für die spätere Transformation in das Data Warehouse importiert. Es ist gängige Praxis, die Daten vor der Zusammenführung im Data Warehouse mittels Extraktions-, Transformations- und Ladewerkzeugen (ETL) zu normalisieren. Diese Werkzeuge lesen die Primärdaten (oft OLTP-Datenbanken eines Unternehmens), führen den Transformationsprozess für das Data Warehouse durch (Filterung, Anpassung, Formatänderungen usw.) und schreiben in das Warehouse. In diesem Sinne ist das Buch „The Data Warehouse Toolkit“ (Ralph Kimball) eine wesentliche Referenz, da es festlegt, was es in jedem Unternehmen sein sollte:

• Es muss die Informationen der Organisation leicht zugänglich und einfach machen.
• Es muss die Informationen der Organisation konsistent präsentieren.
• Es muss anpassungsfähig und widerstandsfähig gegenüber Änderungen sein.
• Es muss ein sicheres Bollwerk sein, das unsere Informationen schützt.
• Es muss als Grundlage für eine verbesserte Entscheidungsfindung dienen.
• Die Benutzer müssen es freiwillig in ihre berufliche Dynamik übernehmen.

Design des Data Warehouse

Metadaten

Eine der wichtigsten Komponenten der Architektur eines Data Warehouse sind die Metadaten. Sie werden gemeinhin als „Daten über Daten“ definiert, in dem Sinne, dass es sich um Daten handelt, die beschreiben, wie die Struktur der zu speichernden Daten aussieht und wie sie miteinander in Beziehung stehen. Die Metadaten dokumentieren unter anderem, welche Tabellen in einer Datenbank existieren, welche Spalten jede der Tabellen besitzt und welche Art von Daten gespeichert werden können. Die Daten sind für den Endbenutzer von Interesse, die Metadaten sind für die Programme von Interesse, die diese Daten verarbeiten müssen. Die Rolle, die Metadaten in einer Data-Warehouse-Umgebung spielen, unterscheidet sich jedoch stark von der Rolle in operativen Umgebungen. Im Bereich der Data Warehouses spielen Metadaten eine fundamentale Rolle: Ihre Funktion besteht darin, alle Definitionen der Organisation zu erfassen, und das Konzept der Daten im Data Warehouse muss alle Informationen enthalten bezüglich:

• Tabellen

• Tabellenspalten

• Beziehungen zwischen Tabellen

• Hierarchien und Datendimensionen

• Entitäten und Beziehungen

ETL-Funktionen (Extraktion, Transformation und Laden)

Die Prozesse der Extraktion, Transformation und des Ladens (ETL) sind wichtig, da sie die Art und Weise darstellen, wie Daten in einem Data Warehouse (oder in jeder Datenbank) gespeichert werden. Sie umfassen die folgenden Operationen:

• Extraktion. Der Vorgang des Erhaltens der gewünschten Informationen aus den in externen Quellen gespeicherten Daten.

• Transformation. Jede Operation, die an den Daten durchgeführt wird, damit sie in das Data Warehouse geladen oder von diesem in eine andere Datenbank migriert werden können.

• Laden. Besteht darin, die Daten in der endgültigen Datenbank zu speichern, zum Beispiel im regulären Ziel-Data-Warehouse.

Middleware

Middleware ist ein generischer Begriff, der sich auf alle Arten von Konnektivitätssoftware bezieht, die Dienste oder Operationen anbietet, die den Betrieb von verteilten Anwendungen auf heterogenen Plattformen ermöglichen. Diese Dienste fungieren als eine verteilte Software-Abstraktionsschicht, die zwischen den Anwendungsschichten und den unteren Schichten (Betriebssystem und Netzwerk) angesiedelt ist. Middleware kann als eine API-Schicht betrachtet werden, die Programmierern als Basis dient, um Anwendungen zu entwickeln, die in verschiedenen Umgebungen arbeiten, ohne sich um die Netzwerk- und Kommunikationsprotokolle kümmern zu müssen, auf denen sie ausgeführt werden. Auf diese Weise wird ein besseres Kosten-Leistungs-Verhältnis geboten, das durch die Entwicklung komplexerer Anwendungen in kürzerer Zeit erreicht wird. Die Funktion der Middleware im Kontext von Data Warehouses besteht darin, die Konnektivität zwischen allen Komponenten der Architektur eines Data Warehouse sicherzustellen.

Auf Facebook teilen
Auf Google teilen
Auf Twitter teilen
Auf LinkedIn teilen
Auf Pinterest teilen
Drucken
Per E-Mail teilen