Big Data Technologien
Für die Umsetzung von Big-Data- und Advanced-Analytics-Szenarien kommen spezifische Technologien und Architekturen zum Einsatz.
Auf Grund sehr individueller Anforderungen kommen unterschiedliche Big-Data- und Advanced-Analytics-Technologien zum Einsatz. Diese werden verwendet um Daten zu sammeln und optimal aufzubereiten.
DAS APACHE HADOOP ECOSYSTEM
Das Apache Hadoop Projekt umfasst Open Source Softwarewerkzeuge zum Aufbau von skalierbaren, verteilt arbeitenden Big-Data- und Advanced-Analytics-Lösungen. Es basiert originär auf dem MapReduce-Algorithmus von Google Inc. sowie auf Vorschlägen des Google-Dateisystems und ermöglicht es, intensive Rechenprozesse und Algorithmen mit großen Datenmengen auf Computerclustern durchzuführen.
Hadoop erlaubt die Speicherung beliebig großer Datenberge unterschiedlichster Struktur – und das mit Standardhardware! Neben dem Programmiermodell MapReduce (Java, „R“) und dem Dateisystem HDFS als Kernelemente von Hadoop zählen beispielsweise die SQL-Schnittstelle Hive und die NoSQL-Datenbank HBase zum Framework. Mit Spark sind zudem Hadoop-Funktionen in der Entwicklung, die ein In-Memory-Cluster-Computing insbesondere für (Near)-real-time-Anwendungen (Streamprocessing) durch Machine-Learning-Algorithmen, iterative Algorithmen und interaktives Data Mining ermöglichen sollen.
Eine langfristig erfolgreiche Nutzung von Hadoop und seine sich laufend weiterentwickelnden Komponenten setzen eine klare Architekturkonzeption und die Kombination der relevanten Komponenten des Frameworks voraus.
CLOUD ANGEBOT FÜR BIG DATA UND ADVANCED ANALYTICS
QUNIS arbeitet in der Praxis nicht selten mit gehosteten Big-Data-Lösungen von Microsoft Azure. Die Nutzung einer Cloud-Lösung erlaubt Unternehmen einen sehr schnellen und kostengünstigen Einstieg in die Welt von Big Data und Advanced Analytics. Bei dem Cloud-Angebot von Microsoft werden neben dem Apache Hadoop Framework noch weitere Softwarekomponenten für die Verarbeitung von Massendaten, die Echtzeitanalyse oder die Realisierung von erweiterten Analyseszenarien angeboten.
BIG DATA UND ADVANCED ANALYTICS ARCHITEKTUREN
Als konstruktiv nutzbare Vorlage für Konzeption und Entwurf einer Big-Data-Anwendung eignet sich die Lambda-Architektur. Die in dieser Architektur vorgesehene Modularisierung spiegelt typische Anforderungen an Big-Data-Anwendungen wider und systematisiert sie. Häufiger sind nur Teilbereiche der Architektur in Projekten relevant und können auch in Kombination zu bestehenden Business-Intelligence-Systemen realisiert werden.
In der Praxis werden im Rahmen der Big-Data-Architektur auch so genannte Data-Lake-Ansätze realisiert. Bei einem Data Lake werden alle relevanten Daten in einem Pool gesammelt und diese dann unterschiedlichsten Bereichen für Analysen zur Verfügung gestellt, um die Daten-Silos in den Unternehmen aufzuheben und damit die Wertschöpfungskette der Analysen zu erhöhen. Big-Data-Technologien eignen sich für die Speicherung der Massendaten und erlauben eine kostenattraktive Datenspeicherung im Vergleich zu klassischen Datenbankkonzepten.
QUNIS berät Sie sehr gerne bei der Auswahl der richtigen und relevanten Komponenten für Big Data und Advanced Analytics. Neben der Auswahl unterstützt Sie QUNIS auch bei der Konzeption und Realisierung Ihrer Big-Data-Initiative. Wenn Sie Fragen zu unserem Angebot haben oder weitere Informationen wünschen, nehmen Sie Kontakt auf.
QUNIS ACADEMY &
WEBINARE
ACADEMY
Investieren Sie in die Zukunft: Durch unternehmensinternes Big Data-Wissen sichern Sie den nachhaltigen Erfolg Ihres Projektes.
WEBINARE
In unseren einstündigen Webinaren informieren wir Sie völlig kostenfrei zu den aktuellen Themen der Big-Data-Branche.