Cornerstone Big Data Analyse mit Hilfe von Apache

Die systematische Auswertung von immer größer werdenden Datensammlung stellt Unternehmen vor immer größere Herausforderungen. Vielen Unternehmen fehlt einfach das Knowhow, um Big-Data-Projekte zu stemmen. Getreu dem Motto „Wir machen erst mal einen Data Lake“ führen sie alle verfügbaren Daten in einem System zusammen. Denn oft unterliegen sie dem Irrglauben, dass man so viele Daten wie möglich in das System stecken sollte, um maximal viele und maximal flexible Auswertungen fahren zu können. So funktioniert das leider nicht, da wir hier ein Performance-Problem erwarten können. Deshalb muss sich das Unternehmen auch bei Big Data Analysen im Vorfeld Gedanken über sinnvolle Auswertungen machen, die unter Berücksichtigung der Kosten-Nutzen-Relation einen Mehrwert bieten. Eine vorgeschaltete Potenzialanalyse ist zu empfehlen und kann hier Aufschluss geben. Innerhalb des Forschungs- und Entwicklungsprojekt PRO-OPT, welches im Rahmen des Technologieprogramms „Smart Data – Innovationen aus Daten“ des Bundesministeriums für Wirtschaft und Energie gefördert wird, hat sich camLine dieser Problemstellung angenommen.

Ziel des PRO-OPT Projektes ist es, Unternehmen in dezentralen kooperativen Strukturen (Smart Ecosystems) die effektive und intelligente Analyse großer Datenmengen zu ermöglichen. Vor allem durch die Digitalisierung und Automatisierung fallen bei der Produktion immer größere Datenmengen an. Die Datenquellen liegen dabei verteilt bei unterschiedlichen Standorten eines Teilnehmers oder bei verschiedenen, wirtschaftlich unabhängigen Teilnehmern des Ecosystems, insbesondere da in die Produktion meist nicht nur Teile aus eigener Fertigung eingehen. Übergreifende Analysen müssen unter Berücksichtigung von Zugriffsberechtigungen auf diese Quellen herunter gebrochen werden. Big Data Strategien sollen hier helfen, diese Analysen zu ermöglichen bzw. effizienter zu gestalten.