Ein häufiges Problem für grosse Unternehmen, die Azure Sentinel nutzen, ist die Handhabung der Dateneingabe aus Anwendungen. Wir zeigen, wie unsere Ingenieure Azure Event Hubs für eine grosse Umgebung eines globalen Versicherungsunternehmens verwendet haben, um die Trennung von Daten, die Ereignisfilterung und die Datenmengen zu steuern. Zunächst geben wir einen Überblick über Event Hubs: was es ist und wofür es verwendet wird. Zweitens erfahren Sie von unseren Ingenieuren etwas über den Prozess und die Funktionalität der Plattform. Und schliesslich beschreiben wir die Vorteile des Einsatzes von Azure Event Hubs und den Wert, den es für unsere Kunden hat. Unser Ziel ist es, die Anwendungen, Prozesse und Vorteile von Azure Event Hubs zusammen mit Azure Sentinel zu erläutern. Wenn Sie nicht wissen, was Azure Sentinel ist, können Sie unseren früheren Blog-Artikel lesen, in dem die Microsoft SIEM / SOAR-Plattform vorgestellt wird.
Was ist Event Hubs und wofür wird es verwendet?
Azure Event Hubs ist eine leistungsstarke und sehr skalierbare Messaging-Plattform, die als PaaS-Dienst in Microsofts Azure angeboten wird. Das Event Hubs-System übernimmt die Aufnahme von Ereignissen und eine verteilte Stream-Verarbeitung. Es bietet Unternehmen eine vollständig verwaltete Lösung zum Empfangen, Verarbeiten und Speichern grosser Datenmengen mit hohem Durchsatz, ohne dass sie eigene Server benötigen.
Event Hubs spielen die Rolle der «Eingangstür» einer Event-Pipeline, indem sie zwischen Event-Publishern und Event-Konsumenten sitzen. Damit entkoppeln sie den Produzenten eines Ereignisstroms von den Konsumenten dieser Ereignisse. Es bietet verteilte Stream-Verarbeitungsfunktionen mit Daten- und Analysediensten innerhalb und ausserhalb von Azure zur Unterstützung der Datenpipeline. Dank der Skalierbarkeit und der hybriden Bereitstellungsoptionen können Unternehmen problemlos auf Volumenänderungen reagieren. Integrierte Überwachungs- und Analysefunktionen helfen dabei, die Effizienz des Dienstes zu verfolgen und ungenaue oder ungeeignete Datensätze zu eliminieren.
Hier sind einige Szenarien, in denen Azure Event Hubs eingesetzt werden können:
- Anwendungsprotokollierung
- Aufbereitung von gestreamten Daten für weitere Analysen
- Erkennung und Eliminierung von Ausreissern
- Überbrückung der Systemgrenzen von On-Prem zu Cloud-Umgebungen
Event Hub ist eines von mehreren Messaging-Systemen in Azure, dass als Schlüsselfunktion das mehrere Sendern und Empfängern miteinander kommunizieren lässt. Im Gegensatz zu anderen Messaging-Systemen kann es Ereignisströme mit sehr hohem Durchsatz verarbeiten, da es diese in eine Reihe von skalierbaren Partitionen aufteilt. Jede Partition kann einzelne oder mehrere Verbrauchergruppen als Empfänger der Nachrichten haben.
Warum sind Event-Hubs nützlich?
- Der hohe Durchsatz, den Event Hubs bewältigen können (1 Million Nachrichten pro Sekunde), ist beispiellos.
- Die Skalierbarkeit von Event Hubs ermöglicht es Unternehmen, mit kleinen Datenströmen (Megabyte pro Sekunde) zu beginnen und sich ohne Plattformwechsel auf Terabyte pro Sekunde zu entwickeln.
- Daten können aus einer praktisch unbegrenzten Anzahl von Quellen gleichzeitig aufgenommen werden, was die effiziente Konsolidierung von Datenquellen mehrerer Anwendungen ermöglicht.
- Mit Azure Policies können Sie Event Hubs zu Azure-Abonnements zuweisen und so eine Standardschnittstelle für Ereignisse zwischen Anwendungen und Diensten einrichten.
- Datenfilterung reduziert Kosten: Datenkonsumenten können Filterregeln aufstellen, die den Aufwand und die Kosten für die Datenverarbeitung reduzieren.
- Durch die Integration mit anderen Diensten können Event Hubs die Lücke zwischen Azure- und Nicht-Azure-Plattformen schliessen.
- Die Datentransformation ist durch die Verwendung beliebiger Echtzeit-Analysediensten oder Stapelverarbeitungs-/Datensicherungschnittstellen möglich.
Beispiel für Event Hubs, die Azure Sentinel füttern
Das folgende Beispiel für Azure Event Hubs zeigt eine aktuelle Implementierung, die wir in einer produktiven Umgebung eingesetzt haben:
Hier haben wir vier Protokollquellen, die in die Sentinel-Plattform einfliessen. Drei davon befinden sich in Azure (Azure Diagnostic Settings, Azure Activity Log und Azure Metrics from Azure), während eine vor Ort läuft (Apache Kafka). Letztere liefert Ereignisdaten von einer auf ELK (Elasticsearch, Logstash und Kibana) basierenden Logging-Plattform.
Azure Event Hubs aggregiert die Nachrichten aus den verschiedenen Protokollquellen. Die Function App formatiert und filtert die Logs, bevor sie an den Log Analytics Workspace gesendet werden, der für Azure Sentinel verwendet wird.
Zusammenfassung der Vorteile
Die Verwendung von Event Hubs brachte unserem Kunden die folgenden Vorteile:
- Eine standardisierte Ereignisdienstschnittstelle zwischen verschiedenen Anwendungs- und Dienstkomponenten
- Überbrückung hybrider Cloud-Umgebungen mit On-Premises-Systemen und mehreren Cloud-Anbietern, die alle transparent in dieselbe Plattform integriert sind
- Eine leistungsstarke Integration für eine bestehende lokale Protokollierungsplattform mit hohem Durchsatz (ELK-Stack) mit Azure Sentinel, die leicht verfügbare Apache Kafka-Schnittstellen nutzt
- Trennung der Verantwortlichkeiten: Anwendungseigentümer stellen sicher, dass ihre Systeme ihre Protokollereignisse in Azure Event Hubs veröffentlichen, ohne sich gross um die Datenmengen kümmern zu müssen. Die Verbraucher können auswählen, welche Daten sie verarbeiten möchten, unterstützt durch In-Stream-Filterung und Datentransformation.
- Vereinfachung: Es ist nicht erforderlich, Daten an mehrere APIs oder Verbraucher zu veröffentlichen; die Daten werden nur einmal veröffentlicht und können von allen genutzt werden.
- Verwaltung: Azure Policies werden zur Bereitstellung der Event Hub-Integration und zur Definition von Standards für die Zugriffskontrolle verwendet
- Überwachung und Kostenkontrolle: Event Hubs bieten einen detaillierten Überblick über die Kosten und verschiedene Konfigurationen für die automatische Dimensionierung der Ressourcen.
