In unserem einführenden Blog-Beitrag zu Azure Sentinel und Event Hubs haben wir die grundlegenden Funktionen von Event Hubs erläutert und erklärt, wie sie dabei helfen können, Herausforderungen bei der Datenaufnahme in grossen Unternehmen zu bewältigen. In diesem Beitrag gehen wir näher darauf ein, was zwischen den Event Hubs und Sentinel passiert, und geben einen detaillierteren Einblick, wie Protokolle verarbeitet und gefiltert werden können, bevor sie in Sentinel aufgenommen werden. Solche Filtermöglichkeiten können erforderlich sein, um die Menge der in Sentinel aufgenommenen Protokolle zu begrenzen und die Kosten zu senken.
Es werden zwei mögliche Methoden zur Verarbeitung von Protokollen diskutiert: Azure-Funktionen und Stream Analytics. Dies sind jedoch nicht die einzigen verfügbaren Lösungen, und jedes System oder jeder Prozess, das bzw. der ein Event Hub-Konsument ist, kann technisch für diesen Zweck verwendet werden.
Filtern von Event Hubs-Protokollen
Azure Event Hubs sind nützlich, um grosse Mengen von Protokollen zu sammeln und sie an verschiedene Verbraucher dieser Protokolle zu verteilen, können aber eingeschränkt sein, wenn Protokolle weiterverarbeitet oder gefiltert werden müssen. Wenn der «Endnutzer» der Protokolle (z. B. Sentinel) nur eine Teilmenge der empfangenen Protokolle benötigt, müssen diese Protokolle von einem anderen Dienst gefiltert werden, der als Vermittler zwischen Event und Sentinel fungiert. An dieser Stelle kommen Azure Functions und/oder Azure Stream Analytics ins Spiel.
Azure Funktionen
Azure Functions sind serverlose Funktionen, die auf einer von Microsoft verwalteten, ständig aktualisierten Infrastruktur erstellt werden können. Azure-Funktionen können für jede skriptfähige Aufgabe verwendet werden, z. B. zum Senden von E-Mails oder Benachrichtigungen, zum Starten von Backups und zur Verarbeitung von Ereignissen.
Azure Functions sind eine kostengünstige Option, die schnell eingesetzt werden kann, um eine effiziente Datenprotokollierung zu gewährleisten. Die Funktionen können nativ in C#, Java, PowerShell, Python oder JavaScript geschrieben werden. Es handelt sich um ein einfaches, aber leistungsstarkes Tool zur Verarbeitung und Filterung von Protokollen, bevor sie in Sentinel aufgenommen werden.
Eine Azure-Funktion, die zwischen einem Event Hub und Sentinel eingesetzt wird, besteht in der Regel aus Folgendem:
- Ein Event Hub-Auslöser, der für jedes empfangene Ereignis oder jeden Batch von Ereignissen in Betrieb genommen wird
- Ein Codeabschnitt, der die Protokolle durchsucht, um sie zu filtern und/oder anzureichern
- Der Codeabschnitt, der die Protokolle an Sentinel und den zugrunde liegenden Log Analytics Workspace sendet, verwendet die Azure Monitor HTTP Data Collector API.
Dies kann eine leistungsstarke Lösung sein, wenn Protokolle wie AKS (Azure Kubernetes Service) oder SQL-Audit-Protokolle aufgenommen werden, da diese eine grosse Menge an Ereignissen generieren können, von denen einige für die Sicherheitsüberwachung nicht notwendig sind.
Stream Analytics
Azure Stream Analytics ist eine Echtzeit-Ereignisverarbeitungs- und -Analyse-Engine, die direkt mit einem Event Hub verbunden werden kann. Der Service erleichtert das Aufnehmen, Verarbeiten und Analysieren von Streaming-Daten aus Azure Event Hubs und ermöglicht leistungsstarke Einblicke, die zu Echtzeitmassnahmen führen.
Stream Analytics unterstützt jedoch nicht die direkte Ausgabe von Protokollen an einen Log Analytics-Arbeitsbereich (und damit an Sentinel), kann aber in einigen Fällen eine alternative Lösung zu den Azure-Funktionen sein, wie z. B. die Speicherung von Protokollen in einem Speicher zur langfristigen Aufbewahrung oder die Erstellung von Dashboards auf der Grundlage der vom Event Hub verarbeiteten Protokolle. Der Service könnte sich auch eher für Teams eignen, die mit Datenbankabfragen vertraut sind, da die Stream Analytics-Abfragen auf SQL basieren (aber mit JavaScript oder benutzerdefinierten Funktionen in C# erweitert werden können).
Zusammenfassung
Dank der Vielseitigkeit von Azure Event Hubs können Benutzer auch Protokolle aus einer Vielzahl von Quellen einlesen, was sie zu einer attraktiven Ressource für Legacy-Systeme macht. Event Hubs unterstützen auch Apache Kafka, was die Integration mit Nicht-Azure-Systemen vereinfacht, die dieses Protokoll verwenden können (z. B. ein ELK-Stack).
Mit der Flexibilität und den Möglichkeiten, die andere Dienste wie Azure Functions oder Stream Analytics bieten, können die vom Event Hub aufgenommenen Protokolle leicht angereichert und/oder gefiltert werden, um sicherzustellen, dass jeder Verbraucher Zugriff auf die benötigten Protokolle erhält, ohne überlastet zu werden.
Obwohl die Standardverbindungsmethode für Event Hubs über das öffentliche Netzwerk erfolgt, können Event Hubs mit Azure Virtual Networks gepaart werden, um einen privatisierten Datenfluss zu ermöglichen. Dies kann noch einen Schritt weiter gehen und mit einer Express-Route gepaart werden, um Daten von einer gesperrten On-Prem-Quelle sicher zu erfassen.
