Integrieren Kafka Streams mit Node.js

Die Integration Kafka Streams in eine Node.js Anwendung ist eine leistungsstarke Möglichkeit, Daten direkt von Apache Kafka in einer Node.js Umgebung zu verarbeiten und zu analysieren. Kafka Streams ermöglicht es Ihnen, eine Echtzeit-Datenverarbeitung aufzubauen und diese nahtlos in Ihre Node.js Anwendung zu integrieren. Hier ist eine spezielle Anleitung, wie Sie dies erreichen können:

Schritt 1: Installieren Kafka Streams und KafkaJS

Zuerst müssen Sie KafkaJS installieren und in Ihre Anwendung Kafka Streams integrieren. Sie können npm verwenden, um diese Pakete zu installieren: Kafka Node.js

npm install kafka-streams kafkajs

Schritt 2: Erstellen Sie eine Kafka Stream

Erstellen Sie mithilfe der API eine Kafka Stream in Ihrer Node.js Anwendung Kafka Streams. Hier ist ein einfaches Beispiel für die Erstellung eines, Kafka Stream um Daten von einem zu verarbeiten topic und das Ergebnis an einen anderen auszugeben topic:

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

Schritt 3: Daten verarbeiten

Im obigen Beispiel haben wir eine erstellt, Kafka Stream um Daten aus der abzuhören input-topic, und die Daten dann verarbeitet, indem wir alles in Großbuchstaben umgewandelt und das Ergebnis an die gesendet haben output-topic.

Schritt 4: Führen Sie die Anwendung aus

Node.js Schließlich müssen Sie Ihre Anwendung ausführen, um mit der Verarbeitung von Daten zu beginnen Kafka Streams.

Beachten Sie, dass Sie im obigen Beispiel Werte wie your-client-id, und  durch die spezifischen Details Ihres Projekts ersetzen müssen. broker1:port1, your-group-id input-topic output-topic

Durch die Integration Kafka Streams in eine Node.js Anwendung können Sie flexibel und leistungsstark Echtzeit-Datenverarbeitungsfunktionen aufbauen.