Ενσωμάτωση Kafka Streams με Node.js

Η ενοποίηση Kafka Streams με μια Node.js εφαρμογή είναι ένας ισχυρός τρόπος επεξεργασίας και ανάλυσης δεδομένων απευθείας από τον Apache Kafka σε ένα Node.js περιβάλλον. Kafka Streams σας δίνει τη δυνατότητα να δημιουργήσετε επεξεργασία δεδομένων σε πραγματικό χρόνο και να την ενσωματώσετε απρόσκοπτα στην Node.js εφαρμογή σας. Ακολουθεί ένας συγκεκριμένος οδηγός για το πώς να το πετύχετε αυτό:

Βήμα 1: Εγκατάσταση Kafka Streams και KafkaJS

Πρώτα, πρέπει να εγκαταστήσετε Kafka Streams και το KafkaJS να ενσωματωθεί Kafka στην εφαρμογή σας Node.js. Μπορείτε να χρησιμοποιήσετε το npm για να εγκαταστήσετε αυτά τα πακέτα:

npm install kafka-streams kafkajs

Βήμα 2: Δημιουργήστε ένα Kafka Stream

Δημιουργήστε ένα Kafka Stream στην εφαρμογή σας Node.js χρησιμοποιώντας το Kafka Streams API. Ακολουθεί ένα βασικό παράδειγμα δημιουργίας ενός Kafka Stream για την επεξεργασία δεδομένων από ένα topic και την έξοδο του αποτελέσματος σε άλλο topic:

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

Βήμα 3: Επεξεργασία δεδομένων

Στο παραπάνω παράδειγμα, δημιουργήσαμε ένα Kafka Stream για να ακούσουμε δεδομένα από το input-topic, στη συνέχεια επεξεργαστήκαμε τα δεδομένα μετατρέποντάς τα όλα σε κεφαλαία και ωθώντας το αποτέλεσμα στο output-topic.

Βήμα 4: Εκτελέστε την εφαρμογή

Τέλος, πρέπει να εκτελέσετε την Node.js εφαρμογή σας για να ξεκινήσετε την επεξεργασία δεδομένων από Kafka Streams.

Σημειώστε ότι στο παραπάνω παράδειγμα, πρέπει να αντικαταστήσετε τιμές όπως your-client-id, και  με τις συγκεκριμένες λεπτομέρειες του έργου σας. broker1:port1, your-group-id input-topic output-topic

Η ενσωμάτωση Kafka Streams με μια Node.js εφαρμογή σάς επιτρέπει να δημιουργείτε ευέλικτα και δυναμικά δυνατότητες επεξεργασίας δεδομένων σε πραγματικό χρόνο.