Kafka Streams के साथ एकीकरण करना Node.js

Kafka Streams किसी एप्लिकेशन के साथ एकीकृत करना किसी परिवेश में Node.js अपाचे से सीधे डेटा को संसाधित करने और उसका विश्लेषण करने का एक शक्तिशाली तरीका है । आपको वास्तविक समय डेटा प्रोसेसिंग बनाने और इसे अपने एप्लिकेशन में निर्बाध रूप से एकीकृत करने में सक्षम बनाता है। इसे कैसे प्राप्त करें इस पर एक विशिष्ट मार्गदर्शिका यहां दी गई है: Kafka Node.js Kafka Streams Node.js

चरण 1: स्थापित करें Kafka Streams और KafkaJS

सबसे पहले, आपको अपने एप्लिकेशन में Kafka Streams एकीकृत करने के लिए KafkaJS इंस्टॉल करना होगा। आप इन पैकेजों को स्थापित करने के लिए npm का उपयोग कर सकते हैं: Kafka Node.js

npm install kafka-streams kafkajs

चरण 2: एक बनाएं Kafka Stream

Kafka Stream एपीआई का उपयोग करके अपने Node.js एप्लिकेशन में एक बनाएं Kafka Streams । Kafka Stream एक से डेटा संसाधित करने topic और परिणाम को दूसरे में आउटपुट करने के लिए यहां एक बुनियादी उदाहरण दिया गया है topic:

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

चरण 3: डेटा संसाधित करें

उपरोक्त उदाहरण में, हमने Kafka Stream से डेटा सुनने के लिए एक बनाया है input-topic, फिर सभी को अपरकेस में परिवर्तित करके डेटा को संसाधित किया है और परिणाम को आगे बढ़ाया है output-topic ।

चरण 4: एप्लिकेशन चलाएँ

अंत में, आपको Node.js डेटा प्रोसेसिंग शुरू करने के लिए अपना एप्लिकेशन चलाने की आवश्यकता है Kafka Streams ।

ध्यान दें कि उपरोक्त उदाहरण में, आपको  अपने प्रोजेक्ट के विशिष्ट विवरण के साथ, your-client-id जैसे मानों को बदलने की आवश्यकता broker1:port1, your-group-id है । input-topic output-topic

Kafka Streams किसी एप्लिकेशन के साथ एकीकरण Node.js आपको लचीले ढंग से और शक्तिशाली रूप से वास्तविक समय डेटा प्रोसेसिंग क्षमताओं का निर्माण करने की अनुमति देता है।