Kafka Streams सह एकत्रीकरण Node.js

Kafka Streams अॅप्लिकेशनसह समाकलित करणे हा वातावरणात Node.js थेट Apache वरून डेटावर प्रक्रिया आणि विश्लेषण करण्याचा एक शक्तिशाली मार्ग आहे. तुम्हाला रीअल-टाइम डेटा प्रोसेसिंग तयार करण्यास आणि तुमच्या ऍप्लिकेशनमध्ये अखंडपणे समाकलित करण्यास सक्षम करते. हे कसे साध्य करावे यासाठी येथे एक विशिष्ट मार्गदर्शक आहे: Kafka Node.js Kafka Streams Node.js

पायरी 1: स्थापित करा Kafka Streams आणि KafkaJS

प्रथम, तुम्हाला तुमच्या ऍप्लिकेशनमध्ये Kafka Streams समाकलित करण्यासाठी KafkaJS इंस्टॉल करणे आवश्यक आहे. ही पॅकेजेस इन्स्टॉल करण्यासाठी तुम्ही npm वापरू शकता: Kafka Node.js

npm install kafka-streams kafkajs

पायरी 2: तयार करा Kafka Stream

API वापरून Kafka Stream तुमच्या अनुप्रयोगात एक तयार करा. एका वरून डेटावर प्रक्रिया करण्यासाठी आणि निकाल दुसर्‍यावर आउटपुट करण्यासाठी तयार करण्याचे एक मूलभूत उदाहरण येथे आहे: Node.js Kafka Streams Kafka Stream topic topic

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

पायरी 3: डेटावर प्रक्रिया करा

वरील उदाहरणामध्ये, आम्ही Kafka Stream मधील डेटा ऐकण्यासाठी एक तयार केला input-topic आहे, नंतर ते सर्व अपरकेसमध्ये रूपांतरित करून आणि परिणाम वर ढकलून डेटावर प्रक्रिया केली आहे output-topic.

चरण 4: अनुप्रयोग चालवा

Node.js शेवटी, वरून डेटा प्रक्रिया सुरू करण्यासाठी तुम्हाला तुमचा अनुप्रयोग चालवावा लागेल Kafka Streams.

लक्षात ठेवा की वरील उदाहरणामध्ये, तुम्हाला your-client-id, broker1:port1, your-group-id, input-topic आणि output-topic  तुमच्या प्रकल्पाच्या विशिष्ट तपशीलांसह मूल्ये बदलण्याची आवश्यकता आहे.

Kafka Streams ॲप्लिकेशनसह समाकलित केल्याने Node.js तुम्हाला रिअल-टाइम डेटा प्रोसेसिंग क्षमता लवचिकपणे आणि शक्तिशालीपणे तयार करता येते.