Kafka Streams संग एकीकरण गर्दै Node.js

Kafka Streams एप्लिकेसनसँग एकीकरण गर्नु भनेको वातावरण भित्र Node.js Apache बाट सीधै डाटा प्रशोधन र विश्लेषण गर्ने शक्तिशाली तरिका हो । तपाईंलाई वास्तविक-समय डाटा प्रोसेसिङ निर्माण गर्न र निर्बाध रूपमा तपाईंको अनुप्रयोगमा एकीकृत गर्न सक्षम बनाउँछ । यो कसरी हासिल गर्ने भन्ने बारे यहाँ एक विशिष्ट गाइड छ: Kafka Node.js Kafka Streams Node.js

चरण 1: स्थापना Kafka Streams र KafkaJS

पहिले, तपाईंले आफ्नो अनुप्रयोगमा Kafka Streams एकीकृत गर्न स्थापना र KafkaJS आवश्यक छ । तपाइँ यी प्याकेजहरू स्थापना गर्न npm प्रयोग गर्न सक्नुहुन्छ: Kafka Node.js

npm install kafka-streams kafkajs

चरण 2: एक सिर्जना गर्नुहोस् Kafka Stream

एपीआई प्रयोग गरेर Kafka Stream आफ्नो अनुप्रयोगमा सिर्जना गर्नुहोस् । यहाँ एउटाबाट डाटा प्रशोधन गर्न र परिणामलाई अर्कोमा आउटपुट गर्ने एउटा आधारभूत उदाहरण छ: Node.js Kafka Streams Kafka Stream topic topic

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

चरण 3: प्रक्रिया डाटा

माथिको उदाहरणमा, हामीले Kafka Stream बाट डाटा सुन्नको लागि एउटा सिर्जना गरेका छौं input-topic, त्यसपछि सबैलाई अपरकेसमा रूपान्तरण गरेर र नतिजालाई माथि पुश गरेर डाटालाई प्रशोधन गर्यौं output-topic ।

चरण 4: अनुप्रयोग चलाउनुहोस्

Node.js अन्तमा, तपाईंले बाट डाटा प्रशोधन सुरु गर्न आफ्नो अनुप्रयोग चलाउन आवश्यक छ Kafka Streams ।

नोट गर्नुहोस् कि माथिको उदाहरणमा, तपाईंले मानहरू जस्तै your-client-id, र  तपाईंको परियोजनाको विशिष्ट विवरणहरू प्रतिस्थापन गर्न आवश्यक छ। broker1:port1, your-group-id input-topic output-topic

Kafka Streams एप्लिकेसनसँग एकीकरणले Node.js तपाईंलाई लचिलो र शक्तिशाली रूपमा वास्तविक-समय डेटा प्रशोधन क्षमताहरू निर्माण गर्न अनुमति दिन्छ।