Kafka Streams সাথে একীভূত হচ্ছে Node.js

Kafka Streams একটি অ্যাপ্লিকেশনের সাথে একীভূত করা একটি পরিবেশের মধ্যে Node.js Apache থেকে সরাসরি ডেটা প্রক্রিয়া এবং বিশ্লেষণ করার একটি শক্তিশালী উপায় । আপনাকে রিয়েল-টাইম ডেটা প্রসেসিং তৈরি করতে এবং এটিকে আপনার অ্যাপ্লিকেশনে একত্রিত করতে সক্ষম করে । এটি কীভাবে অর্জন করা যায় সে সম্পর্কে এখানে একটি নির্দিষ্ট গাইড রয়েছে: Kafka Node.js Kafka Streams Node.js

ধাপ 1: ইনস্টল করুন Kafka Streams এবং KafkaJS

প্রথমে, আপনাকে আপনার অ্যাপ্লিকেশনে Kafka Streams একত্রিত করতে KafkaJS ইনস্টল করতে হবে । আপনি এই প্যাকেজগুলি ইনস্টল করতে npm ব্যবহার করতে পারেন: Kafka Node.js

npm install kafka-streams kafkajs

ধাপ 2: একটি তৈরি করুন Kafka Stream

API ব্যবহার করে Kafka Stream আপনার অ্যাপ্লিকেশনে একটি তৈরি করুন । একটি থেকে ডেটা প্রক্রিয়া করার জন্য একটি তৈরি করার এবং ফলাফলটি অন্যটিতে আউটপুট করার একটি প্রাথমিক উদাহরণ এখানে রয়েছে: Node.js Kafka Streams Kafka Stream topic topic

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

ধাপ 3: ডেটা প্রক্রিয়া করুন

উপরের উদাহরণে, আমরা Kafka Stream থেকে ডেটা শোনার জন্য একটি তৈরি করেছি input-topic, তারপরে সমস্ত ডেটা বড় হাতের অক্ষরে রূপান্তর করে এবং ফলাফলটিকে তে পুশ করে ডেটা প্রক্রিয়া করেছি output-topic ৷

ধাপ 4: অ্যাপ্লিকেশন চালান

Node.js অবশেষে, থেকে ডেটা প্রক্রিয়াকরণ শুরু করতে আপনাকে আপনার অ্যাপ্লিকেশন চালাতে হবে Kafka Streams ৷

মনে রাখবেন যে উপরের উদাহরণে, আপনাকে your-client-id, broker1:port1, your-group-id, input-topic এবং output-topic  আপনার প্রকল্পের নির্দিষ্ট বিবরণ দিয়ে মানগুলি প্রতিস্থাপন করতে হবে।

Kafka Streams একটি অ্যাপ্লিকেশনের সাথে একীভূত করা Node.js আপনাকে নমনীয়ভাবে এবং শক্তিশালীভাবে রিয়েল-টাইম ডেটা প্রক্রিয়াকরণ ক্ষমতা তৈরি করতে দেয়।