close

Kafka Streams کے ساتھ انضمام Node.js

Kafka Streams ایپلیکیشن کے ساتھ انضمام ایک ماحول میں Node.js براہ راست اپاچی سے ڈیٹا پر کارروائی اور تجزیہ کرنے کا ایک طاقتور طریقہ ہے ۔ آپ کو ریئل ٹائم ڈیٹا پروسیسنگ بنانے اور بغیر کسی رکاوٹ کے اسے اپنی ایپلی کیشن میں ضم کرنے کے قابل بناتا ہے۔ اسے حاصل کرنے کے طریقہ کے بارے میں یہاں ایک مخصوص گائیڈ ہے: Kafka Node.js Kafka Streams Node.js

مرحلہ 1: انسٹال کریں Kafka Streams اور کافکا جے ایس

سب سے پہلے، آپ کو اپنی ایپلیکیشن میں Kafka Streams ضم کرنے کے لیے کافکا جے ایس کو انسٹال کرنا ہوگا ۔ آپ ان پیکجوں کو انسٹال کرنے کے لیے npm استعمال کر سکتے ہیں: Kafka Node.js 

npm install kafka-streams kafkajs

مرحلہ 2: ایک بنائیں Kafka Stream

Kafka Stream API کا استعمال کرتے ہوئے اپنی Node.js درخواست میں ایک بنائیں Kafka Streams ۔ Kafka Stream یہاں ایک سے ڈیٹا پر کارروائی کرنے topic اور نتیجہ کو دوسرے میں آؤٹ پٹ کرنے کے لئے ایک بنانے کی ایک بنیادی مثال ہے topic ۔ 

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();

مرحلہ 3: ڈیٹا پر کارروائی کریں۔

مندرجہ بالا مثال میں، ہم نے Kafka Stream ڈیٹا کو سننے کے لیے ایک تخلیق کیا input-topic ہے، پھر ڈیٹا کو بڑے حروف میں تبدیل کرکے اور نتیجہ کو پر دھکیل کر اس پر کارروائی کی ہے output-topic ۔

مرحلہ 4: ایپلیکیشن چلائیں۔

Node.js آخر میں، آپ کو ڈیٹا پر کارروائی شروع کرنے کے لیے اپنی ایپلیکیشن چلانے کی ضرورت ہے Kafka Streams ۔

نوٹ کریں کہ اوپر کی مثال میں، آپ کو your-client-id ,، اور  اپنے پروجیکٹ کی مخصوص تفصیلات کے ساتھ اقدار کو تبدیل کرنے کی ضرورت broker1:port1, your-group-id ہے ۔ input-topic output-topic

 

Kafka Streams ایپلیکیشن کے ساتھ انضمام Node.js آپ کو لچکدار اور طاقتور طریقے سے ریئل ٹائم ڈیٹا پروسیسنگ کی صلاحیتوں کو بنانے کی اجازت دیتا ہے۔