Kafka Streams સાથે સંકલન Node.js

Kafka Streams એપ્લિકેશન સાથે સંકલન કરવું એ પર્યાવરણની અંદર Node.js અપાચેથી સીધા ડેટાની પ્રક્રિયા અને વિશ્લેષણ કરવાની એક શક્તિશાળી રીત છે. તમને રીઅલ-ટાઇમ ડેટા પ્રોસેસિંગ બનાવવા અને તેને તમારી એપ્લિકેશનમાં એકીકૃત કરવા સક્ષમ બનાવે છે. આ કેવી રીતે પ્રાપ્ત કરવું તે અંગે અહીં એક વિશિષ્ટ માર્ગદર્શિકા છે: Kafka Node.js Kafka Streams Node.js

પગલું 1: ઇન્સ્ટોલ કરો Kafka Streams અને KafkaJS

પ્રથમ, તમારે તમારી એપ્લિકેશનમાં Kafka Streams એકીકૃત થવા માટે KafkaJS ઇન્સ્ટોલ કરવાની જરૂર છે. તમે આ પેકેજોને ઇન્સ્ટોલ કરવા માટે npm નો ઉપયોગ કરી શકો છો: Kafka Node.js

npm install kafka-streams kafkajs

પગલું 2: એ બનાવો Kafka Stream

API નો ઉપયોગ કરીને Kafka Stream તમારી એપ્લિકેશનમાં એક બનાવો. એકમાંથી ડેટા પર પ્રક્રિયા કરવા અને પરિણામને બીજામાં આઉટપુટ કરવા માટેનું અહીં એક મૂળભૂત ઉદાહરણ છે: Node.js Kafka Streams Kafka Stream topic topic

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

પગલું 3: પ્રક્રિયા ડેટા

ઉપરોક્ત ઉદાહરણમાં, અમે Kafka Stream માંથી ડેટા સાંભળવા માટે એક બનાવ્યું input-topic છે, પછી તે બધાને અપરકેસમાં કન્વર્ટ કરીને અને પરિણામને પર દબાણ કરીને ડેટા પર પ્રક્રિયા કરી છે output-topic.

પગલું 4: એપ્લિકેશન ચલાવો

Node.js છેલ્લે, માંથી ડેટાની પ્રક્રિયા શરૂ કરવા માટે તમારે તમારી એપ્લિકેશન ચલાવવાની જરૂર છે Kafka Streams.

નોંધ કરો કે ઉપરના ઉદાહરણમાં, તમારે your-client-id, broker1:port1, your-group-id, input-topic અને output-topic  તમારા પ્રોજેક્ટની વિશિષ્ટ વિગતો સાથે મૂલ્યો બદલવાની જરૂર છે.

Kafka Streams એપ્લિકેશન સાથે એકીકૃત થવાથી Node.js તમે રીઅલ-ટાઇમ ડેટા પ્રોસેસિંગ ક્ષમતાઓને લવચીક અને શક્તિશાળી રીતે બનાવી શકો છો.