Kafka Streams உடன் ஒருங்கிணைக்கிறது Node.js

Kafka Streams பயன்பாட்டுடன் ஒருங்கிணைப்பது என்பது அப்பாச்சியில் இருந்து நேரடியாக ஒரு சூழலில் Node.js தரவை செயலாக்க மற்றும் பகுப்பாய்வு செய்வதற்கான ஒரு சக்திவாய்ந்த வழியாகும். நிகழ்நேர தரவு செயலாக்கத்தை உருவாக்கவும், உங்கள் பயன்பாட்டில் தடையின்றி ஒருங்கிணைக்கவும் உதவுகிறது. இதை எவ்வாறு அடைவது என்பது குறித்த ஒரு குறிப்பிட்ட வழிகாட்டி இங்கே: Kafka Node.js Kafka Streams Node.js

படி 1: நிறுவவும் Kafka Streams மற்றும் KafkaJS

முதலில், நீங்கள் நிறுவ வேண்டும் மற்றும் உங்கள் பயன்பாட்டில் Kafka Streams ஒருங்கிணைக்க KafkaJS. இந்த தொகுப்புகளை நிறுவ நீங்கள் npm ஐப் பயன்படுத்தலாம்: Kafka Node.js

npm install kafka-streams kafkajs

படி 2: உருவாக்கு a Kafka Stream

API ஐப் பயன்படுத்தி Kafka Stream உங்கள் பயன்பாட்டில் ஒன்றை உருவாக்கவும். ஒன்றிலிருந்து தரவைச் செயலாக்குவதற்கும், முடிவை மற்றொன்றுக்கு வெளியிடுவதற்கும் ஒரு அடிப்படை உதாரணம் இங்கே: Node.js Kafka Streams Kafka Stream topic topic

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

படி 3: தரவு செயலாக்கம்

Kafka Stream மேலே உள்ள எடுத்துக்காட்டில், இலிருந்து தரவைக் கேட்க நாங்கள் உருவாக்கியுள்ளோம் input-topic, பின்னர் அனைத்தையும் பெரிய எழுத்துக்கு மாற்றி, முடிவை க்கு அழுத்துவதன் மூலம் தரவை செயலாக்கினோம் output-topic.

படி 4: பயன்பாட்டை இயக்கவும்

Node.js இறுதியாக, இலிருந்து தரவைச் செயலாக்கத் தொடங்க உங்கள் பயன்பாட்டை இயக்க வேண்டும் Kafka Streams.

your-client-id மேலே உள்ள எடுத்துக்காட்டில்,, broker1:port1, your-group-id, input-topic மற்றும் output-topic  உங்கள் திட்டத்தின் குறிப்பிட்ட விவரங்கள் போன்ற மதிப்புகளை மாற்ற வேண்டும் .

Kafka Streams பயன்பாட்டுடன் ஒருங்கிணைப்பதன் மூலம் Node.js நிகழ்நேர தரவு செயலாக்க திறன்களை நெகிழ்வாகவும் சக்திவாய்ந்ததாகவும் உருவாக்க உங்களை அனுமதிக்கிறது.