Kafka Streams తో కలిసిపోతుంది Node.js

Kafka Streams అప్లికేషన్‌తో అనుసంధానం చేయడం అనేది వాతావరణంలో Node.js అపాచీ నుండి నేరుగా డేటాను ప్రాసెస్ చేయడానికి మరియు విశ్లేషించడానికి శక్తివంతమైన మార్గం. నిజ-సమయ డేటా ప్రాసెసింగ్‌ను రూపొందించడానికి మరియు దానిని మీ అప్లికేషన్‌లో సజావుగా ఇంటిగ్రేట్ చేయడానికి మిమ్మల్ని అనుమతిస్తుంది. దీన్ని ఎలా సాధించాలనే దానిపై ఇక్కడ ఒక నిర్దిష్ట గైడ్ ఉంది: Kafka Node.js Kafka Streams Node.js

దశ 1: ఇన్‌స్టాల్ Kafka Streams మరియు KafkaJS

ముందుగా, మీరు ఇన్‌స్టాల్ చేయాలి మరియు మీ అప్లికేషన్‌లో Kafka Streams కలిసిపోవడానికి KafkaJS చేయాలి. మీరు ఈ ప్యాకేజీలను ఇన్‌స్టాల్ చేయడానికి npmని ఉపయోగించవచ్చు: Kafka Node.js

npm install kafka-streams kafkajs

దశ 2: సృష్టించు a Kafka Stream

APIని ఉపయోగించి Kafka Stream మీ అప్లికేషన్‌లో ఒక సృష్టించండి. ఒకరి నుండి డేటాను ప్రాసెస్ చేయడానికి మరియు ఫలితాన్ని మరొకదానికి అవుట్‌పుట్ చేయడానికి ఒక ప్రాథమిక ఉదాహరణ ఇక్కడ ఉంది: Node.js Kafka Streams Kafka Stream topic topic

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

దశ 3: ప్రాసెస్ డేటా

Kafka Stream పై ఉదాహరణలో, మేము నుండి డేటాను వినడానికి ఒక సృష్టించాము input-topic, ఆపై డేటాను అన్నింటినీ పెద్ద అక్షరానికి మార్చడం ద్వారా మరియు ఫలితాన్ని కు నెట్టడం ద్వారా డేటాను ప్రాసెస్ చేసాము output-topic.

దశ 4: అప్లికేషన్‌ను రన్ చేయండి

Node.js చివరగా, నుండి డేటాను ప్రాసెస్ చేయడం ప్రారంభించడానికి మీరు మీ అప్లికేషన్‌ను అమలు చేయాలి Kafka Streams.

ఎగువ ఉదాహరణలో, మీరు your-client-id, broker1:port1, your-group-id, input-topic మరియు output-topic  మీ ప్రాజెక్ట్ యొక్క నిర్దిష్ట వివరాలతో వంటి విలువలను భర్తీ చేయాలని గుర్తుంచుకోండి.

Kafka Streams అప్లికేషన్‌తో ఇంటిగ్రేట్ చేయడం వల్ల Node.js రియల్ టైమ్ డేటా ప్రాసెసింగ్ సామర్థ్యాలను సులభంగా మరియు శక్తివంతంగా రూపొందించడానికి మిమ్మల్ని అనుమతిస్తుంది.