Kafka Streams ਨਾਲ ਏਕੀਕ੍ਰਿਤ Node.js

Kafka Streams ਇੱਕ ਐਪਲੀਕੇਸ਼ਨ ਨਾਲ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ ਇੱਕ ਵਾਤਾਵਰਣ ਵਿੱਚ Node.js ਅਪਾਚੇ ਤੋਂ ਸਿੱਧੇ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਅਤੇ ਵਿਸ਼ਲੇਸ਼ਣ ਕਰਨ ਦਾ ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਤਰੀਕਾ ਹੈ । ਤੁਹਾਨੂੰ ਰੀਅਲ-ਟਾਈਮ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਬਣਾਉਣ ਅਤੇ ਇਸਨੂੰ ਤੁਹਾਡੀ ਐਪਲੀਕੇਸ਼ਨ ਵਿੱਚ ਸਹਿਜੇ ਹੀ ਏਕੀਕ੍ਰਿਤ ਕਰਨ ਦੇ ਯੋਗ ਬਣਾਉਂਦਾ ਹੈ। ਇਸਨੂੰ ਕਿਵੇਂ ਪ੍ਰਾਪਤ ਕਰਨਾ ਹੈ ਇਸ ਬਾਰੇ ਇੱਥੇ ਇੱਕ ਖਾਸ ਗਾਈਡ ਹੈ: Kafka Node.js Kafka Streams Node.js

ਕਦਮ 1: ਸਥਾਪਿਤ ਕਰੋ Kafka Streams ਅਤੇ KafkaJS

ਪਹਿਲਾਂ, ਤੁਹਾਨੂੰ ਆਪਣੀ ਐਪਲੀਕੇਸ਼ਨ ਵਿੱਚ Kafka Streams ਏਕੀਕ੍ਰਿਤ ਕਰਨ ਲਈ ਕਾਫਕਾਜੇਐਸ ਨੂੰ ਸਥਾਪਤ ਕਰਨ ਅਤੇ ਸਥਾਪਤ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਤੁਸੀਂ ਇਹਨਾਂ ਪੈਕੇਜਾਂ ਨੂੰ ਇੰਸਟਾਲ ਕਰਨ ਲਈ npm ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦੇ ਹੋ: Kafka Node.js

npm install kafka-streams kafkajs

ਕਦਮ 2: ਬਣਾਓ ਏ Kafka Stream

Kafka Stream API ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਆਪਣੀ Node.js ਐਪਲੀਕੇਸ਼ਨ ਵਿੱਚ ਇੱਕ ਬਣਾਓ Kafka Streams । ਇੱਥੇ Kafka Stream ਇੱਕ ਤੋਂ ਡੇਟਾ ਨੂੰ ਪ੍ਰੋਸੈਸ ਕਰਨ topic ਅਤੇ ਨਤੀਜੇ ਨੂੰ ਦੂਜੇ ਵਿੱਚ ਆਉਟਪੁੱਟ ਕਰਨ ਲਈ ਇੱਕ ਬਣਾਉਣ ਦੀ ਇੱਕ ਬੁਨਿਆਦੀ ਉਦਾਹਰਣ ਹੈ topic:

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

ਕਦਮ 3: ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰੋ

ਉਪਰੋਕਤ ਉਦਾਹਰਨ ਵਿੱਚ, ਅਸੀਂ Kafka Stream ਡਾਟਾ ਨੂੰ ਸੁਣਨ ਲਈ ਇੱਕ ਬਣਾਇਆ ਹੈ input-topic, ਫਿਰ ਇਸਨੂੰ ਵੱਡੇ ਅੱਖਰਾਂ ਵਿੱਚ ਬਦਲ ਕੇ ਅਤੇ ਨਤੀਜੇ ਨੂੰ output-topic.

ਕਦਮ 4: ਐਪਲੀਕੇਸ਼ਨ ਚਲਾਓ

ਅੰਤ ਵਿੱਚ, ਤੁਹਾਨੂੰ Node.js ਤੋਂ ਡੇਟਾ ਦੀ ਪ੍ਰਕਿਰਿਆ ਸ਼ੁਰੂ ਕਰਨ ਲਈ ਆਪਣੀ ਐਪਲੀਕੇਸ਼ਨ ਚਲਾਉਣ ਦੀ ਲੋੜ ਹੈ Kafka Streams ।

ਨੋਟ ਕਰੋ ਕਿ ਉਪਰੋਕਤ ਉਦਾਹਰਨ ਵਿੱਚ, ਤੁਹਾਨੂੰ your-client-id, broker1:port1, your-group-id, input-topic ਅਤੇ output-topic  ਆਪਣੇ ਪ੍ਰੋਜੈਕਟ ਦੇ ਖਾਸ ਵੇਰਵਿਆਂ ਨਾਲ ਮੁੱਲ ਬਦਲਣ ਦੀ ਲੋੜ ਹੈ।

Kafka Streams ਇੱਕ ਐਪਲੀਕੇਸ਼ਨ ਨਾਲ ਏਕੀਕ੍ਰਿਤ ਕਰਨਾ Node.js ਤੁਹਾਨੂੰ ਲਚਕਦਾਰ ਅਤੇ ਸ਼ਕਤੀਸ਼ਾਲੀ ਰੀਅਲ-ਟਾਈਮ ਡੇਟਾ ਪ੍ਰੋਸੈਸਿੰਗ ਸਮਰੱਥਾਵਾਂ ਨੂੰ ਬਣਾਉਣ ਦੀ ਆਗਿਆ ਦਿੰਦਾ ਹੈ।