Comhtháthú Kafka Streams le Node.js

Is bealach cumhachtach é comhtháthú Kafka Streams le feidhmchlár chun sonraí a phróiseáil agus a anailísiú go díreach ó Apache laistigh de thimpeallacht. cuireann sé ar do chumas próiseáil sonraí fíor-ama a thógáil agus é a chomhtháthú gan uaim isteach i d' iarratas. Seo treoir shonrach maidir le conas é seo a bhaint amach: Node.js Kafka Node.js Kafka Streams Node.js

Céim 1: Suiteáil Kafka Streams agus KafkaJS

Ar dtús, ní mór duit a shuiteáil Kafka Streams agus KafkaJS a chomhtháthú Kafka isteach i d' Node.js iarratas. Is féidir leat npm a úsáid chun na pacáistí seo a shuiteáil:

npm install kafka-streams kafkajs

Céim 2: Cruthaigh a Kafka Stream

Cruthaigh Kafka Stream i d' Node.js fheidhmchlár ag baint úsáide as an Kafka Streams API. Seo sampla bunúsach de chruthú a Kafka Stream chun sonraí a phróiseáil ó cheann amháin topic agus an toradh a aschur go ceann eile topic:

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

Céim 3: Sonraí Próiseas

Sa sampla thuas, chruthaíomar a Kafka Stream chun éisteacht le sonraí ón input-topic, ansin próiseáilte na sonraí trí iad go léir a thiontú go cás uachtair agus an toradh a bhrú go dtí an output-topic.

Céim 4: Rith an Iarratas

Ar deireadh, ní mór duit d' Node.js iarratas a rith chun sonraí a phróiseáil ó Kafka Streams.

Tabhair faoi deara, sa sampla thuas, go gcaithfidh tú luachanna mar your-client-id, broker1:port1, your-group-id, input-topic agus output-topic  sonraí sonracha do thionscadal a chur in ionad luachanna.

Ligeann comhtháthú Kafka Streams le Node.js feidhmchlár duit cumais próiseála sonraí fíor-ama a thógáil go solúbtha agus go cumhachtach.