Duke u integruar Kafka Streams me Node.js

Integrimi Kafka Streams me një Node.js aplikacion është një mënyrë e fuqishme për të përpunuar dhe analizuar të dhënat direkt nga Apache Kafka brenda një Node.js mjedisi. Kafka Streams ju mundëson të ndërtoni përpunimin e të dhënave në kohë reale dhe t'i integroni ato pa probleme në Node.js aplikacionin tuaj. Këtu është një udhëzues specifik se si ta arrini këtë:

Hapi 1: Instaloni Kafka Streams dhe KafkaJS

Së pari, duhet të instaloni Kafka Streams dhe KafkaJS të integrohet Kafka në aplikacionin tuaj Node.js. Ju mund të përdorni npm për të instaluar këto paketa:

npm install kafka-streams kafkajs

Hapi 2: Krijo një Kafka Stream

Krijoni një në aplikacionin Kafka Stream tuaj duke përdorur API. Këtu është një shembull bazë i krijimit të një për të përpunuar të dhënat nga një dhe për të nxjerrë rezultatin në një tjetër: Node.js Kafka Streams Kafka Stream topic topic

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

Hapi 3: Përpunoni të dhënat

Në shembullin e mësipërm, ne kemi krijuar një Kafka Stream për të dëgjuar të dhënat nga input-topic, më pas i kemi përpunuar të dhënat duke i konvertuar të gjitha në shkronja të mëdha dhe duke e shtyrë rezultatin në output-topic.

Hapi 4: Ekzekutoni aplikacionin

Më në fund, duhet të ekzekutoni Node.js aplikacionin tuaj për të filluar përpunimin e të dhënave nga Kafka Streams.

Vini re se në shembullin e mësipërm, ju duhet të zëvendësoni vlerat si your-client-id, broker1:port1, your-group-id, input-topic dhe output-topic  me detajet specifike të projektit tuaj.

Integrimi Kafka Streams me një Node.js aplikacion ju lejon të krijoni në mënyrë fleksibile dhe të fuqishme aftësitë e përpunimit të të dhënave në kohë reale.