Integráció Kafka Streams a Node.js

Kafka Streams Az alkalmazásokkal való integráció Node.js hatékony módja az adatok feldolgozásának és elemzésének közvetlenül az Apache-ból Kafka egy Node.js környezetben. Kafka Streams lehetővé teszi a valós idejű adatfeldolgozás felépítését és zökkenőmentes integrálását az alkalmazásba Node.js. Íme egy konkrét útmutató ennek elérésére:

1. lépés: Telepítse Kafka Streams és a KafkaJS-t

Először is telepítenie kell Kafka Streams a KafkaJS-t, hogy integrálódjon Kafka az alkalmazásba Node.js. Az npm segítségével telepítheti ezeket a csomagokat:

npm install kafka-streams kafkajs

2. lépés: Hozzon létre a Kafka Stream

Hozzon létre egyet Kafka Stream az alkalmazásban Node.js az API segítségével Kafka Streams. Íme egy alapvető példa arra, Kafka Stream hogyan hozzon létre egy adatot az egyikből topic, és az eredményt egy másikba adja ki topic:

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

3. lépés: Adatok feldolgozása

A fenti példában létrehoztunk egy a- Kafka Stream t, hogy meghallgathassa a -ból származó adatokat input-topic, majd feldolgoztuk az adatokat úgy, hogy az egészet nagybetűssé alakítottuk, és az eredményt a output-topic.

4. lépés: Futtassa az alkalmazást

Végül futtassa az Node.js alkalmazást az adatok feldolgozásához Kafka Streams.

Vegye figyelembe, hogy a fenti példában az olyan értékeket your-client-id, mint a broker1:port1, your-group-id, input-topic és output-topic  a projekt konkrét részleteivel kell lecserélnie.

Kafka Streams Az alkalmazásokkal való integráció Node.js lehetővé teszi a valós idejű adatfeldolgozási képességek rugalmas és hatékony kiépítését.