Kafka Streams ile entegre Node.js

Kafka Streams Bir uygulama ile entegrasyon, bir ortamda Node.js doğrudan Apache'den gelen verileri işlemek ve analiz etmek için güçlü bir yoldur. gerçek zamanlı veri işleme oluşturmanıza ve bunu uygulamanıza sorunsuz bir şekilde entegre etmenize olanak tanır. İşte bunu nasıl başaracağınıza dair özel bir kılavuz: Kafka Node.js Kafka Streams Node.js

1. Adım: Kurulum Kafka Streams ve KafkaJS

İlk olarak, uygulamanıza Kafka Streams entegre etmek için KafkaJS'yi yüklemeniz gerekir. Bu paketleri kurmak için npm kullanabilirsiniz: Kafka Node.js

npm install kafka-streams kafkajs

2. Adım: Oluşturun Kafka Stream

API kullanarak uygulamanızda Kafka Stream bir oluşturun. Birinden verileri işlemek ve sonucu diğerine çıkarmak için a oluşturmanın temel bir örneğini burada bulabilirsiniz: Node.js Kafka Streams Kafka Stream topic topic

const { KafkaStreams } = require('kafka-streams');  
const { Kafka } = require('kafkajs');  
  
const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'],  
});  
  
const kafkaStreams = new KafkaStreams({  
  kafka,  
  logLevel: 2, // Level 2 for debug logs  
});  
  
const streamConfig = {  
  'group.id': 'your-group-id',  
  'metadata.broker.list': 'broker1:port1,broker2:port2',  
  'enable.auto.commit': false,  
  'socket.keepalive.enable': true,  
};  
  
const stream = kafkaStreams.getKStream(streamConfig);  
  
stream  
  .from('input-topic')  
  .filter(record => record.value && record.value.length > 0)  
  .map(record =>({  
    key: record.key,  
    value: record.value.toUpperCase(),  
  }))  
  .to('output-topic');  
  
kafkaStreams.start();  

3. Adım: Verileri İşleyin

Kafka Stream Yukarıdaki örnekte, 'dan veri dinlemek için bir oluşturduk input-topic, ardından verileri hepsini büyük harfe çevirerek ve sonucu output-topic.

4. Adım: Uygulamayı Çalıştırın

Node.js Son olarak, adresinden veri işlemeye başlamak için uygulamanızı çalıştırmanız gerekir Kafka Streams.

Yukarıdaki örnekte, ve gibi değerleri your-client-id projenizin belirli  ayrıntılarıyla değiştirmeniz gerektiğini broker1:port1, your-group-id unutmayın. input-topic output-topic

Kafka Streams Bir uygulama ile entegrasyon, Node.js gerçek zamanlı veri işleme yeteneklerini esnek ve güçlü bir şekilde oluşturmanıza olanak tanır.