集成 Apache Kafka 到 Node.js 项目 中

集成 Apache Kafka 到 Node.js 项目中允许您构建利用 Kafka 数据处理功能的实时应用程序。 以下是有关如何集成 Apache Kafka 到 Node.js 项目中的基本指南:

第 1 步:安装 Kafka 库 Node.js

在项目目录中打开一个终端 Node.js。

运行以下命令来安装 kafkajs 库,该 Node.js 库为 Apache Kafka: npm install kafkajs

第 2 步:编写与 Kafka 交互的代码 Node.js

kafkajs 库导入到您的 Node.js 代码中:

const { Kafka } = require('kafkajs');

定义配置参数 Kafka Broker:

const kafka = new Kafka({  
  clientId: 'your-client-id',  
  brokers: ['broker1:port1', 'broker2:port2'], // Replace with actual addresses and ports  
});  

创建一个 producer 发送消息:

const producer = kafka.producer();  
  
const sendMessage = async() => {  
  await producer.connect();  
  await producer.send({  
    topic: 'your-topic',  
    messages: [{ value: 'Hello Kafka!' }],  
  });  
  await producer.disconnect();  
};  
  
sendMessage();  

创建一个 consumer 用于接收消息:

const consumer = kafka.consumer({ groupId: 'your-group-id' });  
  
const consumeMessages = async() => {  
  await consumer.connect();  
  await consumer.subscribe({ topic: 'your-topic', fromBeginning: true });  
  
  await consumer.run({  
    eachMessage: async({ topic, partition, message }) => {  
      console.log(`Received message: ${message.value}`);  
    },  
  });  
};  
  
consumeMessages();  

 

注意: 'your-client-id' 将、 'broker1:port1''your-topic'、 和 等值替换 'your-group-id' 为您的实际项目信息。

请记住, 根据您的具体要求,集成可能会更加复杂 Apache Kafka。 Node.js 请务必参阅 Apache Kafka 和 kafkajs 库的官方文档,以了解有关配置选项和功能的更多信息。