kafka 配置参数_配置Kafka/DMS Kafka源端参数

Kafka配置参数是用于设置Kafka/DMS Kafka源端的关键属性，包括broker地址、端口、主题名称和消费者组ID等。正确配置这些参数对于确保数据流的可靠性和性能至关重要。

Kafka 配置参数主要包括以下几个方面：

1、基本配置

2、生产者配置

3、消费者配置

4、Kafka Connect 配置

5、DMS Kafka源端配置

以下是各个部分的详细配置参数：

1. 基本配置

参数名 描述 默认值 broker.id Broker的唯一标识符 listeners 用于监听客户端连接的地址和端口 log.dirs Kafka日志存储目录 /tmp/kafkalogs zookeeper.connect Zookeeper集群地址 localhost:2181 num.network.threads 网络线程数 3 num.io.threads I/O线程数 8 socket.send.buffer.bytes socket发送缓冲区大小 102400 socket.receive.buffer.bytes socket接收缓冲区大小 102400 socket.request.max.bytes socket请求的最大字节数 104857600 log.retention.hours 日志保留时间（小时） 168 log.segment.bytes 日志段文件大小 1073741824 log.retention.check.interval.ms 检查日志保留时间的间隔（毫秒） 300000 num.partitions 每个主题的分区数 1 num.recovery.threads.per.data.dir 每个数据目录的恢复线程数 1 offsets.topic.replication.factor offsets主题的副本因子 1 transaction.state.log.replication.factor 事务状态日志的副本因子 1 transaction.state.log.min.isr 事务状态日志的最小ISR数量 1 default.replication.factor 新主题的默认副本因子 1 min.insync.replicas 最小的同步副本数 1 inter.broker.protocol.version Broker之间的协议版本 0.10.2.1

2. 生产者配置

参数名 描述 默认值 acks 消息确认机制 1 buffer.memory 生产者内存缓冲区大小 33554432 compression.type 消息压缩类型 none retries 重试次数 0 batch.size 批量发送的消息大小 16384 linger.ms 延迟发送消息的时间（毫秒） 0 max.request.size 最大请求大小（字节） 1048576 request.timeout.ms 请求超时时间（毫秒） 30000 delivery.timeout.ms 交付超时时间（毫秒） 120000 max.block.ms 阻塞等待时间（毫秒） 60000 max.in.flight.requests.per.connection 每个连接的最大未完成请求数 5

3. 消费者配置

参数名 描述 默认值 group.id 消费者组ID null enable.auto.commit 是否自动提交偏移量 true auto.commit.interval.ms 自动提交偏移量的时间间隔（毫秒） 5000 session.timeout.ms 消费者组会话超时时间（毫秒） 10000 auto.offset.reset 当没有初始偏移量或偏移量无效时，如何重置偏移量 latest fetch.min.bytes 服务器返回的最小数据量（字节） 1 fetch.max.wait.ms 获取数据的最长等待时间（毫秒） 500 fetch.max.bytes 服务器返回的最大数据量（字节） 52428800 max.partition.fetch.bytes 服务器返回的最大分区数据量（字节） 1048576

4. Kafka Connect 配置

参数名 描述 默认值 connector.class Connector类名 null tasks.max 最大任务数 1 key.converter Key转换器类名 null value.converter Value转换器类名 null converter.schemas.enable 是否启用Schema转换器 false rest.port Connect REST API端口号 8083

5. DMS Kafka源端配置

参数名 描述 默认值 endpoints Kafka集群地址列表，用逗号分隔 null accessId AccessKey ID，用于访问Kafka集群的身份验证 null accessSecret AccessKey Secret，用于访问Kafka集群的身份验证 null topicNamePattern Kafka主题名称模式，支持通配符匹配多个主题 null consumerGroupId Kafka消费者组ID，用于消费数据流 null dataTypeMappings 数据类型映射，用于将Kafka消息转换为DMS支持的数据类型 null tableNamePrefix DMS表名前缀，用于生成DMS表名 null tableNameSuffix DMS表名后缀，用于生成DMS表名 null partitionNumPerTable 每个DMS表的分区数，用于并行处理数据流 100000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000