大数据面试-Kafka 小结官网

更新时间：2024-01-26 03:26:17 浏览：

本数据不是实时数据，仅供参考之用，数据更新请联系06目录网管理员。

大数据面试-Kafka 小结官网介绍

技术需要自己沉淀，沉淀的过程就是不断的学习和理解。来吧奥利。

卡夫卡的相关总结卡夫卡建筑我们直接看一张图：

Kafka pressure test Kafka officially comes with its own stress test scripts (kafka-consumer-perf-test.sh, kafka-producer-perf-test.sh), and when Kafka pressure test,

您可以看到瓶颈（CPU、内存、网络IO）出现在哪里，其中网络IO应该是最容易达到瓶颈的。

Kafka机器数量Kafka机器=2（最高生产速度的副本数量/100）1

Kafka分区的数量创建一个只有一个分区的主题，以测试该主题的生产者和消费者的吞吐量。假设值为Tp和Tc，单位可以是MB/s .假设总目标吞吐量为Tt，则分区数=TT/最大值（TP，TC）。通常，分区数量设置为3-10个副本和2/3。

服务将被选为ISR队列中的新领导者，两个参数replica.lag.max、messages（延迟条目数）和replica.lag.time.max.ms（延迟时间）决定服务是否可以加入ISR副本队列。

如果任何维度超过阈值，该追随者将被排除在ISR之外并存储在OSR列表中，而新添加的追随者将首先被放置在OSR中。

Kafka分区分配策略Kafka中有两种默认的分区策略：Range/RoundRobin。

RangeRange是默认策略。范围适用于每个主题。该战略如下：

对同一主题中的分区按序号排序，对消费者按字母排序；用分区数除以使用者线程总数，确定要使用多少个分区。如果你不能把它们分开，

那么前几个消费者线程将再消耗一个分区。卡夫卡挂了怎么办？Flume有一个记录日志。短期内没问题。Kafla的消息积压量不足。如何应对卡夫卡消费力不足的问题？

那么你可以考虑增加话题的分区数量，同时增加消费群体中的消费者数量。消费者的数量=分区的数量。下游数据处理不及时：增加每批拉动次数。批量拉动数据太少（拉动数据/处理时间、生产速度），

使处理的数据小于生成的数据也会导致数据积压。Kafka幂等性Producer的幂等性是指当发送相同的消息时，数据只会在服务器端持久化一次，并且数据不会丢失或变重，但这里的幂等性是有条件的。

你只能保证生产者不会在单个会话中丢失或丢失。如果制作者意外挂断并重新启动，则无法保证。幂等性不能跨越多个主题分区，

只有单个分区内的幂等性才能得到保证。当涉及多个主题分区时，这些中间状态是不同步的。Kafka things Kafka从0.11版本开始引入了事务支持。

事务可以确保Kafka的生产和消费可以在恰好一次语义的基础上跨分区和会话，并且要么全部成功，要么全部失败。

生产者事务为了实现跨分区和跨会话的事务，需要引入一个全局唯一的事务ID，并将生产者获取的PID与事务ID绑定。

这样，当生产者重新启动时，可以通过正在进行的事务ID获得原始PID。

为了管理事务，Kafka引入了一个新的组件事务协调器。

生产者将通过与事务协调器交互来获取与事务ID对应的任务状态。

事务协调器还负责将事务写入Kafka的内部主题中，这样即使整个服务重新启动，也可以因为保存了事务状态而恢复正在进行的事务的状态，从而继续进行。

消费者交易的上述交易机制主要是从生产者的角度考虑的。对于消费者而言，交易的保障相对较弱，尤其是承诺信息无法保证被准确消费。

这是因为消费者可以通过offset访问任何信息，并且不同段文件的生命周期不同，重启后可能会删除同一交易的消息。

Kafka数据重复幂等ACK-1事务

Kafka数据是重复的，可以在下一级SparkStraming/Flink/Redis中复制。消除重复的方法是：分组-开窗（id）-取第一个值。

Kafka parameter optimization 1. Broker parameter configuration (server.properties)

1.优化网络和io操作的线程配置# broker处理消息的最大线程数（默认为3）num . network . threads=CPU核心数1 # broker处理磁盘IO的线程数num . IO . threads=CPU核心数*22以及日志数据文件的磁盘清理策略#每当生产者写入10，000条消息时，

buffer . memory:33554432（32m）#用于在生产者端存储未发送消息的缓冲区大小。当缓冲区已满时，您可以选择阻止发送或引发异常。

它由block . on . buffer . full compression的配置决定。type:none#默认情况下不压缩。建议配置合适的压缩算法，可以大大减轻网络压力和Broker的存储压力。

Kafka memory adjustment (kafka-server-start.sh)

#默认内存为1 G，生产环境尽量不要超过6 G。export Kafka _ heap _ opts=‘-xms4g-xmx4g‘Kafka高效地读写数据。1.Kafka本身是一个分布式集群。

同时采用分区技术，具有高并发性。

2.顺序读写磁盘

Kafka的生产者生产数据应该写入日志文件，并且写入过程总是附加到文件的末尾以进行顺序写入。官网有数据显示，在同一个磁盘上顺序写入可以达到600M/s，而随机写入只有100 k/s.

这与椎间盘的机械机制有关。顺序写入速度很快，因为它为磁头寻址节省了大量时间。

3.零拷贝技术