大数据面试-Kafka 小结官网介绍
技术需要自己沉淀,沉淀的过程就是不断的学习和理解。来吧奥利。
卡夫卡的相关总结卡夫卡建筑我们直接看一张图:
Kafka pressure test Kafka officially comes with its own stress test scripts (kafka-consumer-perf-test.sh, kafka-producer-perf-test.sh), and when Kafka pressure test,
您可以看到瓶颈(CPU、内存、网络IO)出现在哪里,其中网络IO应该是最容易达到瓶颈的。
Kafka机器数量Kafka机器=2(最高生产速度的副本数量/100)1
Kafka分区的数量创建一个只有一个分区的主题,以测试该主题的生产者和消费者的吞吐量。假设值为Tp和Tc,单位可以是MB/s .假设总目标吞吐量为Tt,则分区数=TT/最大值(TP,TC)。通常,分区数量设置为3-10个副本和2/3。
服务将被选为ISR队列中的新领导者,两个参数replica.lag.max、messages(延迟条目数)和replica.lag.time.max.ms(延迟时间)决定服务是否可以加入ISR副本队列。
如果任何维度超过阈值,该追随者将被排除在ISR之外并存储在OSR列表中,而新添加的追随者将首先被放置在OSR中。
Kafka分区分配策略Kafka中有两种默认的分区策略:Range/RoundRobin。
RangeRange是默认策略。范围适用于每个主题。该战略如下:
对同一主题中的分区按序号排序,对消费者按字母排序;用分区数除以使用者线程总数,确定要使用多少个分区。如果你不能把它们分开,
那么前几个消费者线程将再消耗一个分区。卡夫卡挂了怎么办?Flume有一个记录日志。短期内没问题。Kafla的消息积压量不足。如何应对卡夫卡消费力不足的问题?
那么你可以考虑增加话题的分区数量,同时增加消费群体中的消费者数量。消费者的数量=分区的数量。下游数据处理不及时:增加每批拉动次数。批量拉动数据太少(拉动数据/处理时间、生产速度),
使处理的数据小于生成的数据也会导致数据积压。Kafka幂等性Producer的幂等性是指当发送相同的消息时,数据只会在服务器端持久化一次,并且数据不会丢失或变重,但这里的幂等性是有条件的。
你只能保证生产者不会在单个会话中丢失或丢失。如果制作者意外挂断并重新启动,则无法保证。幂等性不能跨越多个主题分区,
只有单个分区内的幂等性才能得到保证。当涉及多个主题分区时,这些中间状态是不同步的。Kafka things Kafka从0.11版本开始引入了事务支持。
事务可以确保Kafka的生产和消费可以在恰好一次语义的基础上跨分区和会话,并且要么全部成功,要么全部失败。
生产者事务为了实现跨分区和跨会话的事务,需要引入一个全局唯一的事务ID,并将生产者获取的PID与事务ID绑定。
这样,当生产者重新启动时,可以通过正在进行的事务ID获得原始PID。
为了管理事务,Kafka引入了一个新的组件事务协调器。
生产者将通过与事务协调器交互来获取与事务ID对应的任务状态。
事务协调器还负责将事务写入Kafka的内部主题中,这样即使整个服务重新启动,也可以因为保存了事务状态而恢复正在进行的事务的状态,从而继续进行。
消费者交易的上述交易机制主要是从生产者的角度考虑的。对于消费者而言,交易的保障相对较弱,尤其是承诺信息无法保证被准确消费。
这是因为消费者可以通过offset访问任何信息,并且不同段文件的生命周期不同,重启后可能会删除同一交易的消息。
Kafka数据重复幂等ACK-1事务
Kafka数据是重复的,可以在下一级SparkStraming/Flink/Redis中复制。消除重复的方法是:分组-开窗(id)-取第一个值。
Kafka parameter optimization 1. Broker parameter configuration (server.properties)
1.优化网络和io操作的线程配置# broker处理消息的最大线程数(默认为3)num . network . threads=CPU核心数1 # broker处理磁盘IO的线程数num . IO . threads=CPU核心数*22以及日志数据文件的磁盘清理策略#每当生产者写入10,000条消息时,
buffer . memory:33554432(32m)#用于在生产者端存储未发送消息的缓冲区大小。当缓冲区已满时,您可以选择阻止发送或引发异常。
它由block . on . buffer . full compression的配置决定。type:none#默认情况下不压缩。建议配置合适的压缩算法,可以大大减轻网络压力和Broker的存储压力。
Kafka memory adjustment (kafka-server-start.sh)
#默认内存为1 G,生产环境尽量不要超过6 G。export Kafka _ heap _ opts=‘-xms4g-xmx4g‘Kafka高效地读写数据。1.Kafka本身是一个分布式集群。
同时采用分区技术,具有高并发性。
2.顺序读写磁盘
Kafka的生产者生产数据应该写入日志文件,并且写入过程总是附加到文件的末尾以进行顺序写入。官网有数据显示,在同一个磁盘上顺序写入可以达到600M/s,而随机写入只有100 k/s.
这与椎间盘的机械机制有关。顺序写入速度很快,因为它为磁头寻址节省了大量时间。
3.零拷贝技术
版权声明
1、本文内容转载自大数据面试-Kafka 小结(),或有会员发布,版权归原网站/法人所有。
2、本站仅提供信息发布平台,不承担相关法律责任。
3、文章仅代表作者个人观点,不代表本站立场,未经作者许可,不得转载。
4、若侵犯您的版权或隐私,请联系本站管理员删除。
口碑点评
警告:请理性点评、打分,请文明用语!请给“大数据面试-Kafka 小结”打分并给出您的宝贵点评意见
大数据面试-Kafka 小结收录查询
大数据面试-Kafka 小结SEO综合查询
-
搜索引擎百度PC百度移动头条搜狗360pPC360移动神马
-
权重
-
关键词
-
IP来路
推荐网站
-
实战总结|记一次消息队列堆积的问题排查
吉多 阿里开发者 2023-07-18 09:01 发表于浙江阿里妹导读本文记录了一次问题的排查过程,从中可以学到不少共性的方法论和经验教训,所以做了提炼归纳。(文末有活动)一、背景本次问题涉及的系统链路如上图,各系统的基本职责为:Prox
更新时间:2024-01-26 03:26:17 -
暗黑破坏神4暗黑4 PS、Xbox主机提示登录列队位置验证中解决办法
暗黑破坏神4是全新大作,好消息是暗黑破坏神4的beta公测抢先试玩和正式开测都按期到来,玩家们可以根据自己的情况试玩或参与公测。部分玩家反馈暗黑破坏神4暗黑4 PS、Xbox主机提示登录列队位置验证中,无法正常进入游戏,为此小编带来暗黑破坏
更新时间:2024-01-26 03:26:17 -
Java项目:并发队列中的任务堆积导致队列溢出
当Java项目中的并发队列中的任务堆积过多时,可能会导致队列溢出,引发一系列问题。下面将详细解释这个问题,并提供一些解决方案。首先,让我们了解一下什么是并发队列。并发队列是在多线程环境下使用的数据结构,它可以安全地处理并发访问和操作。常见的
更新时间:2024-01-26 03:26:17 -
消息队列堆积太多,下游处理不过来怎么办呢?
原文链接:https://mp.weixin.qq.com/s/BhhiUrQECX-KS57rRbrRzQ作为后端程序员日常工作中难免会遇到要跟消息队列打交道的时候,而且在当下微服务的场景下,很多服务的性能不是我们自己能控制的。这不阿粉最
更新时间:2024-01-26 03:26:17 -
数仓/数开面试题真题总结(四)
四.Kafka1.Kafka名词解释和工作方式Producer :消息生产者,就是向kafka broker发消息的客户端。Consumer :消息消费者,向kafka broker取消息的客户端Topic :咱们可以理解为一个队列。Con
更新时间:2024-01-26 03:26:17 -
阴阳师万事屋怎么升级快?阴阳师万事屋快速升级攻略技巧
阴阳师万事屋怎么升级快呢 下面小编为大家带来阴阳师万事屋快速升级攻略,快一起来看看吧。阴阳师万事屋快速升级攻略一句话总结:白天主要卖产品,保持风水玉接近上限,消耗全部火玉;睡觉时主要制作风水产品,火玉自然恢复,只用挂两个委派雷2水2;雷三级
更新时间:2024-01-26 03:26:17 -
消息队列大量积压怎么办?,消息队列积压了大量消息怎么处理
Q:刚开始是对这个疑问抱有质疑态度的,因为使用消息队列的其中目的就是削峰填谷,来避免高流量时,对下游服务的冲击,所以使用消息队列进行缓冲,下游根据自己的消费能力去消费,我感觉这就是消息积压本就是使用消息队列的功能,怎么会是问题呢?A:首先
更新时间:2024-01-26 03:26:17 -
阴阳师京都万事屋详解:小纸人高强度打工,活动剧情又放“卫星”
本周阴阳师体验服上线了新活动——京都万事屋,不同于之前需要阴阳师来肝活动,这次则是让小纸人承担起了“爆肝”的义务,阴阳师只需要设定好需要生产的物资就好,顶多再打打每日限定次数的材料本,小纸人惨……在详解活动玩法之前,先来看看在剧情中,官方“
更新时间:2024-01-26 03:26:17 -
京都万事屋傻瓜式攻略,活动看不懂没关系,做完这几项就可以
经过了漫长的种草期之后,最近阴阳师终于迎来了新的大型活动——京都万事屋,本次活动对于萌新玩家非常友好,肝度也并不高,只需要定期上号收菜就可以拿到奖励。但最近有很多玩家表示玩不懂这个活动,不知道自己能干什么,该干什么,不用担心,今天就给大家分
更新时间:2024-01-26 03:26:17 -
阴阳师万事屋活动核心打手及阵容推荐 万金油级别的PVE顶级配置
对于这次阴阳师万事屋主题活动,不管你是否了解活动本身的机制和玩法,核心副本的打法是不变的,每天30次的副本一样要打,之类带来活动核心打手以及阵容推荐,方便玩家结合自身持有的式神来进行速刷。本次活动有一个特色就是副本不会记录上次攻略的阵容,也
更新时间:2024-01-26 03:26:17