• 在线客服

  • 扫描二维码
    下载博学谷APP

  • 扫描二维码
    关注博学谷微信公众号

  • 意见反馈

原创 Kafka消息的分发流程是什么?

发布时间:2022-07-04 15:40:55 浏览 1945 来源:博学谷 作者:小谷

    Kafka消息的分发流程是什么?使用kafka向指定Topic发送消息时,如果该Topic具有多个partition,无论消费者有多少,最终都会保证一个partition内的消息只会被一个Consumer group中的一个Consumer消费,也就是说同一Consumer group中的多个Consumer自动会起到负载均衡的效果。

    Kafka消息的分发介绍:

    • Producer客户端负责消息的分发

    • kafka集群中的任何一个broker都可以向producer提供metadata信息,这些metadata中包含”集群中存活的servers列表”、“partitions leader列表”等信息;

    • 当producer获取到metadata信息之后, producer将会和Topic下所有partition leader保持socket连接;

    • 消息由producer直接通过socket发送到broker,中间不会经过任何”路由层”。事实上,消息被路由到哪个partition上由producer客户端决定,比如可以采用”random””key-hash””轮询”等。

    • 如果一个topic中有多个partitions,那么在producer端实现”消息均衡分发”是必要的。

    • 在producer端的配置文件中,开发者可以指定partition路由的方式。

    • Producer消息发送的应答机制

    设置发送数据是否需要服务端的反馈,有三个值0,1,-1

    – 0: producer不会等待broker发送ack

    – 1: 当leader接收到消息之后发送ack

    – -1: 当所有的follower都同步消息成功后发送ack

    request.required.acks=0

    申请免费试学名额    

在职想转行提升,担心学不会?根据个人情况规划学习路线,闯关式自适应学习模式保证学习效果
讲师一对一辅导,在线答疑解惑,指导就业!

上一篇: Java互联网架构师就业前景怎么样?待遇好不好? 下一篇: 从普通的程序员到Java架构师的学习路线

相关推荐 更多

热门文章

  • 前端是什么
  • 前端开发的工作职责
  • 前端开发需要会什么?先掌握这三大核心关键技术
  • 前端开发的工作方向有哪些?
  • 简历加分-4步写出HR想要的简历
  • 程序员如何突击面试?两大招带你拿下面试官
  • 程序员面试技巧
  • 架构师的厉害之处竟然是这……
  • 架构师书籍推荐
  • 懂了这些,才能成为架构师
  • 查看更多

扫描二维码,了解更多信息

博学谷二维码