大家好，欢迎来到IT知识分享网。
kafka 总体介绍
消息队列应用场景
异步解耦、广播发布订阅、 流量削锋 。
kafka企业使用方式
1.kafka topic 管理平台。包含topic 注册 管理，topic 消息结构体定义及其修改（topic 消息结构 定义为avro 结构。方便接入到大数据hive 里面。消息可以持久化到hbase中，最终可以通过ksql 查询）。
2.topic 消息监控。生成和消费情况监控hook等。
kafka 架构和功能介绍
角色分为集群、broker、 生产者、消费者、topic、消费组、消费者、pation。集群管理通过zk 管理。关系组织为一个集群由多个broker（实际物理节点）组成。每个borker 包含多个pation（消息队列 物理文件）。每个pation 有3个副本（可靠性）。一个kafka 集群有多个topic， 一个topic（逻辑消息队列） 可以有多个pation（表示一个实际物理队列），一个topic 有多个生产者和消费组，每个消费组相当于一个订阅者有自己消费offset。每个消费组可以有多个消费者，多个消费者在多个pation中负载均衡的消费消息，每个pation最多只有一个消费组中一个消费者消费。集群管理由zk 管理。生产者保证消息最多被传输一次，因为每条消息都有一个消息id。
一些问题
1.如何增加吞吐量
增加pation、增加生产者和消费者。
2.如何保证不重复消费
消息重复有个能是生产者生产重复。消费者根据应用自己保证，保证消费完后做offset commit。
3.提高消费速度
批量消费、自动commit，注意自己保证消息不丢。
4.生产者如何保证消费者已经消费
免责声明：本站所有文章内容,图片，视频等均是来源于用户投稿和互联网及文摘转载整编而成，不代表本站观点，不承担相关法律责任。其著作权各归其原作者或其出版社所有。如发现本站有涉嫌抄袭侵权/违法违规的内容,侵犯到您的权益，请在线联系站长,一经查实,本站将立刻删除。 本文来自网络,若有侵权，请联系删除，如若转载，请注明出处：https://haidsoft.com/153018.html
