郭慕荣 - 博客园

2022年3月17日

摘要：总结：阅读全文

posted @ 2022-03-17 17:43 郭慕荣阅读(79) 评论(0) 推荐(0)

摘要： __consumer_offsets 主题里面采用 key 和 value 的方式存储数据。key 是 group.id+topic+ 分区号，value 就是当前 offset 的值。每隔一段时间，kafka 内部会对这个 topic 进行 compact，也就是每个 group.id+topic 阅读全文

posted @ 2022-03-17 17:02 郭慕荣阅读(99) 评论(0) 推荐(0)

2022年3月16日

kafka分区的分配以及再平衡

摘要：总结：阅读全文

posted @ 2022-03-16 22:13 郭慕荣阅读(152) 评论(0) 推荐(0)

Kafka 消费者组详细消费流程

摘要：总结：阅读全文

posted @ 2022-03-16 16:26 郭慕荣阅读(439) 评论(0) 推荐(0)

消费者组初始化流程

摘要： 1、coordinator:辅助实现消费者组的初始化和分区的分配。coordinator节点选择 = groupid的hashcode值 % 50( __consumer_offsets的分区数量)例如: groupid的hashcode值 = 1，1% 50 = 1，那么__consumer_of 阅读全文

posted @ 2022-03-16 16:19 郭慕荣阅读(138) 评论(0) 推荐(0)

kafka高效读写数据

摘要： 1)Kafka 本身是分布式集群，可以采用分区技术，并行度高 2)读数据采用稀疏索引，可以快速定位要消费的数据 3)顺序写磁盘：Kafka 的 producer 生产数据，要写入到 log 文件中，写的过程是一直追加到文件末端，为顺序写。官网有数据表明，同样的磁盘，顺序写能到 600M/s，而随机阅读全文

posted @ 2022-03-16 10:26 郭慕荣阅读(236) 评论(0) 推荐(0)

kafka文件存储机制

摘要： 1.index为稀疏索引，大约每往log文件写入4kb数据，会往index文件写入一条索引。注意: 参数log.index.interval.bytes默认4kb。2.Index文件中保存的offset为相对offset，这样能确保offset的值所占空间不会过大，因此能将offset的值控制在固阅读全文

posted @ 2022-03-16 09:55 郭慕荣阅读(508) 评论(0) 推荐(0)

2022年3月14日

生产经验——Leader Partition 负载平衡

摘要：正常情况下，Kafka本身会自动把Leader Partition均匀分散在各个机器上，来保证每台机器的读写吞吐量都是均匀的。但是如果某些broker宕机，会导致Leader Partition过于集中在其他少部分几台broker上，这会导致少数几台broker的读写请求压力过高，其他宕机的 br 阅读全文

posted @ 2022-03-14 16:48 郭慕荣阅读(341) 评论(0) 推荐(0)

leader故障处理细节（当leader发生故障的时候）

摘要： 1)Leader故障(1) Leader发生故障之后，会从ISR中选出一个新的Leader(2)为保证多个副本之间的数据一致性，其余的Follower会先将各自的log文件高于HW的部分截掉，然后从新的Leader同步数据。注意:这只能保证副本之间的数据一致性，并不能保证数据不丢失或者不重复。阅读全文

posted @ 2022-03-14 15:10 郭慕荣阅读(221) 评论(0) 推荐(0)

mysql平常总结

摘要： 1:新增字段并添加唯一索引alter table 表名 add 字段名称 varchar(128) DEFAULT NULL COMMENT '商品唯一标志',add unique index uniq_goods_unique(字段名); 阅读全文

posted @ 2022-03-14 14:33 郭慕荣阅读(31) 评论(0) 推荐(0)

郭慕荣博客园

公告