alchemystar

摘要： 解Bug之路-ZooKeeper集群拒绝服务 前言 ZooKeeper作为dubbo的注册中心，可谓是重中之重，线上ZK的任何风吹草动都会牵动心弦。最近笔者就碰到线上ZK Leader宕机后，选主无法成功导致ZK集群拒绝服务的现象，于是把这个case写出来分享给大家(基于ZooKeeper 3.4. 阅读全文

摘要： 日常Bug排查-Nginx重复请求？ 前言 日常Bug排查系列都是一些简单Bug排查，笔者将在这里介绍一些排查Bug的简单技巧，其中不乏一些看起来很低级但很容易犯的问题。 问题现场 有一天运维突然找到我，要我协助排查一个问题。业务开发怀疑Nginx会重复相同的请求，就感觉Nginx自己重试了一样。而 阅读全文

摘要： 日常Bug排查-应用Commit报错事务并没有回滚 前言 日常Bug排查系列都是一些简单Bug排查，笔者将在这里介绍一些排查Bug的简单技巧，同时顺便积累素材^_^。 应用Commit报错并不一定回滚 事实上，这篇文章并没有什么排查过程。但这个问题却又是笔者经常遇到的。 笔者仅仅是想阐述一下当我们在 阅读全文

摘要： 日常问题排查-调用超时 前言 日常Bug排查系列都是一些简单Bug排查，笔者将在这里介绍一些排查Bug的简单技巧，同时顺便积累素材^_^。 Bug现场 这次的Bug是大家喜闻乐见的调用超时。即A调用B超过了5s 搜索一下日志，发现A系统在发出5s后超时。B系统在将近8s后才收到请求，也就是说B系统还 阅读全文

摘要： 日常Bug排查-抛异常不回滚 前言 日常Bug排查系列都是一些简单Bug排查，笔者将在这里介绍一些排查Bug的简单技巧，同时顺便积累素材^_^。 Bug现场 最近有人反映java应用操作数据库的时候，抛异常不回滚。这还了得，不过笔者笃定肯定是用法的锅，不然就全乱套了。所以笔者去Review他的代码。 阅读全文

摘要： 日常Bug排查-消息不消费 前言 日常Bug排查系列都是一些简单Bug排查，笔者将在这里介绍一些排查Bug的简单技巧，同时顺便积累素材^_^。 Bug现场 某天下午，在笔者研究某个问题正high的时候。开发突然找到笔者，线上某个系统突然消费不了queue了。Queue不消费也算是日常问题了。淡定的先 阅读全文

摘要： ntp导致的时钟回拨 时钟回拨 我们的服务器时间校准一般是通过ntp进程去校准的。但由于校准这个动作，会导致时钟跳跃变化的现象。 而这种情况里面，往往回拨最能引起我们的困扰,回拨如下所示: 会引起什么问题 准点调度任务的误判 假设有一个任务每天0点时候获取昨天所有的数据进行对账，正常情况和时钟回拨的 阅读全文

摘要： 日常Bug排查-系统失去响应-Redis使用不当 前言 日常Bug排查系列都是一些简单Bug排查，笔者将在这里介绍一些排查Bug的简单技巧，同时顺便积累素材^_^。 Bug现场 开发反应线上系统出现失去响应的现象，收到业务告警已经频繁MarkAndSweep(Full GC)告警。于是找到笔者进行排 阅读全文

摘要： Prometheus时序数据库-报警的计算 在前面的文章中，笔者详细的阐述了Prometheus的数据插入存储查询等过程。但作为一个监控神器，报警计算功能是必不可少的。自然的Prometheus也提供了灵活强大的报警规则可以让我们自由去发挥。在本篇文章里，笔者就带读者去看下Prometheus内部是 阅读全文

摘要： 解Bug之路-主从切换"未成功"? 前言 数据库主从切换是个非常有意思的话题。能够稳定的处理主从切换是保证业务连续性的必要条件。今天笔者就来讲讲主从切换过程中一个小小的问题。 故障场景 最近线上进行主从切换，大部分应用都切过去了，但是某些应用的连接确还在老的主(新的从)上面。 这让对应应用的开发百思 阅读全文