poemyang - 博客园

2025年9月19日

技术圈的“绯闻女孩”：Gossip是如何把八卦秘密传遍全网的？

摘要： Gossip协议，中文可译为“流言蜚语”“闲话”或“八卦”，形象地描述了该协议的工作方式——类似于人类社会中的信息传播模式。Gossip协议最早由Xerox公司的Palo Alto研究中心（PARC）在一篇论文中提出，论文中将其称为八卦算法或病毒算法（Epidemic Algorithm），但最终“ 阅读全文

posted @ 2025-09-19 09:59 poemyang 阅读(307) 评论(0) 推荐(0)

2025年9月18日

系统里数据又“打架”了？让“少数服从多数”来终结这场混乱！

摘要： Quorum（法定人数/多数派）机制由David K. Gifford于1979年提出，是分布式系统中用于在副本间实现不同级别数据一致性与可用性的核心方法。其设计思想借鉴了数学中的鸽巢原理（Pigeonhole Principle）：若将 N+1个物体放入 N 个鸽巢，则至少有一个鸽巢包含两个或更多阅读全文

posted @ 2025-09-18 07:20 poemyang 阅读(72) 评论(0) 推荐(0)

2025年9月15日

“鸡蛋不能放一个篮子里”，如何确保千亿数据万无一失？

摘要：副本机制（Replication），是指分布式系统在多个节点间保存有相同数据的冗余，即副本（Replica/copy）。当出现某一个节点的数据丢失时，可以从副本上读取到数据。数据副本是分布式系统中解决数据丢失问题的唯一手段。合适的做法并非以机器作为副本单位，而是将数据划分为合理的数据段，以数据段为阅读全文

posted @ 2025-09-15 08:22 poemyang 阅读(416) 评论(0) 推荐(0)

2025年9月12日

“凭什么说你比我先？”——没有上帝时钟，如何判断“谁先谁后”？

摘要：物理时钟在分布式系统中难以完美同步，导致无法仅凭物理时间戳来精确判断事件的因果顺序。逻辑时钟为此而生。兰伯特逻辑时钟兰伯特逻辑时钟（Lamport Logical Clock）为系统中的每个事件分配一个单调递增的数字（时间戳），用于捕捉事件间的偏序关系（Happened-Before Relat 阅读全文

posted @ 2025-09-12 11:57 poemyang 阅读(561) 评论(0) 推荐(2)

2025年9月9日

“你还活着吗？” “我没死，只是网卡了！”——来自分布式世界的“生死契约”

摘要：租约（Lease）机制是分布式系统中一种至关重要的协调工具，广泛应用于节点状态判定、领导者选举、分布式锁、资源管理等场景。其核心思想是通过一个带有时间限制的授权（Time-bounded Promise）来确保在不确定环境下的行为一致性和系统可靠性。 Lease机制的运行逻辑主要包括以下要点。阅读全文

posted @ 2025-09-09 18:30 poemyang 阅读(440) 评论(0) 推荐(1)

2025年9月8日

海量数据如何“安家”？一文读懂哈希、范围和一致性哈希三大分片策略

摘要：将单机问题转化为分布式解决方案时，首要任务是对问题进行分解，使得集群中的每台机器负责处理原问题的一个子集。无论是计算任务还是存储任务，其操作对象都是数据。因此，如何将海量数据有效地分解并分配到集群的不同节点上，即数据分布（也常称为数据分片，Data Partitioning/Sharding），是构阅读全文

posted @ 2025-09-08 12:56 poemyang 阅读(328) 评论(0) 推荐(0)

2025年9月5日

“卧槽，系统又崩了！”——别慌，这也许是你看过最通俗易懂的分布式入门

摘要：在分布式系统中，有效应对节点故障、网络分区延迟和数据一致性等挑战至关重要。本文将剖析保障分布式系统可靠性的核心机制：数据分片实现水平扩展，冗余副本保障数据高可用，租约（Lease）机制优化节点状态共识与资源管理，多数派（Quorum）原则确保操作的一致性，Gossip等去中心化协议高效同步集群状态。阅读全文

posted @ 2025-09-05 09:33 poemyang 阅读(494) 评论(0) 推荐(0)

2025年9月4日

从JSON到Protobuf，深入序列化方案的选型与原理

摘要：序列化：数据跨越边界的翻译官序列化（Serialization）用于描述RPC服务接口和数据结构。在RPC通信中，客户端和服务器之间传输的数据通常是结构化的，如调用方法、请求参数、返回值等。这些结构化数据需要通过序列化过程转换为二进制流，以便在网络中进行传输。目前，常见的跨语言序列化编码方式包括阅读全文

posted @ 2025-09-04 11:30 poemyang 阅读(570) 评论(0) 推荐(3)

2025年9月3日

gRPC不是银弹：为内网极致性能，如何设计自己的RPC协议？

摘要：自研RPC协议：为性能而生的赛道利器尽管gRPC凭借其标准化、跨语言和基于HTTP/2的强大特性，在公网和云原生环境中大放异彩，但在某些特定的内网环境中，对性能、延迟和资源占用的要求可能更为苛刻。HTTP/2虽然高效，但其帧结构和头部处理机制相较于专为内网设计的极简协议，仍可能引入不必要的开销。阅读全文

posted @ 2025-09-03 11:04 poemyang 阅读(484) 评论(0) 推荐(2)

2025年9月1日

站在巨人的肩膀上：gRPC通过HTTP/2构建云原生时代的通信标准

摘要： gRPC：云原生时代的通信标准 gRPC将HTTP/2作为其传输层，并在此基础上定义了自身的通信语义。gRPC支持四种服务方法类型，它们都映射到HTTP/2的流模型上。 1）Unary RPC: 客户端发送单个请求，服务器返回单个响应（类似传统请求-响应）。 2）Server Streaming R 阅读全文

posted @ 2025-09-01 13:27 poemyang 阅读(276) 评论(0) 推荐(1)