2015 年 6月 30 日随笔档案 - duanxz

2015年6月30日

摘要：一、典型IO调用的问题一个典型的web服务器传送静态文件（如CSS，JS，图片等）的过程如下：read(file, tmp_buf, len);write(socket, tmp_buf, len);首先调用read将文件从磁盘读取到tmp_buf，然后调用write将tmp_buf写入到socke... 阅读全文

posted @ 2015-06-30 22:35 duanxz 阅读(1062) 评论(0) 推荐(1)

分布式消息系统：Kafka

摘要： Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中... 阅读全文

posted @ 2015-06-30 16:33 duanxz 阅读(719) 评论(0) 推荐(0)

用Apache Kafka构建流数据平台

摘要：近来，有许多关于“流处理”和“事件数据”的讨论，它们往往都与像Kafka、Storm或Samza这样的技术相关。但并不是每个人都知道如何将这种技术引入他们自己的技术栈。于是，Confluent联合创始人Jay Kreps发布了《流数据平台构建实战指南》。他结合自己过去五年中在LinkedIn构建Ap... 阅读全文

posted @ 2015-06-30 16:20 duanxz 阅读(1228) 评论(0) 推荐(0)

kafka与传统的消息中间件对比

摘要： RabbitMQ和kafka从几个角度简单的对比业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比，在应用场景方面， RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传阅读全文

posted @ 2015-06-30 16:09 duanxz 阅读(9961) 评论(0) 推荐(1)