duanxz - 博客园

2015年8月6日

摘要：首先来看看结构化的软件开发方法1、结构化的软件开发方法 SASD方法，也可称为面向功能的软件开发方法或者面向数据流的软件开发方法。SASD方法是20世纪80年代使用最广泛的软件开发方法。它首先用结构化分析（Structure Analysis，SA）对软件进行需求分析，然后用结构化设计（Struc... 阅读全文

posted @ 2015-08-06 15:41 duanxz 阅读(11053) 评论(0) 推荐(0)

Java SE 6 新特性: 对脚本语言的支持

摘要： 2006 年底，Sun 公司发布了 Java Standard Edition 6（Java SE 6）的最终正式版，代号 Mustang（野马）。跟 Tiger（Java SE 5）相比，Mustang 在性能方面有了不错的提升。与 Tiger 在 API 库方面的大幅度加强相比，虽然 Musta... 阅读全文

posted @ 2015-08-06 15:41 duanxz 阅读(914) 评论(0) 推荐(0)

RocketMQ之八：水平扩展及负载均衡详解

摘要： RocketMQ是一个分布式具有高度可扩展性的消息中间件。本文旨在探索在broker端，生产端，以及消费端是如何做到横向扩展以及负载均衡的。 NameServer集群提供轻量级的服务发现和路由。每个NameServer 记录完整的路由信息，提供等效的读写服务，并支持快速存储扩展。就是一个注册中心阅读全文

posted @ 2015-08-06 15:38 duanxz 阅读(4849) 评论(1) 推荐(0)

RocketMQ之九：RocketMQ消息发送流程解读

摘要：在讨论这个问题之前，我们先看一下Client的整体架构。 Producer与Consumer类体系从下图可以看出以下几点：（1）Producer与Consumer的共同逻辑，封装在MQClientInstance，MQClientAPIImpl, MQAdminImpl这3个蓝色的类里面。所谓共同阅读全文

posted @ 2015-08-06 09:38 duanxz 阅读(5003) 评论(0) 推荐(1)

RocketMQ之十：RocketMQ消息接收源码

摘要： 1. 简介 1.1、接收消息 RebalanceService：均衡消息队列服务，负责通过MQClientInstance分配当前 Consumer 可消费的消息队列( MessageQueue )。当有新的 Consumer 的加入或移除，都会重新分配消息队列。主要实现consumer的负载均衡，阅读全文

posted @ 2015-08-06 08:09 duanxz 阅读(2022) 评论(0) 推荐(1)

memcache分布式部署的原理分析

摘要：下面本文章来给各位同学介绍memcache分布式部署的原理分析，希望此文章对你理解memcache分布式部署会有所帮助哦。今天在封装memcache操作类库过程中，意识到一直以来对memcache的使用都是局限在单台服务器的情况下，还没有使用到memcache的分布式部署。虽然知道memcache的... 阅读全文

posted @ 2015-08-06 08:07 duanxz 阅读(2708) 评论(4) 推荐(0)

memcache 分布式，算法实现

摘要： memcached虽然称为“分布式”缓存服务器，但服务器端并没有“分布式”功能。每个服务器都是完全独立和隔离的服务。memcached的分布式，则是完全由客户端程序库实现的。这种分布式是memcached的最大特点。分布式原理这里多次使用了“分布式”这个词，但并未做详细解释。现在开始简单地介绍一下其... 阅读全文

posted @ 2015-08-06 08:06 duanxz 阅读(373) 评论(0) 推荐(0)

2015年8月5日

kafka之二：Kafka 设计与原理详解

摘要：一、Kafka简介转载请注明出处 : 本文链接 1.1 背景历史当今社会各种应用系统诸如商业、社交、搜索、浏览等像信息工厂一样不断的生产出各种信息，在大数据时代，我们面临如下几个挑战：以上几个挑战形成了一个业务需求模型，即生产者生产（produce）各种信息，消费者消费（consume）（处理阅读全文

posted @ 2015-08-05 17:03 duanxz 阅读(1468) 评论(0) 推荐(0)

kafka之五：如何手动更新Kafka中某个Topic的偏移量

摘要：本文介绍如何手动跟新zookeeper中的偏移量。我们在使用kafka的过程中，有时候需要通过修改偏移量来进行重新消费。我们都知道offsets是记录在zookeeper中的，所以我们想修改offsets的值只要修改zookeeper中的offsets值就可以了。修改offsets值有几种方法，这里阅读全文

posted @ 2015-08-05 16:49 duanxz 阅读(2437) 评论(0) 推荐(0)

kafka之六：为什么Kafka那么快

摘要：转自： http://mp.weixin.qq.com/s?__biz=MzIxMjAzMDA1MQ==&mid=2648945468&idx=1&sn=b622788361b384e152080b60e5ea69a7#rd https://blog.csdn.net/fdsafwagdagadg6 阅读全文

posted @ 2015-08-05 16:49 duanxz 阅读(7162) 评论(1) 推荐(1)

kafka之一：Windows上搭建Kafka运行环境

摘要：搭建环境 1. 安装JDK 1.1 安装文件：http://www.oracle.com/technetwork/java/javase/downloads/jre8-downloads-2133155.html下载Server JRE.1.2 安装完成后需要添加以下的环境变量（右键点击“我的电脑” 阅读全文

posted @ 2015-08-05 16:48 duanxz 阅读(841) 评论(0) 推荐(0)

kafka数据可靠性深度解读【转】

摘要： 1 概述 Kakfa起初是由LinkedIn公司开发的一个分布式的消息系统，后成为Apache的一部分，它使用Scala编写，以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark等都支持与Kafka集成。 Kafka凭借着自身的阅读全文

posted @ 2015-08-05 16:47 duanxz 阅读(489) 评论(0) 推荐(0)

用Apache Kafka构建流数据平台的建议

摘要：在《流数据平台构建实战指南》第一部分中，Confluent联合创始人Jay Kreps介绍了如何构建一个公司范围的实时流数据中心。InfoQ前期对此进行过报道。本文是根据第二部分整理而成。在这一部分中，Jay给出了一些构建数据流平台的具体建议。限制集群数量 Kafka集群数量越少，系统架构就越简单阅读全文

posted @ 2015-08-05 16:47 duanxz 阅读(911) 评论(0) 推荐(0)

漫游Kafka实战篇之搭建Kafka运行环境

摘要：原文地址：http://blog.csdn.net/honglei915/article/details/37564329 接下来一步一步搭建Kafka运行环境。 Step 1: 下载Kafka 点击下载最新的版本并解压. > tar -xzf kafka_2.9.2-0.8.1.1.tgz > c 阅读全文

posted @ 2015-08-05 14:47 duanxz 阅读(416) 评论(0) 推荐(0)

2015年8月4日

Redis持久化--RDB和AOF

摘要：概述 Redis的强大性能很大程度上都是因为所有数据都是存储在内存中的，然而当Redis重启后，所有存储在内存中的数据将会丢失，在很多情况下是无法容忍这样的事情的。所以，我们需要将内存中的数据持久化！典型的需要持久化数据的场景如下：将Redis作为数据库使用；将Redis作为缓存服务器使用，但是阅读全文

posted @ 2015-08-04 18:28 duanxz 阅读(555) 评论(0) 推荐(0)

redis中的批量处理：批量命令或pipeline

摘要：一、传统的批量处理和pipeline对比二、pipeline 的优缺点三、pipeline的示例 1、jredis客户端使用pipeline 2、springboot中redisTemplate使用pipeline 一、传统的批量处理和pipeline对比 redis是一个cs模式的tcp serv 阅读全文

posted @ 2015-08-04 18:27 duanxz 阅读(3274) 评论(0) 推荐(0)

为redis分配一个新的端口

摘要：为redis分配一个8888端口，操作步骤如下：1、$REDIS_HOME/redis.conf重新复制一份，重命名为redis8888.conf。2、打开redis8888.conf配置文件，找到port 6379这行，把6379改为8888。3、把redis8888.conf移到$REDIS_H... 阅读全文

posted @ 2015-08-04 18:26 duanxz 阅读(332) 评论(0) 推荐(0)

redis配置实例及redis.conf详细说明

摘要：一、配置实例 1、redis修改持久化路径、日志路径、清缓存 redis修改持久化路径和日志路径 vim redis.conf logfile /data/redis_cache/logs/redis.log #日志路径 dir /data/redis_cache #持久化路径，修改后记得要把du 阅读全文

posted @ 2015-08-04 18:25 duanxz 阅读(1034) 评论(0) 推荐(0)

windows下安装redis

摘要： 1、redis简介redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hashs（哈希类型）。这些数据类型都支持push/pop、add 阅读全文

posted @ 2015-08-04 18:24 duanxz 阅读(565) 评论(0) 推荐(0)

Redis内存存储结构分析--待整理

摘要： Redis: A persistent key-value database with built-in net interface written in ANSI-C for Posix systems 1 Redis 内存存储结构本文是基于 Redis-v2.2.4 版本进行分析. 1.1 R 阅读全文

posted @ 2015-08-04 18:24 duanxz 阅读(719) 评论(0) 推荐(0)

show engine innodb status 详解

摘要：找个mysql客户端，执行show engine innodb status得到如下结果：详细信息如下： ************************************** 2016-09-20 16:39:40 0x7f8040116700 INNODB MONITOR OUTPUT 阅读全文

posted @ 2015-08-04 18:17 duanxz 阅读(5413) 评论(0) 推荐(0)

Redis常用命令手册：服务器相关命令

摘要： Redis提供了丰富的命令(command)对数据库和各种数据类型进行操作，这些command可以在Linux终端使用。在编程时，比如各类语言包，这些命令都有对应的方法。下面将Redis提供的命令做一总结。相关文章：Redis常用命令手册：键值相关命令 1、ping 测试连接是否存活： re... 阅读全文

posted @ 2015-08-04 13:56 duanxz 阅读(456) 评论(0) 推荐(0)

Redis Sentinel机制与用法

摘要：概述 Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案，当用Redis做Master-slave的高可用方案时，假如master宕机了，Redis本身(包括它的很多客户端)都没有实现自动进行主备切换，而Redis-sentinel本身也是一个独立运行的进程，它能监控多个ma 阅读全文

posted @ 2015-08-04 13:55 duanxz 阅读(10014) 评论(0) 推荐(2)

Jedis的Sharded源代码分析

摘要：概述 Jedis是Redis官方推荐的Java客户端，更多Redis的客户端可以参考Redis官网客户端列表。当业务的数据量非常庞大时，需要考虑将数据存储到多个缓存节点上，如何定位数据应该存储的节点，一般用的是一致性哈希算法。Jedis在客户端角度实现了一致性哈希算法，对数据进行分片，存储到对应的不阅读全文

posted @ 2015-08-04 13:54 duanxz 阅读(794) 评论(0) 推荐(0)

Jedis的JedisSentinelPool源代码分析

摘要：概述 Jedis是Redis官方推荐的Java客户端，更多Redis的客户端可以参考Redis官网客户端列表。Redis-Sentinel作为官方推荐的HA解决方案，Jedis也在客户端角度实现了对Sentinel的支持，主要实现在JedisSentinelPool.java这个类中，下文会分析这个阅读全文

posted @ 2015-08-04 13:53 duanxz 阅读(1360) 评论(0) 推荐(0)