duanxz - 博客园

2015年8月4日

摘要：什么是LBS LBS(Location Based Service)，基于位置的服务。 Redis和GEO Redis 是最热门的 nosql 数据库之一，它的最大特点就是快。所以在 LBS 这种需要大量写入和查询的应用场景中，用它来存储用户的地理位置信息最适合不过了。 Redis 的 GEO 是阅读全文

posted @ 2015-08-04 13:53 duanxz 阅读(1425) 评论(0) 推荐(0)

我们究竟什么时候可以使用Ehcache缓存

摘要：一、Ehcache是什么 EhCache是Hibernate的二级缓存技术之一，可以把查询出来的数据存储在内存或者磁盘，节省下次同样查询语句再次查询数据库，大幅减轻数据库压力。二、Ehcache的使用场景是什么 1、首先最主要就是页面缓存。网站页面的数据来源非常广泛的，大多数来自不同的对象，而且阅读全文

posted @ 2015-08-04 13:52 duanxz 阅读(1061) 评论(0) 推荐(0)

redis发布/订阅模式

摘要：其实在很多的MQ产品中都存在这样的一个模式，我们常听到的一个例子就是邮件订阅的场景，什么意思呢，也就是说100个人订阅了你的博客，如果博主发表了文章，那么100个人就会同时收到通知邮件，除了这个场景还能找到其他场景么，当然有啦，你想想，如果你要在内存里面做一个读写分离的程序，为了维持数据的完整性阅读全文

posted @ 2015-08-04 13:49 duanxz 阅读(4454) 评论(0) 推荐(1)

Redis入门教程：特性及数据类型的操作

摘要： https://chuna2.787528.xyz/ysocean/p/9102811.html 虽然Redis已经很火了，相信还是有很多同学对Redis只是有所听闻或者了解并不全面，下面是一个比较系统的Redis介绍，对Redis的特性及各种数据类型及操作进行了介绍。是一个很不错的Redis入门教程。阅读全文

posted @ 2015-08-04 13:36 duanxz 阅读(395) 评论(0) 推荐(0)

Storm实战常见问题及解决方案

摘要：该文档为实实在在的原创文档，转载请注明: http://blog.sina.com.cn/s/blog_8c243ea30101k0k1.html 类型详细备注该文档是群里几个朋友在storm实战中遇到的一些问题，及其对应解决办法。相关描述 ² 其他相关文档请参考新浪博客http://blo 阅读全文

posted @ 2015-08-04 13:33 duanxz 阅读(2480) 评论(0) 推荐(0)

Storm并行度详解

摘要：一、Storm并行度相关的概念 Storm集群有很多节点，按照类型分为nimbus（主节点）、supervisor（从节点），在conf/storm.yaml中配置了一个supervisor,有多个槽（supervisor.slots.ports），每个槽就是一个JVM，就是一个worker(一个节阅读全文

posted @ 2015-08-04 13:32 duanxz 阅读(2090) 评论(0) 推荐(0)

Strom配置说明

摘要：在进群生产环境下运行Topology和在本地模式下运行非常相似。下面是步骤： 1、定义Topology（如果使用Java开发语言，则使用TopologyBuilder来创建） 2、使用StormSubmitter向集群提交Topology。StormSubmitter有三个参数，Topology的名阅读全文

posted @ 2015-08-04 13:32 duanxz 阅读(895) 评论(0) 推荐(0)

Storm 1.0 新特性

摘要： Storm 1.0.0版本增加了很多新的特性，可用性以及性能也得到了很大的改善，该版本是Storm发展历程上一个里程碑式的版本，主要特点如下。性能提升 Storm 1.0.0版本最大的亮点就是性能提升，和之前的版本先比，Storm 1.0的速度能够提升至16倍，延迟能够降低至60%。Storm的拓阅读全文

posted @ 2015-08-04 13:31 duanxz 阅读(723) 评论(0) 推荐(0)

Storm的本地运行模式示例

摘要：以word count为例，本地化运行模式（不需要安装zookeeper、storm集群），maven工程， pom.xml文件如下：代码如下：结果如下：阅读全文

posted @ 2015-08-04 13:30 duanxz 阅读(1309) 评论(0) 推荐(0)

Strom-7 Storm Trident 详细介绍

摘要：一、概要1.1 Storm(简介) Storm是一个实时的可靠地分布式流计算框架。具体就不多说了，举个例子，它的一个典型的大数据实时计算应用场景：从Kafka消息队列读取消息（可以是logs,clicks,sensor data）；通过Storm对消息进行计算聚合等预处理；把处理结果持久化到N... 阅读全文

posted @ 2015-08-04 13:29 duanxz 阅读(1998) 评论(0) 推荐(0)

Storm-6 Storm的并行度、Grouping策略以及消息可靠处理机制简介

摘要：概念：配置并行度动态的改变并行度流分组策略----Stream Grouping消息的可靠处理机制概念：Workers (JVMs): 在一个节点上可以运行一个或多个独立的JVM 进程。一个Topology可以包含一个或多个worker(并行的跑在不同的machine上), 所以worker pro... 阅读全文

posted @ 2015-08-04 13:29 duanxz 阅读(495) 评论(0) 推荐(0)

2015年8月3日

Storm入门教程第五章一致性事务【转】

摘要： Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transaction Topology，用来解决这个问题。Transactional Topo... 阅读全文

posted @ 2015-08-03 22:58 duanxz 阅读(384) 评论(0) 推荐(0)

storm入门教程第四章消息的可靠处理【转】

摘要： 4.1 简介 storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。 4.2 理解消息被完整处理一个消息(tuple)从spout发送出来，可能会导致成百上千的消息基于此阅读全文

posted @ 2015-08-03 22:57 duanxz 阅读(380) 评论(0) 推荐(0)

Storm入门教程第三章Storm集群安装部署步骤、storm开发环境

摘要：一. Storm集群组件 Storm集群中包含两类节点：主控节点（Master Node）和工作节点（Work Node）。其分别对应的角色如下：主控节点（Master Node）上运行一个被称为Nimbus的后台程序，它负责在Storm集群内分发代码，分配任务给工作机器，并且负责监控集群运行状态阅读全文

posted @ 2015-08-03 22:54 duanxz 阅读(1188) 评论(0) 推荐(0)

Storm 01之 Storm基本概念及第一个demo

摘要： 2.1 Storm基本概念在运行一个Storm任务之前，需要了解一些概念： supervisor:英[ˈsu:pəvaɪzə(r)]监督者，管理者; 镇长; Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs，而在Storm上运行的是拓扑（top 阅读全文

posted @ 2015-08-03 22:38 duanxz 阅读(857) 评论(0) 推荐(0)

storm入门教程第一章前言[转]

摘要： 1.1 实时流计算互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转阅读全文

posted @ 2015-08-03 22:11 duanxz 阅读(562) 评论(0) 推荐(0)

2015年7月24日

DTP模型之一：（XA协议之一）XA协议、二阶段2PC、三阶段3PC提交

摘要： XA协议 XA是一个分布式事务协议，由Tuxedo提出。XA中大致分为两部分：事务管理器和本地资源管理器。其中本地资源管理器往往由数据库实现，比如Oracle、DB2这些商业数据库都实现了XA接口，而事务管理器作为全局的调度者，负责各个本地资源的提交和回滚。XA实现分布式事务的原理如下： XA接口详阅读全文

posted @ 2015-07-24 10:34 duanxz 阅读(11790) 评论(2) 推荐(0)

Spring+iBatis+Atomikos实现JTA事务

摘要： Atomikos是一个公司名字，旗下最著名的莫过于其Atomikos的事务管理器产品。产品分两个：一个是开源的TransactionEssentials，一个是商业的ExtremeTransactions。TransactionEssentials的主要特征：JTA/XA 事务管理 —— 提供事务管... 阅读全文

posted @ 2015-07-24 10:18 duanxz 阅读(885) 评论(0) 推荐(0)

Atomikos 中文说明文档【转】

摘要： Atomikos翻译文档（英文文档来源：下载安装包中START_HERE.html） ----译者：周枫请尊重劳动成果，转载请标明，英语水平有限，如有不准确地方请在评论中指出，谢谢官网地址：http://www.atomikos.com/Main/WebHome使用版本：AtomikosTransa... 阅读全文

posted @ 2015-07-24 09:59 duanxz 阅读(5297) 评论(0) 推荐(0)

2015年7月23日

网络监控之一：ss(Socket Statistics)

摘要： ss是Socket Statistics的缩写。顾名思义，ss命令可以用来获取socket统计信息，它可以显示和netstat类似的内容。但ss的优势在于它能够显示更多更详细的有关TCP和连接状态的信息，而且比netstat更快速更高效。【和netstat说再见的原因】当服务器的socket连阅读全文

posted @ 2015-07-23 10:56 duanxz 阅读(2795) 评论(0) 推荐(0)

springboot开启远程调试

摘要：远程调试maven设置 The run goal forks a process for the boot application. It is possible to specify jvm arguments to that forked process. The following confi 阅读全文

posted @ 2015-07-23 10:52 duanxz 阅读(1923) 评论(0) 推荐(0)

2015年7月22日

JTA事务管理--配置剖析（二）

摘要： Spring引用Tomcat的 JTA事务 Tomcat是Servlet容器，但它提供了JNDI的实现，因此用户可以象在Java EE应用程序服务器中一样，在Tomcat中使用JNDI查找JDBC数据源。在事务处理方面，Tomcat本身并不支持JTA，但是可以通过集成JOTM达到目的。如果你的应用... 阅读全文

posted @ 2015-07-22 10:05 duanxz 阅读(1255) 评论(0) 推荐(0)

2015年7月21日

JTA事务管理--配置剖析

摘要：概述【IT168 专稿】Spring 通过AOP技术可以让我们在脱离EJB的情况下享受声明式事务的丰盛大餐，脱离Java EE应用服务器使用声明式事务的道路已经畅通无阻。但是很大部分人都还认为脱离Java EE应用服务器就无法使用JTA事务，这是一个误解。其实，通过配合使用ObjectWeb的JOT... 阅读全文

posted @ 2015-07-21 17:33 duanxz 阅读(6096) 评论(0) 推荐(0)

DTP模型之二：（XA协议之二）JTA集成JOTM或Atomikos配置分布式事务(Tomcat应用服务器)

摘要： jotm只能用的xapool数据源，而且很少更新。一.以下介绍Spring中直接集成JOTM提供JTA事务管理、将JOTM集成到Tomcat中。（经过测试JOTM在批量持久化时有BUG需要修改源码GenericPool类解决)！参考文章http://mavin.zhou.blog.163.co 阅读全文

posted @ 2015-07-21 14:04 duanxz 阅读(992) 评论(0) 推荐(0)

Spring 事务管理原理探究

摘要：此处先粘贴出Spring事务需要的配置内容：1、Spring事务管理器的配置文件： ..... 2、一个普通的JPA框架（此处是mybatis）的配置文件： ..... 这两个里面都配置了datasource，而且这个datasource的对象是在Sp... 阅读全文

posted @ 2015-07-21 13:59 duanxz 阅读(15698) 评论(1) 推荐(0)