duanxz - 博客园

2015年7月20日

摘要： Shell函数返回值，常用的两种方式：return，echo 1） return 语句shell函数的返回值，可以和其他语言的返回值一样，通过return语句返回。示例1： “numeric argument required”错误： Shell 函数返回值只能是整形数值，一般是用来表示函数执行成功阅读全文

posted @ 2015-07-20 16:20 duanxz 阅读(135746) 评论(1) 推荐(5)

spring的annotation-driven配置事务管理器详解

摘要：本文仅基于3.0+版本作为测试) 假定spring 容器中定义了两个事务管理器:transactionManagerX,transactionManagerY,分管两个数据源datasourceX和datasourceY. <tx:annotation-driven transaction-mana 阅读全文

posted @ 2015-07-20 14:11 duanxz 阅读(1212) 评论(0) 推荐(0)

构建高并发高可用的电商平台架构大纲

摘要：一、设计理念 1. 空间换时间 1) 多级缓存，静态化客户端页面缓存（http header中包含Expires/Cache of Control，last modified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag）反向代理缓存应用端的缓存(me 阅读全文

posted @ 2015-07-20 11:05 duanxz 阅读(1027) 评论(0) 推荐(0)

HBase之六：HBase的RowKey设计

摘要：数据模型我们可以将一个表想象成一个大的映射关系，通过行健、行健+时间戳或行键+列（列族：列修饰符），就可以定位特定数据，Hbase是稀疏存储数据的，因此某些列可以是空白的， Row Key Time Stamp Column Family:c1 Column Family:c2 列值列值 r 阅读全文

posted @ 2015-07-20 10:44 duanxz 阅读(36135) 评论(0) 推荐(1)

2015年7月16日

String,StringBuffer与StringBuilder的区别

摘要： String 字符串常量StringBuffer 字符串变量（线程安全）StringBuilder 字符串变量（非线程安全）简要的说， String 类型和 StringBuffer 类型的主要性能区别其实在于 String 是不可变的对象, 因此在每次对 String 类型进行改变的时候其实都等同... 阅读全文

posted @ 2015-07-16 14:49 duanxz 阅读(273) 评论(0) 推荐(0)

2015年7月14日

DTP模型之二：（XA协议之二）jotm分布式事务实现

摘要：分布式事务是指操作多个数据库之间的事务，spring的org.springframework.transaction.jta.JtaTransactionManager，提供了分布式事务支持。如果使用WAS的JTA支持，把它的属性改为WebSphere对应的TransactionManager。在阅读全文

posted @ 2015-07-14 17:58 duanxz 阅读(902) 评论(0) 推荐(0)

kettle实现文本文件数据抽取方法

摘要： KETTLE做调度的思路是，把一个有特定格式的的文本文件，写入ORACLE数据库表，具体方法见如下操作：首先来看下文本文件的内容：1|test12|test23|test3通过|进行分割的。具体操作方法：打开KETTLE，新建立一个转换，拖出来如下控件：下面我们来看每个空间具体的配置：1文本文件输入... 阅读全文

posted @ 2015-07-14 09:54 duanxz 阅读(4461) 评论(0) 推荐(0)

2015年7月7日

数据仓库之ETL漫谈

摘要： ETL，Extraction-Transformation-Loading的缩写，中文名称为数据抽取、转换和加载。大多数据仓库的数据架构可以概括为：数据源-->ODS(操作型数据存储)-->DW-->DM(data mart)ETL贯穿其各个环节。一、数据抽取：可以理解为是把源数据的数据抽取到O... 阅读全文

posted @ 2015-07-07 23:04 duanxz 阅读(5561) 评论(0) 推荐(0)

kettle连接hadoop&hdfs图文详解

摘要： 1 引言：项目最近要引入大数据技术，使用其处理加工日上网话单数据，需要kettle把源系统的文本数据load到hadoop环境中2 准备工作：1 首先要了解支持hadoop的Kettle版本情况，由于kettle资料网上较少，所以最好去官网找,官网的url:http://wiki.pentaho.c... 阅读全文

posted @ 2015-07-07 23:03 duanxz 阅读(8058) 评论(0) 推荐(0)

Quartz集群配置

摘要：先看看quartz的持久化基本介绍：引用1 大家都清楚quartz最基本的概念就是job，在job内调用具体service完成具体功能，quartz需要把每个job存储起来，方便调度，quartz存储job方式就分三种，我们最常用的也是quartz默认的是RAMJobStore，RAMJobStor... 阅读全文

posted @ 2015-07-07 11:31 duanxz 阅读(1905) 评论(0) 推荐(0)

2015年7月6日

linux下socket keep alive讲解

摘要：【需求】不影响服务器处理的前提下，检测客户端程序是否被强制终了。【现状】服务器端和客户端的Socket都设定了keepalive属性。服务器端设定了探测次数等参数，客户端、服务器只是打开了keepalive机能服务器端起了一个监视线程，利用select来检测socket是否被关闭。。。下面这是我的一... 阅读全文

posted @ 2015-07-06 18:05 duanxz 阅读(4420) 评论(0) 推荐(0)

2015年7月3日

kettle作业（job）调用转换，设置变量，写日志到数据库中【转】

摘要：首先建立转换：从数据库表到日志表输入的设置：日志设置：新建job:转换选择刚才建好的输出日志转换。变量设置如下：此ID就是转换中的${ID}，执行job，可以看到控制台输出日志结果：黑色字体部分中只写出了id=1的一条记录。最后补充，将转换的日志写到数据库中：打开转换>ctrl+t>日志选项卡>转换... 阅读全文

posted @ 2015-07-03 17:56 duanxz 阅读(10151) 评论(0) 推荐(0)

ETL之Tungsten Replicator

摘要： 1 概述 1.1 介绍 Tungsten Replicator是数据库集群和复制供应商Continuent推出的高性能、开源的数据复制引擎，是Continuent最先进的集群解决方案的核心组件之一，特别适合作为异构数据库之间数据迁移的解决方案。 Tungsten Replicator最新的稳定版本是阅读全文

posted @ 2015-07-03 17:48 duanxz 阅读(6766) 评论(0) 推荐(0)

Loading Data into HDFS

摘要： How to use a PDI job to move a file into HDFS.PrerequisitesIn order to follow along with this how-to guide you will need the following:HadoopPentaho D... 阅读全文

posted @ 2015-07-03 17:36 duanxz 阅读(512) 评论(0) 推荐(0)

可用于Hadoop下的ETL工具——Kettle

摘要：看大家分享了好多hadoop相关的一些内容，我为大家介绍一款ETL工具——Kettle。 Kettle是pentaho公司开源的一款ETL工具，跟hadoop一样，也是java实现，其目的就是做数据整合中时数据的抽取（Extract）、转换（Transformat）、加载（Load）工作。Kett... 阅读全文

posted @ 2015-07-03 17:23 duanxz 阅读(2173) 评论(0) 推荐(0)

mysql函数之九：MySql取得日期（前一天、某一天）

摘要：取得当天： SELECT curdate(); mysql> SELECT curdate();+ +| curdate() |+ +| 2013-07-29 |+ + 取得当前日期： mysql> select now();+ +| now() |+ +| 2013-07-29 22:10:40 阅读全文

posted @ 2015-07-03 17:10 duanxz 阅读(1797) 评论(0) 推荐(0)

进程间通信和线程间通信的几种方式

摘要：进程进程（Process）是计算机中的程序关于某数据集合上的一次运行活动，是系统进行资源分配和调度的基本单位，是操作系统结构的基础。在早期面向进程设计的计算机结构中，进程是程序的基本执行实体；在当代面向线程设计的计算机结构中，进程是线程的容器。程序是指令、数据及其组织形式的描述，进程是程序的实体。阅读全文

posted @ 2015-07-03 15:35 duanxz 阅读(552) 评论(0) 推荐(0)

2015年7月2日

linux系统硬件配置查看方法

摘要：一：查看cpu # 总核数 = 物理CPU个数 X 每颗物理CPU的核数 # 总逻辑CPU数 = 物理CPU个数 X 每颗物理CPU的核数 X 超线程数 # 查看物理CPU个数cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l # 查看每阅读全文

posted @ 2015-07-02 10:50 duanxz 阅读(2742) 评论(0) 推荐(0)

Linux下使用NMON监控、分析系统性能

摘要：分析工具分析 AIX 和 Linux 性能的免费工具， nmon 工具可以帮助在一个屏幕上显示所有重要的性能优化信息，并动态地对其进行更新。这个高效的工具可以工作于任何哑屏幕、telnet 会话、甚至拨号线路。另外，它并不会消耗大量的 CPU 周期，通常低于百分之二。在更新的计算机上，其 CPU 阅读全文

posted @ 2015-07-02 09:30 duanxz 阅读(1087) 评论(0) 推荐(0)

2015年6月30日

Zero-Copy&sendfile浅析

摘要：一、典型IO调用的问题一个典型的web服务器传送静态文件（如CSS，JS，图片等）的过程如下：read(file, tmp_buf, len);write(socket, tmp_buf, len);首先调用read将文件从磁盘读取到tmp_buf，然后调用write将tmp_buf写入到socke... 阅读全文

posted @ 2015-06-30 22:35 duanxz 阅读(1062) 评论(0) 推荐(1)

分布式消息系统：Kafka

摘要： Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中... 阅读全文

posted @ 2015-06-30 16:33 duanxz 阅读(719) 评论(0) 推荐(0)

用Apache Kafka构建流数据平台

摘要：近来，有许多关于“流处理”和“事件数据”的讨论，它们往往都与像Kafka、Storm或Samza这样的技术相关。但并不是每个人都知道如何将这种技术引入他们自己的技术栈。于是，Confluent联合创始人Jay Kreps发布了《流数据平台构建实战指南》。他结合自己过去五年中在LinkedIn构建Ap... 阅读全文

posted @ 2015-06-30 16:20 duanxz 阅读(1228) 评论(0) 推荐(0)

kafka与传统的消息中间件对比

摘要： RabbitMQ和kafka从几个角度简单的对比业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比，在应用场景方面， RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传阅读全文

posted @ 2015-06-30 16:09 duanxz 阅读(9961) 评论(0) 推荐(1)

2015年6月13日

Azkaban简介和使用

摘要：概述为什么需要工作流调度系统 l 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 l 各任务单元之间存在时间先后及前后依赖关系 l 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如，我们可能有阅读全文

posted @ 2015-06-13 12:07 duanxz 阅读(3876) 评论(0) 推荐(1)

kettle初探

摘要： Kettle是Pentaho的一个组件，主要用于数据库间的数据迁移，到我用过的4.2版，还不支持noSQL，不知道4.4是不是支持了。 Kettle自己有三个主要组件：Spoon，Kitchen，Pan。其中Spoon是一个图形化的界面，用于windows的时候，先设置环境变量：pentaho_... 阅读全文

posted @ 2015-06-13 12:02 duanxz 阅读(461) 评论(0) 推荐(0)