duanxz - 博客园

2015年4月9日

摘要： SparkStreaming之window滑动窗口应用，Spark Streaming提供了滑动窗口操作的支持，从而让我们可以对一个滑动窗口内的数据执行计算操作。每次掉落在窗口内的RDD的数据，会被聚合起来执行计算操作，然后生成的RDD，会作为window DStream的一个RDD。网官图中所示阅读全文

posted @ 2015-04-09 09:36 duanxz 阅读(11500) 评论(0) 推荐(1)

2015年4月8日

LinkedHashSet的实现原理

摘要： LinkedHashSet是具有可预知迭代顺序的Set接口的哈希表和链接列表实现。此实现与HashSet的不同之处在于，后者维护着一个运行于所有条目的双重链接列表。此链接列表定义了迭代顺序，该迭代顺序可为插入顺序或是访问顺序。注意，此实现不是同步的。如果多个线程同时访问链接的哈希Set，而其中至少阅读全文

posted @ 2015-04-08 23:01 duanxz 阅读(2634) 评论(0) 推荐(1)

2015年4月7日

Servlet3.0之八：基于Servlet3.0的文件上传@MultipartConfig

摘要：在Servlet2.5中，我们要实现文件上传功能时，一般都需要借助第三方开源组件，例如Apache的commons-fileupload组件，在Servlet3.0中提供了对文件上传的原生支持，我们不需要借助任何第三方上传组件，直接使用Servlet3.0提供的API就能够实现文件上传功能了。 @M 阅读全文

posted @ 2015-04-07 23:44 duanxz 阅读(2549) 评论(0) 推荐(0)

2015年4月6日

分布式事务之：可靠消息/事务消息

摘要：方案一：消息中间件所谓的消息事务就是基于消息中间件的两阶段提交，本质上是对消息中间件的一种特殊利用，它是将本地事务和发消息放在了一个分布式事务里，保证要么本地操作成功成功并且对外发消息成功，要么两者都失败，开源的RocketMQ就支持这一特性，具体原理如下：关于RocketMQ中的特性详解见《分阅读全文

posted @ 2015-04-06 21:14 duanxz 阅读(785) 评论(0) 推荐(0)

PowerDesigner导出SQL时自动生成注释

摘要：在powerBuilder中新建一个Physical Data Model，在其中新建一个用户表，信息如下图所示：此时的SQL语句可从其中的Preview视图中得到，如下图所示：这个时候生成的sql语句是没有注释的，而且sql语句可能也不是适合自己所对应的数据库语言。此时可以通过以下方法来生成注阅读全文

posted @ 2015-04-06 19:34 duanxz 阅读(488) 评论(0) 推荐(0)

powerdesigner导出SQL时大写转换

摘要：打开物理模型，点击菜单“Tools->Execute Commands -> Edit/Run Script..."，或者快捷键（Ctrl+Shift+X）执行下面vbscript脚本 Option Explicit ValidationMode = True InteractiveMode = i 阅读全文

posted @ 2015-04-06 19:24 duanxz 阅读(944) 评论(0) 推荐(0)

2015年4月5日

MySQL waiting for table level lock

摘要： 1、表使用了MyISAM引擎 2、是Innodb引擎引擎，但是mysqldump的运行会导致该问题，你能否确认当您做插入测试时，是否有mysqldump正在运行？ 3、innodb存储引擎只在以下三种情况会产生table level lock【1】【2】： 3.1、 innodb_table_ 阅读全文

posted @ 2015-04-05 23:31 duanxz 阅读(3652) 评论(0) 推荐(0)

mysql 查看死锁和去除死锁

摘要： 1、查询进程 show processlist 2、查询到相对应的进程，然后 kill id 验证（kill后再看是否还有锁） 2、查询是否锁表示例：新建一个会话执行如下的显示锁示例另开启一个会话检查锁表情况： 3、在5.5中，information_schema 库中增加了三个关于锁的表（阅读全文

posted @ 2015-04-05 19:55 duanxz 阅读(37849) 评论(0) 推荐(1)

linux 中的局部变量、全局变量、shell 变量的总结

摘要：系统局部变量和全局变量一、变量分类局部变量和环境变量，局部变量只适用于当前shell，而环境变量是全局的，它适用于所有当前shell以及其派生出来的任意子进程，有些变量是用户创建的，其他的则是专用的shell变量。二、局部变量局部变量的作用域被限定在创建它们的shell中。local函数可以用来阅读全文

posted @ 2015-04-05 19:19 duanxz 阅读(4387) 评论(1) 推荐(1)

SSL卸载技术对于HTTPS应用的优化与思考

摘要：迅猛发展的互联网为我们提供了丰富的信息资源，在带来便利的同时也影响着人们工作和生活方式。而让我们无法忽视的是，在开放的互联网所带来的繁荣背后，同时也潜藏着安全方面的隐患。随着人们对网络的依赖愈渐加深，各种加密技术应运而生，用以保障网络信息的安全性。SSL(Secure Sockets Layer)协阅读全文

posted @ 2015-04-05 18:14 duanxz 阅读(944) 评论(0) 推荐(0)

HashMap源码解析

摘要：要理解HashMap，就必须要知道了解其底层的实现，而底层实现里最重要的就是它的数据结构了，HashMap实际上是一个“链表散列”的数据结构，即数组和链表的结合体。在分析要理解HashMap源码前有必要对hashcode进行说明。以下是关于HashCode的官方文档定义： hashcode方法阅读全文

posted @ 2015-04-05 12:17 duanxz 阅读(630) 评论(0) 推荐(0)

LinkedList源码解析

摘要： LinkedList是基于链表结构的一种List，在分析LinkedList源码前有必要对链表结构进行说明。1.链表的概念链表是由一系列非连续的节点组成的存储结构，简单分下类的话，链表又分为单向链表和双向链表，而单向/双向链表又可以分为循环链表和非循环链表，下面简单就这四种链表进行图解说明。 1.1 阅读全文

posted @ 2015-04-05 11:52 duanxz 阅读(431) 评论(0) 推荐(0)

ArrayList源码解析

摘要： ArrayList简介 ArrayList定义 ArrayList 是一个数组队列，相当于动态数组。与Java中的数组相比，它的容量能动态增长。它继承于AbstractList，实现了List, RandomAccess, Cloneable, java.io.Serializable这些接口。阅读全文

posted @ 2015-04-05 11:42 duanxz 阅读(652) 评论(0) 推荐(0)

HashSet的实现原理

摘要： HashSet定义 public class HashSet<E> extends AbstractSet<E> implements Set<E>, Cloneable, java.io.Serializable HashSet 是一个没有重复元素的集合。它是由HashMap实现的，不保证元素的顺阅读全文

posted @ 2015-04-05 11:35 duanxz 阅读(1553) 评论(0) 推荐(0)

Spark Streaming之四：Spark Streaming 与 Kafka 集成分析

摘要：前言 Spark Streaming 诞生于2013年，成为Spark平台上流式处理的解决方案，同时也给大家提供除Storm 以外的另一个选择。这篇内容主要介绍Spark Streaming 数据接收流程模块中与Kafka集成相关的功能。 Spark Streaming 与 Kafka 集成接受数据阅读全文

posted @ 2015-04-05 08:32 duanxz 阅读(849) 评论(0) 推荐(0)

2015年4月4日

Spark Streaming之三：DStream解析

摘要： DStream 1.1基本说明 1.1.1 Duration Spark Streaming的时间类型，单位是毫秒；生成方式如下： 1）new Duration(milli seconds) 输入毫秒数值来生成； 2）seconds(seconds) 输入秒数值来生成； 3）Minutes(min 阅读全文

posted @ 2015-04-04 10:15 duanxz 阅读(1632) 评论(0) 推荐(0)

2015年4月3日

Spark Streaming之二：StreamingContext解析

摘要： 1.1 创建StreamingContext对象 1.1.1通过SparkContext创建源码如下：第一参数为sparkContext对象，第二个参数为批次时间；创建实例： val ssc = new StreamingContext(sc, Seconds(5)) 1.1.2通过Spark 阅读全文

posted @ 2015-04-03 23:48 duanxz 阅读(3928) 评论(0) 推荐(0)

2015年4月2日

curl与wget区别

摘要： 1.curl是libcurl这个库支持的，wget是一个纯粹的命令行命令。2.curl支持更多的协议。curl supports FTP, FTPS, HTTP, HTTPS, SCP, SFTP, TFTP, TELNET, DICT, LDAP, LDAPS, FILE, POP3, IMAP, 阅读全文

posted @ 2015-04-02 22:42 duanxz 阅读(3154) 评论(0) 推荐(0)

MongoDB 慢日志字段解析

摘要：慢查询日志范例 "Thu Apr 2 07:51:50.985 I COMMAND [conn541] command animal.MongoUser_58 command: find { find: \"MongoUser_58\", filter: { $and: [ { lld: { $gt 阅读全文

posted @ 2015-04-02 22:08 duanxz 阅读(1963) 评论(0) 推荐(0)

Thread之九：stop

摘要：搞过Java线程的人都知道，stop这个方法是臭名昭著了，早就被弃用了，但是现在任然有很多钟情与他的人，永远都放不下他，因为从他的字面意思上我们可以知道他貌似可以停止一个线程，这个需求是每个搞线程开发的人都想要的操作，但是他并非是真正意义上的停止线程，而且停止线程还会引来一些其他的麻烦事，下面就来详阅读全文

posted @ 2015-04-02 00:07 duanxz 阅读(1799) 评论(0) 推荐(0)

2015年4月1日

mysql实战优化之九：MySQL查询缓存总结

摘要： mysql Query Cache 默认为打开。从某种程度可以提高查询的效果，但是未必是最优的解决方案，如果有的大量的修改和查询时，由于修改造成的cache失效，会给服务器造成很大的开销。 mysql Query Cache 和 Oracle Query Cache 是不同的， oracle Que 阅读全文

posted @ 2015-04-01 23:53 duanxz 阅读(3257) 评论(0) 推荐(1)

PBE加密算法

摘要：这是我参加全国信息安全大赛的设计的加密系统中的一个加密算法，虽然比赛的结果不是非常理想但是，我还是学到了很多东西，现在和大家分享一下，比赛收获的东西。基于口令加密 PBE（Password Based Encryption，基于口令加密）算法是一种基于口令的加密算法，其特点在于口令是由用户自己掌握的阅读全文

posted @ 2015-04-01 23:41 duanxz 阅读(4579) 评论(0) 推荐(0)

kafka之三：kafka java 生产消费程序demo示例

摘要： kafka是吞吐量巨大的一个消息系统，它是用scala写的，和普通的消息的生产消费还有所不同，写了个demo程序供大家参考。kafka的安装请参考官方文档。首先我们需要新建一个maven项目，然后在pom中引用kafka jar包，引用依赖如下： <dependency> <groupId>org 阅读全文

posted @ 2015-04-01 23:30 duanxz 阅读(1810) 评论(0) 推荐(0)

生产环境下JAVA进程高CPU占用故障排查---temp删除

摘要：问题描述：生产环境下的某台tomcat7服务器，在刚发布时的时候一切都很正常，在运行一段时间后就出现CPU占用很高的问题，基本上是负载一天比一天高。问题分析：1，程序属于CPU密集型，和开发沟通过，排除此类情况。2，程序代码有问题，出现死循环，可能性极大。问题解决：1，开发那边无法排查代码某个模块有阅读全文

posted @ 2015-04-01 23:01 duanxz 阅读(887) 评论(0) 推荐(0)

RESTLET开发实例（三）基于spring的REST服务

摘要： http://www.lifeba.org/arch/restlet_spring_3.html http://www.lifeba.org/arch/restlet_spring_3.html 前面两篇文章，我们介绍了基于JAX-RS的REST服务以及Application的Rest服务。这里将介阅读全文

posted @ 2015-04-01 22:10 duanxz 阅读(1409) 评论(0) 推荐(0)