duanxz - 博客园

2015年5月1日

摘要：一、Explain 示例二、结果列详细说明 2.1、id 列 2.2、select_type 列 2.3、table 列 2.4、type 列(从最好到最差依次是：null > system > const > eq_ref > ref > range > index > All ) 2.4.0、阅读全文

posted @ 2015-05-01 13:11 duanxz 阅读(10380) 评论(0) 推荐(0)

2015年4月30日

linux time命令参数--执行命令并计时

摘要：【命令】time — 执行命令并计时【格式】time [-p] command [arguments...] 【说明】执行命令行"command [arguments...]"，命令行执行结束时在标准输出中打印执行该命令行的时间统计结果，其统计结果包含以下数据： 1)实际时间(real time 阅读全文

posted @ 2015-04-30 17:08 duanxz 阅读(6343) 评论(0) 推荐(1)

linux防火墙启动、停止、查看

摘要：停止防火墙 service iptables stop 启动防火墙 service iptables start 查看防火墙配置 iptables -L -n 修改的内容只是暂时保存在内存中，如果重启后还要生效，则要保存一下 service iptables save ubuntu怎么关防火墙 ub 阅读全文

posted @ 2015-04-30 15:33 duanxz 阅读(709) 评论(0) 推荐(0)

2015年4月29日

mycat分布式mysql中间件（数据库切分概述）[转]

摘要： mysql数据库切分前言通过MySQLReplication功能所实现的扩展总是会受到数据库大小的限制，一旦数据库过于庞大，尤其是当写入过于频繁，很难由一台主机支撑的时候，我们还是会面临到扩展瓶颈。这时候，我们就必须许找其他技术手段来解决这个瓶颈，那就是我们这一章所要介绍恶的数据切分技术。阅读全文

posted @ 2015-04-29 14:32 duanxz 阅读(986) 评论(0) 推荐(0)

2015年4月28日

单服务器最大tcp连接数及调优汇总

摘要：启动线程数：启动线程数=【任务执行时间/（任务执行时间-IO等待时间）】*CPU内核数最佳启动线程数和CPU内核数量成正比，和IO阻塞时间成反比。如果任务都是CPU计算型任务，那么线程数最多不超过CPU内核数，因为启动再多线程，CPU也来不及调度；相反如果是任务需要等待磁盘操作，网络响应，那么多阅读全文

posted @ 2015-04-28 22:00 duanxz 阅读(45175) 评论(0) 推荐(3)

架构方法论

摘要：我们通常定义架构有几个层次，这包括业务架构、产品架构、应用架构和技术架构。 1.业务架构：描述一个企业围绕一个行业做了哪些业务，例如支付行业的收单、退款、出款、充转提等能力，这与公司对外和对内定义的产品无关。 2.产品架构：描述对外和对内定义的可销售的产品，例如微信的条码支付、扫码支付、公众号支付等阅读全文

posted @ 2015-04-28 21:50 duanxz 阅读(3168) 评论(0) 推荐(0)

2015年4月26日

内部锁之一：锁介绍（偏向锁 & 轻量级锁 & 重量级锁 & 各自优缺点及场景）

摘要：一、内部锁介绍上篇文章《Synchronized之二：synchronized的实现原理》中向大家介绍了Synchronized原理及优化锁。现在我们应该知道，Synchronized是通过对象内部的一个叫做监视器锁（monitor）来实现的。但是监视器锁本质又是依赖于底层的操作系统的Mutex 阅读全文

posted @ 2015-04-26 20:52 duanxz 阅读(2781) 评论(0) 推荐(1)

Thread之八：interrupt中断

摘要： Java中断机制是一种协作机制，也就是说通过中断并不能直接终止另一个线程，它只是要求被中断线程在合适的时机中断自己，这需要被中断的线程自己处理中断。这好比是家里的父母叮嘱在外的子女要注意身体，但子女是否注意身体，怎么注意身体则完全取决于自己。认为Java设置线程中断就是表示线程停止了，不往前执行了阅读全文

posted @ 2015-04-26 10:23 duanxz 阅读(3275) 评论(0) 推荐(2)

2015年4月25日

mysql负载均衡方案

摘要： mysql负载均衡方案一、直接连接数据库的读写分离方案很多，这里介绍基于mysql数据库的读写分离方案。比较常见的读写分离方案如下: 1 基于查询分离最简单的分离方法是将读和写分发到主和从服务器上，这种策略很容易实现，但是仅限于一些能够容忍查询脏数据的操作。举个例子来说,用户写入了一条评论阅读全文

posted @ 2015-04-25 20:06 duanxz 阅读(1626) 评论(0) 推荐(0)

TreeMap源码解析

摘要： 1、TreeMap介绍 TreeMap是一个通过红黑树实现有序的key-value集合。 TreeMap继承AbstractMap，也即实现了Map，它是一个Map集合 TreeMap实现了NavigableMap接口，它支持一系列的导航方法， TreeMap实现了Cloneable接口，它可以被克阅读全文

posted @ 2015-04-25 10:31 duanxz 阅读(586) 评论(0) 推荐(0)

集合总体大纲

摘要：前言 Java集合是java提供的工具包，包含了常用的数据结构：集合、链表、队列、栈、数组、映射等。Java集合工具包位置是java.util.*Java集合主要可以划分为4个部分：List列表、Set集合、Map映射、工具类(Iterator迭代器、Enumeration枚举类、Arrays和Co 阅读全文

posted @ 2015-04-25 10:18 duanxz 阅读(469) 评论(0) 推荐(0)

spark api之一：Spark官方文档 - 中文翻译

摘要：转载请注明出处：http://chuna2.787528.xyz/BYRans/ 1 概述(Overview) 2 引入Spark(Linking with Spark) 3 初始化Spark(Initializing Spark) 3.1 使用Spark Shell(Using the Shell) 阅读全文

posted @ 2015-04-25 00:46 duanxz 阅读(2983) 评论(0) 推荐(0)

2015年4月24日

spark提交模式

摘要： spark基本的提交语句： ./bin/spark-submit \ --class <main-class> \ --master <master-url> \ --deploy-mode <deploy-mode> \ --conf <key>=<value>\ ... # other opti 阅读全文

posted @ 2015-04-24 21:54 duanxz 阅读(856) 评论(0) 推荐(0)

Linux上构建一个RADIUS服务器详解

摘要：作为一名网络管理员，您需要为您所需管理的每个网络设备存放用于管理的用户信息。但是网络设备通常只支持有限的用户管理功能。学习如何使用Linux上的一个外部RADIUS服务器来验证用户，具体来说是通过一个LDAP服务器进行验证，可以集中放置存储在LDAP服务器上并且由RADIUS服务器进行验证的用户信息... 阅读全文

posted @ 2015-04-24 10:40 duanxz 阅读(9130) 评论(0) 推荐(0)

2015年4月23日

分布式事务之：定期校对

摘要：现金和积分的组合支付场景中，需要同时保证现金和积分的支付结果同步。可以通过定期校对来完成。注意： 1、查询接口保证“可查询操作” 2、积分相关接口要求“幂等性” 冻结积分解冻积分操作积分（冻结后的确认）时序图：定时校对的时序图：阅读全文

posted @ 2015-04-23 08:55 duanxz 阅读(448) 评论(0) 推荐(0)

2015年4月18日

spark运行模式之二：Spark的Standalone模式安装部署

摘要： Spark运行模式 Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或阅读全文

posted @ 2015-04-18 23:28 duanxz 阅读(976) 评论(0) 推荐(0)

对象的强、软、弱和虚引用

摘要：本文介绍对象的强、软、弱和虚引用的概念、应用及其在UML中的表示。 1．对象的强、软、弱和虚引用在JDK 1.2以前的版本中，若一个对象不被任何变量引用，那么程序就无法再使用这个对象。也就是说，只有对象处于可触及（reachable）状态，程序才能使用它。从JDK 1.2版本开始，把对象的引用分为阅读全文

posted @ 2015-04-18 18:38 duanxz 阅读(822) 评论(0) 推荐(1)

spark运行模式之一：Spark的local模式安装部署

摘要： Spark运行模式 Spark 有很多种模式，最简单就是单机本地模式，还有单机伪分布式模式，复杂的则运行在集群中，目前能很好的运行在 Yarn和 Mesos 中，当然 Spark 还有自带的 Standalone 模式，对于大多数情况 Standalone 模式就足够了，如果企业已经有 Yarn 或阅读全文

posted @ 2015-04-18 18:05 duanxz 阅读(12296) 评论(0) 推荐(0)

Spark Tungsten in-heap / off-heap 内存管理机制--待整理

摘要：一：Tungsten中到底什么是Page？ 1. 在Spark其实不存在Page这个类的。Page是一种数据结构(类似于Stack，List等)，从OS层面上讲，Page代表了一个内存块，在Page里面可以存放数据，在OS中会存放很多不同的Page，当要获得数据的时候首先要定位具体是哪个Page中的阅读全文

posted @ 2015-04-18 18:04 duanxz 阅读(2183) 评论(0) 推荐(0)

2015年4月13日

sparkContext之一：sparkContext的初始化分析

摘要： Spark源码学习：sparkContext的初始化分析 spark可以运行在本地模式local下，可以运行在yarn和standalone模式下，但是本地程序是通过什么渠道和这些集群交互的呢？那就是sparkContext，他在spark生态系统中的作用不言而喻，绝对是最重要的，整体架构如图所示：阅读全文

posted @ 2015-04-13 21:10 duanxz 阅读(1304) 评论(0) 推荐(0)

2015年4月11日

mysql分区表之四：分区表性能

摘要：一，分区概念分区允许根据指定的规则，跨文件系统分配单个表的多个部分。表的不同部分在不同的位置被存储为单独的表。MySQL从5.1.3开始支持Partition。分区和手动分表对比 MySQL支持RANGE，LIST，HASH，KEY分区类型，其中以RANGE最为常用： Range（范围）–这种阅读全文

posted @ 2015-04-11 18:11 duanxz 阅读(1844) 评论(0) 推荐(0)

服务的升级和降级

摘要： 1.开关先讲一下开关的由来，例如京东在6月18日做店庆促销活动，在交易下单环节，可能需要调用A、B、C三个接口来完成，但是其实A和B是必须的，C只是附加的功能（例如在下单的时候做一下推荐），可有可无，在平时系统没有压力，容量充足的情况下，调用下没问题，但是在类似店庆之类的大促环节，系统已经满负荷了阅读全文

posted @ 2015-04-11 17:24 duanxz 阅读(3768) 评论(0) 推荐(0)

2015年4月9日

怎样编写高质量的 Java 代码

摘要：代码质量概述怎样辨别一个项目代码写得好还是坏？优秀的代码和腐化的代码区别在哪里？怎么让自己写的代码既漂亮又有生命力？接下来将对代码质量的问题进行一些粗略的介绍。也请有过代码质量相关经验的朋友提出宝贵的意见。代码质量所涉及的5个方面，编码标准、代码重复、代码覆盖率、依赖项分析、复杂度分析。这5方面阅读全文

posted @ 2015-04-09 23:19 duanxz 阅读(903) 评论(0) 推荐(0)

cglib简介与callback解析

摘要：简介 cglib是一套java动态代理实现框架，cglib被应用到spring app,hibernate等高级业务框架，spring事务在业务实现类未实现接口的情况下也会使用该技术。实际上，cglib基于继承实现，这也就意味着final,private相关的method无法被代理（在《Sprin 阅读全文

posted @ 2015-04-09 18:06 duanxz 阅读(4160) 评论(0) 推荐(1)

Spark Streaming之六：Transformations 普通的转换操作

摘要：与RDD类似，DStream也提供了自己的一系列操作方法，这些操作可以分成四类： Transformations 普通的转换操作 Window Operations 窗口转换操作 Join Operations 合并操作 Output Operations 输出操作 2.2.3.1 普通的转换操作阅读全文

posted @ 2015-04-09 17:04 duanxz 阅读(1122) 评论(0) 推荐(0)