JackYang - 博客园

2014年9月18日

摘要： 1. 简介微服务架构在不断发展。它带来了很多好处，尤其是相对于过时的单体架构。另一方面，使用微服务开发项目时存在多种挑战。最重要的问题之一是数据库设计。在数据设计方面，有两个关键问题。如何组织数据以及在哪里存储数据？在本教程中，我们将尝试回答它们。 2. 每个服务的数据库使用微服务体系结构时，阅读全文

posted @ 2014-09-18 14:33 JackYang 阅读(3318) 评论(0) 推荐(0)

Apache Hadoop HDFS 架构

摘要： HDFS(Hadoop Distributed File System)是Hadoop核心组成之一，是分布式计算中数据存储管理的基础，被设计成适合运行在通用硬件上的分布式文件系统。是一个块结构的文件系统，其中每个文件被划分为预定大小的块。这些块存储在一台或多台计算机的集群中。 HDFS可以部署在支持阅读全文

posted @ 2014-09-18 14:17 JackYang 阅读(2767) 评论(0) 推荐(0)

Spark源代码分析——谈RDD和依赖关系

摘要：我们知道RDD在Spark中是一个特别重要的概念。可以说，Spark的所有逻辑都需要依赖RDD。在本文中，我们简要讨论了Spark中的RDD。Spark中RDD的定义如下： abstract class RDD[T: ClassTag]( @transient private var _sc: Sp 阅读全文

posted @ 2014-09-18 13:51 JackYang 阅读(3304) 评论(0) 推荐(0)

Spark 高级：RDD 使用

摘要： Spark 提供了数据的核心抽象，称为弹性分布式数据集（RDD）。此数据集的全部或部分可以缓存在内存中，并在多次计算期间重复使用。RDD实际上是一个分布在多个节点上的数据集。 RDD的主要特点如下： RDD是不可变的，但它可以转换为新的RDD进行操作。 RDD 已分区。RDD 由许多分区组成，每个阅读全文

posted @ 2014-09-18 13:31 JackYang 阅读(3729) 评论(0) 推荐(0)

什么是Apache Spark

摘要： Apache Spark 是一个闪电般的开源数据处理引擎，用于机器学习和人工智能应用程序，由最大的大数据开源社区提供支持。什么是Apache Spark？ Apache Spark（Spark）是一个用于大型数据集的开源数据处理引擎。它旨在提供大数据所需的计算速度、可扩展性和可编程性，特别是流数据阅读全文

posted @ 2014-09-18 11:42 JackYang 阅读(3130) 评论(0) 推荐(0)

Apache Spark 源代码分析之主节点和工作节点间协作流程

摘要：摘要 Spark 是一个高效的分布式计算框架，但想要更深入地学习它，就需要分析 Spark 的源代码，这不仅可以帮助更好地了解 Spark 的工作过程，还可以提高集群的故障排除能力。本文主要关注Spark Master的启动过程和Worker的启动过程。 Master Start 我们通过启动脚本阅读全文

posted @ 2014-09-18 11:36 JackYang 阅读(1525) 评论(0) 推荐(0)

2014年9月11日

Android_adb详解

摘要： adb定义：adb（android debug bridge）是android系统中的一种命令行工具，通过它可以和android设备或模拟器通信。 adb工具位置： <path-to-sdk>/tools/adb adb源码位置： <path-to-sourcecode>/system/core/a 阅读全文

posted @ 2014-09-11 15:13 JackYang 阅读(3074) 评论(0) 推荐(0)

2014年9月2日

详解Android AM命令

摘要：１.简介在Android中，我们除了从界面上启动程序之外，还可以从命令行启动程序，如使用命令行工具am. am全称activity manager，是Android下非常实用命令，其代码在frameworks\base\cmds\am\src\com\android\commands\am 命令窗阅读全文

posted @ 2014-09-02 16:07 JackYang 阅读(5803) 评论(0) 推荐(0)

事件风暴

摘要：本文译自事件风暴提出编写文件：http://ziobrando.blogspot.com/2013/11/introducing-event-storming.html 免责声明：这是关于 EventStorming 的开创性文章。这是一切开始的地方，所以我认为保留原件是相关的。同时，自从我写这篇阅读全文

posted @ 2014-09-02 15:34 JackYang 阅读(3165) 评论(0) 推荐(0)

RSYNC--数据迁移、备份

摘要：前言一台Solaris主机要下线了，准备将数据迁移至一台AIX主机上，可是在Solaris主机上有一个文件系统有1200万个小文件，因为是跨平台的数据迁移，采用磁盘底层复制无法进行，采用数据备份恢复需要40个小时以上，通过查阅资料，自己搭建测试环境实践，发现rsync软件可以满足数据迁移的需求。阅读全文

posted @ 2014-09-02 15:34 JackYang 阅读(4099) 评论(0) 推荐(0)