摘要： 上篇文章介绍了最小二乘法的理论与证明、计算过程，这里给出两个最小二乘法的计算程序代码； Octave代码 clear all;close all; % 拟合的数据集 x = [2;6;9;13]; y = [4;8;12;21]; % 数据长度 N = length(x); % 3 %% 计算x平均 阅读全文

摘要： 相信学过数理统计的都学过 线性回归（linear regression） ，本篇文章详细将讲解 单变量线性回归 并写出使用 最小二乘法（least squares method） 来求线性回归损失函数最优解的完整过程，首先推导出最小二乘法，后用最小二乘法对一个简单数据集进行 线性回归拟合 ； 线性回 阅读全文

摘要： 本篇文章就要根据源码分析 SparkContext 所做的一些事情，用过Spark的开发者都知道SparkContext是编写Spark程序用到的第一个类，足以说明SparkContext的重要性；这里先摘抄SparkContext源码注释来 简单介绍介绍SparkContext，注释的第一句话就是 阅读全文

摘要： 接上篇文章，在已经部署好Kubernetes的基础上部署kubernetes dashboard，它是官方提供的用户管理Kubernets集群可视化工具；部署dashboard其实和在kubernets部署其他的应用一样，创建dashboard所需的Replication Controller、Se 阅读全文

摘要： Kubernetes为Google开源的容器管理框架，提供了 Docker容器的夸主机、集群管理、容器部署、高可用、弹性伸缩 等一系列功能；Kubernetes的设计目标包括使容器集群任意时刻都处于用户期望的状态，因而建立了一整套集群管理机制：容器自动重启、自动备份、容器自动伸缩等；Kubernet 阅读全文

摘要： Akka可能很多人都没有用过，也不知道是什么，但如果说起Scala或Spark就有很多人都听说过或使用过 ，这里简单说下三者的关系Akka是使用Scala开发的，Spark中使用了Akka作为其消息的通信工具；这篇文章主要 说说Akka的一些特性，做个简要的介绍； 要说Akka首先要从 并发 开始说 阅读全文

摘要： 敝人也算车联网行业从业者，做了两年这行业的开发者；今天主要谈谈国内车联网的现状还有我的一些愚见；近两三年车联网不管是在国内还是在国外都非常火，除了传统汽车厂商外各大科技巨头都开始介绍这个行业如Google、Apple、Facebook、三星、微软、百度、阿里、腾讯等等；车联网行业里还细分为： 汽车+ 阅读全文

摘要： 矩阵为线性代数中的重点，而矩阵运算就是矩阵的基础，这篇文章主要是回顾矩阵运算； 矩阵基本运算：加法、减法、数乘、乘法、转置等 矩阵加法 矩阵加法规则为每个矩阵对应的元素相加，当且仅当两个矩阵具有相同的维数矩阵加法才有定义； 1、加法规则 示例 矩阵减法 矩阵减法规则与矩阵加法相同也是对应元素上的数做 阅读全文

摘要： Spark作为分布式的大数据处理框架必然或涉及到大量的作业调度，如果能够理解Spark中的调度对我们编写或优化Spark程序都是有很大帮助的； 在Spark中存在 转换操作（Transformation Operation） 与 行动操作(Action Operation) 两种；而转换操作只是会从 阅读全文

摘要： Spark执行不少操作时都依赖于 闭包函数 的调用，此时如果闭包函数使用到了外部变量驱动程序在使用行动操作时传递到集群中各worker节点任务时就会进行一系列操作： 1、驱动程序使将闭包中使用变量封装成对象，驱动程序序列化对象，传给worker节点任务； 2、worker节点任务接收到对象，执行闭包 阅读全文