摘要： Golang中存在一个Sync.Pool 对象，从名字上看像是对象池，但他本质上和实际上的对象池有着很大的区别，下面将详细介绍该对象。 Sync.Pool对象可伸缩、并发安全； 数据结构 sync.Pool对外暴露Get、Put、New三个方法，Get返回Pool中的对象，当没有取得到对象时调用Ne 阅读全文

摘要： Go中存在着不少内置函数，此类函数并不需要引入相关Package就可以直接使用该类函数。在Go的源码builtin包的builtin.go中定义Go所有的内置函数；但该文件仅仅是定义描述出了所有内置函数，并不包含函数的任何实现代码，该文件除了定义了内置函数还定义了部分内置类型； 内置函数使用 len 阅读全文

摘要： Golang中内置了对单元测试的支持，不需要像Java一样引入第三方Jar才能进行测试，下面将分别介绍Golang所支持的几种测试； 一、测试类型 Golang中单元测试有功能测试、基准测试、示例测试或称示例函数三种； 功能测试必须以TestXXX函数名出现，基准测试必须以BenchmarkXXX函 阅读全文

摘要：   Spark Streaming对实时数据流进行分析处理，源源不断的从数据源接收数据切割成一个个时间间隔进行处理；    流处理与批处理有明显区别，批处理中的数据有明显的边界、数据规模已知；而流处理数据流并没有边界，也未知数据规模；    阅读全文

摘要： 一、类型方法的实例成员复制与类型方法的实例成员引用   在Go中可以类似Java等面向对象语言一定为某个对象定义方法，但是Go中并没有类的存在，可以不严格的将Go中的struct类型理解为面向对象中的类； type demoObject struct { id int } &em 阅读全文

摘要：   重复造轮子，这里使用重新打包生成一个基于Docker的Hadoop镜像；   Hadoop集群依赖的软件分别为：jdk、ssh等，所以只要这两项还有Hadoop相关打包进镜像中去即可； 配置文件准备 1、Hadoop相关配置文件：core site.xml 阅读全文

摘要：   Kafka的消息模型为发布订阅模型，消息生产者将消息发布到主题（topic）中，一个或多个消费者订阅（消费）该主题消息并消费，此模型中发布到topic中的消息会被所有消费者所订阅到，先介绍Kafka消费模型，然后再通过KafkaConsumer原来了解它的业务流程，源码基于k 阅读全文

摘要： 在Python中使用Numpy创建向量： x = np.array([1, 2, 3, 4]) 创建3 x 3矩阵 B = np.array([[1, 2],[3, 4],[5, 6]]) Shape形状，也可称为维度，表示矩阵中每个维度的具体数值; B.shape 3 x 2 转置 行向量可转置为 阅读全文

摘要： 简单介绍下python的几个自动求导工具，tangent、autograd、sympy； 在各种机器学习、深度学习框架中都包含了自动微分，微分主要有这么四种： 手动微分法、数值微分法、符号微分法、自动微分法 ，这里分别简单走马观花（hello world式）的介绍下下面几种微分框架； sympy 强 阅读全文

摘要： 反向传播四公式： 反向传播的最终目的是求得使代价C最小时w、b的最佳值，为了方便计算引入了神经单元误差δ_j^l，其定义为误差C关于某个神经单元z的关系； 其定义如上所示，某神经元误差为代价C（总误差）关于z的偏导数，其中l为神经网络的层数，j为第几个神经元； 这里的代价函数（损失函数）使用的是平方 阅读全文