2014年11月19日
摘要: 是时候把去年早期MapReduce调优工作的结果放出来了,丢在Google Doc里太长时间,都落了一身的灰 Benchmark: 对1G数据做wordcount部分内容:*********************************硬件级别提高磁盘IO的性能noatime 我为两台slaves... 阅读全文
posted @ 2014-11-19 11:23 船长 阅读(237) 评论(0) 推荐(0)
摘要: Shuffle过程是MapReduce的核心,也被称为奇迹发生的地方。要想理解MapReduce, Shuffle是必须要了解的。我看过很多相关的资料,但每次看完都云里雾里的绕着,很难理清大致的逻辑,反而越搅越混。前段时间在做MapReduce job 性能调优的工作,需要深入代码研究MapRed... 阅读全文
posted @ 2014-11-19 11:17 船长 阅读(112) 评论(0) 推荐(0)
摘要: 接上篇。 前面两篇讲解了神经网络就是一个黑箱,里面有一个一个的小圆球(神经元)连接而成,通过改变神经元的连接方式及各个参数,就可以实现一个符合要求的神经网络。接下来我们来举一个BP神经网络的例子,以加深理解。 在讲解这个例子之前,大概说一下一个神经网络解决问题的思路: 1.对要解决的问题进行理... 阅读全文
posted @ 2014-11-19 10:24 船长 阅读(655) 评论(1) 推荐(1)
摘要: 继续上篇来写。为了使这个神经网络满足我们需要,我们能够改变的东西有:(0)输入输出的格式和质量(1)各个神经元的权重值W(2)偏置bias,这个改变从广义上说,也算是改变权重W0(3)激活函数(4)神经网络层数(5)每一层神经元个数(6)神经网络的结构那么问题又来了,这些参数怎么改变呢?我们一部分一... 阅读全文
posted @ 2014-11-19 10:24 船长 阅读(738) 评论(0) 推荐(0)
摘要: 关于数据结构与算法讲解的书籍很多,但是用python语言去实现的不是很多,最近有幸看到一本这样的书籍,由Brad Miller and David Ranum编写的《Problem Solving with Algorithms and Data Structures Using Python》,... 阅读全文
posted @ 2014-11-19 10:24 船长 阅读(296) 评论(0) 推荐(0)