2018年1月22日
集群和分布式的区别？
摘要： 一、简单说明 分布式：一个业务分拆多个子业务，部署在不同的服务器上集群：同一个业务，部署在多个服务器上 由于了解不是很深，就先简单说明一下，我们可以举个例子来说明一下： 小饭店原来只有一个厨师，切菜洗菜备料炒菜全干。后来客人多了，厨房一个厨师忙不过来，又请了个厨师，两个厨师都能炒一样的菜，这两个厨师 阅读全文
posted @ 2018-01-22 20:23 海燕。 阅读(6542) 评论(0) 推荐(1)
asynicio模块以及爬虫应用asynicio模块(高性能爬虫)
摘要： 一、背景知识 爬虫的本质就是一个socket客户端与服务端的通信过程，如果我们有多个url待爬取，只用一个线程且采用串行的方式执行，那只能等待爬取一个结束后才能继续下一个，效率会非常低。 需要强调的是：对于单线程下串行N个任务，并不完全等同于低效，如果这N个任务都是纯计算的任务，那么该线程对cpu的 阅读全文
posted @ 2018-01-22 19:20 海燕。 阅读(1526) 评论(0) 推荐(0)