爬虫对电脑配置有要求吗
爬虫软件需要的电脑配置，取决于爬虫使用者期望爬虫程序完成的任务 scope 和爬取网站的嵌套层次深度。
所谓爬虫，就是指编程人员开发出的一种模拟终端用户访问指定网页资源并进行持久化的程序。
爬虫程序需要爬取的网站列表规模越大，需要解析的网页嵌套层次越深，意味着爬虫工作量越大。
这种情况下，配置越好，CPU 计算能力越高的电脑，执行爬虫程序的效率就越高。
学习爬虫对电脑有什么要求
现在电脑的各种配置均可以用来学习python，老的赛扬、奔腾4 256 m 内存或者512内存即可，20g以上硬盘。 一般来说能跑动winxp或者linux 就可以。 最简单的是使用树莓派。 学习不在于硬件环境，而在于你的求知欲。 不要打着学习的旗号卖台电脑游戏机。 谢谢
Windows电脑可以实现分布式爬虫吗
分布式爬虫听起来很牛，但是scrapy的redis组件可以非常简单的实现这个功能。只要各个服务器能够相互访问，就可以轻易的搭建一个分布式爬虫。有一定基础的可以看下scrapy——redis源码。核心在于用redis做了个共享任务队列，确保各个机器之间同时爬取且任务不同。
网络爬虫可以分为分布式爬虫、JAVA爬虫以及非JAVA爬虫如scrapy。分布式爬虫就是将多台主机组合起来，共同完成一个爬取任务。很多人会使用分布式爬虫因为这将大大提高爬取的效率。下面我们来看看这类爬虫有什么特点。
什么是分布式爬虫？用大白话来说就是：我部署了多个爬虫模块，这几个模块可以一起来爬虫。从上面架构图的分析，只需要将Scheduler模块基于redis实现，那么所有的模块的spider只需要从redis获取URL，然后爬到新的子URL时也放入redis中，此时我们的架构已经是支持分布式爬虫了。
现在比较流行的分布式爬虫，是Apache的Nutch。但是对于大多数用户来说，Nutch是这几类爬虫里，最不好的选择，理由如下：
1、Nutch依赖hadoop运行，hadoop本身会消耗很多的时间。如果集群机器数量较少，爬取速度反而不如单机爬虫快。
2、Nutch是为搜索引擎设计的爬虫，大多数用户是需要一个做精准数据爬取(精抽取)的爬虫。Nutch运行的一套流程里，有三分之二是为了搜索引擎而设计的，对精抽取没有太大的意义。也就是说，用Nutch做数据抽取，会浪费很多的时间在不必要的计算上。而且如果你试图通过对Nutch进行二次开发，来使得它适用于精抽取的业务，基本上就要破坏Nutch的框架，把Nutch改的面目全非，有修改Nutch的能力，真的不如自己重新写一个分布式爬虫框架了。
3、用Nutch进行爬虫的二次开发，爬虫的编写和调试所需的时间，往往是单机爬虫所需的十倍时间不止。了解Nutch源码的学习成本很高，而且调试过程中会出现除程序本身之外的各种问题。
所以，如果你不是要做搜索引擎，尽量不要选择Nutch作为爬虫。爬虫需要使用代理IP，能够有效的防止IP被禁止访问的情况。神龙HTTP代理独享IP池，适合各类爬虫项目。
