爬虫总调度程序会使用 url 管理器、 html 下载器、解析器、输出器；简单爬虫架构：爬虫调度端，监视运行情况，URL管理器（待、已爬）->网页下载器（下载URL指定的，保存成字符串）->网页解析器（一方面抓取有价值数据，一方面补充进URL管理器中新的URL）。
环路影响消耗网络带宽，无法获取其他页面对 Web 服务器也是负担，可能击垮该站点，可能阻止正常用户访问该站点即使没有性能影响，但获取大量重复页面也导致数据冗余解决方案1. 简单限定爬虫的最大循环次数，对于某 web 站点访问超过一定阈值就跳出，避免无限循环2. 保存一个已访问 url 列表，记录页面是否被访问过的技术二叉树和散列表，快速判定某个 url 是否访问过存在位图 就是 new int[length]，然后把第几个数置为1，表示已经访问过了。可不可以再优化，int 是32位，32位可以表示32个数字。HashCode 会存在冲突的情况，两个 url 映射到同一个存在位上，冲突的后果是某个页面被忽略（这比死循环的恶作用小）保存检查 一定要即使把已访问的 url 列表保存在硬盘上，防止爬虫崩溃，内存里的数据会丢失集群 多台机器一起爬虫，可以根据 url 计算 hashcode，然后根据 hashcode 映射到相应机器的 id （第0台、第1台、第2台等等）难点2 别名有些 url 名称不一样，但是指向同一个资源。
爬虫要爬的数据，绝不仅仅是一个网页那么简单，有时候我们需要爬的是整个网站的数据，如果我们一个一个网页来获取url，那效率肯定太低了。所以在写爬虫程序之前，需要先知道url地址的规律，这样子才可以构造url列表，再从url列表中去url去爬我们需要的数据。
优雅简洁的URL解析式是衡量高品质网站的重要标准。Django鼓励使用漂亮的URL设计。 使用这些优美的URL，只需要建立URL和Python回调函数简单的映射关系。
-08-25Python3.2编写的网络爬虫。 有两个文件： hotel.txt为上海地区所有酒店的url； 爬虫3.py是爬虫脚本，依次读取hotel中的每行url，将评分信息存放到本地。
显而易见，网络爬虫的基本操作就是住区网页。网页地址就是一个叫URL的东西，那么我们就要简单的处理一下URL。
网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止。另外，所有被爬虫抓取的网页将会被系统存贮，进行一定的分析、过滤，并建立索引，以便之后的查询和检索；对于聚焦爬虫来说，这一过程所得到的分析结果还可能对以后的抓取过程给出反馈和指导。
款可用来抓数据的开源爬虫软件工具网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽。
代码实现(二): 用Python简单处理URL如果要抓取百度上面搜索关键词为Jecvay Notes的网页, 则代码如下。
网络爬虫(又被称为网页蜘蛛，网络机器人)，是一种按照一定的规则，自动的抓取万维网信息的程序或者脚本，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。
从爬虫队列中拿到一个URL这里的逻辑非常简单，从mysql中获取一个状态为未爬的网页即可，但是由于我们需要爬的网址非常的多，肯定要用到多线程，因此需要考虑异步的情况：
