调度器：相当于一台电脑的CPU，主要负责调度URL管理器、下载器、解析器之间的协调工作。URL管理器：包括待爬取的URL地址和已爬取的URL地址，防止重复抓取URL和循环抓取URL，实现URL管理器主要用三种方式，通过内存、数据库、缓存数据库来实现。网页下载器：通过传入一个URL地址来下载网页，将网页转换成一个字符串，网页下载器有urllib2（Python官方基础模块）包括需要登录、代理、和cookie，requests(第三方包)网页解析器：将一个网页字符串进行解析，可以按照我们的要求来提取出我们有用的信息，也可以根据DOM树的解析方式来解析。网页解析器有正则表达式（直观，将网页转成字符串通过模糊匹配的方式来提取有价值的信息，当文档比较复杂的时候，该方法提取数据的时候就会非常的困难）、html.parser（Python自带的）、beautifulsoup（第三方插件，可以使用Python自带的html.parser进行解析，也可以使用lxml进行解析，相对于其他几种来说要强大一些）、lxml（第三方插件，可以解析 xml 和 HTML），html.parser 和 beautifulsoup 以及 lxml 都是以 DOM 树的方式进行解析的。应用程序：就是从网页中提取的有用数据组成的一个应用。下面用一个图来解释一下调度器是如何协调工作的:。
运行流程.png1、调度器询问URL管理器，是否有待爬URL？URL管理器返回是/否；2、如果是，调度器会从URL管理器中取出一个待爬URL；3、调度器将URL传给下载器，下载网页内容后返回给调度器；4、调度器再将返回的网页内容发送到解析器，解析URL内容，解析完成后返回有价值的数据和新的URL；5、一方面，调度器将数据传递给应用进行数据的收集；另一方面，会将新的URL补充进URL管理器，若有URL管理器中含有新的URL，则重复上述步骤，直到爬取完所有的URL6、最后，调度器会调动应用的方法，将价值数据输出到需要的格式。
R/Python/MATLAB(必备)：如果是做数据分析和模型开发，以我的观察来看，使用这三种工具的最多。R生来就是一个统计学家开发的软件，所做的事也自然围绕统计学展开。MATLAB虽然算不上是个专业的数据分析工具，但因为很多人不是专业做数据的，做数据还是为了自己的domain expertise(特别是科学计算、信号处理等)，而MATLAB又是个强大无比的Domain expertise工具，所以很多人也就顺带让MATLAB也承担了数据处理的工作，虽然它有时候显得效率不高。Python虽然不是做数据分析的专业软件，但作为一个面向对象的高级动态语言，其开源的生态使Python拥有无比丰富的库，Numpy, Scipy 实现了矩阵运算/科学计算，相当于实现了MATLAB的功能，Pandas又使Python能够像R一样处理dataframe，scikit-learn又实现了机器学习。
def GetHtmlContext(url):try:f = request.urlopen(url)data = f.readreturn data’如果链接对应的内容不存在，返回0’except:return 0获得源码后就可以使用BS4对网页标签进行解析了，上面已经给出了想要获得信息的界面结构，因此可以轻易地完成解析：
学会Python的他，很快就提升了自己的数据分析能力。不仅重新找回自信，还凭借Python资料爬取、数据分析的技能，得到导师的青睐，还提前拿到了国际知名企业的offer。
以上就是Python数据分析完整的学习路径，这个框架看其实是有一些庞大的，牛逼的事情看起来不都这样嘛（滑稽脸）。
