01 什么是爬行动物？

网络爬虫（在 FOAF 社区中有时也称为网络蜘蛛、网络机器人或网络追逐者）是一种按照一定规则手动从万维网上抓取信息的程序或脚本。 其他不太常用的名称包括 ant、autoindex、emulator 或 worm。

网络爬虫通过抓取互联网上网络服务器的内容来工作。 它是用计算机语言编写的程序或脚本，手动从互联网上获取信息或数据网络爬虫软件教程，扫描并抓取每个所需页面上的个体信息，直到处理完所有可以正常打开的页面。

作为搜索引擎的重要组成部分，爬虫的主要功能是抓取网页数据（如图2-1所示）。 目前市场上流行的采集器软件都是采用网络爬虫的原理或功能。

▲图2-1 网络爬虫象形图

02 爬行动物的含义

如今大数据时代已经到来，网络爬虫技术已经成为这个时代不可或缺的一部分。 企业需要数据来分析用户行为、自家产品的缺点以及竞争对手的信息。 所有这一切的首要条件是数据收集。

网络爬虫的价值可能就是数据的价值。 在互联网社会，数据是无价之宝，一切都是数据。 谁拥有大量有用数据，谁就拥有决策的主动权。 网络爬虫的应用领域很多，比如搜索引擎、数据采集、广告过滤、大数据分析等。

1）抓取各大电商网站的产品销售信息和用户评价进行分析，如图2-2所示。

▲图2-2 电商网站产品销售信息

2）分析大众点评、美团等餐饮网站的用户消费、评价及发展趋势，如图2-3所示。

▲图2-3 餐饮网站用户消费信息

3）分析各城市学区房的比例，学区房的价格比普通二手房高出多少，如图2-4所示。

▲图2-4 学区房比例及价格对比

以上数据是通过ForeSpider数据采集软件爬取出来的，有兴趣的读者可以尝试自己爬取一些数据。

03 爬虫原理

我们一般将网络爬虫的组成部分分为初始链接库、网络爬虫模块、网页处理模块、网页分析模块、DNS模块、待爬链接队列、网页库等。网络爬虫的各个模块可以是创建了一个循环系统，因此分析和爬取是不断进行的。

爬虫的工作原理可以简单地解释为首先找到目标信息网络，然后是页面爬行模块，然后是页面分析模块，最后是数据存储模块。 具体如图2-5所示。

▲图2-5 爬虫示意图

爬虫工作的基本流程：

首先在互联网中选择一部分网页，并将该网页的链接地址作为种子URL； 将此种子URL倒入待爬取URL队列中，爬虫会依次从待爬取URL队列中读取； URL通过DNS解析； 将链接地址转换为网站服务器对应的IP地址； 网页下载器通过网站服务器下载网页； 下载的网页为网页文档的形式； 提取网页文档中的URL； 网址； 继续抓取未抓取的URL，直到待抓取URL队列为空。 04 爬虫技术的类型

针对性网络爬虫是一种“面向特定主题需求”的爬虫程序，而通用网络爬虫是搜索引擎爬行系统（百度、谷歌、雅虎等）的重要组成部分，主要目的是收集网页下载到本地，生成互联网内容的镜像备份。

增量爬取是指爬取某个站点的数据。 当网站新增数据或网站数据发生变化时，手动抓取新增或变化的数据。

网页按照存在形式可以分为表层网页（surface Web）和深层网页（deep Web，俗称隐形网页或隐藏网页）。

关于爬虫技术类型的更详细解释网络爬虫软件教程，请点击解读4种爬虫技术。

作者简介：赵国胜，杭州师范大学院长，工学博士，硕士生导师，安徽省网络安全技术领域特殊人才。 主要从事可信网络、入侵容忍、认知估计、物联网安全等领域的教学和科研工作。

本文摘自《Python网络爬虫技术与实战》，经出版社授权。