你懂Scrapy吗？Scrapy大型爬虫框架讲解【一】

作者：蚍蜉撼大树

这是Scrapy爬虫框架的第一篇，本系列专题将包含以下内容：

1. 介绍Scrapy框架的主体以及各个组件的意义；

2. 举实例讲解其具体应用。

开始第一节： 介绍Scrapy框架的主体以及各个组件的意义。

Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。

其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的， 也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。

安装Scrapy需要一些依赖：

• Python

• Python Package: pip and setuptools. 现在 pip 依赖 setuptools ，如果未安装，则会自动安装setuptools 。

• lxml. 大多数Linux发行版自带了lxml。如果缺失，请查看 Installing lxml

• OpenSSL. 除了Windows(请查看 平台安装指南)之外的系统都已经提供。

当安装好这些依赖之后，只需要运行pip install Scrapy，即可安装完Scrapy。

然后运行：

				scrapy
				startproject tutorial
			

即可自动创建官方标准的代码目录。

				tutorial/
				scrapy.cfg
				tutorial/
				__init__.
				py
				items
				.
				py
				pipelines.
				py
				settings.
				py
				spiders/
				__init__.
				py
				...
			

其中：

• tutorial/: 该项目的python总模块。
• tutorial/items.py: 项目中的item文件，编写爬取的字段名称等；
• tutorial/pipelines.py: 项目中的pipelines文件；
• tutorial/settings.py: 项目的设置文件，较为重要；
• tutorial/spiders/: 放置spider代码的主目录；

Scrapy整体架构神图：

Scrapy中的数据流由执行引擎控制，其过程如下:

1. 引擎打开一个网站(open a domain)，找到处理该网站的Spider并向该spider请求第一个要爬取的URL(s)。
2. 引擎从Spider中获取到第一个要爬取的URL并在调度器(Scheduler)以Request调度。
3. 引擎向调度器请求下一个要爬取的URL。
4. 调度器返回下一个要爬取的URL给引擎，引擎将URL通过下载中间件(请求(request)方向)转发给下载器(Downloader)。
5. 一旦页面下载完毕，下载器生成一个该页面的Response，并将其通过下载中间件(返回(response)方向)发送给引擎。
6. 引擎从下载器中接收到Response并通过Spider中间件(输入方向)发送给Spider处理。
7. Spider处理Response并返回爬取到的Item及(跟进的)新的Request给引擎。
8. 引擎将(Spider返回的)爬取到的Item给Item Pipeline，将(Spider返回的)Request给调度器。
9. (从第二步)重复直到调度器中没有更多地request，引擎关闭该网站。

以上是老生常谈，下面谈一些经验：

1. 如果需要大批量分布式爬取，建议采用Redis数据库存储，可安装scrapy-redis，使用redis数据库来替换scrapy原本使用的队列结构（deque），并配合其它数据库存储，例如MySQL或者MongoDB，爬取效率将会极大提高。并且其自带的dupefilter.py负责执行requst的去重，使用redis的set数据结构，通过settings文件正确设置后，即便停止scrapy爬虫，当下次重新开始后也能自动去重。原因就是在redis已经存储了request的信息。
2. 当涉及到代理IP，Headers头中间请求信息处理的时候，可以通过中间件Middleware来实现。Spider中间件是介入到Scrapy的spider处理机制的钩子框架，可以添加代码来处理发送给 Spiders的response及spider产生的item和request。
3. 合理设置settings文件，需要熟练掌握 settings 的各种设置。
4. 可以重新定义def start_requests(self)函数来加载cookie信息，form信息的提交用scrapy.FormRequest以及scrapy.FormRequest.from_response这两个函数，scrapy.FormRequest.from_response能实现自动提交form数据。
5. 采用Scrapy+phantomJS，。 downloadMiddleware 对从 scheduler 送来的 Request 对象在请求之前进行预处理，可以实现添加 headers， user_agent，还有 cookie 等功能 。但也可以通过中间件直接返回 HtmlResponse 对象，略过请求的模块，直接扔给 response 的回调函数处理。

				
					class
					CustomMetaMiddleware
					(object)
					:
				
				
					def
					process_request
					(self,request,spider)
					:
				
				dcap = dict(DesiredCapabilities.PHANTOMJS)
				dcap[
				"phantomjs.page.settings.loadImages"
				] =
				False
				dcap[
				"phantomjs.page.settings.resourceTimeout"
				] =
				10
				driver = webdriver.PhantomJS(
				"D:xx\xx"
				,desired_capabilities=dcap)
				driver.get(request.url)
				body = driver.page_source.encode(
				'utf8'
				)
				url = driver.current_url
				driver.quit()
				return
				HtmlResponse(request.url,body=body)
			

综上，是对Scrapy的各个组件一些个人的经验总结。

via：知乎

End.

转载请注明来自36大数据（36dsj.com)： 36大数据 » 你懂Scrapy吗？Scrapy大型爬虫框架讲解【一】