Scrapy爬取美女图片

36大数据 • 8年前扫码分享

我是创始人李岩：很抱歉！给自己产品做个广告，点击进来看看。

作者：七夜的故事

有半个月没有更新了，最近确实有点忙。先是华为的比赛，接着实验室又有项目，然后又学习了一些新的知识，所以没有更新文章。为了表达我的歉意，我给大家来一波福利。。。

今天咱们说的是爬虫框架。之前我使用python爬取慕课网的视频，是根据爬虫的机制，自己手工定制的，感觉没有那么高大上，所以我最近玩了玩 python中强大的爬虫框架Scrapy。

Scrapy是一个用 Python 写的 Crawler Framework ，简单轻巧，并且非常方便。Scrapy 使用 Twisted 这个异步网络库来处理网络通讯，架构清晰，并且包含了各种中间件接口，可以灵活的完成各种需求。整体架构如下图所示：

绿线是数据流向，首先从初始 URL 开始，Scheduler 会将其交给 Downloader 进行下载，下载之后会交给 Spider 进行分析，Spider 分析出来的结果有两种：一种是需要进一步抓取的链接，例如之前分析的“下一页”的链接，这些东西会被传回 Scheduler ;另一种是需要保存的数据，它们则被送到 Item Pipeline 那里，那是对数据进行后期处理(详细分析、过滤、存储等)的地方。另外，在数据流动的通道里还可以安装各种中间件，进行必要的处理。

简要介绍了Scrapy的工作流程，咱们开始直奔主题，使用Scrapy爬取美女图片。

大家注意今天不是讲Scrapy基础教程，咱们在之后的七夜音乐台开发的时候会讲解。所以咱们今天直接上手。

以煎蛋网(http://jandan.net)为例:

咱们来到煎蛋网首页，其中有一个栏目是妹子，今天的目标就是它。