爬虫入门

作者：大虫一、内容分析 接下来创建一个爬虫项目，以 图虫网 为例抓取里面的图片。在顶部菜单“发现” “标签”里面是对各种图片的分类，点击一个标签，比如“美女”，网页的链接为： https://tuchong.com/tags/美女/ ，我们以此作为爬虫入口，分析一下该页面： 打开页面后出现

基础知识HTTP协议我们浏览网页的浏览器和手机应用客户端与服务器通信几乎都是基于HTTP协议，而爬虫可以看作是一个另类的客户端，它把自己伪装成浏览器或者手机应用客户端，按照自己的逻辑贪婪的向服务器索取数据，如何向服务器索取数据，所以了解HTTP协议就显得很有必要了。HTTP协议中文名称是超文本传输协议，是一个基于请求与

一、一些常见的限制方式上述都是讲的都是一些的基础的知识，现在我就列一些比较常见的限制方式，如何突破这些限制这些抓取数据：Basic Auth 一般会有用户授权的限制，会在headers的Autheration字段里要求加入；Referer通常是在访问链接时，必须要带上Referer字段，服务器会进行验证，例如抓取京东的

上篇我分享了爬虫入门中的＂我们的目的是什么＂、＂内容从何而来＂、＂了解网络请求＂这三部分的内容，这一篇我继续分享以下内容： 一些常见的限制方式尝试解决问题的思路效率问题的取舍一、一些常见的限制方式上述都是讲的都是一些的基础的知识，现在我就列一些比较常见的限制方式，如何突破这些限制这些抓取数据：Basic Auth 一般

关于爬虫内容的分享，我会分成两篇，六个部分来分享，分别是：我们的目的是什么 内容从何而来了解网络请求一些常见的限制方式尝试解决问题的思路效率问题的取舍本文先聊聊前三个部分。一、我们的目的是什么一般来讲对我们而言需要抓取的是某个网站或者某个应用的内容，提取有用的价值，内容一般分为两部分，非结构化的文本，或者结构化的文本。