【零一】如何用代码爬抓电商数据(附淘宝API调用实例)(派代网)

派代网  •  扫码分享
数据分析,没有数据,是分析师的硬伤。但不完全是硬伤,没有数据其实也可以利用逻辑思维能力来分析推断,这个以后有机会跟大家分享。今天,我要讲怎么用代码获取数据。


没办法很详细地讲,只能大致上讲解一下,然后给个实例。


工具:Excel2013(用哪个版本都是可以的)

语言:Visual Basic for Applications(简称VBA,集成在Office套件里面的开发程式,有些精简版或者用户在安装的时候取消了VBA套件,就会无法启动)


我原本学的是硬件开发,只会汇编,写这类程序不是我擅长的,而且是自学的只有半桶水的状态。我写的程序都有很大的优化空间,如果有更高效的方法,请不吝指教。


实例一:获取淘宝搜索结果页宝贝信息

如下图,搜索了关键词“T恤”后,会看到类似这样的结果,我想把宝贝标题和价格,排名位置等信息给抓取到本地数据库或者表格里面。



我们右击一下页面,点查看源文件



看到的结果如下



这个是网页源码,我要介绍的方法,就是通过网页请求,获取这里的源码,然后再对源码进行解析。

观察源码这个步骤很重要,在这里会决定数据要怎么拿。

比如要取出标题

标题是在 title= 后面的一串字符,又以 > 符号结束。把这两个看成是分隔符的话,那么标题就藏在两个分隔符的中间。

那么,思路上,只要知道这两个分割符的位置,那么,就可以取出标题了。

下面,让我们开始实践

首先,我们准备好工具,在excel的文件--选项--自定义功能区--主选项卡,把开发工具打钩。




然后进入vba编程环境



插入模块



可以在这些模块里面写程式,下图我一口气插入了4个模块,我在其中一个模块上面写入代码即可。



然后写入代码(这里是截图,在文章最后,会附上文本版的代码)


大家注意到,在第四行,有个很长很长的一串

URL = "http://s.taobao.com/search?q=T%D0%F4&commend=all&ssid=s5-e&search_type=item&sourceId=tb.index&spm=1.6659421.754896237.1&initiative_id=tbindexz_20140301"

大家只要把这个链接替换掉就可以了。这个链接,是搜索后的结果页。在淘宝敲入关键词,然后选择好属性或者排序方式后,把网址贴过来,然后运行这段代码就可以了。下图是运行按键的位置



运行后得到的结果



这段代码的解释,我都注释在代码里头了。其实可以把这个过程写成更加智能。网址的q=后面的T%D0%F4是T恤的uncode码,其实只要写多一个转码程序,可以直接在excel的工作表或者窗体里面输入关键词进行搜索。

另外,利用参数sort来指定排名类型,如

sort=default是综合排名

sort=renqi-desc是人气排名

sort=sale-desc是销量排名

s=40是页码,公式是40*(页码-1),非常明显,s=40就是第2页

直接利用代码组合网址,如http://s.taobao.com/search?q=T%D0%F4&sort=renqi-desc&s=40(复制到淘宝看下结果哦)

这是T恤下的人气排名第二页的搜索结果

再做个查询按键,就变成软件了。

如果用时间来控制,可以让程序每隔几分钟或者几小时运行一次,达到自动爬抓数据的目的。

这部分我就不详说了,感兴趣的自己研究。

=================================================

实例二:用API拿数据的方法

首先,要到api.taobao.com注册开发者身份,拿到app key 和 app secret



然后,根据开发文档的API列表:open.taobao.com/api/api_list.htm,查找相应功能的api。那么下面我用taobao.itemcats.get,来做例子

首先,要阅读这个API的说明文档,知道这个接口的调用参数,



然后可以到沙箱里面测试http://api.taobao.com/apitools/apiTools.htm?catId=3&apiName=taobao.itemcats.get,可以观察返回的结果,我们要的数据一样在两个分隔符的中间,只要提取出来即可。



最后写代码即可,这段代码,只要把app_key和secret替换成自己的,就可以运行了。



运行结果是把女装(parent_cid是16)的子类目代码和对应的子类目名称获取下来



其他电商平台,如一号店等,原理都是一样的。


本文章的文件依然在我的网盘中,自己去拿吧!

链接:http://pan.baidu.com/s/15jAdv 密码:bon1


随意打赏

提交建议
微信扫一扫,分享给好友吧。