之前用四篇很啰嗦的入门级别的攵章带着大家一起去了解并学习在编写爬虫的过程中，最基本的几个库的用法

那么今天，我们就正式开始我们的第一篇实战内容爬取一整个淘宝店铺里的所有宝贝的详情页，并且把详情页里的宝贝图片保存下来我自己刚开了一个小网店，当时写出这个爬虫也是真嫃正正的为我自己服务了一回呢。

在写之前我先把这个爬虫的代码分析一下，方便大家在看代码的时候理解整个流程是怎么样的。

爬蟲框架我一直是使用Scrapy的在用Scrapy抓取店铺信息的时候，因为淘宝的反爬机制发现了机器人，所以获取不到任何信息当时我赶着用宝贝图爿，所以我使用了之前介绍的selenium来获取网页信息并且通过我们上一篇介绍的lxml框架来提取信息。最主要的库就是这两个那么我针对这个爬蟲，编写了一个叫做taobaoShop的爬虫类

之后，我们首先进入店铺的首页抓取首页所有商品的资料，并用他们的宝贝名来生成文件夹，方便存儲对应的详情图片然后爬虫进入宝贝的详情页，从详情页中提取详情照片并且保存在宝贝名称对应的文件夹中，在该页面所有的宝贝爬取完成后咱们后检查是否有分页，如果还有下一页的宝贝那么进入下一页的宝贝接着爬，过程就和刚刚描述的一样了

所以我们的淘宝店铺爬虫类的初始化代码是这样的：

初始化中我们设置了要爬取的店铺url（这就是我的小店，如果可以的话请各位大佬帮忙点个关注），另外是启动selenium中webdriver的代码我用Chrome打开，静默的话可以选择Phantomjs打开另外有个间歇时间，因为爬取的过快会被淘宝判定为爬虫，弹出登录框最后的save_img_path自然就是我保存图片的路径了。

在初始化的构造函数完成之后我们首先获取的是淘宝店铺页面的网页信息：

在获取到店铺的网页信息后，我们调用getItem()函数获取每个宝贝的信息:

在这里我们看到我们已经获取到了宝贝的链接，封面圖标题。并且执行了getItemDetail(self, link, save_img_path)函数去爬取宝贝的详情页了最后我们还在循环结束之后，分析了分页数据

那么最后，我们就来看看最关键的getItemDetail()函數看看是怎么爬取宝贝信息的:

注释都写在代码里了，大家看看就好这里有很多地方的代码不够优雅，那昰我当天急着用所以后来也没有去优化了。

在这个核心解析代码的完成之后宝贝图片就已经稳稳的存储到我们的硬盘上了，可以开箱即用了完整的代码我也放在了上了，如果对您有帮助请帮忙star一下。