MM131是哪家制做公司开发的，老扳是谁

来源：蜘蛛抓取(WebSpider) 时间：2019-05-09 20:40 标签： saP MM增强与开发

最近无意间在知乎专栏看到有人使用python爬取了131的图片想着自己也有过爬虫的开发经验(抱着学习的态度)，故使用java也来写个小爬虫爬虫框架用的是webmagic，传送门：

整个爬虫项目洳下图极其精简，其中主要实现类是131Spider

启动131Spider后图片会下载到指定的文件夹，如下图：

其中每个主类别(如：/chemo)文件夹有一个urlCheck.txt的文件主要用於保存已经爬取的url，下一次启动的时候则不会再去爬取该url所以任何时候都可以停止/启动爬取，不会导致爬取重复的问题

该项目已push到github感興趣的朋友可以自行查看源码，传送门：

我要回帖

更多关于 saP MM增强与开发 的文章

 

随机推荐