爬虫pythonn一万条网址 如何进行分批爬取

为了写好爬虫我们需要准备一個火狐浏览器,还需要准备抓包工具抓包工具,我使用的是CentOS自带的tcpdump加上wireshark ,这两款软件的安装和使用建议你还是学习一下,后面我们應该会用到

爬虫pythonn中的大量开源的模块使得编码变的特别简单,我们写爬虫第一个要了解的模块就是requests

接下来在终端中键入如下命令

清纯妹子如一缕阳光温暖这个冬天 获取成功

清纯妹子如一缕阳光温暖这个冬天目录创建成功

可爱女孩,愿暖风呵护纯真和执着 获取成功

可爱女駭愿暖风呵护纯真和执着目录创建成功

超美,纯纯的你与蓝蓝的天相得益彰 获取成功

超美纯纯的你与蓝蓝的天相得益彰目录创建成功

媄丽冻人,雪地里的跆拳道少女 获取成功

五官精致的美眉仿佛童话里的公主 获取成功

有自信迷人的笑容,每天都是灿烂的 获取成功

五官精致的美眉仿佛童话里的公主目录创建成功

有自信迷人的笑容,每天都是灿烂的目录创建成功

清纯美如画摄影师的御用麻豆 获取成功

恏了,今天的一个简单的爬虫成了

最后我们在代码的头部写上

我要回帖

更多关于 爬虫python 的文章

 

随机推荐