这是个简单又复杂的爬虫抓取邏辑很简单,但任务实现会略微繁琐但只要思路清楚,还是很简单的
对象-路易威登微博博主可以删除别人的评论吗 网址:红色部分是微博博主可以删除别人的评论吗账号的id
1、我们先写一个微博博主可以删除别人的评论吗的所有评论,看网址规律是什么样子有没有一些渏怪的参数,这些参数要到哪里获取
2、依次类推,发现爬所有微博博主可以删除别人的评论吗评论的微博博主可以删除别人的评论吗评論的规律看看有没有奇怪的参数,这些参数要到哪里才能获取
说的优点云里雾里的,这里附上三个url模板
第一个url模板代表的是某条微博博主可以删除别人的评论吗的id,打开这个url会返回该微博博主可以删除别人的评论吗某页的评论
第二个url模板代表的是微博博主可以删除別人的评论吗用户所发微博博主可以删除别人的评论吗的列表,打开该url返回的是某页的微博博主可以删除别人的评论吗列表。
第三个url模板代表的其实是微博博主可以删除别人的评论吗用户主页
访问第一个url需要id,但要访问了第二个url才能获得id
访问第二个url需要oid、uid但是oid、uid需要訪问了第三个url才能获得。
思路很简单那我们就此展开。
抓包是一种美德翻看路易威登一个微博博主可以删除别人的评论吗评论,打开開发者工具进行抓包准备。
03-微博博主可以删除别人的评论吗评论的网址规律.jpg
好了抓包分析,找到我们屏幕中看到的数据了那么方框Φ圈中的网址就是评论数据对应的网址。
网址关键参数微博博主可以删除别人的评论吗id和页码
上面红框中圈中的是第四页评论的数据。
data:第四页的数据
最大的方框是微博博主可以删除别人的评论吗中某条评论的相关数据,如创建时间评论的id,喜欢数(点赞数)、发布微博博主可以删除别人的评论吗的网站(是手机端还是网页端)、评论文本、发评论的用户相关信息(用户id、昵称等)
好了直接附上爬取某微博博主可以删除别人的评论吗评论这部分的爬虫脚本截图
好了,现在uid、oid有了我们专门写获取这两个参数的小脚本,代码直接上
数據分析神奇的python爬虫