js中如何js动态加载htmll内容 – 在路上

这几天刚好在学Requests和BeautifulSoup结合做爬虫爬取网页内容恰巧有个哥们在群里问select函数里应该怎么来填?我想也是我在学不妨找他一起做做,如果能帮人那最好不过啦

本次爬取的網址是:,采用的浏览器是Chrome内容为下图类似于电影的名字、评分,以及图片链接等等

当然首先的想法是按照传统的方法 = 获取源代码,解析网页select网页标签取内容。

利用Chrome浏览器里的工具我们可以知道我们要爬取的内容存在于img标签里

第一次写欢迎转载! 也希望大家多多喷我,同时给我意见指正写完我发现还有两个问题

1.程序运行有点慢,觉得应该是加载PyQt包太大了或许还有更好的包,或许我还可以单独只提取包里单独的模块

2.网页上有个“加载更多”的没法解决,也就是说一个网页爬取的内容有限或许后面我应该学习下如何实现点击那个加载更多的按钮。

最后衷心希望大家和我交流

我要回帖

更多关于 js动态加载html 的文章

 

随机推荐