怎么打开源代码网站显示源代码，但是打别的网站都正常，啥原因？

来源：蜘蛛抓取(WebSpider) 时间：2018-12-26 09:33 标签： 怎么打开源代码

马上注册结交更多好友，享用哽多功能^_^

您需要 才可以下载或查看没有帐号？

一直用的是Chrome浏览器去寻找URL和标签
之前我一直发现一个问题：
使用【检查】和查看【网页源玳码】显示的内容大多数不一样
页面能够显示的东西用【检查】都能查看到标签但是【网页源代码】中却找不到相关信息
由于这个问题，我经常都找不到准确的URL

这个是【检查】其实就是查看页面内容所在的标签

今天我查看了这2中查看网页标签的方式，发现原来【检查】看到的是经过JS加载过的代码所以信息是比较多的


那么，我的问题是如果我寻找URL去爬取信息，是不是我能够用【检查】看到我要的信息嘚那个地址就是我需要的URL?

我还是发现了这2种的不同直接影响了我爬数据
因为我将URL作为requests对象去请求之后得到的html网页里面 ...

确实会有遇到某些url是經过js处理然后再生成的情况（比如某些url的加密解密id的运算等），这样的情况下你直接看网页源代码是找不到直接的url的而通过检查是可鉯看到经过处理的url的。

一般遇到这个情况除非你了解这些url的生成方式，自行设计算法来破解不然直接用requests库就显得力不从心了。

当然遇到这种情况也有一个“曲线救国”的办法，就是借助selenium或者splinter来模拟浏览器访问既然是模拟浏览器，当然它们都是可以处理js程序的所以伱看到的也是直接可以访问的url。

我要回帖

更多关于 怎么打开源代码 的文章

 

随机推荐