如何判断来源post的来源地址是否来自本站

来源：蜘蛛抓取(WebSpider) 时间：2017-06-13 09:54 标签： 判断来源

要在网站发布采集的格式化内容、或已编辑好的文章首先需要通过采集器登陆到网站后台、获取栏目列表、传送格式化内容再发布；


本人在尝试用采集器登陆公司网站時，由于不能准确设置Post地址和来源地址导致登陆总是不成功。
过程是：先用fiddler抓包分析登陆过程：抓包数据有POST地址为“”、Referer地址为“ ”；

（图一、人工登陆不正确数据）

（图二、人工登陆到后台）

（图三、登陆后调出首页/栏目列表）

（图四、栏目列表嵌在网页代码中）

于昰在采集器Web发布设置时，将网站自动登陆参数——网站地址设为“”、登陆地址后缀设为“.HttpWebRequist CreateRequist()”

（调看登陆地址后缀文件人工登陆时JSON内容昰不一样的，也就是起反馈传送作用；成功时是“error=0；msg=/shopmms/main.html"、失败时是“”error=1,[对不起用户名或密码错误，或您的账户尚未开通！]）；

由此可知將网站地址设为“”或许就是不对的（因为此时即便是选择内置浏览器登陆，调出的也仅是公众网页面而非后台页面；）

分析来分析去，应该还是POST地址设置有问题；宥于自身网络知识匮乏实在找不到症结在哪、琢磨不出解决方法。此特向各位采集达人求助请不吝赐教；先受本人一拜！

我要回帖

更多关于 判断来源 的文章

 

随机推荐