· TA获得超过2.9万个赞
可以写两行苐一行告诉说
允许访问/a/后面再加一行
写上拒绝/a/b/用这个思路试试
你对这个回答的评价是?
· TA获得超过2.9万个赞
那个/前面是省略了网站的网址偠是照你那么说的话整个网站都被屏蔽了!南昌94口腔医院
你对这个回答的评价是?
· TA获得超过2.9万个赞
那个/前面是省略了网站的网址要是照你那么说的话整个网站都被屏蔽了!南昌94口腔医院
你对这个回答的评价是?
可以写两行苐一行告诉说
允许访问/a/后面再加一行
写上拒绝/a/b/用这个思路试试
你对这个回答的评价是?
那个/前面是省略了网站的网址偠是照你那么说的话整个网站都被屏蔽了!南昌94口腔医院
你对这个回答的评价是?
那个/前面是省略了网站的网址要是照你那么说的话整个网站都被屏蔽了!南昌94口腔医院
你对这个回答的评价是?
下载百度知道APP抢鲜体验
使用百度知道APP,立即抢鲜体验你嘚手机镜头里或许有别人想知道的答案。
机器人;(尤指故事中的)机器人;交通信号灯
下载百度知道APP抢鲜体验
使用百度知道APP,立即抢鲜体验你的手机镜头里或许有别人想知道的答案。
robots.txt的主要作用,是指定该网站中不想被搜索引擎 访问的部分,比如说有些配置信息,网站重要文件.这样,网站的部分或全部内容就可以不被搜索引擎收录了,或者指定搜 索引擎只收录指定的内容.
所以关键的是要确实哪些信息是允许搜索引擎来建立索引的,哪些是不允许的.
确定好后,不允许的往Disallow: 后面加.