在我看来robots协议就是站长行使网站支配权的履行文件,这是咱们作为站长最基本的权力。它是搜索引擎蜘蛛爬取网站之前要面临的第一道关口,所以robots协议的重要性也是可想而知了。都说细节决定成败,那么越重要的东西细节就显得尤为重要,往往自己一不小心疏忽的一个细节到最后就可能会成为你的丧命一击。自己之所以会这么说,是由于我差点就成了这个问题的反面教材了,还好发现的及时也算是亡羊补牢吧!之所以想当即共享给我们,就是期望我们今后自己做站的时分要防止犯相似的过错。
工作其实就发生在今日,经过是这样的:由于SEO博客也刚做好不久,前几天网站上线之后发现还有许多小问题需求处理,为了防止网站还在调整的过程中就被搜索引擎抓取到,所以我在robots协议里边写了制止一切搜索引擎爬取网站任何部分的指令,网站的调整一向继续了几天(之所以会弄这么长期是由于我是一个不能容忍瑕疵的人,不知道这是不是强迫症的一种),直到昨日也就是2月3号才全面竣工,可是这期间我每天都在坚持添加原创文章。昨日网站查看结束,悉数问题都处理好今后,我就把robots协议从头更换了过来,并且发了一篇帖子引了蜘蛛期望爬虫能快点过来爬我的网站。就这样,到了今日早上发现网站仍是没有被录入,所以我就去百度站长东西渠道看一下我的网站到底是个什么状况,进去一看吓我一跳。
我的网站居然对百度进行了全面封禁,检测时刻是在今日(2月4号)早上清晨5点整的时候,这让我像丈二的和尚摸不着头脑了,太不科学了,由于我在昨日2月3号上午现已把网站的robots协议更改正来了,真的是太奇怪了。就在我百思不得其解的时分总算是经过站长渠道东西的“robots检测”找到了答案。
robots协议很致命的小细节-八韵网络工作室
本来百度蜘蛛早就在我网站蜘蛛上线后的第三天抓取了我网站的robots协议,所以其时收效的协议也就是其时它抓取到的我把蜘蛛悉数屏蔽时的那个,而本站最新的robot协议还没有收效。这下我总算是理解了过来了,既然弄清楚了原因那工作就好办了。所以我当即把协议提交更新了一下,
更新今后一分钟内协议就更新过来了
能够看到,其时本站最新的robots现已开始收效了,就这样到了下午,当我再次进入百度站长渠道就收到了新消息
至此网站现已解除了robots协议对百度的全面封禁,检测时刻显现的是今日下午两点整。到了晚上也差不多就是在三个多小时曾经,当我再次查看网站录入状况的时分,网站主页现已被录入了。
网站总算被录入了,但让我最高兴的仍是我经过自己的尽力找到问题并处理了问题,这才是我今日最大的收成。当然了假如这个问题我发现不了,可能网站再过十天半个月也会毫无起色,所以我要提示我们的就是关于robots协议在封禁蜘蛛之后到后期在解封的时分一定要记住及时更新robots协议,这是一个不容被忽视的小细节。或许按照自己的一向知识觉得只要经过输入“http:\\域名\robots.txt看一下网站的协议改正来了没有就能够了,可是经过实践证明这种方法也不是彻底牢靠的,所以一定要记住我这次的经验教训,robots一旦进行调整就一定要记住及时提交更新,否则被蜘蛛抓取了不应抓的或许一向把蜘蛛拒之门外耽误了自己的时刻那就真的是后悔莫及了。