进入百度站长工具后台更新http://www.zhucesz.com/并使用抓取诊断多次抓取首页,同时向搜索引擎提交站内url。你可以使用主动的,自动的,网站地图和某些外链。
要解决这个问题,就需要引导蜘蛛重新抓取网站。由于robots的正面被禁止,蜘蛛需要首先更新robots文件协议。有时您在本地更新,但蜘蛛不会再次爬网文件,因此您不知道协议是否已更改。
因此,首先要解决机器人的保护协议问题。然后向搜索引擎推送一些新内容,得到蜘蛛爬行,爬行诊断模拟蜘蛛爬行状态查看反馈。
以上内容完成后,可以下载网站日志分析蜘蛛爬行情况。如果还没有蜘蛛来,可以在百度资源后台向客服反馈,提交近期新增内容例如的url申请蜘蛛访问。
接下来的事情就是监控和跟踪前面的事情是否完成以及反馈效果。因为百度的缓存机制可以在一周内解决。