注册 | 登录 |

如何让 sogou spider 不抓我的网站

时间:2023-04-17人气:-


sogou spider 支持 robots 协议,您可以在网站的根目录放置 robots.txt。

robots.txt 的规则请参阅 http://www.robotstxt.org/。需要注意的是,最新更新的 robots.txt 可能需要几个星期才能体现出效果来,另外,被您禁止 sogou spider 收录的网页将不能在搜狗搜索引擎上检索到。


特别声明:以上内容(如有图片或视频亦包括在内)为本平台用户上传并发布,本平台仅提供信息存储服务。


上篇:为什么我的网站已经加了robots.txt,还能在搜狗搜索出...

下篇:sogou spider 如何反应我网站上页面的更新?