robots.txt使用教程

用几个最常见的情况，直接举例说明：

1. 允许所有SE收录本站：robots.txt为空就可以，什么都不要写。

2. 禁止所有SE收录网站的某些目录：

User-agent: *

Disallow: /目录名1/

Disallow: /目录名2/

Disallow: /目录名3/

3. 禁止某个SE收录本站，例如禁止百度：

User-agent: Baiduspider

Disallow: /

4. 禁止所有SE收录本站：

User-agent: *

Disallow: /

5. 加入sitemap.xml路径