如何书写robots.txt和robots.txt的都能干什么 允许所有的robot访问 User-agent: * Disallow: 或者也可以建一个空文件 "/robots.txt" file 禁止所有搜索引擎访问网站的任何部分 User-agent: * Disallow: / 禁止所有搜索引擎访问网站的几个部分(下例中的01、02、03目录) User-agent: * Disallow: /01/ Disallow: /02/ Disallow: /03/ 禁止某个搜索引擎的访问(下例中的BadBot)…