Disallow: /test和Disallow: /test/的区别
近期发现有些朋友还是不能了解他们之间的区别。今天seo就来为大家详细的介绍下
该项的值用于描述不希望被Robot访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被Robot访问到；
注意“Disallow: /test和“Disallow: /test/”的区别，虽说只区别于一个反斜杠“/”，不过意义完全不同。“Disallow: /test”表示可以禁止的URL包括：/test、/testabc.html、/test/abc这三种形式；“Disallow: /test/”则允许Robot访问/test、/testabc.html，禁止访问/test/abc这种形式。
如果Disallow记录的值为空，即“Disallow:”格式，则说明该网站的所有内容可以被任何搜索引擎Robot抓取；在robots.txt文件，如果有声明User-agent，至少要有一条Disallow记录。
文章评论