今天中午无意间百度下淘宝。发现下面由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述。下面度娘就发公告了。。
您之前是否遇到过百度搜索结果中个别网页无摘要显示的现象，或发生过网站部分内容不收录的问题呢？站长平台提示您出现这两种情况可能是由于网站设置了robots.txt文件引起的。为了能够让站长更方便的了解网站页面在出现上述问题时是否是由于设置了robots文件，百度网页搜索结果中上线了robots.txt文件提示。当网站使用robots.txt文件禁止百度收录网站的部分或全部内容，百度将会在搜索结果中给出robots.txt的提示，让站长及时了解网站在搜索结果中无摘要显示的原因，同时可在搜索结果中点击“了解详情”，查看网站详细的robots信息，确认是否是由于robots.txt的误设置而导致的封禁。
robots.txt介绍：robots.txt是搜索引擎访问网站时查看的第一个文件，这个文件用于指定spider在该网站上的抓取范围。部分网站由于存在不想被搜索引擎收录的内容，会使用robots.txt文件来屏蔽网站的部分内容或者全部内容。若网站对百度spider设置了robots.txt文件，百度会遵循robots协议，不去抓取封禁的结果，但是考虑到用户在搜索引擎中有搜索该网站地址的需求，搜索结果中会根据搜索需求展示网站的标题及网址，但不会显示网站的摘要。
温馨提示：仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。同时为了方便站长快速检测及生成robots文件，百度站长平台已上线robots工具
百度网页搜索结果robots提示上线
admin
这个人很懒，什么都没留下
文章评论