您之前是否遇到过百度搜索结果中个别网页无摘要显示的现象，或发生过网站部分内容不收录的问题，站长平台提示您出现这两种情况可能是由于网站设置了robots.txt文件引起的。为了能够让站长更方便的了解网站页面在出现上述问题时是否是由于设置了robots文件，百度网页搜索结果中上线了robots.txt文件提示。当网站使用robots.txt文件禁止百度收录网站的部分或全部内容，百度将会在搜索结果中给出robots.txt的提示，让站长及时了解网站在搜索结果中无摘要显示的原因，同时可在搜索结果中点击“了解详情”，查看网站详细的robots信息，确认是否是由于robots.txt的误设置而导致的封禁。

 

      robots.txt介绍：robots.txt是搜索引擎访问网站时查看的第一个文件，这个文件用于指定spider在该网站上的抓取范围。部分网站由于存在不想被搜索引擎收录的内容，会使用robots.txt文件来屏蔽网站的部分内容或者全部内容。若网站对百度spider设置了robots.txt文件，百度会遵循robots协议，不去抓取封禁的结果，但是考虑到用户在搜索引擎中有搜索该网站地址的需求，搜索结果中会根据搜索需求展示网站的标题及网址，但不会显示网站的摘要。

 

      温馨提示：仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。同时为了方便站长快速检测及生成robots文件，百度站长平台已上线robots工具。工具地址：http://zhanzhang.baidu.com/robots

 

               

 

 

           

 

           这样方便哪些刚开始建网站，网站还没有定形不想让搜索引擎抓取，设置robots.txt文件以后可以禁止搜索引擎不抓取未定形的页面内容，待网站建成后再取消掉，让搜索引擎开始抓取，使用robots.txt文件有利也有弊，好处是可以不让搜索引擎抓取相关内容的页面，但坏处是有些因设置不当造成网站内容长时间不被收录，所以应谨慎使用，现在百度对于新站的收录周期变长了，所以一般都有足够的时间完成网站框架的搭建。