您之前是否遇到過百度搜索結果中個別網頁無摘要顯示的現象，或發生過網站部分內容不收錄的問題，站長平臺提示您出現這兩種情況可能是由于網站設置了robots.txt文件引起的。為了能夠讓站長更方便的了解網站頁面在出現上述問題時是否是由于設置了robots文件，百度網頁搜索結果中上線了robots.txt文件提示。當網站使用robots.txt文件禁止百度收錄網站的部分或全部內容，百度將會在搜索結果中給出robots.txt的提示，讓站長及時了解網站在搜索結果中無摘要顯示的原因，同時可在搜索結果中點擊“了解詳情”，查看網站詳細的robots信息，確認是否是由于robots.txt的誤設置而導致的封禁。

 

      robots.txt介紹：robots.txt是搜索引擎訪問網站時查看的第一個文件，這個文件用于指定spider在該網站上的抓取范圍。部分網站由于存在不想被搜索引擎收錄的內容，會使用robots.txt文件來屏蔽網站的部分內容或者全部內容。若網站對百度spider設置了robots.txt文件，百度會遵循robots協議，不去抓取封禁的結果，但是考慮到用戶在搜索引擎中有搜索該網站地址的需求，搜索結果中會根據搜索需求展示網站的標題及網址，但不會顯示網站的摘要。

 

      溫馨提示：僅當您的網站包含不希望被搜索引擎收錄的內容時，才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容，請勿建立robots.txt文件。同時為了方便站長快速檢測及生成robots文件，百度站長平臺已上線robots工具。工具地址：http://zhanzhang.baidu.com/robots

 

               

 

 

           

 

           這樣方便哪些剛開始建網站，網站還沒有定形不想讓搜索引擎抓取，設置robots.txt文件以后可以禁止搜索引擎不抓取未定形的頁面內容，待網站建成后再取消掉，讓搜索引擎開始抓取，使用robots.txt文件有利也有弊，好處是可以不讓搜索引擎抓取相關內容的頁面，但壞處是有些因設置不當造成網站內容長時間不被收錄，所以應謹慎使用，現在百度對于新站的收錄周期變長了，所以一般都有足夠的時間完成網站框架的搭建。