如何建立符合搜索引擎抓取習慣的網站

   隨著這兩年百度搜索引擎每周對網站數據更新，不斷有SEOer拋出對搜索引擎新的算法的一些猜測，百度站長平臺也會在百度大的算法出臺前會在站長平臺給各站長一個預熱，讓靠作弊手段做排名的站長也好有個網站被處罰的心理準備，不至于為辛苦做的排名網站被K而產生想不開的想法到處罵街。

   其實每次搜索引擎算法的改變都是在完善自身算法的同時讓排名結果變的更真實、公平，有更好的用戶體驗，讓更能滿足用戶需求的網站排在前面，體現搜索引擎的價值。滿足用戶需求是站長在提供網站內容的需要做的，而搜索引擎算法畢竟是命令語言，還未達到超智能的辨別水準，因而站長同志們還需要把自己的網站建的更符合搜索引擎的算法技術標準。

   網站獲得排名最基本的要求就是要被搜索引擎抓取到網站頁面的內容，建立符合搜索引擎抓取習慣的網站就成了網站基礎中的重點。如何建立符合搜索引擎抓取習慣的網站呢？近日百度站長平臺給出了自己的標準。

   

1、簡單明了的網站結構

Spider抓取相當于對web這個有向圖進行遍歷，那么一個簡單明了結構層次分明的網站肯定是它所喜歡的，并盡量保證spider的可讀性。

（1）樹型結構最優的結構即“首頁—頻道—詳情頁”；

（2）扁平首頁到詳情頁的層次盡量少，既對抓取友好又可以很好的傳遞權重。

（3）網狀保證每個頁面都至少有一個文本鏈接指向，可以使網站盡可能全面的被抓取收錄，內鏈建設同樣對排序能夠產生積極作用。

（4）導航為每個頁面加一個導航方便用戶知曉所在路徑。

（5）子域與目錄的選擇相信有大批的站長對此有疑問，在我們看來，當內容較少并且內容相關度較高時建議以目錄形式來實現，有利于權重的繼承與收斂；當內容量較多并且與主站相關度略差時建議再以子域的形式來實現。

2、簡潔美觀的url規則

（1）唯一性網站中同一內容頁只與唯一一個url相對應，過多形式的url將分散該頁面的權重，并且目標url在系統中有被濾重的風險；

（2）簡潔性動態參數盡量少，保證url盡量短；

（3）美觀性使得用戶及機器能夠通過url即可判斷出頁面內容的主旨；

我們推薦如下形式的url：url盡量短且易讀使得用戶能夠快速理解，例如使用拼音作為目錄名稱；同一內容在系統中只產生唯一的url與之對應，去掉無意義的參數；如果無法保證url的唯一性，盡量使不同形式的url301到目標url；防止用戶輸錯的備用域名301至主域名。

3、其他注意事項

（1）不要忽略倒霉的robots文件，默認情況下部分系統robots是封禁搜索引擎抓取的，當網站建立后及時查看并書寫合適的robots文件，網站日常維護過程中也要注意定期檢查；

（2）建立網站sitemap文件、死鏈文件，并及時通過百度站長平臺進行提交；

（3）部分電商網站存在地域跳轉問題，有貨無貨建議統一做成一個頁面，在頁面中標識有無貨即可，不要此地區無貨即返回一個無效頁面，由于spider出口的有限性將造成正常頁面無法收錄。

（4）合理利用站長平臺提供的robots、sitemap、索引量、抓取壓力、死鏈提交、網站改版等工具。