搜索引擎蜘蛛技術探析

搜索引擎技術抓取網絡中海量信息，隨著信息增長該技術作用變得越來越突出，作為SEO優化人員，雖沒必要像專業研究搜索引擎的人員那樣對搜索引擎技術了解的很透徹，但是分析了解搜索引擎的蜘蛛其對文件的處理方法，研究其搜索與更新策略，是作為SEOer該有的業務發展需要。任何一個網站只要內容更新+外鏈都能看到搜索引擎對該網站做出相對應的分析，進而增加頁面權重，了解搜索引擎技術，從而為我們根據實質性的原理來進行搜索引擎優化，這才是SEO明智之舉，而不是每天在那發外鏈更新網站內容，業余時間還是得學學相關技術。下面介紹下搜索引擎核心檢索技術。

　　一蜘蛛工作原理

　　網絡蜘蛛也就是搜索引擎蜘蛛，是通過鏈接地址來尋找網頁的。搜索引擎蜘蛛名稱根據搜索引擎都不同。那它的原理是由一個啟始鏈接開始抓取網頁內容，同時也采集網頁上的鏈接，并將這些鏈接作為它下一步抓取的鏈接地址，如此循環，直到達到某個停止條件后才會停止。停止條件的設定通常是以時間或是數量為依據，可以通過鏈接的層數來限制網絡蜘蛛的爬取。同時頁面信息的重要性為客觀因素決定了蜘蛛對該網站頁面的檢索。站長工具中的搜索引擎蜘蛛模擬器其實它就是這個原理，準不準確筆者也不清楚。基于這蜘蛛工作原理，站長都會不自然的增加頁面關鍵詞出現次數，雖然對密度產生量的變化，但對蜘蛛而言并沒達到一定質的變化。這在搜索引擎優化過程中應該要避免的。

　　二搜索引擎蜘蛛與網站的交互問題

　　搜索引擎技術基礎中，蜘蛛爬取到網站中，通常會去檢索一個文本文件Robots.txt，通常存放在網站的根目錄下。它是專門用來同網絡蜘蛛交互用的專用文件。這也就是SEOer老是去屏蔽網站頁面不想被搜索引擎抓取的原因，它是一個網站和搜索引擎蜘蛛對話的重要工具，但是蜘蛛是否都遵循站長對其實施的規則呢?其實蜘蛛遵循還是得看蜘蛛出身，素質高的會遵循規則，相反則不遵循。另外在網站中放入一個叫做sitmap.htm的網頁，并將它作為網站的入口文件，這也是蜘蛛與網站的交互方法。對于交互性的SEO手段，我們了解了就可以針對性的做出符合搜索引擎的蜘蛛喜好的網站地圖。

　　頁面Meta字段也是站長經常使用的搜索引擎優化技術，這個字段通常會放在文檔的頭部，很多站點都只是簡單的寫個允許百度抓取的字段，正不正確筆者不清楚，SEO其實很多現象都是基于數據分析對比才能得知。Meta字段蜘蛛可以在沒有讀取到全部文檔的情況下就了解文檔的相關信息，可以避免將無效的網頁取下來后又將其廢棄而造成無謂的浪費。

　　三搜索引擎蜘蛛對于文件的處理

　　(一)二進制文件處理

　　網絡中除了HTML文件和XML文件外，也有大量的二進制文件，搜索引擎對二進制文件采用單獨處理的方式，其對內容的理解完全需要依靠二進制文件的錨點描述來完成。錨點描述通常代表了文件的標題或是基本內容，也就是通常所說的錨文字這就是為什么我們要對網站錨文字的分析選擇的原因所在。

　　(二)腳本文件的處理

　　網頁中的客戶端腳本，當網頁加載至讀取到該腳本，搜索引擎往往會直接省略對它的處理。但是由于現在網站設計者對于無刷新頁面要求的提高和對ajax技術的大量使用，對它的分析處理往往會采用另外一種網頁檢索程序，由于腳本程序復雜和多樣性，通常站長會根據自身網站將這些腳本存放到一個文檔中，采用調用技術，從而加快頁面加載速度，同時蜘蛛也不能對調用文件分析處理。這也屬于搜索引擎優化技術，如果忽略了對它的處理將會是一項巨大的損失。

　　(三)不同文件類型處理

　　對于網頁內容的提取分析一直是網絡蜘蛛的重要技術環節，這也是SEO需要去了解的搜索引擎技術，這取決于網站信息更新的多樣性。這也就是為什么專業網站上會在網站內附有下載的execl，pdf等各種文件類型，這也是屬于搜索引擎優化過程中需要注意的。網上不同文件類型文件的處理，網絡蜘蛛通常是采用插件的方式來處理。如果有能力，網站信息內容的更新盡可能采取多樣性，來幫助網站達到一個搜索信息多樣化的SEO體系。

　　四搜索引擎蜘蛛的策略分析

　　(一)搜索策略

　　搜索策略一般有深度優先的搜索策略和廣度優先的搜索策略兩種。

　　廣度優先的搜索策略一般被認為是盲目的搜索。它是一種以搜索更多的網頁為優先的一種貪婪的搜索策略。只要有東西檢索，它就抓取。它會先讀取一個文檔，保存下文檔上的所有鏈接，然后讀取所有這些鏈接文檔，并依次進行下去。

　　深度優先的搜索策略網絡蜘蛛程序分析一個文檔，并取出它的第一個鏈接所指的文檔繼續分析，然后如此繼續下去。這樣的搜索策略達到了網站結構的分析，以及頁面鏈接深度分析，從而傳達網站信息。

　　還有網絡上說的算法，如Hash算法，遺傳算法等都是基于搜索引擎核心技術，這些也可以去了解下，比如最新的熊貓算法，這也是基于搜索策略的一種新算法，谷歌對其已經更新好幾次了。

　　(二)更新策略

　　以網頁變化的周期為依據，只對那些經常變化的網頁做更新操作也是一些小型的搜索引擎常采用的方法。這也就是為什么站長會每個幾周對網站頁面內容的一個小更新，這是基于搜索引擎優化的技術。網絡爬蟲也經常采用個體更新的策略。它是以個別網頁的變化頻率來決定對網頁的更新頻率，這樣一來基本上每個網頁都會有一個獨立的更新頻率。