免費索取
《
《
SEO
賺錢方法大揭秘》
王通老師根據大量實戰賺錢案例和經驗撰寫，它將徹底顛覆你的賺錢思維
現在留言，即可免費獲得
新書推薦
我們的著作
robots.txt文件設置方法
由于現在免費的網站程序越來越成熟，利用網站程序一天就可以做很多個網站，大家也都喜歡在線做網站，就是直接把網站程序通過FTP工具上傳到服務器空間，安裝設置好后就開始添加內容，但是由于網站在規劃設計階段總還不是那么完美，一些東西還沒有完全確定下來之前網站經常需要修改一些東西，而做SEO的人都知道，百度或者谷歌對于經常變動的新網站通常的做法都是放入觀察期，因為搜索引擎會覺得你的網站還不穩定，所以很多人就想到了設置robots.txt文件來禁止搜索引擎對于網站更新的內容進行抓取，等網站完全設計好后再進行相應的設置或者直接刪除這個文件，允許搜索引擎抓取我們的網站頁面。
這個文件能夠幫我們很大的忙，在服務器下面沒有，我們可以在本地編寫好之后上傳到服務器根目下，下面給大家舉例它的有關功能以及編寫方法。（注意我的語句大小寫，大小寫必須要一致，因為這個文件區分大小寫。）
(允許所有搜索引擎抓取任何內容)
User-agent:*
Disallow:
(禁止所有搜索引擎抓取任何內容)
User-agent:*
Disallow:/
(告訴所有搜索引擎不爬行aaa跟bbb目錄下的這是一個神奇的網站。。。內容和123.html文件)
User-agent:*
Disallow:/aaa/
Disallow:/bbb/
Disallow:/這是一個神奇的網站。。。/123.html
（告訴除百度意外所有搜索引擎不準爬aaa目錄下的123.htm文件）
User-agent:Baiduspider
Disallow:
User-agent:*
Disallow:/aaa/
Disallow:123.htm
（告訴搜索引擎不準爬aaa目錄和文件，但是可以爬aaa目錄下bbb的內容)
User-agent:*
Disallow:/aaa/
Allow:/aaa/bbb/
(告訴谷歌允許抓取所有.html為后綴的URL,不允許百度抓取所有以.html為后綴的URL,禁止所有所有搜索引擎抓取.jpg格式的文件)
User-agent:googlebot
Allow:.html$
User-agent:baiduspider
Disallow:.html$
User-agent:*
Disallow:.jpg$
(告訴蜘蛛禁止抓取任何帶.asp后綴的文件)
User-agent:*
Disallow:/*.asp
以上是robots.txt文件在網站中作用，供大家借鑒。
