編輯轉(zhuǎn)：新浪等博客平臺屏蔽所有搜索引擎蜘蛛

新浪博客robots.txt地址：http://blog.sina.com.cn/robots.txt



一灰從新浪博客的robots.txt看到，雖然它有一句“開放百度的搜索引擎的User-Agent代碼”，但下面有一段屏蔽所有蜘蛛的代碼：

#限制的搜索引擎的User-Agent代碼，*表示所有###########
User-agent: *

#臨時限制對所有目錄的禁止抓取
Disallow: /

里面也做了解釋，是臨時限制的。此舉對于那些在新浪建博推廣網(wǎng)站的SEOer來說是一個沉重的打擊。

新浪屏蔽蜘蛛是否應(yīng)對日益嚴重的群建博客發(fā)鏈接，從而提高博客文章質(zhì)量，還是有其他運營上的考慮？

值得關(guān)注的是，這次屏蔽搜索引擎蜘蛛的還有搜狐博客，查看搜狐博客的robotx.txt。

http://blog.sohu.com/robots.txt

版權(quán)聲明：轉(zhuǎn)載時請以超鏈接形式標明文章原始出處和作者信息及本聲明
http://www.yihui.info/blog/seo/sina-shield-robots.html