但是在實(shí)際的操作中，絕大多數的網(wǎng)站，在其撰寫(xiě)上都存在或多或少的欠缺，甚至由于技術(shù)性的錯誤撰寫(xiě)，還會(huì )導致網(wǎng)站降權、不收錄、被K等一系列問(wèn)題的出現。對于這一點(diǎn)，我在對客戶(hù)的SEO診斷過(guò)程中，會(huì )經(jīng)常遇到，可以算是很多站點(diǎn)的通病。今天寫(xiě)出這篇文章，就是來(lái)做一個(gè)分享：關(guān)于robots.txt協(xié)議，你寫(xiě)對了嗎?

    一：設置成Allow全站點(diǎn)抓取

    百度收錄的越多，網(wǎng)站的排名越高?這是絕大多數站長(cháng)的認為，事實(shí)上也是如此。但是也并非成立：低質(zhì)量的頁(yè)面收錄，會(huì )降低網(wǎng)站的排名效果，這一點(diǎn)你考慮到了嗎?

    如果你的網(wǎng)站結構不是非常的清晰，以及不存在多余的“功能”頁(yè)面，不建議對網(wǎng)站開(kāi)全站點(diǎn)的抓取，事實(shí)上，在SEO診斷中，只遇到少數的一部分網(wǎng)站，可以真 正的做到全站點(diǎn)都允許抓取，而不做屏 蔽。隨著(zhù)功能的豐富，要做到允許全站點(diǎn)抓取，也不太可能。

    二：什么樣的頁(yè)面不建議抓取

    對于網(wǎng)站功能上有用的目錄，有用的頁(yè)面，在用戶(hù)體驗上可以得到更好的提升。但是搜索引擎方面來(lái)講，就會(huì )造成：服務(wù)器負擔，比如：大量的翻頁(yè)評論，對優(yōu)化上則沒(méi)有任何的價(jià)值。

    除此外還包含如：網(wǎng)站做了偽靜態(tài)處理后，那么就要將動(dòng)態(tài)鏈接屏 蔽掉，避免搜索引擎抓取。用戶(hù)登錄目錄、注冊目錄、無(wú)用的軟件下載目錄，如果是靜態(tài)類(lèi)型的站點(diǎn)，還要屏 蔽掉動(dòng)態(tài)類(lèi)型的鏈接Disallow:/*?*

    三：撰寫(xiě)上的細節注意事項

    1、Disallow;/a與Disallow:/a/的區別，很多站長(cháng)都見(jiàn)過(guò)這樣的問(wèn)題，為什么有的協(xié)議后加斜杠，有的不加斜杠呢?筆者今天要說(shuō)的是：如果不加斜杠，屏蔽的是以a字母開(kāi)頭的所有目錄和頁(yè)面，而后者代表的是屏蔽當前目錄的所有頁(yè)面和子目錄的抓取。

    3、已經(jīng)刪除的目錄屏蔽，很多站長(cháng)往往刪除一些目錄后，怕出現404問(wèn)題，而進(jìn)行了屏蔽，禁止搜索引擎再抓取這樣的鏈接。事實(shí)上，這樣做真的好嗎?即使你屏蔽掉了，如果之前的目錄存在問(wèn)題，那么沒(méi)有被蜘蛛從庫中剔除，同樣會(huì )影響到網(wǎng)站。