SEO網(wǎng)站優(yōu)化SEOER,每天都要時刻關(guān)注百度蜘蛛有沒有來抓取網(wǎng)站,抓取了網(wǎng)站哪些內(nèi)容,沒有抓取網(wǎng)站哪些內(nèi)容,再沒有抓取的頁面上觀察調(diào)整網(wǎng)站的問題。
想要提高爬蟲抓取頻率可以從幾個方面著手,簡單介紹提高spider抓取網(wǎng)站的策略。
?
提高spider抓取策略有哪些?
一、抓取友好性:抓取壓力調(diào)配降低對網(wǎng)站的訪問壓力
帶寬造成訪問壓力大,會直接影響網(wǎng)站的正常用戶訪問,為了不影響網(wǎng)站的正常用戶訪問,又能讓spider抓取有價值性的頁面。
1、IP壓力控制
如果一個域名下存在多個IP,或者是多個域名下對應(yīng)同一個IP,需要根據(jù)IP和域名多種條件進行壓力調(diào)配控制。也可以在站長平臺中使用壓力反饋工具,人工調(diào)配對網(wǎng)站的抓取壓力,這樣spider會優(yōu)先根據(jù)站長的要求進行抓取壓力控制。
2、站點的抓取速度
如果在同一個站點,抓取速度控制有兩類:第一類,一段時間內(nèi)的抓取頻率;第二類,一段時間內(nèi)的抓取流量。同一個站點在不同的時間內(nèi)抓取的速度是不同的,根據(jù)站點的類型來設(shè)置。
?
二、常用抓取返回碼示意
1、404:“NOT FOUND”,表示該網(wǎng)頁已經(jīng)失效,通常在庫中刪除,spider如果發(fā)現(xiàn)這條URL是不會抓取的。
2、503:“Service Unavailable”,表示該網(wǎng)頁暫時不能訪問。網(wǎng)頁返回503狀態(tài)碼,百度spider不會直接刪除這條URL,再訪問多次的情況下,網(wǎng)頁如果恢復(fù)正常,就能正常抓取。如果繼續(xù)返回503,才會認為是失效鏈接,從庫中刪除。
3、403:“Forbidden”, 表示該網(wǎng)頁目前禁止訪問。如果生成的是新的URL,spider是暫時不會抓取,也是會再訪問多次;如果是被收錄的URL,不會直接刪除,短期內(nèi)同樣反復(fù)訪問幾次。如果網(wǎng)頁正常訪問,則正常抓??;如果仍然禁止訪問,那么這條URL也會被認為是失效鏈接,從庫中刪除。
4、301:“Moved Permanently”, 表示該網(wǎng)頁重定向到新的URL。如果站點需要更換域名、站點改版的情況下,需要設(shè)置301重定向,也可以在站長平臺上網(wǎng)站改版工具提交,有效減少網(wǎng)站的流量損失。
閱讀本文的人還可以閱讀: