搜索引擎蜘蛛是搜索引擎的一個自動程序。它的作用是訪問互聯(lián)網(wǎng)上的網(wǎng)頁、圖片、視頻等內(nèi)容，建立索引數(shù)據(jù)庫，使用戶能在搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁、圖片、視頻等內(nèi)容。
一般用法為“ spider+URL”，后面的URL(網(wǎng)址)是搜索引擎的痕跡，如果要查看某搜索引擎是否來爬取過你們的網(wǎng)站，可查看服務(wù)器的日志里是否有該URL,同時還能查看來的時間、頻率等…
1、百度蜘蛛：可以根據(jù)服務(wù)器的負載能力調(diào)節(jié)訪問密度，大大降低服務(wù)器的服務(wù)壓力。根據(jù)以往的經(jīng)驗百度蜘蛛通常會過度重復(fù)地抓取同樣的頁面，導(dǎo)致其他頁面無法被抓取到而不能被收錄。這種情況可以采取 robots協(xié)議的方法來調(diào)節(jié)。
2、谷歌蜘蛛：谷歌蜘蛛屬于比較活躍的網(wǎng)站掃描工具，其間隔28天左右就派出“蜘蛛”檢索有更新或者有修改的網(wǎng)頁。與百度蜘蛛最大的不同點是谷歌蜘蛛的爬取深度要比百度蜘蛛多一些。
3、雅虎中國蜘蛛：如果某個網(wǎng)站在谷歌網(wǎng)站下沒有很好的收錄，在雅虎下也不會有很好的收錄和爬行。雅虎蜘蛛的數(shù)量龐大，但平均的效率不是很高，相應(yīng)的搜索結(jié)果質(zhì)量不高。
4、微軟必應(yīng)蜘蛛：必應(yīng)與雅虎有著深度的合作關(guān)系，所以基本運行模式和雅虎蜘蛛差不多。
5、搜狗蜘蛛：搜狗蜘蛛的爬取速度比較快，抓取的數(shù)量比起速度來說稍微少點。最大的特點是不抓取 robot. text文件。
6、搜搜蜘蛛：搜搜早期是運用谷歌的搜索技術(shù)，谷歌有收錄，搜搜肯定也會收錄。2011年搜搜已經(jīng)宣布采用自己的獨立搜索技術(shù)，但搜搜蜘蛛的特性和谷歌蜘蛛的特點還是有著相似的地方。
8、有道蜘蛛：和其他搜索引擎蜘蛛一樣，凡是高權(quán)重網(wǎng)站的鏈接一般都能將其收錄。爬行原理也是通過鏈接之間的爬行。
