爬行和抓取 是搜索引擎工作的第一步,完成數(shù)據(jù)收集任務。
1、蜘蛛:
搜索引擎用來爬行和訪問頁面的程序被稱為蜘蛛(spider),也稱為機器人(bot)。
2、跟蹤鏈接:
為了抓取網(wǎng)上盡量多的頁面,搜索引擎蜘蛛會跟蹤頁面上的鏈接,從一個頁面爬到下一個頁面,就好像蜘蛛在蜘蛛網(wǎng)上爬行那樣,這也是搜索引擎蜘蛛這個名稱的由來。
3、吸引蜘蛛:
理論上蜘蛛能爬行和抓取所有頁面,但實際上不能,也不會這么做。SEO人員想要讓自己的更多頁面被收錄,就要想方設法吸引蜘蛛抓取。
4、地址庫:
為了避免重復爬行和抓取網(wǎng)址,搜索引擎會建立一個地址庫,記錄已經(jīng)被發(fā)現(xiàn)還沒有抓取的頁面,以及已經(jīng)被抓取的頁面。
5、文件儲蓄:
搜索引擎蜘蛛抓取的數(shù)據(jù)存入原始頁面數(shù)據(jù)庫。其他的頁面數(shù)據(jù)與用戶瀏覽器得到的HTML是完全一樣的。每個URL都是這樣一個獨特的文件編號。