了解“蜘蛛”的習(xí)性做優(yōu)化更給力！

百度搜索引擎中我們廠說的蜘蛛站長(zhǎng)們?cè)偈煜げ贿^了，對(duì)于百度蜘蛛合肥網(wǎng)絡(luò)公司小編只能說了解的并不很透徹，通過學(xué)習(xí)還是有一些收獲的。

一、常見蜘蛛

蜘蛛就是搜索引擎用來訪問頁(yè)面的程序，也成為機(jī)器人。通常在網(wǎng)站IIS日志中就可以看到各種蜘蛛訪問網(wǎng)頁(yè)的情況，因此通過網(wǎng)站日志就可以看到蜘蛛來訪的情況。過程是這樣的，當(dāng)蜘蛛回訪一個(gè)網(wǎng)站時(shí)，就會(huì)出頁(yè)面訪問請(qǐng)求并返回HTTP狀態(tài)碼，然后蜘蛛會(huì)把這些狀態(tài)碼存入自己的數(shù)據(jù)庫(kù)，為以后的各種計(jì)算做鋪墊。一般互聯(lián)網(wǎng)都有蜘蛛，對(duì)于網(wǎng)站日志站長(zhǎng)們還是有必要去研究一下的。

二、文件存儲(chǔ)

當(dāng)搜索引擎爬行和抓取完成后，會(huì)把數(shù)據(jù)存入原始頁(yè)面數(shù)據(jù)庫(kù)，這也是搜索引擎的技術(shù)關(guān)鍵所在，文件存儲(chǔ)還會(huì)存儲(chǔ)各種計(jì)算權(quán)重所需要的數(shù)據(jù)，各種鏈接的關(guān)系，谷歌PR值等等。數(shù)據(jù)量相當(dāng)大，當(dāng)網(wǎng)站不存在時(shí)，我們可以訪問搜索引擎的快照頁(yè)面，和站長(zhǎng)網(wǎng)站本省數(shù)據(jù)沒有關(guān)系。

三、跟蹤鏈接

所謂跟蹤鏈接就是指蜘蛛會(huì)順著頁(yè)面上的鏈接從一個(gè)頁(yè)面爬到另一個(gè)頁(yè)面，蜘蛛就會(huì)這樣一直爬下去。一般我們的網(wǎng)站都有很好的內(nèi)鏈，理論上蜘蛛可以爬行所有的頁(yè)面，但是現(xiàn)實(shí)中網(wǎng)站內(nèi)部的結(jié)構(gòu)是很復(fù)雜的，蜘蛛是不可能把所有的網(wǎng)頁(yè)都爬完的。我們?cè)谧鼍W(wǎng)站優(yōu)化的時(shí)候可以做深度和廣度優(yōu)化，一個(gè)是縱向一個(gè)是橫向的，這樣蜘蛛才能進(jìn)行完整的爬行。

四、地址庫(kù)

這是相對(duì)搜索來說一個(gè)很重要的內(nèi)容，互聯(lián)網(wǎng)上的頁(yè)數(shù)很多，為了避免爬行和抓取重復(fù)的網(wǎng)址，搜索引擎會(huì)建立一個(gè)地址庫(kù)，主要記錄已經(jīng)發(fā)現(xiàn)但是還未被抓取的頁(yè)面和已經(jīng)抓取了的頁(yè)面。有了地址庫(kù)就能讓搜索引擎更有效率的工作。一般來說，地址庫(kù)里的URL地址可以通過人工錄入，也可以是自己抓取，還可以通過提交，很多站長(zhǎng)都會(huì)把網(wǎng)站地址主動(dòng)提交要被收錄的頁(yè)面。但是站長(zhǎng)們應(yīng)該明白，主動(dòng)提交給搜索引擎，蜘蛛并不一定就會(huì)收錄你的頁(yè)面。

五、吸引蜘蛛

這一點(diǎn)站長(zhǎng)們都應(yīng)該比較了解，我們想讓網(wǎng)站有好的排名，我們就只能吸引蜘蛛經(jīng)常來訪你的網(wǎng)站，提高網(wǎng)站的權(quán)重，內(nèi)容更新要有規(guī)律，網(wǎng)站外鏈建設(shè)。這里就不再詳談了。