針對希望快速了解核心要點的受眾,Matt Cutts特別提煉出關鍵信息:其一,Google爬行與索引部門的硬件資源充足,收錄網(wǎng)頁數(shù)量下降并非源于存儲空間不足;其二,Google持續(xù)重視并吸納站長的反饋意見,以優(yōu)化算法與索引策略。追溯“大爸爸”更新的完整進程,其技術(shù)部署始于去年12月,當時爬行與索引團隊已啟動相關軟件的迭代升級——這是首次對“大爸爸”具體技術(shù)內(nèi)涵的明確說明,主要涵蓋爬行系統(tǒng)及部分索引模塊的更新。今年1月上旬,Matt Cutts曾開放特定數(shù)據(jù)中心的IP地址供站長反饋測試;2月,該系統(tǒng)逐步擴展至更多數(shù)據(jù)中心部署;3月,大量站長投訴網(wǎng)頁未被收錄,且補充材料網(wǎng)頁增多,3月13日,Google匿名員工“Google Guy”在站長社區(qū)征集具體案例。

通過對案例網(wǎng)站的深度分析,問題根源迅速顯現(xiàn):在“大爸爸”數(shù)據(jù)中心中表現(xiàn)異常的站點,普遍存在算法對其反向鏈接及導出鏈接的信任度評估偏低的情況,例如大量交換鏈接、指向低質(zhì)量網(wǎng)站或參與買賣鏈接行為。需特別說明的是,“大爸爸”更新與“補充材料結(jié)果”無直接關聯(lián),因此當“大爸爸”未收錄某網(wǎng)站網(wǎng)頁時,補充索引系統(tǒng)可能反而增加對該類網(wǎng)頁的收錄。為應對這一問題,Matt Cutts與爬行/索引團隊協(xié)作優(yōu)化了算法收錄閾值,以提升對受影響網(wǎng)站的覆蓋度。3月22日,其公開表示正增加網(wǎng)頁收錄量;至3月29日,“大爸爸”更新全面完成,舊系統(tǒng)正式下線,此后所有爬行任務均由新系統(tǒng)接管。從技術(shù)迭代規(guī)模看,此次更新整體成功,僅收到兩類主要反饋:一是前述鏈接信任度低的網(wǎng)站收錄減少,團隊已快速響應并優(yōu)化;二是Google Adsense爬行網(wǎng)頁意外出現(xiàn)在搜索結(jié)果中,實為爬行緩存代理的設計特性所致。
完成“大爸爸”更新后,Google將工作重心轉(zhuǎn)向補充材料結(jié)果的優(yōu)化。4月初,用戶端開始展示更新后的補充材料結(jié)果;4月13日,有聲音指出收錄網(wǎng)頁減少;4月24日,“Google Guy”再次征集細節(jié)反饋。經(jīng)團隊多維度分析——包括爬行/索引部門、網(wǎng)站地圖部門及補充結(jié)果更新部門——未發(fā)現(xiàn)顯著規(guī)律。5月5日,技術(shù)團隊發(fā)現(xiàn)“site:”指令未返回補充材料結(jié)果的問題,并于當日修復;后續(xù)又針對分字符鏈接域名的site指令功能進行了優(yōu)化。
具體案例進一步佐證了上述結(jié)論。某.tv國家房地產(chǎn)網(wǎng)站管理員稱5月3日收錄量從2萬頁降至300頁,經(jīng)核查,“site:”指令已返回31200頁,域名問題已解決。另一房地產(chǎn)網(wǎng)站(5月11日案例)雖僅收錄387頁,但其底部鏈接指向鈴聲下載、SEO比賽、魚油等無關內(nèi)容,鏈接質(zhì)量問題凸顯——若希望提升收錄,需重點優(yōu)化鏈接質(zhì)量。5月4日的另一房地產(chǎn)網(wǎng)站,從1萬頁降至80頁,其鏈接涉及貸款按揭、信用卡、運動器械等非相關領域,印證了交換鏈接在新爬行邏輯下的優(yōu)先級降低。某健康保養(yǎng)目錄網(wǎng)站看似規(guī)范,但導入鏈接僅6個,導致蜘蛛爬行覆蓋有限。
綜合來看,“大爸爸”更新后,Google確減少了對部分網(wǎng)站的爬行與收錄,核心癥結(jié)在于鏈接質(zhì)量——大量交換鏈接、買賣鏈接或指向低質(zhì)量網(wǎng)站的內(nèi)容受影響顯著。Google在發(fā)現(xiàn)受影響范圍較大后已啟動算法調(diào)整。但目前收錄數(shù)據(jù)仍存在波動,不同數(shù)據(jù)中心間可能尚未完全同步,且補充材料結(jié)果的選擇算法仍存在優(yōu)化空間,對站點收錄穩(wěn)定性的影響有待進一步觀察。