抓取以嘗試獲取擁有的深層內容同時又不獲取沒有的深層內容是的我們肯定會半定期地將我們的抓取映射到和。這些方面的表現最新鮮和最完整不包括太多垃圾郵件垃圾的索引。在相似的時間範圍內給定的索引可能約為索引的但我們往往在網域和連結良好的頁面的覆蓋範圍方面做得很好儘管在大型網站的深度爬行方面表現較差。他們擁有像一樣的大型索引但實際上我們似乎在網路上許多不太受歡迎的角落的新鮮度上擊敗了他們儘管他們從可信來源捕獲流行新聞博客等方面仍然要快得。
多因為他們每天更新多次而我們每月更新一次。網址數量比或多得多但不如任何有關新鮮度或規範化的網址我們經常會在索引中看到數百個網址它們本質上是同一頁面但帶有奇怪的網址參數。我們喜歡它們的許多功能當 日本行動數據 然它們的大小令人羨慕但我們可能不會轉向連續添加而不是設置更新的模型除非我們以極低的速率獲得更多的頻寬處理能力。當我們分析的衰退時維護舊的問題變得更加明顯就到達網路的深處而言我們通常發現限制垃圾郵件和稀薄內容是這些末端的大問題。正如電子郵件流量估計以上是垃圾郵件一樣。
如果每個頁面都被真正抓取並包含在內那麼網路很可能會具有類似的比例。我們為此採取的重要措施是使用等指標以及我們的一些工作來幫助指導爬行。隨著我們擴大指數規模可能是今年月月這可能會成為一個更大的挑戰。謝謝蘭德。您可以在部落格上閱讀他的最新想法並在上關注他。網路銷售的普遍真理輕鬆簡單的勝利以下是的客座文章。谷歌知道這一點。現在你也這樣做了。輕鬆總是勝利。現在花點時間在腦海中想像您的網站部落格產品或服務。現在想想谷歌的。哪一個比較容易不您不是搜尋引擎您可能是擁。 |
