Google 黑板报 -- Google 中国的博客网志: 与谷歌机器人的第一次约会:标头和压缩
這篇文章解釋了Google 如何使用 Googlebot (谷歌機器人) 來搜尋相關網頁的資訊. 提供了正確的看法與做法.
ps: 由於找到的簡體中文的文章,由於是轉載的關係,不便轉譯成繁體中文. 畢竟台灣人看繁體中文比較順暢...
如果要封鎖或是允許 Googlebot 的行為, 這裡有來自於Google 網站管理員中心的中文說明(繁體中文)
如何封鎖或允許 Googlebot?
封鎖 Googlebot
Google 使用數個 User-agent。 您可以透過包含漫遊器名稱於一個項目的 User-Agent 行,封鎖存取任何一個 User-agent。 封鎖 Googlebot 會封鎖所有以「Googlebot」開頭的漫遊器。
- Googlebot:負責檢索我們網頁索引和新聞索引中的網頁
- Googlebot-Mobile:負責為我們的行動索引檢索網頁
- Googlebot-Image:負責為我們的圖片索引檢索網頁
- Mediapartners-Google:負責檢索網頁來決定 AdSense 的內容。 如果 AdSense 廣告在您的網站上顯示,我們才會使用此漫遊器來檢索您的網站。
- Adsbot-Google: 負責檢索網頁來評量 AdWords 到達網頁的品質。 您必須使用 Google AdWords 來為您的網站做廣告,我們才會使用這個漫遊器。
請點擊此連結
目前小弟也在了解SEO相關的訊息, 相信這對於想提升網頁眼球的網頁主來說, 會是個不錯的參考資料.