抓取頻次是搜索引擎在單位時間內(天級)對網站服務器抓取的總次數,如果搜索引擎對站點的抓取頻次過高,很有可能造成服務器不穩定,Baiduspider會根據網站內容更新頻率和服務器壓力等因素自動調整抓取頻次。
如果你的抓取頻次過高的話可能是因為以下幾種情況的原因:
第一可能是:
robots.txt沒有設置好做好,導致蜘蛛大量抓取一些內部的沒用的頁面,包括以及一些重復頁面。
第二可能是
網站的過度優化,百度蜘蛛對網站的過度優化是很敏感的,它喜歡自然的東西,刻意優化會造成讓它反感甚至有作弊嫌疑,當你的網站有作弊嫌疑的時候,蜘蛛大軍就會大量造訪你的網站,每一個蜘蛛的分工都不同,其目的就是在你的網站上找出充分的證據證明你是作弊的,它會把各種算法通過蜘蛛集中放到你的網站上去驗證,能不能躲過此劫,就看你是不是真的作弊了。
而也有可能是網站結構的不合理性導致蜘蛛進入循環黑洞,爬取不順暢。
同樣抓取頻次太低也是不正常的,有以下幾種可能:
第一點:長期不更新內容,更新內容不規律,三天打漁兩天曬網。
第二點:新站點,新站點的規模差距還是挺大的,況且還沒走出百度的沙盒期,只有網站做了比較長的一段時間,贏得了搜索引擎的信任才會提高對你的網站的訪問次數。