一、robots.txt文件
Robots.txt文件對
企業網站SEO優化前期至關重要，設置得好
企業網站SEO優化排名周期縮短，弄得不好，連網站收錄都成問題。例如許多網站上線或者改版之后，常常會在百度快照上看到這樣的一句話“由于該網站的robots.txt文件存在限制指令，系統無法提供該頁面的內容描述” 一般都不懂的新手們，都會以為搜索引擎抓取出問題了吧，怎么搞的。其實，這明顯就是因為網站robots文件屏蔽操作導致的,對于這種情況，網站不收錄完全就是正常情況，小編只想說，不修改robots.txt文件沒其他辦法拉!
另外關于robots.txt文件導致網站沒收錄的原因還有一個，那就是網站上線前期，許多小伙伴認為網站內容還不夠完善，還需要作調整，于是就在robots.txt文件里面寫下禁止所有搜索引擎蜘蛛來抓取，想著等網站完善好了，再更改規則讓搜索引擎蜘蛛來抓取。小編只想說每個人都是有脾氣的，搜索引擎蜘蛛雖然是機器，但脾氣絕對不小，你網址能正常打開，一次來你拒之門外，二次三次也還是拒之門外，然后搜索引擎蜘蛛就啟用它的記憶功能了，這家伙給我的第一印象極差，多次上門都不請我進去坐坐，后果可想而知。所以就算過一段時間再把禁止規則去掉，蜘蛛已經長時間不來光顧，網站沒有收錄也是再正常不過。
二、網站框架
不得不說很多
企業網站SEO優化人員十分嚴重的一個問題：不會搭建網站。事實就是80%的
企業網站SEO優化人員都只會套網站模板，然后簡單修改修改就算是完成網站搭建了，盡管很多優秀的
企業網站SEO優化也是這樣過來的，但更多的是失敗的例子。搜索引擎之所以會收錄這個網站的頁面，首先是這個頁面的框架是符合抓取規則的，不然網站全部都是js和圖片，搜索引擎壓根很難識別，就算是網站框架是符合規則的，但蜘蛛抓取完后必然會經過一套過濾刪除，符合它胃口的頁面才真正被收錄，在此期間有一個很重要的一點就是，不要經常改動網站框架，不然網站沒有收錄也是情理之中呀!蜘蛛就喜歡專一的人，這樣印象才好，才有信任度。
三、頁面內容
不少
企業網站SEO優化人員都一致認為,搜索引擎是以“內容為王”，實際也是八九不離十，網站內容的重要性幾乎可以影響整個網站的優化排名結果，舉個簡單的例子，一個網站站內基礎優化做得十分出色，無可挑剔，但網站的內容是采集回來的，也就是全部復制別人的，結果是這個網站幾乎沒有頁面被收錄，原因當然是就是搜索引擎經過它的計算，知道你的內容是復制來的，價值不高，沒收錄的必要。另一個網站站內基礎優化做的比較差，頁面做的也不好，但它的網站內容確實原創的內容而且剛好就是滿足用戶需求的內容，結果是這個網站的頁面基本都收錄了，排名也還不錯。
總的來說就是搜索引擎就是要找有價值的內容，如果網站沒有具有價值的內容，在搜索引擎看來這個網站是低價值的，不管這個網站在用戶看來有多好看、有多大氣、特效有多炫。小編認為，網站內容原創不原創還不是重點，重點是這個內容是否重復的，是否對用戶有價值的，只要不是完全一樣的而又對用戶有價值的內容，頁面收錄不是問題!
四、黑帽技術
之前有個
企業網站SEO優化人員朋友，他新網站上線前期，收錄扛扛的，當時還沾沾自喜，前幾天找到我跟我說網站收錄全沒了，我再三追問之下，得知原來是為了加快網站收錄用了黑帽技術，被懲罰得到現在都沒恢復。在此告誡小伙伴們切勿違反搜索引擎制定的規則，明文規定會懲罰的千萬不要去做，誰試誰知道，倒霉的最終都是自己，短期的效果雖然十分誘惑，但一旦被懲罰，前期付出的努力豈不是白白浪費?所以說正規白帽SEO才是能長期帶來效益的最佳途徑，且行且珍惜。
