6.網站內鏈建設

蜘蛛的爬行是跟著鏈接走的，所以內鏈的合理優化可以要蜘蛛抓取到更多的頁面，促進網站的收錄。內鏈建設過程中要給用戶合理推薦，除了在文章中增加錨文本之外，可以設置相關推薦，熱門文章，更多喜歡之類的欄目，這是很多網站都在利用的，可以讓蜘蛛抓取更大范圍的頁面。

7.建設網站地圖

搜索引擎蜘蛛非常喜歡網站地圖，網站地圖是一個網站所有鏈接的容器。很多網站的鏈接層次比較深，蜘蛛很難抓取到，網站地圖可以方便搜索引擎蜘蛛抓取網站頁面，通過抓取網站頁面，清晰了解網站的架構，所以建設一個網站地圖不僅提高抓取率還能獲得蜘蛛好感。

8.檢查死鏈，設置404頁面

搜索引擎蜘蛛是通過鏈接來爬行搜索，如果太多鏈接無法到達，不但收錄頁面數量會減少，而且你的網站在搜索引擎中的權重會大大降低。蜘蛛在遇見死鏈就像進了死胡同，又得折返重新來過，大大降低蜘蛛在網站的抓取效率，所以一定要定期排查網站的死鏈，向搜索引擎提交，同時要做好網站的404頁面，告訴搜索引擎錯誤頁面。

9.檢查robots文件

很多網站有意無意的直接在robots文件屏蔽了百度或網站部分頁面，卻整天在找原因為什么蜘蛛不來抓取我的頁面，這能怪百度嗎?你都不讓別人進門了，百度是怎么收錄你的網頁?所以有必要時常去檢查一下網站robots文件是否正常。

10.監測蜘蛛的爬行

利用網站日志監測蜘蛛正在抓取哪些頁面、抓取過哪些頁面，還可以利用站長工具對蜘蛛的爬行速度進行查看，合理分配資源，以達到更高的抓取速度和勾引更多的蜘蛛。網站要獲得更多的收錄就需要做好搜索引擎蜘蛛的抓取優化工作，網站優化不是一朝一夕的事情，耐心做好基礎工作才是網站優化的根本。