在做網站結構分析之前，要理解搜索引擎蜘蛛是擬人化的算法而已。算法就是按部就班的執行事先設計的抓取策略，所以良好的網站結構具備引導、分配權重、提高抓取效率等作用，只有內部框架搭建好之后，內容的布局才能井然有序，蜘蛛才能有序爬行。
　　事先問題思考：
　　1.蜘蛛是否實現邏輯上的全站抓取
　　2.蜘蛛是否可以區分頁面重要性
　　3.蜘蛛是否可以提取頁面的關鍵詞
　　一、邏輯上全站爬行
　　1.網站結構優化
　　網站物理結構，即基于內容聚合的目錄及文件位置決定的結構。目前的主流思維就是網站扁平化設計，即平行結構。如：
　　列表目錄扁平化設計
　　主要實現方式：
　　第一種 只是簡單的上下頁操作

    第二種 在第一種的基礎上 增加頁面的選擇性

    第三種 目前主流的列表頁設計方式 交流性比較合理

　　首頁的扁平化設計
　　首頁一般是權重的最高頁面，也是蜘蛛最先訪問的頁面。所以在首頁鏈接對于頁面的“重要性”有一定影響，但往往一個網站的頁面成千上萬，首頁的鏈接數理論上維持100-150是合理的，所以將想要頻道頁、詳細頁在首頁留下鏈接，實現邏輯上首頁扁平化設計。同樣適用頻道頁等聚合屬性的頁面。
　　那么問題來了，面對數量巨大頁面，如何保證都可以實現被爬行抓取?
　　樹形結構的輔助，就是為了解決，扁平化帶來的不足，在導航欄、面包屑導航等設計頁面層級思維，輔助蜘蛛對網站結構的理解。
　　如：采用二級域名的網站樹形結構
　　總體上扁平化+樹形結構才是合理的網站結構優化策略組合。

　　2.鏈接結構優化
　　兩種蜘蛛抓取不到的頁面：網站本身不希望被收錄的頁面;沒有鏈接到達的頁面，即孤島頁面。對于沒有被首頁推薦的頁面，可以再內鏈上補充。合理的內鏈就是一個四通八達、井然有序的交通系統，蜘蛛就是來往的車輛。社會化、描文本、設置鏈接入口等。
　　3.Domain結構優化
　　主要是二級域名和二級目錄的選擇策略。沒有絕對的好與不好，就科易網小編來說目前公司網站正在有二級域名網站結構向二級目錄轉變，只是采取適應當前科易網發展的核心：塑造公司品牌。所以根據自身特點選擇合理的domain策略。
　　二、重要性的主導
　　對于搜索引擎來說，什么樣頁面會被認為“更重要”?有這么一句話：每個鏈接都是一個投票，意思是：頁面的所有鏈接都是投票。在搜索引擎看來：獲得更多內部投票的網頁相對來說更加重要。
　　如：搜索引擎角度頁面重要性 黃色>紅色>藍色>綠色
　　三、網頁的標簽：關鍵詞
　　搜索引擎在分析頁面的內容是優先從TDK入手，即title、description、keyword;之后就是H標簽、alt標簽;最后是TF-IDF ，即詞頻-文件頻率。從三個的關聯度定義頁面的“標簽”，即抓取的時頁面的定義的關鍵詞。