爬行和索引是搜尋引擎的兩個專業術語☁▩,對於許多seo新手來說☁▩,他們可能將這兩個詞混合使用☁▩,認為爬行就是索引☁╃☁▩。今天濰坊seo就和大家說說爬行與索引之間的區別☁╃☁▩。

1↟•·☁╃、爬行
  當搜尋引擎蜘蛛在站點中發生爬行時☁▩,站點中有一個並且只有唯一一個url被抓取☁▩,搜尋引擎可以從其他網頁的連結跟蹤爬行到這個站點中☁▩,所以對爬行的認識就是搜尋引擎按照連結對站點特定的url進行抓取☁╃☁▩。
  可能上面的概念比較抽象☁▩,我們舉例簡單說明☁▩,比如說☁▩,在很多時候蜘蛛在爬行站點的時候☁▩,站點中的有些連結就不能被抓取☁▩,比如◕↟▩↟:
  (1)連結編碼是Javascript☁▩,因為這被稱為“蜘蛛陷阱”☁▩,爬行站點的時候☁▩,蜘蛛會自動遮蔽爬行這些連結☁╃☁▩。
  (2)連結被標記為robots.txt的 “禁止指令☁╃☁▩。
  (3)孤立的連結(沒有人掛的情況下的sitemaps.xml☁▩,包括如連結)
  (4)連結所在的頁面是一個包含鏈nofollow指令的頁面
  (5)本來是要抓取的連結☁▩,但是因為伺服器不穩定的原因無法進行抓取☁╃☁▩。
  2↟•·☁╃、索引
  索引和爬行最大的區別就是☁▩,索引不是一個特定的url被抓取☁▩,而是頁面中的很多歌url☁▩,簡單的說就是當搜尋引擎確定好要索引哪個頁面之後☁▩,它就會這個頁面中的所有url進行處理和抓取☁▩,在抓取的過程中☁▩,蜘蛛會根據頁面的內容進行適當的處理☁▩,舉一個簡單的例子☁▩,在有的頁面內容中雖然存在一個url但這個url已經加上了NOINDEX指令☁▩,那麼搜尋引擎是不會抓取這個頁面的☁╃☁▩。
  站點頁面處於非索引狀態的原因◕↟▩↟:
  (1)在頁面中含有NOINDEX指令()
  (2)重複的內容◕↟▩↟:具有相同內容頁面可能無法被索引☁╃☁▩。
  (3)其他原因◕↟▩↟:連結的年齡和連結流行
  如果新手想知道站點中的哪些頁面已經被索引了☁▩,那麼可以透過“site+網站域名”的方式檢索☁▩,透過這樣的方式☁▩,搜尋引擎將會顯示有多少個頁面已經被蜘蛛所引並且是哪些頁面☁╃☁▩。
  爬行和索引雖然表示的都是蜘蛛抓取站點☁▩,但他們所包含的方向是不一樣的☁▩,這裡筆者建議注意區分開☁╃☁▩。