如何讓部落格 (Blogger) 被搜尋引擎找到的做法

建立 robots.txt

robots.txt 這個檔案，用來描述網站資訊，哪些網頁可以看，哪些目錄不要建立索引。搜尋引擎的網路爬蟲（Web Crawler），會自動根據該檔案判斷，如何建立該網站索引資料。注意這個檔案只是建議如何搜尋，但爬蟲蜘蛛可以忽略這些建議。

Blogger 設定，搜尋偏好設定，自訂 robots.txt，選擇啟用並填入設定。

User-agent: *
Disallow: /search
Allow:/
Sitemap: http://blog.twsiyuan.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: http://blog.twsiyuan.com/sitemap.xml

User-agent 針對所有的搜尋引擎，Disallow 不允許項目，Allow 允許項目，以及最重要的 Sidemap 資料，提供網站的網站地圖，讓搜尋引擎知道有哪些網頁可以建立索引。

向 Google Webmaster 提交網站地圖

手動向 Google 送出部落格的網站地圖，可以讓搜尋引擎快點找到部落格的時間。

• 登入 Google Webmaster Tools
• 點擊新增內容並加入部落格網址
  
• 查看剛剛新增的部落格
• 選取「檢索」「Sidemap」
• 新增 Sidemap 並輸入位置。輸入以下兩個位置。

  atom.xml?redirect=false&start-index=1&max-results=500

  舊版本格式，文章網址包含內容，最多 500 筆資料。超過不會顯示在該文件中。

  sitemap.xml

  新版本格式，僅文章網址資料，但包含所有的文章連結，不會有筆數限制。
• 重新整理頁面確認輸入內容
  

向 Bing Webmaster 提交網站地圖

也向微軟的搜尋引擎送出網站 Sitemap，Bing 也是雅虎奇摩的搜尋引擎。

• 登入 Bing Webmaster
• 輸入部落格網址並點選新增
  
• 確認頁的 Sitemap 先擱置不填，直接下一步
• 驗證網域所有權，Microsoft 提供三種驗證方式，
  • 將 XML 檔案放在您的網頁伺服器
  • 複製 <meta> 標籤並貼到您的預設網頁
  • 新增 CNAME 記錄至 DNS
  最簡單的方式是複製 <meta>，回到 Blogger 管理頁編輯 HTML，把 <meta> 貼上。然後回到該驗證頁面點選驗證。
• 「儀錶板」「設定我的網站」「Sitemaps」
• 提交以下兩個 Sitemap 位置，請將 blog.twsiyuan.com 改成自己部落格的網域

  http://blog.twsiyuan.com/atom.xml?redirect=false&start-index=1&max-results=500

  舊版本格式，文章網址包含內容，最多 500 筆資料。超過不會顯示在該文件中。

  http://blog.twsiyuan.com/sitemap.xml

  新版本格式，僅文章網址資料，但包含所有的文章連結，不會有筆數限制。
• 確認內容
  

手動提交網址，快速建立搜尋索引

以上是介紹提交 Sitemap 讓 Google Crawler 自動去爬網站的資料，更新時間可能會因為排程，而需要等上幾天才會建立或是更新索引。

但 Google Webmaster 中有提供 Google 模擬器，可以手動提交網址，要求 Google 在短時間處理提交網址的索引建立更新。

首先先輸入要手動更新的網址，然後按下「擷取」（fetch），讓 Google 去查詢該網址。

完成後會在下方表格看到剛剛網址的狀態，狀態顯示完成時會出現「提交給 Google 建立索引」（Submit to Index），點選按鈕來手動提交索引。

選擇一種檢索方式來提交網址，根據需求選擇。因為每個月有次數限制，考慮後再送出。通常首頁或是多連結資訊頁會選擇「檢索這個網址及其直接連結」（Crawl this URL and its direct links），讓 Google 除了爬該網頁外，也爬該網頁的連結建立索引。反之，單篇文章使用「僅檢索這個網址」（Crawl only this URL）方式就足夠了。

更進一步的說明可以參考 Google 文件─要求 Google 重新檢索您的網址。