●被搜尋引擎收錄的基本概念
以目前全球最大搜尋引擎Google來說，Google的索引機器人「Googlebot」會根據網站之間的連結進行移動，藉以爬取整個網站的所有網頁，而這個移動過程稱為檢索(Crawl )，而索引完的網頁資料會將有用的資料存放至搜尋引擎的資料庫內，這過程又稱為索引(index)也就所謂的收錄。
●防止特定網頁被搜尋引擎收入的原因
網頁能被搜尋引擎收錄也代表有機會能透過搜尋關鍵字來找到網頁，但並非所有的網頁都應該被搜尋引擎收錄，像是網站後台登入頁或購物結帳成功提示頁面等含有機密不公開的頁面，這時就應該告訴搜尋引擎不要將頁面進行收錄，且若將沒有內容的頁面被搜尋引擎進行收錄也會影響網站的SEO搜尋排名。因此，本偏要介紹防止特定網頁被搜尋引擎找到的2種方法！(noindex 或 robot.txt)
●常見不應該被搜尋引擎收錄的網頁：
- 結帳畫面
- 購物車頁面
- 會員資料頁
- 隱私權政策
- 其他與網站主題不相關但必要的頁面
●防止被搜尋引擎收錄的兩種設定方式：
(1)網站內容使用相同的網址
在網頁HTML語法<Head>的底下加入：
<meta name=”robots” content=”noindex”>
(2)針對目錄下的網頁進行設定
透過「robot.txt」來設定。
語法為「Disallow 目錄名稱 」
