搜索優(yōu)化：robots的寫法
來源:SEO優(yōu)化 2012-06-07
robots的寫作在網(wǎng)站中起著非常重要的作用,她代表著能否被所有的搜索引擎抓取,在百度上有一個好的排名。下面我們一起來看一下關于robots的一些知識。
1. 什么是robots.txt文件?
搜索引擎使用spider程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider在訪問一個網(wǎng)站時,會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.txt的純文本文件,這個文件用于指定spider在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個robots.txt,在文件中聲明 該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
2.常見蜘蛛形態(tài)
User-Agent:定義搜索引擎的類型· Disallow: 定義禁止搜索引擎收錄的地址 · Allow: 定義允許搜索引擎收錄的地址
案例:允許所有的蜘蛛抓取所有的頁面
User-agent: *Allow:/ /或者根目錄下放置robots.txt空文件
百度的蜘蛛形態(tài)
Baiduspider+(+$
Disallow: /
例10. 禁止訪問網(wǎng)站中所有的動態(tài)頁面
User-agent: *
Disallow: /*?*
例11. 禁止Baiduspider抓取網(wǎng)站上所有圖片
僅允許抓取網(wǎng)頁,禁止抓取任何圖片。
User-agent: Baiduspider
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$
例12. 僅允許Baiduspider抓取網(wǎng)頁和.gif格式圖片
允許抓取網(wǎng)頁和gif格式圖片,不允許抓取其他格式圖片
User-agent: Baiduspider
Allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$
例13. 僅禁止Baiduspider抓取.jpg格式圖片
User-agent: Baiduspider
Disallow: /*.jpg$
文章編輯: 365webcall在線客服系統(tǒng)(www.365webcall.com)
我的評論
| 登錄賬號： | 密碼： | 快速注冊 | 找回密碼 |  |
