當(dāng)前位置：網(wǎng)絡(luò)營(yíng)銷 > seo優(yōu)化推廣技巧>Seo優(yōu)化手法中關(guān)于robots.txt寫(xiě)法與作用進(jìn)行分解

Seo優(yōu)化手法中關(guān)于robots.txt寫(xiě)法與作用進(jìn)行分解

發(fā)布時(shí)間：2016-10-07 10:07:39文章分類：seo優(yōu)化推廣技巧編輯作者：管理員閱讀量：1225896

網(wǎng)站抓取是被對(duì)的，等著被抓?。晃覀?nèi)绾巫尵W(wǎng)站與搜索引擎對(duì)話，哪些文章能被收錄，哪些文件夾、圖片類型允許收錄；那些文件不允許被收錄。請(qǐng)?jiān)试S我哪些搜索引擎收錄，不允許哪些搜索引擎進(jìn)行收錄。都是可以通robots.txt 來(lái)進(jìn)行跟搜索引擎的機(jī)器人進(jìn)行對(duì)話完成。下面姜robots.txt寫(xiě)法與作用進(jìn)行分解如下：

robots.txt寫(xiě)法大全和robots.txt語(yǔ)法的作用:

1如果允許所有搜索引擎訪問(wèn)網(wǎng)站的所有部分的話我們可以建立一個(gè)空白的文本文檔，命名為robots.txt放在網(wǎng)站的根目錄下即可。

robots.txt寫(xiě)法如下：

User-agent: *

Disallow:

或者

User-agent: *

Allow: /

2如果我們禁止所有搜索引擎訪問(wèn)網(wǎng)站的所有部分的話

robots.txt寫(xiě)法如下：

User-agent: *

Disallow: /

3如果我們需要某一個(gè)搜索引擎的抓取的話，比如百度，禁止百度索引我們的網(wǎng)站的話

robots.txt寫(xiě)法如下：

User-agent: Baiduspider

Disallow: /

4如果我們禁止Google索引我們的網(wǎng)站的話，其實(shí)跟示例3一樣，就是User-agent:頭文件的蜘蛛名字改成谷歌的Googlebot

即可

robots.txt寫(xiě)法如下：

User-agent: Googlebot

Disallow: /

5如果我們禁止除Google外的一切搜索引擎索引我們的網(wǎng)站話

robots.txt寫(xiě)法如下：

User-agent: Googlebot

Disallow:

User-agent: *

Disallow: /

6如果我們禁止除百度外的一切搜索引擎索引我們的網(wǎng)站的話

robots.txt寫(xiě)法如下：

User-agent: Baiduspider

Disallow:

User-agent: *

Disallow: /

7如果我們需要禁止蜘蛛訪問(wèn)某個(gè)目錄，比如禁止admin、css、images等目錄被索引的話

robots.txt寫(xiě)法如下：

User-agent: *

Disallow: /css/

Disallow: /admin/

Disallow: /images/

8如果我們?cè)试S蜘蛛訪問(wèn)我們網(wǎng)站的某個(gè)目錄中的某些特定網(wǎng)址的話

robots.txt寫(xiě)法如下：

User-agent: *

Allow: /css/my

Allow: /admin/html

Allow: /images/index

Disallow: /css/

Disallow: /admin/

Disallow: /images/

9我們看某些網(wǎng)站的robots.txt里的Disallow或者Allow里會(huì)看很多的符號(hào)，比如問(wèn)號(hào)星號(hào)什么的，如果使用“*”，主要是限制訪問(wèn)某個(gè)后綴的域名，禁止訪問(wèn)/html/目錄下的所有以".htm"為后綴的URL(包含子目錄)。

robots.txt寫(xiě)法如下：

User-agent: *

Disallow: /html/*.htm

10如果我們使用“$”的話是僅允許訪問(wèn)某目錄下某個(gè)后綴的文件

robots.txt寫(xiě)法如下：

User-agent: *

Allow: .asp$

Disallow: /

11如果我們禁止索引網(wǎng)站中所有的動(dòng)態(tài)頁(yè)面（這里限制的是有“?”的域名，例如index.asp?id=1）

robots.txt寫(xiě)法如下：

User-agent: *

Disallow: /*?*

有些時(shí)候，我們?yōu)榱斯?jié)省服務(wù)器資源，需要禁止各類搜索引擎來(lái)索引我們網(wǎng)站上的圖片，這里的辦法除了使用“Disallow: /images/”這樣的直接屏蔽文件夾的方式之外，還可以采取直接屏蔽圖片后綴名的方式。

示例12

如果我們禁止Google搜索引擎抓取我們網(wǎng)站上的所有圖片(如果你的網(wǎng)站使用其他后綴的圖片名稱，在這里也可以直接添加)

robots.txt寫(xiě)法如下：

User-agent: Googlebot

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

13如果我們禁止百度搜索引擎抓取我們網(wǎng)站上的所有圖片的話

robots.txt寫(xiě)法如下：

User-agent: Baiduspider

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

14除了百度之外和Google之外，禁止其他搜索引擎抓取你網(wǎng)站的圖片

(注意，在這里為了讓各位看的更明白，因此使用一個(gè)比較笨的辦法——對(duì)于單個(gè)搜索引擎單獨(dú)定義。)

robots.txt寫(xiě)法如下：

User-agent: Baiduspider

Allow: .jpeg$

Allow: .gif$

Allow: .png$

Allow: .bmp$

User-agent: Googlebot

Allow: .jpeg$

Allow: .gif$

Allow: .png$

Allow: .bmp$

User-agent: *

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

15僅僅允許百度抓取網(wǎng)站上的“JPG”格式文件

（其他搜索引擎的辦法也和這個(gè)一樣，只是修改一下搜索引擎的蜘蛛名稱即可）

robots.txt寫(xiě)法如下：

User-agent: Baiduspider

Allow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

16僅僅禁止百度抓取網(wǎng)站上的“JPG”格式文件

robots.txt寫(xiě)法如下：

User-agent: Baiduspider

Disallow: .jpg$

17如果 ? 表示一個(gè)會(huì)話 ID，您可排除所有包含該 ID 的網(wǎng)址，確保 Googlebot 不會(huì)抓取重復(fù)的網(wǎng)頁(yè)。但是，以 ? 結(jié)尾的網(wǎng)址可能是您要包含的網(wǎng)頁(yè)版本。在此情況下，沃恩可姜與 Allow 指令配合使用。

robots.txt寫(xiě)法如下：

User-agent:*

Allow:/*?$

Disallow:/*?

Disallow:/ *?

一行姜攔截包含 ? 的網(wǎng)址（具體而言，它姜攔截所有以您的域名開(kāi)頭、后接任意字符串，然后是問(wèn)號(hào) (?)，而后又是任意字符串的網(wǎng)址）。Allow: /*?$ 一行姜允許包含任何以 ? 結(jié)尾的網(wǎng)址（具體而言，它姜允許包含所有以您的域名開(kāi)頭、后接任意字符串，然后是問(wèn)號(hào) (?)，問(wèn)號(hào)之后沒(méi)有任何字符的網(wǎng)址）。

18如果我們想禁止搜索引擎對(duì)一些目錄或者某些URL訪問(wèn)的話，可以截取部分的名字

robots.txt寫(xiě)法如下：

User-agent:*

Disallow: /plus/news.asp

以上內(nèi)容供大家參考下即可,來(lái)源網(wǎng)上，進(jìn)行整理；分享給大家，希望對(duì)大家有用。

( 責(zé)任編輯：SEO優(yōu)化-帝壹推廣獲客解決方案專家 )
本文由網(wǎng)絡(luò)推廣實(shí)戰(zhàn)家帝壹網(wǎng)絡(luò)品牌精心原創(chuàng)編輯，如果您還想了解更多關(guān)于SEO推廣的文章，請(qǐng)點(diǎn)擊查看seo營(yíng)銷和網(wǎng)絡(luò)營(yíng)銷推廣的其它文章,轉(zhuǎn)發(fā)請(qǐng)注明來(lái)源及版權(quán)歸屬。
網(wǎng)站推廣，網(wǎng)站整合營(yíng)銷服務(wù)商，服務(wù)咨詢電話：023-68626707

帝壹網(wǎng)絡(luò)營(yíng)銷推廣幫助企業(yè)提高業(yè)績(jī)

主營(yíng)服務(wù)：網(wǎng)絡(luò)營(yíng)銷，網(wǎng)絡(luò)整合推廣，高端網(wǎng)站制作，營(yíng)銷落地頁(yè)策劃，關(guān)鍵詞優(yōu)化排名，快照優(yōu)化排名，顧問(wèn)營(yíng)銷培訓(xùn)，微信平臺(tái)開(kāi)發(fā)，微信營(yíng)銷推廣,新聞稿發(fā)布，口碑問(wèn)答營(yíng)銷，價(jià)格優(yōu)惠多多，多種套餐服務(wù)選擇，有買有送。
本欄目推薦關(guān)鍵字：重慶網(wǎng)絡(luò)推廣 - 網(wǎng)站推廣 -搜索引擎優(yōu)化排名- 網(wǎng)絡(luò)推廣公司 -重慶seo推廣公司

新一代seo網(wǎng)站與信息推廣服務(wù)商-帝壹網(wǎng)絡(luò)

本文標(biāo)簽：robots.txt寫(xiě)法與作用

上一篇：網(wǎng)站不收錄的原因？請(qǐng)看下面的回答！下一篇：讓更多的客戶找到你----------搜索引擎化

相關(guān)評(píng)論

評(píng)論人：陶先生評(píng)論時(shí)間：2019.12.17

為作者占贊，品牌推廣的五大流程。讓我們對(duì)網(wǎng)絡(luò)上對(duì)自家品牌推廣有了很好的方向。我已經(jīng)安排公司辦公室主任與貴公司接洽，并商量合作事宜。希望我們的合作愉快。

評(píng)論人：員工評(píng)論時(shí)間：2018.12.26

陳總經(jīng)常給我們講市場(chǎng)營(yíng)銷是傳統(tǒng)的營(yíng)銷，網(wǎng)絡(luò)營(yíng)銷是新的營(yíng)銷手段依賴于互聯(lián)網(wǎng)與電子設(shè)備。企業(yè)不做網(wǎng)絡(luò)營(yíng)銷或者說(shuō)不與時(shí)代趨勢(shì)接軌，是落后的營(yíng)銷行為，21世紀(jì)要么電子商務(wù)，要么網(wǎng)絡(luò)營(yíng)銷，要么無(wú)商可務(wù)！

評(píng)論人：劉先生評(píng)論時(shí)間：2018.12.26

帝一網(wǎng)絡(luò)牛氣，研究的網(wǎng)站推廣系統(tǒng)，我公司用了非常不錯(cuò)，點(diǎn)個(gè)贊！

評(píng)論人：陳大果評(píng)論時(shí)間：2019.12.17

你的產(chǎn)品定價(jià)做不好，再好營(yíng)銷也是白搭。更別談成交了。我不能說(shuō)品牌好，價(jià)值高就亂定價(jià)。定價(jià)還是要100%站在潛在客戶的角度進(jìn)行定價(jià)。價(jià)格要定在消費(fèi)者的心坎上。

評(píng)論人：陳大果評(píng)論時(shí)間：2016.10.14

重慶金枝藝術(shù)品有限公這個(gè)網(wǎng)站建設(shè)設(shè)計(jì)是花了心思的。仔細(xì)看了，網(wǎng)站沒(méi)有做推廣！

評(píng)論人：羅先生評(píng)論時(shí)間：2016.10.27

陳總你好，看了你的發(fā)言，我覺(jué)得講得很有道，我們是一家新公司，專做水電維修的。不知道我們這個(gè)行業(yè)可不可以在網(wǎng)上推廣。如何推廣，幫我們看看，有方案最好。聯(lián)系方式已經(jīng)留下，請(qǐng)陳總費(fèi)心幫我們想想，萬(wàn)分感謝！

點(diǎn)擊評(píng)論