<sub id="pmxzg"></sub>
      <acronym id="pmxzg"></acronym>
    1. <optgroup id="pmxzg"></optgroup>

    2. <var id="pmxzg"><sup id="pmxzg"></sup></var>

      您現在的位置是:主頁 > SEO優化 > SEO基礎學習 > SEO基礎學習

      網站robots協議的寫法規范和注意語法

      菜鳥菌2019-11-19SEO基礎學習人已圍觀

      簡介是個SEO站長都知道 robots協議 是搜索引擎訪問網站第一個訪問的文件,robots協議里的語法命令是告訴搜索引擎在訪問網站時要遵守哪些協議,不要到處亂爬亂抓取。對于很多新手SEO來講

             是個SEO站長都知道robots協議是搜索引擎訪問網站第一個訪問的文件,robots協議里的語法命令是告訴搜索引擎在訪問網站時要遵守哪些協議,不要到處亂爬亂抓取。對于很多新手SEO來講,雖然知道robots為何物,但是對robots協議的寫法規范、注意要領還是迷糊的。

             很多人會有“robots該屏蔽網站哪些文件,不該屏蔽哪些文件呢!”、“屏蔽與不屏蔽怎么書寫語法命令”這些疑問。的確,robots協議寫好了可以給網站SEO優化加分,寫錯了那傷害也是剛剛的。菜鳥菌經常會發現有人問,我的網站都是原創內容,就是不收錄,結果一看,好家伙,robots協議屏蔽蜘蛛了。


      網站robots協議的寫法規范和注意語法

             所以,robots協議作為蜘蛛訪問網站的第一道鎖線,站長們要正確認真對待,哪里該封鎖,哪里該放開,要在robots協議里寫的明明白白。下面菜鳥菌講下robots協議的寫法規范和注意語法。

             robots的語法主要有5個,即:

             1、“User-agent”,定義搜索引擎,用來表明協議是針對哪些搜索引擎蜘蛛的;


             2、“Disallow”,禁止抓取,用來表明協議禁止抓取哪些文件;

             3、“Allow”,允許抓取,用來表明協議允許抓取哪些文件;

             4、“$”,結束符;


             5、“*”,通配符;

             其次,robots協議的語法首字母必須是大寫,每個語法一行一個。語法后面跟著英文狀態下的冒號,冒號后要有個空格。例如:

             User-agent:*

             此語法表示下面的協議對所有的搜索引擎生效

             User-agent:baiduspider
             此語法表示下面的協議只對百度的搜索引擎生效

             User-agent:googlebot
             此語法表示下面的協議只對谷歌的搜索引擎生效

             User-agent:sougouspider

             此語法表示下面的協議只對搜狗的搜索引擎生效

             User-agent:*

             Disallow: /
             此語法表示禁止所有搜索引擎訪問整個網站,同理,把“*”換成哪個搜索引擎蜘蛛的名稱,就是禁止哪個搜索引擎訪問。

             User-agent:*
             Allow: /
             此語法表示允許所有搜索引擎訪問整個網站,Allow: /可以用Disallow:替代,一般都習慣用Disallow語法,Allow很少用。反正就是對立,作用是一樣的。


             User-agent: Baiduspider
             Disallow: /

             此語法表示禁止百度搜索引擎訪問網站,但其它的搜索引擎可以訪問,同理換成其它也是一樣的。

             User-agent語法的應用,如果沒有特殊的要求,一般都是“*”定義所有的搜索引擎。那通常都要屏蔽哪些文件,不讓蜘蛛訪問呢!比如網站后臺文件、模板文件、JS、CSS、或有特殊意義的文件等。
             例如:禁止所有搜索引擎訪問admin、data、templets、style文件夾
             User-agent:*
             Disallow: /admin
             Disallow: /data

             Disallow: /templets
             Disallow: /style

             禁止所有搜索引擎訪問admin文件夾,但允許訪問admin問價下cainiao文件
             User-agent:*
             Disallow: /admin/

             Allow: /admin/cainiao

             “*”、“$”語法的使用

             禁止所有搜索引擎抓取/conent/目錄下的所有以“.html”后綴結尾的頁面
             User-agent: *
             Disallow: /conent/*.html

             使用語法“$”禁止所有搜索引擎訪問以.jpg格式結尾的圖片和“.php”后綴結尾的頁面
             User-agent: *
             Disallow: /.jpg$

             Disallow: /.php$

             robots協議基本的語法就上面五個,但是可以根據站長不同的要求,組合語法制定出不同的協議,這個還需要大家多去嘗試。此外,因robots協議是第一個被訪問的文件,站長通常喜歡把網站地圖加入到協議里,以求網站鏈接第一時間被發現抓取。




      菜鳥學堂微信公眾號二維碼

      關注我,為營銷者點贊!

      成年网站未满十八禁手机观看_午夜无码熟熟妇丰满人妻_日日天干夜夜人人添_91色婷婷综合久久久久中文
      <sub id="pmxzg"></sub>
          <acronym id="pmxzg"></acronym>
        1. <optgroup id="pmxzg"></optgroup>

        2. <var id="pmxzg"><sup id="pmxzg"></sup></var>