<ins id="f9nzj"><noframes id="f9nzj">

    <cite id="f9nzj"></cite><cite id="f9nzj"></cite>
      <cite id="f9nzj"></cite>

      <cite id="f9nzj"></cite>

        <delect id="f9nzj"><track id="f9nzj"><cite id="f9nzj"></cite></track></delect>

          湖南長沙八年做網站,網絡優化推廣服務團隊,讓您小投資大回報,幫您打開網絡營銷財富之門!
           業務服務熱線:0731-88571521  13637482004  
           


          地址:長沙市韶山南路248號南園503
                室(瀟湘晨報旁)
          電話:0731-88571521
          手機:13637482004
          Q  Q:44377655 522392221
          網址:www.fine-t.net
          郵箱:522392221@qq.com
          網站維護與安全
          長沙做網站聯系電話:0731-88571521 13637482004

          怎樣寫網站的robots文件 robots.txt這個文件是什么?有什么作用?

          信息來源:長沙做百度SEO   發布時間:2018-11-13   瀏覽:

          一個網站如果”/robots.txt”不存在或者為空文件,那么說明此網站對于所有的搜索引擎robot,該網站都是開放的。


          從京東和淘寶的robots.txt文件協議來看,robots.txt文件要講究語法的.
          三個語法
          1、User-agent ——用于描述搜索引擎robot的名字,定義搜索引擎類型。
          2、Disallow ——不希望被訪問的一組URL,定義禁止抓取收錄地址。
          3、Allow——希望被訪問的一組UR。
          a、  *      匹配0或多個任意字符。
          b、  $      結束符。 

          首先寫User-agent:
          A、U必須大寫,后面的小寫,緊接著冒號 ——這里還要注意一點:輸入法必須調成英文狀態,都是英文狀態下的)
          B、空一格再定義搜索引擎類型。比如定義百度蜘蛛


          再寫
          Disallow ——不希望被訪問的一組URL,定義禁止抓取收錄地址,或 Allow——希望被訪問的一組UR。
          Disallow: /(空一格,一撇)
          Allow: /(空一格,一撇)


          舉例:

          1. 禁止所有搜索引擎訪問網站的任何部分

          User-agent: *

          Disallow: /


          2. 僅禁止Baiduspider訪問您的網站

          User-agent: Baiduspider

          Disallow: /


          3.禁止Google索引你的網站。

          User-agent: Googlebot

          Disallow: /


          4.除了百度以外,其他一切搜索引擎禁止索引你的網站。

          User-agent: Baiduspider

          Allow: /

          User-agent: *

          Disallow: /


          5. 禁止所有搜索引擎訪問install這個目錄以及install這個目錄下的所有文件

          User-agent: *

          Disallow: /install


          6.禁止百度搜索引擎訪問admin目錄;允許訪問images目錄。

          User-agent: Baiduspider

          Disallow: /admin

          Allow: /images


          7.禁止百度搜索引擎訪問網站所有.jpg的圖片

          User-agent: Baiduspider

          Disallow: /*.jpg$


          8.禁止百度搜索引擎訪問網站所有的圖片

          User-agent: Baiduspider

          Disallow: /*.jpg$

          Disallow: /*.png$

          Disallow: /*.gif$


          9.禁止所有搜索引擎訪問admin目錄下所有php文件;允許訪問asp文件。

          User-agent: *

          Disallow: /admin/*.php$

          Allow: /admin/*.asp$


          10.禁止所有搜索引擎索引網站中所有的動態路徑。

          User-agent: *

          Disallow: /*?*


          重點區分以下兩種:

          a、禁止搜索引擎訪問faq目錄下的所有文件

          User-agent: *

          Disallow: /faq/     

          例1:http://www.fine-t.net/faq/1.html 不能訪問

          例2:http://www.fine-t.net/faq1.html 能訪問


          b、禁止搜索引擎訪問以faq開頭的所有文件

          User-agent: *

          Disallow: /faq

          例1:http://www.fine-t.net/faq/1.html 不能訪問

          例2:http://www.fine-t.net/faq1.html 不能訪問





          相關熱點文章


          地址:湖南長沙市韶山南路248號南園503室(瀟湘晨報旁) 版權所有:長沙市天心區斌網網絡技術服務部 統一社會信用代碼:92430103MA4LAMB24R
          咨詢電話:0731-88571521   13637482004
          業務 QQ:客服一 1306053142 客服二 1320506001 技術/售后 522392221 高級顧問 44377655
          服務郵箱:fanbin@binweb.cn   522392221@qq.com
          官方網址:www.fine-t.net   www.pk0731.com
          旗下網站:斌網網絡  長沙信息處  佛佛網  曬土貨網
           湘公網安備 43010302000270號  網站ICP備案號:湘ICP備13006070號-2  

          在線客服1 在線客服2 技術咨詢 資深顧問

          日本一区二区免费一区二区三区视频亚洲欧美日韩一区二区国产一区二区在线视频日本不卡一区二区三区,国产精品国产精品一区精品国产自在现偷99精品国产在热2019国产拍偷精品网国产精品视频全国免费观看,香港三级片香港经典三级香港三级日本三级a视频香港三级片下载麻豆传媒麻豆传媒女演员麻豆传媒在线,欧美午夜一区二区福利视频日本高清不卡一区二区三区亚洲国产一区二区三区大香伊一本线一区二区日本一本免费一区二区,国产精品v欧美精品v日韩精品青青精品视频国产久久国产精品久久精品国产亚洲精品国产精品国产欧美精品一区二区三区,香港三级电影香港三级日本三级韩国三级人与韩国三级香港三级日本三级l香港三级片名麻豆传媒麻豆传媒视频麻豆传媒直播app,国产肥熟女视频一区二区一区二区三区高清不卡视频中文字幕日韩欧美一区二区三区国产欧美精品一区二区三区国产色视频一区二区三区,国产精品第一页国产亚洲精品国产福利国产精品自拍国产精品视频在线观看亚洲国产精品一区二区久久国产精品国产三级国产专不,香港三级香港三级片大全香港三级大全香港三级片下载麻豆传媒app麻豆传媒是什么麻豆传媒直播app下载,国产精品一区二区三区亚洲欧美v国产一区二区三区日本一区二区三区不卡视频国产在线精品一区二区不卡日本一区二区三区不卡视频,国产精品视频大陆精大陆国产国语精品2019精品国产品对白在线356年香蕉精品国产高清自在自线隔壁老王国产在线精品在线观看精品国产福利片,香港三级台湾三级在线播放香港三级女星香港三级明星香港三级片名麻豆传媒官网麻豆传媒映画麻豆传媒免费观看,高清一区二区三区日本亚洲国产精品一区二区久久欧美一区二区三区四区国产在线精品一区二区三区日本一区二区三区不卡视频,国产三级精品三级在专区精品国产自在现偷国产精品一区二区三区国产日韩精品欧美一区喷水亚洲精品国产精品国自产国产在线精品一区二区不卡,香港经典三级片国产三香港三韩国三级香港经典aⅴ三级观看香港三级片名麻豆传媒免费观看麻豆传媒在线麻豆传媒免费观看