<delect id="j111b"><track id="j111b"><cite id="j111b"></cite></track></delect>

          <cite id="j111b"><track id="j111b"><cite id="j111b"></cite></track></cite>
          <cite id="j111b"><span id="j111b"><mark id="j111b"></mark></span></cite>

                <delect id="j111b"></delect>

                    湖南長沙八年做網站,網絡優化推廣服務團隊,讓您小投資大回報,幫您打開網絡營銷財富之門!
                     業務服務熱線:0731-88571521  13637482004  
                     


                    地址:長沙市韶山南路248號南園503
                          室(瀟湘晨報旁)
                    電話:0731-88571521
                    手機:13637482004
                    Q  Q:44377655 522392221
                    網址:www.fine-t.net
                    郵箱:522392221@qq.com
                    網站維護與安全
                    長沙做網站聯系電話:0731-88571521 13637482004

                    怎樣寫網站的robots文件 robots.txt這個文件是什么?有什么作用?

                    信息來源:長沙做百度SEO   發布時間:2018-11-13   瀏覽:

                    一個網站如果”/robots.txt”不存在或者為空文件,那么說明此網站對于所有的搜索引擎robot,該網站都是開放的。


                    從京東和淘寶的robots.txt文件協議來看,robots.txt文件要講究語法的.
                    三個語法
                    1、User-agent ——用于描述搜索引擎robot的名字,定義搜索引擎類型。
                    2、Disallow ——不希望被訪問的一組URL,定義禁止抓取收錄地址。
                    3、Allow——希望被訪問的一組UR。
                    a、  *      匹配0或多個任意字符。
                    b、  $      結束符。 

                    首先寫User-agent:
                    A、U必須大寫,后面的小寫,緊接著冒號 ——這里還要注意一點:輸入法必須調成英文狀態,都是英文狀態下的)
                    B、空一格再定義搜索引擎類型。比如定義百度蜘蛛


                    再寫
                    Disallow ——不希望被訪問的一組URL,定義禁止抓取收錄地址,或 Allow——希望被訪問的一組UR。
                    Disallow: /(空一格,一撇)
                    Allow: /(空一格,一撇)


                    舉例:

                    1. 禁止所有搜索引擎訪問網站的任何部分

                    User-agent: *

                    Disallow: /


                    2. 僅禁止Baiduspider訪問您的網站

                    User-agent: Baiduspider

                    Disallow: /


                    3.禁止Google索引你的網站。

                    User-agent: Googlebot

                    Disallow: /


                    4.除了百度以外,其他一切搜索引擎禁止索引你的網站。

                    User-agent: Baiduspider

                    Allow: /

                    User-agent: *

                    Disallow: /


                    5. 禁止所有搜索引擎訪問install這個目錄以及install這個目錄下的所有文件

                    User-agent: *

                    Disallow: /install


                    6.禁止百度搜索引擎訪問admin目錄;允許訪問images目錄。

                    User-agent: Baiduspider

                    Disallow: /admin

                    Allow: /images


                    7.禁止百度搜索引擎訪問網站所有.jpg的圖片

                    User-agent: Baiduspider

                    Disallow: /*.jpg$


                    8.禁止百度搜索引擎訪問網站所有的圖片

                    User-agent: Baiduspider

                    Disallow: /*.jpg$

                    Disallow: /*.png$

                    Disallow: /*.gif$


                    9.禁止所有搜索引擎訪問admin目錄下所有php文件;允許訪問asp文件。

                    User-agent: *

                    Disallow: /admin/*.php$

                    Allow: /admin/*.asp$


                    10.禁止所有搜索引擎索引網站中所有的動態路徑。

                    User-agent: *

                    Disallow: /*?*


                    重點區分以下兩種:

                    a、禁止搜索引擎訪問faq目錄下的所有文件

                    User-agent: *

                    Disallow: /faq/     

                    例1:http://www.fine-t.net/faq/1.html 不能訪問

                    例2:http://www.fine-t.net/faq1.html 能訪問


                    b、禁止搜索引擎訪問以faq開頭的所有文件

                    User-agent: *

                    Disallow: /faq

                    例1:http://www.fine-t.net/faq/1.html 不能訪問

                    例2:http://www.fine-t.net/faq1.html 不能訪問





                    相關熱點文章


                    地址:湖南長沙市韶山南路248號南園503室(瀟湘晨報旁) 版權所有:長沙市天心區斌網網絡技術服務部 統一社會信用代碼:92430103MA4LAMB24R
                    咨詢電話:0731-88571521   13637482004
                    業務 QQ:客服一 1306053142 客服二 1320506001 技術/售后 522392221 高級顧問 44377655
                    服務郵箱:fanbin@binweb.cn   522392221@qq.com
                    官方網址:www.fine-t.net   www.pk0731.com
                    旗下網站:斌網網絡  長沙信息處  佛佛網  曬土貨網
                     湘公網安備 43010302000270號  網站ICP備案號:湘ICP備13006070號-2  

                    在線客服1 在線客服2 技術咨詢 資深顧問

                    午夜福利视频午夜福利1000集福利92午夜福利92国语2019午夜75福利不卡片在线2019年92午夜视频福利国产成人午夜福利在线观看老司机午夜福利免费视频国产午夜福利在线观看视频,午夜福利0855午夜福利国产午夜福利在线观看日本午夜免费福利视频国产成人午夜福利院福利视频(午夜)午夜福利欧美主线路在线看午夜福利片,午夜福利影院国产午夜福利在线播放福利视频午夜欧美午夜福利1000集2019年午夜福利100092免费午夜福利09不卡片在线机视频羞羞午夜福利免费视频午夜福利国产在线观看1,午夜福利不卡片在线播放国语92国语92午夜福利2000午夜福利1000集合集92午夜福利啪啪片中文字幕午夜福利片757福利视频集午夜2019午夜福利合集更新92午夜免费福利757,欧美午夜一区二区福利视频午夜福利看片2019午夜福利不卡片在线2018午夜福利午夜性色福利在线视频亚洲午夜福利在线视频午夜福利免费院午夜福利视频合集1320.