<address id="bplpf"><listing id="bplpf"><meter id="bplpf"></meter></listing></address>

    <address id="bplpf"></address>
    <form id="bplpf"><nobr id="bplpf"><nobr id="bplpf"></nobr></nobr></form>

    QQ咨詢

    微信咨詢

    電話咨詢

    15013057453

    獲取報價

    TOP

    導航關閉
    微勤廣州網站建設
    廣州網站建設公司聯系電話15013057453
    廣州網站建設公司聯系人付先生
    廣州網站建設公司QQ411733402
    廣州網站建設公司郵箱weiqin@gzweiqin.com
    廣州網站建設公司地址廣州地址:廣州市天河區岑村圣堂大街14號三層
    廣州網站建設公司地址清遠地址:清遠市英德市維多利廣場7棟1308

    廣州網站建設告訴你Robots文件的相關知識

    發布者:微勤廣州網站建設 |發布時間:2021-03-12|文章瀏覽量1913

    Robots文件在網站優化中是一個很重要的文件,搜索引擎爬行網站第一個抓取的文件就是Robots文件。robots.txt是你對搜索引擎制定的一個如何索引你的網站的規則。通過該文件,搜索引擎就可以知道在你的網站中哪些文件是可以被索引的,哪些文件是被拒絕索引的。那么關于Robots文件的知識你又知道多少呢?今天微勤廣州網站建設就帶大家了解一下。

    一、robots.txt 文件的定義 

    Robots是站點與spider溝通的重要渠道,站點通過robots文件聲明本網站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。

    二、robots.txt文件的作用

    robots.txt文件主要用來告訴搜索引擎蜘蛛網站哪些內容是可以爬行和抓取的,哪些頁面是被屏蔽的,不能爬行和抓取,例如我們可以通過robots.txt文件屏蔽網站的死鏈接、屏蔽搜索引擎蜘蛛抓取站點內重復內容和頁面和阻止搜索引擎索引網站隱私性的內容

    三、robots.txt文件注意事項

    1、必須放置在一個站點的根目錄下;

    2、文件名必須全部小寫;

    3、最好是UTF-8編碼。

    四、robots.txt文件的基本語法

    1、User-agent,搜索引擎蜘蛛的名稱;常見蜘蛛名稱見文末。

    2、Disallow,要攔截的部分,禁止蜘蛛訪問的部分。

    3、Allow,放行的部分,允許蜘蛛訪問的部分。

    4、Sitemap,網站地圖索引文件。

    五、robots.txt文件常見的用法舉例

    例子1:禁止所有搜索引擎訪問網站的任何部分

    User-agent: *

    Disallow:/

    例子2:允許所有搜索引擎訪問網站任何部分

    User-agent: *

    allow:/

    或者創建一個空白的robots.txt文件放在根目錄

    本文由廣州網站建設團隊微勤網絡整編而成,如需了解更多網站建設資訊、案例、各種網站建設知識可以聯系廣州網站建設公司微勤網絡專業項目經理進行一對一問答

    本文地址:廣州網站建設告訴你Robots文件的相關知識:http://www.mindbodyblast.com/seo/99.html

    微勤廣州網站建設

    廣州微勤網絡有限公司

    廣州網站建設公司地址 廣州地址:廣州市天河區匯彩北路28號青蔥科技園307室
    廣州網站建設公司地址 清遠地址:清遠市英德市維多利廣場7棟1308
    廣州網站建設聯系電話 15013057453 / 14749357375
    廣州網站建設聯系QQ 411733402 / 1799126254
    本網站設計、源代碼及其所展示之作品著作權均屬于微勤網絡,保留所有權利
    成人无码区免费∨,3d兔女郎被调教出奶水,人与动人物XXXX在线视频

    <address id="bplpf"><listing id="bplpf"><meter id="bplpf"></meter></listing></address>

      <address id="bplpf"></address>
      <form id="bplpf"><nobr id="bplpf"><nobr id="bplpf"></nobr></nobr></form>