• <nav id="yyyyy"></nav>
    • <tr id="yyyyy"><small id="yyyyy"></small></tr>
      中文在线中文a,久久亚洲国产成人影院,亚洲色大成网站www永久麻豆,国产中文欧美日韩在线

      關于網站robots協議,看這篇就夠了

      日期:2022-11-03 11:03:56     閱讀:436     文章來源:本站     標簽: 網站robots協議 網站優化技術 網站seo優化方案

        robots是搜索引擎爬蟲協議,也就是你網站和爬蟲的協議。

        簡單的理解:robots是告訴搜索引擎,你可以爬取收錄我的什么頁面,你不可以爬取和收錄我的那些頁面。robots很好的控制網站那些頁面可以被爬取,那些頁面不可以被爬取。

        主流的搜索引擎都會遵守robots協議。并且robots協議是爬蟲爬取網站第一個需要爬取的文件。爬蟲爬取robots文件后,會讀取上面的協議,并準守協議爬取網站,收錄網站。

        robots文件是一個純文本文件,也就是常見的.txt文件。在這個文件中網站管理者可以聲明該網站中不想被robots訪問的部分,或者指定搜索引擎只收錄指定的內容。因此,robots的優化會直接影響到搜索引擎對網站的收錄情況。

        robots文件如下圖

        存放目錄

        robots文件必須要存放在網站的根目錄下。也就是 域名/robots.txt 是可以訪問文件的。你們也可以嘗試訪問別人網站的robots文件。 輸入域名/robots.txt 即可訪問。

        如下圖

        robots寫作語法

        首先我們來看一個范例(下圖)

        user-agent這句代碼表示那個搜索引擎準守協議。user-agent后面為搜索機器人名稱,如果是“*”號,則泛指所有的搜索引擎機器人;案例中顯示“User-agent: *” 表示所有搜索引擎準守,*號表示所有。

        Disallow是禁止爬取的意思。Disallow后面是不允許訪問文件目錄(你可以理解為路徑中包含改字符、都不會爬取)。案例中顯示“Disallow: /?s*” 表示路徑中帶有“/?s”的路徑都不能爬取。 *代表匹配所有。 這里需要主機。 Disallow空格一個,/必須為開頭。

        如果“Disallow: /” 因為所有路徑都包含/ ,所以這表示禁止爬取網站所有內容。

        如果沒有被禁止到的路徑,默認為可以被爬取。

        關于robots的注意事項

        1、不要禁止爬蟲爬取網站的所有,因為從經驗來看,如果屏蔽一次,解封后好一段時間爬蟲都不會來你網站,收錄成為問題。

        2、代碼后需要【冒號+空格+斜桿】 ,比如“Disallow: /*?* ”

        3、當網站為靜態路徑時,需要屏蔽掉所有動態鏈接。網站中存在一種鏈接被收錄即可,避免一個頁面2個鏈接。代碼如下“Disallow: /*?* ”表示禁止所有帶 ?號的網址被爬取。通常動態網址帶有“?”“=”等。

        4、根據自己網站情況定,屏蔽不需要收錄的網址。

      北京愛品特SEO網站優化提供專業的網站SEO診斷服務、SEO顧問服務、SEO外包服務,咨詢電話或微信:13811777897 袁先生 可免費獲取SEO網站診斷報告。

      北京網站優化公司 >> SEO資訊 >> SEO技術技巧 >> 關于網站robots協議,看這篇就夠了    本站部分內容來源于互聯網,如有版權糾紛或者違規問題,請聯系我們刪除,謝謝!

      上一篇:網站robots文件常見問題總結

      下一篇:通過分析診斷網站日志,提升搜索引擎抓取友好度

      返回列表
      SEO案例
      OUR ADVANTAGE WORKS

      售后響應及時

      全國7×24小時客服熱線

      數據備份

      更安全、更高效、更穩定

      價格公道精準

      項目經理精準報價不弄虛作假

      合作無風險

      重合同講信譽,無效全額退款
      主站蜘蛛池模板: 欧美日韩国产的视频yw885| 人妻丝袜中文无码av影音先锋| 日韩欧美亚洲综合久久影院ds| 免费的国产成人av网站装睡的| 三上悠亚精品二区在线观看| 亚洲国产成人综合熟女| 久久人妻公开中文字幕| av天堂午夜精品一区| 一本一道波多野结衣一区二区| 国产精品无码一区二区三区电影 | 敦化市| 精品99在线观看| 国产明星裸体无码xxxx视频| 国产亚洲精品久久久久久一区二区| 国产91丝袜在线观看| 99久久国产综合精品swag| 久久综合九色欧美婷婷| 亚洲aⅴ无码成人网站国产app| 国产亚洲欧美日韩二三线| 五级黄高潮片90分钟视频| 国产精品嫩草影院一二三区入口| 色综合久久蜜芽国产精品| 亚洲成在人线av品善网好看| 精品夜夜澡人妻无码av| 精品露脸国产偷人在视频| 松桃| 人人澡人人曰人人摸看| av在线中文字幕不卡电影网| 97人妻熟女成人免费视频色戒| 国产免费久久精品99久久| 女人爽得直叫免费视频| 全南县| 欧美亚洲自偷自拍 在线| 免费观看男女性高视频| 亚洲av成人午夜电影在线观看| 又色又爽又高潮免费观看| 无码国产一区二区三区四区| 国产激情A∨在线视频播放| 欧美老妇牲交videos| 少妇人妻av无码专区| 国产乱人伦精品一区二区|