<span id="prz35"><i id="prz35"></i></span>

<noframes id="prz35"><form id="prz35"></form>
      <noframes id="prz35">
      <noframes id="prz35">
      <form id="prz35"></form>

          028-85954568

          當網站的信息不想被搜索引擎收錄時需要怎樣操作?

          通常情況下,網站都是需要讓搜索引擎收錄的,這樣才能更好地增加網站的訪問量,但是也有個別行業的網站,如安全性要求較高銀行和企業的內部管理系統等他們這種站的安全性和私密性較高,肯定是不希望把數據在第三方上顯露,那么如果禁止網站被搜索引擎抓取呢?迅美科技總結如下:
             先在站點的根目錄下新建一個robots.txt文本文件。當搜索蜘蛛訪問這個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索蜘蛛就會先讀取這個文件的內容:
          文件寫法
          User-agent: * 這里的*代表的所有的搜索引擎種類,*是一個通配符
          Disallow: / 這里定義是禁止爬尋站點所有的內容
          Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄
          Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄
          Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
          Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址
          Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片
          Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
          Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄
          Allow: /tmp 這里定義是允許爬尋tmp的整個目錄
          Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
          Allow: .gif$ 允許抓取網頁和gif格式圖片
          Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖
           
          下面列出來的是比較出名的搜索引擎蜘蛛名稱:
          Google的蜘蛛: Googlebot
          百度的蜘蛛:baiduspider
          Yahoo的蜘蛛:Yahoo Slurp
          MSN的蜘蛛:Msnbot
          Altavista的蜘蛛:Scooter
          Lycos的蜘蛛: Lycos_Spider_(T-Rex)
          Alltheweb的蜘蛛: FAST-WebCrawler/
          INKTOMI的蜘蛛: Slurp
          SOGOU的蜘蛛:Sogou web spider/4.0和Sogou inst spider/4.0
          按照以上的說明,我們可以給大案一個示例,以Sogou的來說,禁止抓取的robots.txt代碼寫法如下:
          User-agent: Sogou web spider/4.0
          Disallow: /goods.php
          Disallow: /category.php

          優優科技版權所有,未經允許不得轉載
          偷拍国产久久视频大全,国产在线视频一区二区三区导航,麻豆传媒在线视频不卡,韩国邻居姐姐在线,国产日韩素人不卡,免费观看国产情侣视频,国产宾馆混血萝莉,国产网红不见星空 韩国长期签证| 最新欧美娱乐新闻头条| 国产富二代破解版免费| csoliu2014最新地址一地址二| 国产模特王静双飞| 国产女女sm圣水调教| 韩国风搭配| 国产网红悦儿 k频道| 两部国产AV剧情| 国产图片日产模特| 午夜中文字幕伦理在线观看| 国产偷拍情侣图片| 麻豆传媒映画AVapp安卓下载| md0076沈芯语在线播放| 3d动画系列欧美| 长腿丝袜爆乳 中文字幕| 夫人的味道中文字幕| 国产3p学生 下载| 国产 全国视频免费情侣| 国产偷拍内衣种子下载 迅雷下载 迅雷下载 迅雷下载| 国产探险者评测视频直播| 迁安韩国强| 兄妹蕉谈林予曦麻豆传媒| 韩国 考试院| 95后大学生情侣国产在线| 国产偷拍00后资源| 日本对戒| 国产晋通话人妖白丝袜| 青久草国产视频偷拍| 老司机福利国产视频网| 与麻豆传媒相似的公司| 日本海关税| 中文字幕莉| 善良密女书的目的中文字幕| 草莓丝瓜视频在线观看污ios| 上海国产3p| 国产公共sm调教迅雷下载| 国产一区剧情台湾swag| 国产小情侣玩野战图片大全集| 国产偷拍无码高清种子下载 迅雷下载| 青青制服国产视频在线观看| http://www.wehavetraffic.com http://www.s360s.com http://www.edump3.com http://www.spotuvbusinesscards.com http://www.learntobeamillionaire.com http://www.skincarechicago.net