武汉网站优化

Robots.txt文件放在网站的根目录下,主要用于通知蜘蛛在该网站上的抓取范围

发布日期:2022-07-02 作者: 点击:



     Robots.txt文件放在网站的根目录下,主要用于通知蜘蛛在该网站上的抓取范围,SEO可以在这个文件中声明该网站中不想被搜索引擎收录的部分,或者指定搜索引擎只收录特定的部分。


        1.经常使用到Robots.txt 文件的情况


        ●    网站升级,老版本网站的很多页面在新版本网站中去掉了武汉网站建设,在这种情况下,可以通过Robots文件 告诉蜘蛛不再抓取这些已经被去掉的页面。


        ●    网站存在很多重复的内容,武汉网站推广比如一个网站同时存在动态页面和已经经过静态化处理的页面,这些页面在内容上都是完全重复的内容,为了解决重复的问题,可以在Robots文件中禁止蜘蛛抓取动态页面。


        ●    网站内部有些内容不便于公开发布,但是需要允许内部查阅。武汉网站优化遇到这种情况,可以在Robots中告诉蜘蛛不要抓取。


1590560907637095.jpg


        2. Robots文件的基本写法


        User-agent :                                           *


        Allow :                                                     /cgi-bin/see


        Allow :                                                    /tmp/hi


        Allow :                                                    /~joe/look


        Disallow :                                               /cgi-bin/


        Disallow :                                               /tmp/


        Disallow :                                               /~joe/


        Allow是允许蜘蛛爬行的页面,而Disallow后面则是不允许蜘蛛访问的路径和文件。


        3. Robots的使用示例


        (1)仅允许访问某目录下某个后级的文件。这里仅允许访问带“'s" 符号的网址,如下。


        User-agent: *


        Allow : .asp$


        Disallow : /




        (2)禁止索引网站中所有的动态页面。


        这里是限制访问带“? ”的网址,例如,index.asp?id=1。


        User- agent : *


        Disallow : /*?*


        (3)使用“*”限制访问带某 个后缀的域名。


        这里是禁止访问admin目录下所有htm文件,如下。


      User- agent :*


      Disallow :/admin/* .htm


本文网址:http://www.ricklj.com/news/716.html

关键词:武汉网站优化,武汉网站推广,武汉网站建设

Z近浏览:

  • 在线客服
  • 联系电话
    18971157090
  • 在线留言
  • 手机网站
  • 在线咨询
    欢迎给我们留言
    请在此输入留言内容,我们会尽快与您联系。
    姓名
    联系人
    电话
    座机/手机号码
    邮箱
    邮箱
    地址
    地址