咨询热线:15838165530|设为首页|加入收藏|联系我们

还在为眼花缭乱的公司苦恼不知该如何选择吗

来茗银,让我们的专业帮助您的品牌更有利的传播,打开全网渠道

robots文件对网站的作用及常用详写方法

2019-10-17 丨茗银网络丨 浏览:273

  网站制作好之后上线,作为一个新网站,看到的人不会太多,毕竟有这么多的网站,你的网站只是其中一员,想要网站让更多的人看到,需要有很好的排名,可以做竞价排名,还可以做搜索引擎优化,做搜索引擎优化,在布局之前要做一个相对比较重要的文件——robots文件。


  这个文件根据自己网站情况,可以设定想要搜索引擎抓取哪些内容,不抓取哪些内容,或是指定哪个搜索引擎抓取。我们在设置robots文件时也需要注意规则不要写错,我们一起来看看robots文件格式和写法。


  robots文件里一般写这三行规则:


  User-agent:


  Allow:


  Disallow:


  这三种


  User-agent后面可以跟指定的搜索引擎蜘蛛,比如:User-agent:Baiduspider,就是适配百度蜘蛛,只允许百度蜘蛛抓取。


  User-agent:*是适配所有搜索引擎蜘蛛,都可以抓取。


  Disallow是禁止搜索引擎抓取网站的某些文件,你可以根据网站情况设置。


  Allow后面可以填写蜘蛛可以抓取的页面,文件。举例写法:


  仅禁止Baiduspider访问您的网站


  User-agent:Baiduspider


  Disallow:/


  禁止所有搜索引擎访问网站的任何部分


  User-agent:*


  Disallow:/


  允许所有的robot访问


  User-agent:*


  Allow:/

 今天分享到这里,郑州网站建设郑州网站制作微信程序开发就到河南茗银网络

预约设计&在线报价

  • 确定

    精品案例

    客服

    在线
    客服

    在线客服服务时间:9:00-24:00

    客服
    热线

    15838165530
    7*24小时客服服务热线

    关注
    微信

    关注官方微信
    顶部