最新公告
  • 欢迎您光临买米铺,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • robots只能放在根目录吗?

    广告!请自辨真伪
    广告!请自辨真伪 广告!请自辨真伪

    robots只能放在根目录吗?

    可以明确地告诉robots文件只能放在网站根目录,关于这一点也是很好理解的,前文提过robots文件就是针对搜索引擎蜘蛛的一种协议(有些蜘蛛不一定会遵守),搜索引擎蜘蛛进入网站都是先从网站根目录,所以robots协议也只有在根目录的时候才有效,而且需要注意的是robots文件的命名必须是robots.txt,只能用小写字母。

    什么是robots

    在讲解robots之前先给大家介绍一下什么是robots。借用百度百科的解释robots是网站跟爬虫间的协议,用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限,也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时,它会首先检查该站点根目录下是否存在robots.txt,如果存在,搜索机器人就会按照该文件中的内容来确定访问的范围;如果该文件不存在,所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。

    用一句话来解释:robots就是蜘蛛与网站的一种协议。

    至于robots有什么用,相信认真看上文的小伙伴还是有一定的收获。冬镜认为合理的robots还是有以下几方面的好处:

    1、可以避免蜘蛛爬取收录我们不想展现给别人看的页面。例如网站后台地址,个人隐私日志等。

    2、可以减轻服务器压力。我们通过robots协议可以让蜘蛛只抓取一部分页面,避免蜘蛛胡乱抓取一些没用的页面,占用服务器资源。

    3、正确的robots协议会提升整站质量,促使快速收录排名,从而提高网站权重。

    robots格式

    先给大家看一个最简单的robots文件的写法:

    User-agent: *
    Disallow: /inc/
    Allow: /uqseo
    Sitemap: http://www.11px.cn/sitemap/home.xml

    本文收集于互联网,由 本站 整理编辑,不代表 本站 对观点赞同或支持。如果有侵权、不妥之处,请联系我们删除。敬请谅解!

    本站无售后 无技术提供 您所在本站的一切行为均属自愿!
    买米铺 » robots只能放在根目录吗?
    • 225会员总数(位)
    • 18622资源总数(个)
    • 113本周发布(个)
    • 3 今日发布(个)
    • 662稳定运行(天)

    提供最优质的资源集合

    立即查看 了解详情