• 郑州建网站

    |

    郑州网站建设

    |

    郑州网站制作

    |

    APP开发

    |

    软件开发

  • 郑州网站建设电话: 15937160052
  • 网站建设如何分析日志文件?
  • 发表日期:2016-09-06   浏览:1801   关键词: 郑州网站建设
  • 第一部分日志文件分析

    一般我们可以通过ftp或者连接服务器,找一个名为logfiles的文件夹,里面有很多个文件,可能大家有的人看不懂,不过没关系,咱们可以借助第三方工具爱站,爱站工具包—日志分析—选择文件—开始分析,可以清楚清楚的看到有哪些搜索引擎哪一天来爬取过我们的哪些页面。在这咱们需要注意的几个事项:

    ①如果你网站内容经常不更新,那么蜘蛛来的频次会越来越少

    ②如果蜘蛛不来你的网站爬取了,那么很可能你网站被k了,网站被k也有多种原因(可能是网站被挂木马,也有可能是站长自己操作问题,后续在我的文章中会给大家详细介绍);

    ③搜索引擎爬取的时候空间打不开,也会导致搜索引擎爬取频率比较少

    ④是死链接,图片,动画太多,也会导致搜索引擎爬取频率过少或者不爬,因为搜索引擎是顺着链接爬取的,同时也无法抓取图片和动画,死链接太多,蜘蛛爬不下去了,就主动放弃不再爬取

    ⑤如果Roberts设置禁止全站被蜘蛛或机器人爬取,那么蜘蛛或机器人也不会再爬取

    第二部分Roberts协议

    通常在根目录下,会有一个Roberts协议,Roberts协议是鉴于保护自己的网络隐私去写的一个协议,简单的理解:这个协议就是告诉蜘蛛或机器人你是否有权限爬取我的网站,以及你不可以爬取我的网站那一部分内容。咱们截取百度的Roberts协议中的一段来看一下,如图所示:网站建设之日志分析篇

    咱们可以来看一下,在Roberts协议中,*这个符号表示“所有”的意思,user-agent:yisouspider咱们就可以理解为百度允许一搜来抓取它的东西,Disallow是不允许的意思,那下面这句:Disallow/baidu意思就是不允许抓取baidu这个文件下的所有内容,其他的同样。最后一句:

    “User-agent: *

    Disallow: /”

    上面这句代码的意思就是:除了我上面所列举出来的这些蜘蛛或机器人,其他的蜘蛛或机器人都不允许抓取我网站上的任何东西,违者可以追究法律责任。一般一个蜘蛛或机器人去爬取一个网站,首先就要爬取网站Roberts文件,然后遵守协议去爬行。
  • 相关新闻
    • 郑州建网站细节分析说明
      郑州建网站要重视产品介绍和展示,作为网站建设,其最重要的一个特点就是能够较好的进行产品的推广和宣传
      日期:2021-12-26 浏览:80
      郑州建网站优化的几个技巧分析
      客户都能接受在建网站,所以企业都改变了企业营销模式,想要在互联网上和客户沟通,就需要做网站建设优化
      日期:2021-12-07 浏览:147
      郑州营销型网站建设怎么做呢
      目标就是获得客户转化成交,而营销型网站建设就有这样的功能,可以在线和客户沟通,网站的整体结构更有营销性
      日期:2021-12-03 浏览:160
  • 一个企业的成长,从无到有,从一个人到一群人,从一种元素到元素集合;或多或少、都要有品牌意识的存在……