网站建设如何分析日志文件？

发表日期：2016-09-06   浏览：2433   关键词： 郑州网站建设

第一部分日志文件分析

一般我们可以通过ftp或者连接服务器，找一个名为logfiles的文件夹，里面有很多个文件，可能大家有的人看不懂，不过没关系，咱们可以借助第三方工具爱站，爱站工具包—日志分析—选择文件—开始分析，可以清楚清楚的看到有哪些搜索引擎哪一天来爬取过我们的哪些页面。在这咱们需要注意的几个事项：

①如果你网站内容经常不更新，那么蜘蛛来的频次会越来越少

②如果蜘蛛不来你的网站爬取了，那么很可能你网站被k了，网站被k也有多种原因（可能是网站被挂木马，也有可能是站长自己操作问题，后续在我的文章中会给大家详细介绍）；

③搜索引擎爬取的时候空间打不开，也会导致搜索引擎爬取频率比较少

④是死链接，图片，动画太多，也会导致搜索引擎爬取频率过少或者不爬，因为搜索引擎是顺着链接爬取的，同时也无法抓取图片和动画，死链接太多，蜘蛛爬不下去了，就主动放弃不再爬取

⑤如果Roberts设置禁止全站被蜘蛛或机器人爬取，那么蜘蛛或机器人也不会再爬取

第二部分Roberts协议

通常在根目录下，会有一个Roberts协议，Roberts协议是鉴于保护自己的网络隐私去写的一个协议，简单的理解：这个协议就是告诉蜘蛛或机器人你是否有权限爬取我的网站，以及你不可以爬取我的网站那一部分内容。咱们截取百度的Roberts协议中的一段来看一下，如图所示：网站建设之日志分析篇

咱们可以来看一下，在Roberts协议中，*这个符号表示“所有”的意思，user-agent：yisouspider咱们就可以理解为百度允许一搜来抓取它的东西，Disallow是不允许的意思，那下面这句：Disallow/baidu意思就是不允许抓取baidu这个文件下的所有内容，其他的同样。最后一句：

“User-agent: *

Disallow: /”

上面这句代码的意思就是：除了我上面所列举出来的这些蜘蛛或机器人，其他的蜘蛛或机器人都不允许抓取我网站上的任何东西，违者可以追究法律责任。一般一个蜘蛛或机器人去爬取一个网站，首先就要爬取网站Roberts文件，然后遵守协议去爬行。

相关新闻

睿智云WMS物业公司仓库管理软件功能简介

 物业公司仓库管理软件，专门为大小型物业公司而设计，主要用来管理各种物料供应和需求关系，有效降低企

日期：2021-05-14 浏览：3477

郑州软件开发的后台需要具备哪些功能？

软件开发的后台设计需要美观实用，方便且易于处理数据备份功能，多用户权限;

日期：2020-08-28 浏览：5381

如何搭建景区网站建设？

搭建一个景区网站建设的很有必要的，因为做了网站可以增加客户对旅游景点的信任，还有一方面是能让旅游企业获得更多

日期：2022-09-02 浏览：1358

电商网站建设为什么要独立开发？

线上购物的基础就来源于企业的电商网站建设，做好电商网站，才能让客户在线上购物，而且现在市面上有很多的电商网站

日期：2022-03-24 浏览：1967

郑州建网站细节分析说明

郑州建网站要重视产品介绍和展示，作为网站建设，其最重要的一个特点就是能够较好的进行产品的推广和宣传

日期：2021-12-26 浏览：2156

高质量内容对郑州建网站有哪些好处？

高质量文章有利于提高郑州建网站的排名和网站的权重，我们在运营网站的过程中，要养成经常更新网站的习惯

日期：2021-12-14 浏览：2339