Home >  > 分析网站日志是吸引蜘蛛的重点

分析网站日志是吸引蜘蛛的重点

8

要成为一个合格的站长,那么对网站日志要非常的清楚,他记录了搜索引擎的痕迹。我们可以通过这个日志来分析蜘蛛在什么时候最喜欢来,这样对我们网站的更新可以安排一个有规律的时间,这样更有助于网站的活性。

想要知道网站日志文件包含了什么内容,那么对各大搜索引擎就要有一个基础的了解,百度的蜘蛛程序名称是baiduspider,gg的机器人程序名称是Google-Googlebot等,他们来过的痕迹我们都可以在日志的内容里发现。还有能看懂常见的http状态码,最常见的HTTP状态码有页面抓取成功、上次抓取的和这次抓取的没变化,或者是服务器未响应等等状况,如果是未响应的状况,一般是服务器出故障。知道了这些基本信息以后我们就可以根据网站日志进行分析了,一般来说我们只看百度和谷歌蜘蛛的爬行和抓取情况,当然有特殊需要的也可以对其他几个蜘蛛的爬行情况进行分析。网站日志中出现大量的谷歌蜘蛛和bd蜘蛛,说明搜索引擎蜘蛛时常来光顾你的网站。

在我们新网站刚建立的时候,这候也是站长朋友最急切的时候,我们一般都会焦急的等待搜索引擎收录网站内容,经常会做的事情就是去百度或者谷歌用搜索命令site:下网站域名看看是否被收录,这个时候,其实我们没必要频繁的查询网站是否被收录,要想知道搜索引擎是否关顾我们的网站。我们就可以借助网站日志文件来查看,怎么看?看网站日志是否有搜索引擎的蜘蛛来网站抓取过,看返回的状态码是200还是其他。一般抓取成功后被搜索引擎放出来的时间也会晚点,一般谷歌机器人放出来的比较快,最快可秒杀,但是百度反应就慢了,最快也要一周左右,不过十一月份百度算法调整后,放出来的速度还是很快的。其次,当网站收录异常时我们要把正常收录的日志和异常的日志进行对比分析,找出问题所在,这样可以解决网站收录问题,也是对完整优化大有裨益的。第三,网站被搜索引擎K掉后,我们必须要观察网站日志文件来亡羊补牢,一般这种情况下,日志文件里只有很少的几个蜘蛛爬行了首页和robots,我们要找出被K的原因并改正,再提交给搜索引擎,接下来就可以通过观察日志来看蜘蛛是否正常来临,慢慢过一段时间,如果蜘蛛数量增加或者经常来临并且返回200状态吗,那么恭喜你,你的网站又活了,如果半年都没反应,那么建议放弃该域名重新再战了。

总而言之希望站长朋友一定不要忽略了网站日志文件的重要性,合理的利用好网站日志更是研究出吸引蜘蛛的更好方法。而且如果能懂得那些网站日志的编码也是工作上的一个突破哦。

相关推荐

关注科技,热血而沉着,极致而纯粹。努力做一个理想主义者。

Comment (8)
Trackback (0)
  1. 陈维国博客 unknowunknow 沙发 2010/11/28 07:41

    日志拿不到,是要分析清楚

  2. 上海男科 unknowunknow 板凳 2010/11/28 07:46

    来看你文章学东西了哦。

  3. 龙眼儿 unknowunknow 地板 2010/11/30 14:18

    多看你的文章,会明白很多的
    谢谢啊
    要常常更新哦。
    晚上就到这里啦
    明天在来看

  4. SEO网站优化 unknowunknow 4楼 2010/12/03 13:23

    分析网站日志对网站优化确实很重要,可以了解搜索引擎蜘蛛的爬行时间和规律。

  5. 喊麦 unknowunknow 5楼 2010/12/04 12:07

    学习了啊,有时间就常常来啊。
    希望你多更新啊

  6. 广州佳和精神医院 unknowunknow 6楼 2011/07/16 09:05

    原来是这样,学到了

  7. 天津婚庆网 Internet Explorer 6.0Windows XP 7楼 2011/12/16 01:44

    原来是这样,学到了
    🙂

  8. 天津婚庆网 Internet Explorer 6.0Windows XP 8楼 2011/12/16 01:45

    分析网站日志对网站优化确实很重要,可以了解搜索引擎蜘蛛的爬行时间和规律。

  • 还没有Trackback

发表评论

*

*