宜推网络拥有7年的网络营销策划实操经验,可为企业提供网络推广外包,全网整合营销,做网络广告推广找我们靠谱!

宜推网络是企业广告策划的好伙伴

找网站推广公司做广告就找干活靠谱的

提供一站式网络营销外包,全网整合营销服务

150-2159-0351

为企业创造价值,我们懂技术,更懂营销

找网站营销公司合作网络推广就选用心干活的!

您现在的位置:上海网站营销 > 网络营销技巧 > 网络营销知识 >

怎么看蜘蛛是否爬行你的网站

人气: 发表时间:2017-05-27 15:31 内容来源:eatui

导读:
我们通常在优化的时候,很多新的站长朋友都不会去看网站日志的,其实网站日志里可以了解到很多的东西,比如说蜘蛛在你的网站爬行了哪个页面,什么时间到你的网站进行抓取的,[...]
我们通常在优化的时候,很多新的站长朋友都不会去看网站日志的,其实网站日志里可以了解到很多的东西,比如说蜘蛛在你的网站爬行了哪个页面,什么时间到你的网站进行抓取的,抓取了哪个页面以及抓取情况。而且我们在日志里还能看到不同搜索引擎的蜘蛛来访问你的网站,因此我们就可以看到蜘蛛在你网站里做了什么。对于一些刚刚接触seo的朋友来讲,学会怎么看蜘蛛爬行你的网站是很重要的,现在我们也有很多强大的工具可以对这些蜘蛛进行分析,但是基础的你还是要去了解的,下面我就来为大家介绍。
 
    想要学会看蜘蛛在你网站做什么我们首先就要对各大搜索引擎的蜘蛛进行了解,不同的蜘蛛它的名字也是不一样的,他们在抓取网页的时候会发送一个请求,这个请求中就包含一个User-agcnt字段,它的用途是给这个网络蜘蛛做一个标识,确定这个蜘蛛的身份,那么常见的蜘蛛有:
 
    百度蜘蛛:Baiduspider
 
    google蜘蛛:googlebot
 
    yahoo蜘蛛:slurp
 
    alexa指出:ia_archiver
 
    有到蜘蛛:YodaoBot和OutfoxBot
 
    搜狗蜘蛛:sogou spider
 
    SOSO蜘蛛:sosospider
 
    360蜘蛛:360spider
 
    以上就就是比较常见的蜘蛛名字了,那么下面我们就要了解蜘蛛在你网站具体做了哪些事情,首先我们来看这样一段代码:
 
    [26/Dec/2013:01:32:15 +0800] "GET /silian.txt HTTP/1.1" 304 - "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" jz182.com text/plain "/usr/home/hmu145206/htdocs/silian.txt"  222.216.190.14
 
    我们要看一下有下划线的那一部分,它给我们的意思就是百度蜘蛛在2013-12-26  01:32:15爬过了/silian.txt这个页面,而后面状态码显示的是304就是说你这个页面没有更新过。
 
    我们再来看下一段代码:
 
    [26/Dec/2013:03:10:21 +0800] "GET /service/sed/?wangmeng HTTP/1.0" 200 16981 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" jz182.com text/html "/usr/home/hmu145206/htdocs/service/sed/index.html"  222.216.190.8
 
    我们看下划线的部分,它表示的意思是百度蜘蛛在2013-12-26 03:10:21 来你的网站爬过,而“GET”是表示抓取到的意思,等于蜘蛛抓取的是这个页面“/service/sed/?wangmeng ” ,“200 16981 ”表示的意思是正常获取了16981个字节,200协议代表了请求完成,发现了这个页面并且已入库的意思,“222.216.190.8 ”这个是表示百度的IP地址。
 
    通过上面的介绍相信我们对怎么看蜘蛛是否爬行你的网站有了一定的了解了吧,我们学会了看网站日志对我们做SEO来说是有很大用处的,只有这样我们才知道怎么样去优化网站更好,而不是每天重复着那几样工作,不管有没有效果我们都不知道,那这就失去了做优化的意义了。