如何分析网站日志文件

作者: 互联网资讯  发布:2019-10-23

304:蜘蛛爬取后发现,页面没有修改

 

304 - 未修改。自从上次请求后,请求的内容未修改过。

网站日志文件存放在什么地方?

505 - HTTP 版本不受支持。

405-用来访问本页面的HTTP谓词不被允许(方法不被允许)

百度爬虫名称(Baiduspider)

403.15-超出客户端访问许可。

415 - 不支持的媒体类型。

Yahoo!蜘蛛 :Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp) 

302:临时重定向

 

407 - 要求进行代理身份验证。

403.17-客户端证书已过期或尚未生效。

404.2 - Web 服务扩展锁定策略阻止本请求。

403.18-在当前的应用程序池中不能执行所请求的URL。这个错误代码为IIS6.0所专用。

502 - 服务器用作网关或代理服务器时收到了无效响应。

404.1-无法在所请求的端口上访问Web站点。

403.8 - 站点访问被拒绝。

如 果在日志中,你发现某个资源(网页、图片和mp3等)被人频繁访问,那你应该注意该资源被用于何处了!如果这些请求的来源(Referer)不是你的网站 或者为空,且状态码(Http Code)为200,说明你的这些资源很可能被人盗链了,通过 Referer 你可以查出盗链者的网址,这可能就是你的网站流量暴增的原因,你应该做好防盗链了。请看下图,我网站上的japan.mp3这个文件就被人频繁的访问了, 下图还只是日志的一部分,这人极其险恶,由于我早已将该文件删除,它迟迟要不到japan.mp3,在短短一个小时内对japan.mp3发起了不下百次 的请求,见我设置了防盗链就伪造来源Referer和Agent,还不断地更换IP,很可惜它做得都是无用功,根本没有这个文件,请求的状态码Http Code都是403或者404。

403.5 - 要求 SSL 128.

401.7–访问被Web服务器上的URL授权策略拒绝。这个错误代码为IIS6.0所专用。

403 - 禁止访问:IIS 定义了许多不同的 403 错误,它们指明更为具体的错误原因:

如果你的博客或网站是搭建在付费主机上,如果你是博客或网站的站长,如果你连原始访问日志是 什么都不知道,或者对其根本不屑一顾,我只能说你是一个不称职的网站站长,一旦网站出问题,必定是束手无策!相信大家都在自己的网站上安装了网站统计的代 码,如Google analytics、量子统计、百度统计、cnzz、51.la等,这些工具可以统计网站的流量,也就是网站上访客可以看到的所有页面的访问量,但是这些 统计工具都不能统计你主机上资源的原始访问信息,例如某个图片被谁下载了,也不能统计到那些没有添加统计代码的地方,比如后台操作页面。

204 - 无内容。

403.12-拒绝访问映射表。

雅虎爬虫名称(Yahoo Slurp)

俄罗斯Yandex搜索引擎蜘蛛 :Yandex/1.01.001 (compatible; Win16; I) 

101 - 切换协议。

403.9-用户数过多。

503 - 服务不可用。这个错误代码为 IIS 6.0 所专用。

韩国Yeti蜘蛛:Yeti/1.0 (NHN Corp.; http://help.naver.com/robots/) 

403.11 - 密码更改。

Soso搜搜博客蜘蛛 :Sosoblogspider+(+http://help.soso.com/soso-blog-spider.htm) 

2、11/Jan/2009:04:02:45 表示蜘蛛爬行时间

 

三、基本状态码:

404.3-MIME映射策略阻止本请求。

IIS日志的用途就是能够观察搜索引擎的蜘蛛来我们网站的爬取情况,可以更近距离的分析和接触蜘蛛。爬取次数,爬取时间点,爬取高峰期,爬取反应出来的HTTP状态码,为我们带来清晰的分析便利。

403.13-客户端证书被吊销。

四、IIS详细状态码含义:

401-访问被拒绝。IIS定义了许多不同的401错误,它们指明更为具体的错误原因。这些具体的错误代码在浏览器中显示,但不在IIS日志中显示:

403.4 - 要求 SSL.

407-要求进行代理身份验证。

400 - 错误的请求。

301-对象已永久移走,即永久重定向。

403.15 - 超出客户端访问许可。

403.6-IP地址被拒绝。

301 - 永久移动转移,请求的内容已永久移动其他新位置。

网站日志文件里面的记录怎么看?

404 - 未找到请求的内容。

401.3-由于ACL对资源的限制而未获得授权。

1、61.135.168.22 是访问了是服务器IP为这个的网站.

Sogou搜狗蜘蛛 :Sogou web spider/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07) 

图片 1

500.13-Web服务器太忙。

一、各大搜索引擎的蜘蛛名称:

101-切换协议。
2xx-成功

502.1 - CGI 应用程序超时。

绝 大多数收费主机都提供原始访问日志,网站服务器会把每一个访客来访时的一些信息自动记录下来,保存在原始访问日志文件中,如果你的主机不提供日志功能,建 议你到期后还是换主机吧。日志中记录了网站上所有资源的访问信息,包括图片、CSS、JS、FLASH、HTML、MP3等所有网页打开过程载入的资源, 同时记录了这些资源都被谁访问了、用什么来访问以及访问的结果是什么等等,可以说原始访问日志记录了主机的所有资源使用情况。

403.12 - 拒绝访问映射表。

原始访问日志每一行就是类似以下的记录:

205 - 重置内容。

本文转载于「为爱拼」,原文地址:http://www.weiaipin.cn/blog/article/31.html

6、Baiduspider(+http:-www-baidu-com/search/spider.htm)表示百度蜘蛛的名称

Alexa蜘蛛 :ia_archiver (+http://www.alexa.com/site/help/webmasters; crawler@alexa.com) 

423 - 锁定的错误。

Baidu蜘蛛 :Baiduspider+(+http://www.baidu.com/search/spider.htm) 

501 - 服务器无法完成请求的功能。

下面我们来说说这一行记录的意思:

302 - 临时移动转移,请求的内容已临时移动新的位置

微软Bing蜘蛛 :msnbot/2.0b (+http://search.msn.com/msnbot.htm) 

MSN的蜘蛛名称:msnbot

这是访客(也可能是机器人)的IP

301:已经移动,永久重定向

403.11-密码更改。

416 - 所请求的范围无法满足。

423–锁定的错误。
5xx-服务器错误

201 - 已创建。

403.14-拒绝目录列表。

404.1 - 无法在所请求的端口上访问 Web站点。

服务器由于遇到错误而不能完成该请求。

413 - 请求实体太大。

500.18–URL授权存储不能打开。这个错误代码为IIS6.0所专用。

206 - 部分内容。

1、注意那些被频繁访问的资源

403.10 - 配置无效。

 

414 - 请求 URI 太长。

Google图片搜索蜘蛛 :Googlebot-Image/1.0 

504 - 网关超时。

505-HTTP版本不受支持。

谷歌爬虫名称(Googlebot)

403.10-配置无效。

403.2 - 读访问被禁止。

3、http返回状态码,搜索引擎蜘蛛以及用户每访问我们的网站一次,服务器端都会产生类似301,404,200的状态吗,我们可以参照此类信息,对我们出现问题的网站进行简单的诊断,及时处理问题。

500.18 - URL 授权存储不能打开。这个错误代码为 IIS 6.0 所专用。

401.2-服务器配置导致登录失败。

403.14 - 拒绝目录列表。

分析网站日志有什么作用?

412 - 前提条件失败。

500.12-应用程序正忙于在Web服务器上重新启动。

403.19 - 不能为这个应用程序池中的客户端执行 CGI.这个错误代码为 IIS 6.0 所专用。

Google Adsense蜘蛛 :Mediapartners-Google 

417 - 执行失败。

116.231.220.179

100 - 表示已收到请求的一部分,正在继续发送余下部分。

413–请求实体太大。

305:使用代理

406-客户端浏览器不接受所请求页面的MIME类型。

4、200 状态码表示蜘蛛抓取页面成功;404表示蜘蛛抓取页面失败。

404-未找到。

403.20 - Passport 登录失败。这个错误代码为 IIS 6.0 所专用。

403.7-要求客户端证书。

好了,今天我们就给大家讲讲日志的分析与http 返回状态码的意义。

203-非权威性信息。

3、GET /thread-7303-1-1.html HTTP,表示蜘蛛抓取了这个页面。

116.231.220.179 - - [25/Mar/2015:11:21:15 +0800] "GET /blog/article/10.html HTTP/1.1" 200 8671 "http://www.weiaipin.cn/" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"

【来源媒体:雨中漫步网络 编译:赵慧森】

307-临时重定向。
4xx-客户端错误

二、IIS分析:

Feedsky蜘蛛 :Mozilla 5.0 (compatible; Feedsky crawler /1.0; http://www.feedsky.com) 

404.0 - 未找到文件或目录。

500.15-不允许直接请求Global.asa。

404:找不到页面

401.5-ISAPI/CGI应用程序授权失败。

403.6 - IP 地址被拒绝。

 

404.3 - MIME 映射策略阻止本请求。

 

401.1 - 登录失败。

 

300 - 针对收到请求,服务器可执行多种操作。

附:网站日志代码大全

502.2 - CGI 应用程序出错。

204-无内容。

401.4 - 筛选器授权失败。

1、我们可以比较准确的定位搜索引擎蜘蛛来爬行我们网站的次数,可以屏蔽伪蜘蛛(此类蜘蛛多以采集为主,会增加我们服务器的开销)点此识别Baiduspider真伪 ;

403.17 - 客户端证书已过期或尚未生效。

Twiceler爬虫程序 :Mozilla/5.0 (Twiceler-0.9 http://www.cuil.com/twiceler/robot.html)’ 

500.12 - 应用程序正忙于在 Web 服务器上重新启动。

 

403.13 - 客户端证书被吊销。

501-页眉值指定了未实现的配置。

406 - 客户端浏览器不接受所请求页面的 MIME 类型。

 

500.13 - Web 服务器太忙。

3、观察搜索引擎蜘蛛的来访情况

403.1 - 执行访问被禁止。

"Mozilla/5.0 (Windows NT 6.1; WOW64; rv:36.0)"

本文由金沙澳门官网dkk发布于互联网资讯,转载请注明出处:如何分析网站日志文件

关键词:

上一篇:没有了
下一篇:没有了