nagios和pycurl的超时时间
最近发现在报警邮件中,有显示current http code是200,但是nagios的状态却是critical的情况。
报警邮件:
通过nagios的页面查看,确实看到了监控报错的情况:
nagios页面:
分析nagio的报判断的几种状态:
soft:监控项处于retry_check检测周期内的非正常状态hard:监控项达到max_check_attempts最大次数后的非正常状态常态:soft和hard之外的状态
线上关于这个service的配置: check_interval 3
retry_interval 1
max_check_attempts 3
即检测间隔为3分钟,检测间隔为1分钟,最大重试3次。当第一次失败后,进入soft1,间隔1分钟后继续检测,失败进入soft2,当第3次同样失败时,进入hard状态。进入hard状态后,就会每间隔3分钟检测。(注:进入soft状态后, 按retry_interval的时间检测,不按check_interval的时间检测,直到恢复常态或hard )
从nagios的结果可以看出,是由于service check超时导致,nagios的service check和pycurl都是有超时设置的,产生这种问题的原因就是在nagios的超时时间内,pycurl没有正常返回值,导致nagios任务检测失败。但是pycurl的超时时间比较长,最终返回了正确的值update到了数据库,但是nagios确认为检测失败了。。
在pycurl中控制超时的设置是CONNECTTIMEOUT(默认300s),TIMEOUT(永不超时)
而nagios的模式设置service_check_timeout模式时60s.
解决方法:对pycurl的超时参数做设置,小于nagios的超时时间即可。
具体的pycurl的代码:
def check_server_url(proxy,url,location): buf_header = cStringIO.StringIO() c = pycurl.Curl() c.setopt(c.URL,url) c.setopt(c.CONNECTTIMEOUT,20) c.setopt(c.TIMEOUT,40) if location == 0: c.setopt(c.FOLLOWLOCATION,0) else: c.setopt(c.FOLLOWLOCATION,1) c.setopt(c.PROXY,proxy) c.setopt(c.HEADERFUNCTION,buf_header.write) c.setopt(c.NOBODY,True) try: c.perform() http_code = c.getinfo(c.HTTP_CODE) print http_code http_hearder = buf_header.getvalue() except pycurl.error: http_code = "-1" c.close() buf_header.close() return http_code
其实最根本的rc还是业务响应慢导致(最终定位为db的响应慢)。
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。