干货|可视化分析 web 访问日志
多语言混搭开发工程师,多年 PHP、Python 项目开发经验,曾就职 360、绿盟科技,7年工作经验。擅长于 Web 安全开发、性能优化、分布式应用开发&设计等多方面,51Reboot 金牌讲师。
Python 基础数值、字符串、列表、字典、文件的使用with 关键字使用函数、lambda 函数、sorted时间类型转化时间类型转化统计 list 中每个元素出现的次数languages = ['python', 'java', 'python', 'c', 'c++', 'go', 'c#', 'c++', 'lisp', 'c', 'javascript', 'java', 'python', 'matlab', 'python', 'go', 'java']
os/os.path 系统/文件路径操作
os.mkdir/os.rmdir/os.unlink/os.listdir
os.path.join/os.path.abspath/os.path.dirname/os.path.existsargparse 命令行参数解析
add_argument(short_name, full_name, type, desc, default, help, choices, nargs, action)shutil 文件/文件夹操作
shutil.copy2/shutil.copytree/shutil.rmtreelogging 日志记录
logging.basicConfig(level, format, filename, filemode)
https://www.jianshu.com/p/4a801f61ecdajinja2 模板引擎,用于根据模板生成文件
使用步骤(3步走)
* 创建加载器 * 获取模板 * 渲染
模板语言
打印变量流程控制(条件、循环)过滤器模板继承geoip2 用于 maxmind 二进制库 mmdb 查询打开文件获取 ip 信息(国家、城市、地理位置等)关闭文件可视化组件 echarts 介绍项目地址:http://echarts.baidu.com/echarts2/项目介绍:可视化JS组件目前主要版本:2.0 & 3.0使用步骤(3 + 3):http://echarts.baidu.com/echarts2/doc/start.html常用图形饼状图曲线图柱状图仪表盘地图K 线图…Web 访问日志Web 访问日志是 web 服务器记录的网站被访问的过程日志日志属性什么时候什么人通过什么工具以什么方式访问了什么资源结果是什么(状态/返回数据大小)每天的点击量、总点击数量每天的日志行数、日志的总行数(每天的日志行数之和)每天的浏览者数量、总浏览者数量每天的不重复的 IP 的数量总的不重复的 IP 数量(每天不重复的 IP 数量之和???)发生错误的请求有多少次,状态码分布情况每种状态码出现的次数每天流量大小每天的日志中每行流量之和总的流量之和(每天流量之和)访问地域分布根据 IP 获取地理位置发生访问次数最多 TOP N IP 列表通用日志的格式
远程主机 IP - - 请求时间 时区 方法 资源 协议 状态码 发送字节 referer 字符 浏览器信息
一些重点代码的解读程序入口
主程序
每天统计项
总统计项
模板页面(显示内容)
模板页面(echart)
更多项目代码分享结束后资料一并分享给大家。
获取资料
声明:本站所有文章资源内容,如无特殊说明或标注,均为采集网络资源。如若本站内容侵犯了原著者的合法权益,可联系本站删除。