快速统计日志文件里点击量前十位的URL

时间：2010-1-10     作者：smarteng     分类： Linux命令

关于shell命令，网上流传着很多奇技淫巧，比如说快速统计日志文件里点击量前十位的URL： awk '{print $7}' /path/to/log | sort | uniq -c | sort -nr | head -n 10 附：这里假设日志文件是common格式的，如此一来，按空格分隔后，第七个字段就是URL 稍加思考，你会发现这里又是sort，又是uniq，存在重复操作，下面看看如何优化这条shell命令： 01 #!/bin/awk -f 02 03 { 04 url[$7]++ 05 } 06 07 END { 08 for (key in url) { 09 print url[key], key | "sort -nr | head -n 10" 10 } 11 } 把上面代码（去掉行号）保存到demo.awk文件里，然后：chmod +x ./demo.awk，做这些就够了。 我找了一个7G的common格式日志文件来测试性能，视服务器性能结果会有差异，但相对值应该差不多： time awk '{print $7}' /path/to/log | sort | uniq -c | sort -nr | head -n 10 real 1m57.150s user 1m6.794s sys 0m13.923s time ./demo.awk /path/to/log real 1m21.414s user 0m32.799s sys 0m22.556s 总体消耗的时间降低了四分之一，还是很明显的。

上一篇:如何打造十页完美计划书 下一篇:inotify + rsync实现linux文件实时同步
smarteng
smarteng

人生就流星，虽然转瞬即逝，但也有永恒。

恰饭
分类
热门文章
最新日志
存档
标签
timestamp datetime time awk 技术文章 SEM 营销 赚钱 go-zero 抓包 测试覆盖率 系统 hostname goquery mockgen gomock validator urldecode urlencode redirect context port pulsar Consul epoll yaml 错误处理 code-review xlsx excel c 读书 阅读 写作 生活 shen 统计 test Module mod 效率 无密码 天网 Future video computer tmux ce Logrotate supervisor command screen rsa java markdown 测试 水平居中 error brew homebrew http nodejs composer 工具 框架 gopath gomod golang go 播放器 服务器 腾讯云 单元测试 爬虫 命令 emlog replace 模型 PHP升级 阿里云 习惯 group_concat SQL Server PHPExcel 面试 单点登录 开源项目 tag guid yaf md5 博客 微博 团队 Geolocation Mac 客户端 网赚 豆瓣 编程语言
京东