欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

分享一个辅助分析内存泄漏的脚本

程序员文章站 2022-10-05 09:30:50
最近给系统做了一点优化,前几天去查看系统监控,想看看上线前后cpu使用率曲线变化情况。查看的时候意外发现上线前后内存占用相差不少,20%以上。 本来我没怎么在意这个问题,因为我们系统会在运行过程中缓存部分数据内容。但客户觉得有异常,坚持要查。于是把一个月的内存使用情况调出来看,这一看就发现问题了: ......

  最近给系统做了一点优化,前几天去查看系统监控,想看看上线前后cpu使用率曲线变化情况。查看的时候意外发现上线前后内存占用相差不少,20%以上。

本来我没怎么在意这个问题,因为我们系统会在运行过程中缓存部分数据内容。但客户觉得有异常,坚持要查。于是把一个月的内存使用情况调出来看,这一看就发现问题了:

  系统内存占用确实是在缓慢增加,一两天的内存使用率曲线看不出什么,但一个月的可以明显看出来,是一条斜率很小的直线。

  发现了有内存泄漏,但是想具体分析是哪个进程泄漏的还真不好办。因为我们系统有上千个进程在跑,而监控系统又只记录了总体内存占用情况,没记录单个进程内存占用。

  没有枪,没有炮,只能自己来造 :) 。 我设计了一个简单的分析方法:

  1 首先,我写一个脚本,每天定期记录系统所有进程使用情况,保存到文件,以时间戳命名。(用ps实现)

  2 脚本跑几天后,我再使用另一个脚本,把文件合并起来分析,把每个进程在不同时间点的内存使用情况合并成一行,逐个进程输出

  3 比较每个进程第一次出现与最后一次出现时占用内存之差,按从小到大排序,即可得出可能存在内存泄漏的程序。

  效果如下:可以看出这个进程内存占用一直在增加,从第一次统计到最后一次统计之间内存使用增加了1460k

分享一个辅助分析内存泄漏的脚本

  知道问题后就好办了,使用valgrind+gdb很快就找出导致内存泄漏的代码,纠正即可。

 

  下面是分析过程中用到的脚本,希望对大家有帮助

 1 # 20190228 hch 辅助分析程序内存泄漏情况的脚本
 2 # 设计思路:首先用ps定期采集所有程序占用内存情况,生成多个文件。然后使用awk分析ps输出的文件,把相同进程占用的内存合并成一行输出
 3 # 计算进程第一次和最后一次出现的时间点占用内存之差,逆序输出即可获得疑似内存泄漏的程序
 4 
 5 # 首先使用以下脚本采集程序每一分钟内存占用信息,采集若干分钟
 6 # while [ 1 ]; do ps -eo 'pid,comm,rsz,vsz,user,comm,args,pcpu,pmem' --sort rsz > ps_info_$(date "+%y%m%d%h%m%s").txt ; sleep 60; done
 7 
 8 # 使用awk脚本分析内存占用信息 把进程每一个时间点的内存占用情况合并成一行方便对比
 9 # 并且统计进程第一次出现和最后一次出现占用内存差,输出
10 awk '{
11     # 每次处理一个新文件时需要特殊处理一下 
12     if (fnr == 1) {
13         # 登记文件名称
14         v_all_file_name = v_all_file_name "," filename;
15         v_prefix_str = v_prefix_str ",";
16         ++v_file_cnt;
17         
18         # 把上次文件没有出现的pid补上
19         if (nr != 1) { # fnr == 1 && nr == 1 代表第一个文件
20             for (v_pid_name in v_mp_pid_cnt) {
21                 if (v_mp_pid_cnt[v_pid_name] != v_file_cnt - 1) {
22                     v_mp_pid_rsz[v_pid_name] = v_mp_pid_rsz[v_pid_name] ","
23                     v_mp_pid_vsz[v_pid_name] = v_mp_pid_vsz[v_pid_name] ","
24                     v_mp_pid_cnt[v_pid_name] = v_file_cnt - 1;
25                 }
26             }
27         }
28     }
29     
30     v_pid_name = $2 "-" $1 "-" $5; #程序名-进程号-用户名
31     # 非第一个文件,第一次出现,需要补齐","
32     if (v_file_cnt != 1 && v_mp_pid_cnt[v_pid_name] == 0) {
33         v_mp_pid_rsz[v_pid_name] = v_mp_pid_vsz[v_pid_name] = substr(v_prefix_str, 1, v_file_cnt - 1);
34         v_mp_pid_cnt[v_pid_name] = v_file_cnt - 1;
35     }
36     
37     # rsz是物理内存 单位k
38     v_mp_pid_rsz[v_pid_name] = v_mp_pid_rsz[v_pid_name] "," $3
39     # 记录最后值和初始值 方便后面分析(有需要可以改成最大和最小值)
40     #if ($3 > v_mp_pid_rsz_max[v_pid_name]) v_mp_pid_rsz_max[v_pid_name] = $3;
41     v_mp_pid_rsz_max[v_pid_name] = $3;
42     if (v_mp_pid_rsz_min[v_pid_name] == 0 ) # || $3 < v_mp_pid_rsz_min[v_pid_name]
43         v_mp_pid_rsz_min[v_pid_name] = $3;
44     
45     # vsz是虚存 单位k
46     v_mp_pid_vsz[v_pid_name] = v_mp_pid_vsz[v_pid_name] "," $4
47     v_mp_pid_vsz_max[v_pid_name] = $4;
48     if (v_mp_pid_vsz_min[v_pid_name] == 0 ) # || $4 < v_mp_pid_rsz_min[v_pid_name]
49         v_mp_pid_vsz_min[v_pid_name] = $4;
50         
51     # 在本文件出现过就标记一下,后面文件处理完后才知道哪些进程没出现
52     v_mp_pid_cnt[v_pid_name] = v_file_cnt;
53 }
54 end {
55     print v_all_file_name
56     for (v_pid_name in v_mp_pid_rsz) {
57         print "rsz:"v_pid_name, v_mp_pid_rsz_max[v_pid_name] - v_mp_pid_rsz_min[v_pid_name], v_mp_pid_rsz[v_pid_name]
58         print "vsz:"v_pid_name, v_mp_pid_vsz_max[v_pid_name] - v_mp_pid_vsz_min[v_pid_name], v_mp_pid_vsz[v_pid_name];
59     }
60 }' $(ls -rt ps_inf*txt) > ps_trace.txt #按时间逆序分析
61 
62 # 将分析结果排序输出
63 # sh ps_trace.sh; sork -k2n ps_trace.txt | tail -100