Go写的文件上传中间件内存泄露问题排查

Go写的文件上传系统又内存使用告警了！

这种问题当然是先上pprof。然而，经过排查，发现即没有goroutine泄漏（goroutine总数只有一百多），也没有堆内存使用问题（内存占用才两个多mb）。

当我使用Top命令查看，进程确确实实占了非常多的内存。通过查看Pod监控，内存呈上升曲线，这条曲线就足以说明存在内存泄漏了。

上传系统部署四个大区，唯独国内出现内存占用90%+告警和出现容器故障重启，唯一的区别是国内的文件上传使用的是Ceph，我们在容器镜像中打入ceph的c链接库，并用go-ceph库去访问ceph文件系统。经过初步使用pprof排除了go程序本身代码逻辑导致的内存泄漏，加之只有国内出现，我们怀疑是ceph库的问题。

为了进一步找出问题，我们找了一些资料，怎么排查底层c库内存泄漏问题，于是找到了jmalloc这个库。

要使用jmalloc提供的工具分析内存泄漏，首先是要将使用malloc标准库替换为使用jmalloc标准库。好在这个系统是容器部署的，很方便在Dockerfile中安装jmalloc。

FROM k8sharbor.xxx.xx/xxx/golang:1.16.15-c7.9-ceph

........
# 安装jemalloc
RUN mkdir -p /usr/local/share/jemalloc
RUN cd /usr/local/share/jemalloc
RUN wget https://github.com/jemalloc/jemalloc/releases/download/5.3.0/jemalloc-5.3.0.tar.bz2
RUN tar -xf jemalloc-5.3.0.tar.bz2
RUN ./jemalloc-5.3.0/configure --enable-prof
RUN make && make install

.......
# 在启动程序之前配置环境变量
ENV LD_PRELOAD=/usr/local/lib/libjemalloc.so
## lg_prof_interval:28，其含义是内存每增加 256MB（2^28，可以根据需要修改），就输出一份内存 profile。
## lg_prof_sample:1，表示每1个事件中有一个会被采样记录。
ENV MALLOC_CONF="prof:true,prof_prefix:/data/logs/jemalloc/jeprof.out,lg_prof_interval:28,lg_prof_sample:1"

上线两天后，发现告警一直没出现，看了下Pod的指标，非常的正常。

很神奇，曲线莫名消失了。

但问题还是会出现，运行几天后，进程还是会因为内存超出Pod的limits被kill掉。

通过jeprof命令工具排查未发现问题。

命令：jeprof --show_bytes --text xxx jemalloc_heprof.out.xx.xx.xxx.heap

可能是因为瞬间涨上去之后，进程挂了，jemalloc也没dump到最后有问题的heap。

没办法，只能通过本地编写测试用例，覆盖所有场景，增加并发模拟线上，逐个场景找问题。

最后发现是jpg文件转webp格式出现的内存泄露，用的库是github.com/chai2010/webp，后来改成github.com/kolesa-team/go-webp，问题解决。

参考文献：

• 利用jemalloc解决flink的内存溢出问题：https://segmentfault.com/a/1190000042015931
• jemalloc内存泄漏分析：https://www.jianshu.com/p/4f9689ffca2d
• Java in K8s: how we’ve reduced memory usage without changing any code Mickael Jeanroy malt-engineering（https://blog.malt.engineering/java-in-k8s-how-weve-reduced-memory-usage-without-changing-any-code-cbef5d740ad）