【GoCN酷Go推荐】Goroutine 泄漏防治神器 goleak editor • 2021-03-29 04:23 • CSO方法 • 阅读 1163 ##酷Go推荐 6个 推荐 goleak 的背景 goroutine 作为 golang 并发实现的核心组成部分,非常容易上手使用,但却很难驾驭得好。我们经常会遭遇各种形式的 goroutine 泄漏,这些泄漏的 goroutine 会一直存活直到进程终结。它们的占用的栈内存一直无法释放、关联的堆内存也不能被 GC 清理,系统的可用内存会随泄漏 goroutine 的增多越来越少,直至崩溃! goroutine 的泄漏通常伴随着复杂的协程间通信,代码评审和常规的单元测试通常更专注于业务逻辑正确,很难完全覆盖 goroutine 泄漏的场景;而 pprof 等性能分析工具更多是作用于监控报警/故障之后的复盘。我们需要一款能在编译部署前识别 goroutine 泄漏的工具,从更上游把控工程质量。 goleak(https://github.com/uber-go/goleak MIT 许可协议) 是 Uber 团队开源的一款 goroutine 泄漏检测工具,它可以非常轻量地集成到测试中,对于 goroutine 泄漏的防治和工程鲁棒性的提升很有帮助。 防范胜于救灾 goroutine 泄漏举例 先举个 goroutine 泄漏的例子;如下所示,leak 方法中的 ch 永远没有写操作且不会关闭,读取 ch 的 goroutine 一直处于阻塞状态,这是一种很典型的 goroutine 泄漏。 func leak() { ch := make(chan struct{}) go func() { ch <- struct{}{} }()} 通常我们会为 leak方法写类似下面的测试: func TestLeak(t *testing.T) { leak()} 用 go test 执行测试看看结果: $ go test -v -run ^TestLeak$=== RUN TestLeak--- PASS: TestLeak (0.00s)PASSok cool-go.gocn.vip/goleak 0.007s 测试不出意外地顺利通过了,go 内置的测试显然无法帮我们识别 leak中的 goroutine 泄漏。 集成 goleak 测试 goleak 暴露的方法特别精简,通常我们只需关注 VerifyNone 和 VerifyTestMain 两个方法,它们也对应了 goleak 的两种集成方式: 逐用例集成 在现有测试的首行添加 defer goleak.VerifyNone(t),即可集成 goleak 泄漏检测: func TestLeakWithGoleak(t *testing.T) { defer goleak.VerifyNone(t) leak()} 这次的 go test 失败了: $ go test -v -run ^TestLeakWithGoleak$=== RUN TestLeakWithGoleak leaks.go:78: found unexpected goroutines: [Goroutine 19 in state chan send, with cool-go.gocn.vip/goleak.leak.func1 on top of the stack: goroutine 19 [chan send]: cool-go.gocn.vip/goleak.leak.func1(0xc00008c420) /Users/blanet/gocn/goleak/main.go:24 +0x35 created by cool-go.gocn.vip/goleak.leak /Users/blanet/gocn/goleak/main.go:23 +0x4e ]--- FAIL: TestLeakWithGoleak (0.45s)FAILexit status 1FAIL cool-go.gocn.vip/goleak 0.459s 测试报告显示名为 leak.func1 的 goroutine 发生了泄漏(leak.func1 在这里指的是 leak 方法中的第一个匿名方法),并将测试结果置为失败。我们成功通过 goleak 找到了 goroutine 泄漏。 通过 TestMain 集成 如果觉得逐用例集成 goleak 的方式太过繁琐或 “入侵” 性太强,不妨试试完全不改变原有测试用例,通过在 TestMain中添加 goleak.VerifyTestMain(m) 的方式集成 goleak: func TestMain(m *testing.M) { goleak.VerifyTestMain(m)} 这次的 go test 输出如下: $ go test -v -run ^TestLeak$=== RUN TestLeak--- PASS: TestLeak (0.00s)PASSgoleak: Errors on successful test run: found unexpected goroutines:[Goroutine 19 in state chan send, with cool-go.gocn.vip/goleak.leak.func1 on top of the stack:goroutine 19 [chan send]:cool-go.gocn.vip/goleak.leak.func1(0xc00008c2a0) /Users/blanet/gocn/goleak/main.go:24 +0x35created by cool-go.gocn.vip/goleak.leak /Users/blanet/gocn/goleak/main.go:23 +0x4e]exit status 1FAIL cool-go.gocn.vip/goleak 0.455s 可见,goleak 再次成功检测到了 goroutine 泄漏,但与逐用例集成不同的是,goleak.VerifyTestMain会先报告用例执行的结果,然后再进行泄漏分析。如果单次测试执行了多个用例且最终发生泄漏,那么以 TestMain 方式集成的 goleak 并不能精准定位发生 goroutine 泄漏的用例,还需进一步分析。 goleak 提供了如下脚本用于进一步推断具体发生 goroutine 泄漏的用例,其本质是逐一执行所有用例进行分析: # Create a test binary which will be used to run each test individually$ go test -c -o tests# Run each test individually, printing "." for successful tests, or the test name# for failing tests.$ for test in $(go test -list . | grep -E "^(Test|Example)"); do ./tests -test.run "^$test\$" &>/dev/null && echo -n "." || echo "\n$test failed"done 总结 goleak 通过对运行时的栈分析获取 goroutine 状态,并设计了非常简洁易用的接口与测试框架进行对接,是一款小巧强悍的 goroutine 泄漏防治利器。 当然,完备的测试用例支持是 goleak 发挥作用的基础,大家还是要老老实实写测试,稳稳当当搞生产! 参考资料 https://github.com/uber-go/goleakhttps://pkg.go.dev/go.uber.org/goleakhttps://rakyll.org/leakingctx/https://github.com/golang/go/issues/6705https://medium.com/golangspec/goroutine-leak-400063aef468https://dave.cheney.net/2016/12/22/never-start-a-goroutine-without-knowing-how-it-will-stop 还想了解更多吗?更多请查看:https://github.com/uber-go/goleak 欢迎加入我们GOLANG中国社区:https://gocn.vip/ 《酷Go推荐》招募: 各位Gopher同学,最近我们社区打算推出一个类似GoCN每日新闻的新栏目《酷Go推荐》,主要是每周推荐一个库或者好的项目,然后写一点这个库使用方法或者优点之类的,这样可以真正的帮助到大家能够学习到新的库,并且知道怎么用。 大概规则和每日新闻类似,如果报名人多的话每个人一个月轮到一次,欢迎大家报名! 点击 阅读原文 即刻报名 版权归原作者所有,如若转载,请注明出处:https://www.ciocso.com/article/762.html 赞 (0) editor 0 0 生成海报