首页 › Go语言论坛 › Go pprof性能调优

洗墨染孤舟 發表於 2019-10-26 11:57:00

Go pprof性能调优

<h1 id="go性能调优">Go性能调优</h1>
<p>在计算机性能调试领域里，profiling 是指对应用程序的画像，画像就是应用程序使用 CPU 和内存的情况。 Go语言是一个对性能特别看重的语言，因此语言中自带了 profiling 的库，这篇文章就要讲解怎么在 golang 中做 profiling。</p>
<h1 id="go性能优化">Go性能优化</h1>
<p>Go语言项目中的性能优化主要有以下几个方面：</p>
<ul>
<li>CPU profile：报告程序的 CPU 使用情况，按照一定频率去采集应用程序在 CPU 和寄存器上面的数据</li>
<li>Memory Profile（Heap Profile）：报告程序的内存使用情况</li>
<li>Block Profiling：报告 goroutines 不在运行状态的情况，可以用来分析和查找死锁等性能瓶颈</li>
<li>Goroutine Profiling：报告 goroutines 的使用情况，有哪些 goroutine，它们的调用关系是怎样的</li>
</ul>
<h2 id="采集性能数据">采集性能数据</h2>
<p>Go语言内置了获取程序的运行数据的工具，包括以下两个标准库：</p>
<ul>
<li><code>runtime/pprof</code>：采集工具型应用运行数据进行分析</li>
<li><code>net/http/pprof</code>：采集服务型应用运行时数据进行分析</li>
</ul>
<p>pprof开启后，每隔一段时间（10ms）就会收集下当前的堆栈信息，获取格格函数占用的CPU以及内存资源；最后通过对这些采样数据进行分析，形成一个性能分析报告。</p>
<p>注意，我们只应该在性能测试的时候才在代码中引入pprof。</p>
<h2 id="工具型应用">工具型应用</h2>
<p>如果你的应用程序是运行一段时间就结束退出类型。那么最好的办法是在应用退出的时候把 profiling 的报告保存到文件中，进行分析。对于这种情况，可以使用<code>runtime/pprof</code>库。 首先在代码中导入<code>runtime/pprof</code>工具：</p>
<pre><code class="language-go">import "runtime/pprof"
</code></pre>
<h3 id="cpu性能分析">CPU性能分析</h3>
<p>开启CPU性能分析：</p>
<pre><code class="language-go">pprof.StartCPUProfile(w io.Writer)
</code></pre>
<p>停止CPU性能分析：</p>
<pre><code class="language-go">pprof.StopCPUProfile()
</code></pre>
<p>应用执行结束后，就会生成一个文件，保存了我们的 CPU profiling 数据。得到采样数据之后，使用<code>go tool pprof</code>工具进行CPU性能分析。</p>
<h3 id="内存性能优化">内存性能优化</h3>
<p>记录程序的堆栈信息</p>
<pre><code class="language-go">pprof.WriteHeapProfile(w io.Writer)
</code></pre>
<p>得到采样数据之后，使用<code>go tool pprof</code>工具进行内存性能分析。</p>
<p><code>go tool pprof</code>默认是使用<code>-inuse_space</code>进行统计，还可以使用<code>-inuse-objects</code>查看分配对象的数量。</p>
<h2 id="服务型应用">服务型应用</h2>
<p>如果你的应用程序是一直运行的，比如 web 应用，那么可以使用<code>net/http/pprof</code>库，它能够在提供 HTTP 服务进行分析。</p>
<p>如果使用了默认的<code>http.DefaultServeMux</code>（通常是代码直接使用 http.ListenAndServe(“0.0.0.0:8000”, nil)），只需要在你的web server端代码中按如下方式导入<code>net/http/pprof</code></p>
<pre><code class="language-go">import _ "net/http/pprof"
</code></pre>
<p>如果你使用自定义的 Mux，则需要手动注册一些路由规则：</p>
<pre><code class="language-go">r.HandleFunc("/debug/pprof/", pprof.Index)
r.HandleFunc("/debug/pprof/cmdline", pprof.Cmdline)
r.HandleFunc("/debug/pprof/profile", pprof.Profile)
r.HandleFunc("/debug/pprof/symbol", pprof.Symbol)
r.HandleFunc("/debug/pprof/trace", pprof.Trace)
</code></pre>
<p>如果你使用的是gin框架，那么推荐使用<code>"github.com/DeanThompson/ginpprof"</code>。</p>
<p>不管哪种方式，你的 HTTP 服务都会多出<code>/debug/pprof</code> endpoint，访问它会得到类似下面的内容：</p>
<p><img src="http://ww1.sinaimg.cn/large/007Djzqpgy1g8bgqtnsmaj30m40cgmy7.jpg" alt="undefined" loading="lazy"></p>
<p>这个路径下还有几个子页面：</p>
<ul>
<li>/debug/pprof/profile：访问这个链接会自动进行 CPU profiling，持续 30s，并生成一个文件供下载</li>
<li>/debug/pprof/heap： Memory Profiling 的路径，访问这个链接会得到一个内存 Profiling 结果的文件</li>
<li>/debug/pprof/block：block Profiling 的路径</li>
<li>/debug/pprof/goroutines：运行的 goroutines 列表，以及调用关系</li>
</ul>
<h2 id="go-tool-pprof命令">go tool pprof命令</h2>
<p>不管是工具型应用还是服务型应用，我们使用相应的pprof库获取数据之后，下一步的都要对这些数据进行分析，我们可以使用<code>go tool pprof</code>命令行工具。</p>
<p><code>go tool pprof</code>最简单的使用方式为:</p>
<pre><code class="language-bash">go tool pprof
</code></pre>
<p>其中：</p>
<ul>
<li>binary 是应用的二进制文件，用来解析各种符号；</li>
<li>source 表示 profile 数据的来源，可以是本地的文件，也可以是 http 地址。</li>
</ul>
<p><strong>注意事项：</strong> 获取的 Profiling 数据是动态的，要想获得有效的数据，请保证应用处于较大的负载（比如正在生成中运行的服务，或者通过其他工具模拟访问压力）。否则如果应用处于空闲状态，得到的结果可能没有任何意义。</p>
<h2 id="具体示例">具体示例</h2>
<p>首先我们来写一段有问题的代码：</p>
<pre><code class="language-go">// runtime_pprof/main.go
package main

import (
        "flag"
        "fmt"
        "os"
        "runtime/pprof"
        "time"
)

// 一段有问题的代码
func logicCode() {
        var c chan int
        for {
                select {
                case v := &lt;-c:
                        fmt.Printf("recv from chan, value:%v\n", v)
                default:

                }
        }
}

func main() {
        var isCPUPprof bool
        var isMemPprof bool

        flag.BoolVar(&amp;isCPUPprof, "cpu", false, "turn cpu pprof on")
        flag.BoolVar(&amp;isMemPprof, "mem", false, "turn mem pprof on")
        flag.Parse()

        if isCPUPprof {
                file, err := os.Create("./cpu.pprof")
                if err != nil {
                        fmt.Printf("create cpu pprof failed, err:%v\n", err)
                        return
                }
                pprof.StartCPUProfile(file)
                defer pprof.StopCPUProfile()
        }
        for i := 0; i &lt; 8; i++ {
                go logicCode()
        }
        time.Sleep(20 * time.Second)
        if isMemPprof {
                file, err := os.Create("./mem.pprof")
                if err != nil {
                        fmt.Printf("create mem pprof failed, err:%v\n", err)
                        return
                }
                pprof.WriteHeapProfile(file)
                file.Close()
        }
}
</code></pre>
<p>通过flag我们可以在命令行控制是否开启CPU和Mem的性能分析。 将上面的代码保存并编译成<code>runtime_pprof</code>可执行文件，执行时加上<code>-cpu</code>命令行参数如下：</p>
<pre><code class="language-bash">./runtime_pprof -cpu
</code></pre>
<p>等待30秒后会在当前目录下生成一个<code>cpu.pprof</code>文件。</p>
<h3 id="命令行交互界面">命令行交互界面</h3>
<p>我们使用go工具链里的<code>pprof</code>来分析一下。</p>
<pre><code class="language-bash">go tool pprof cpu.pprof
</code></pre>
<p>执行上面的代码会进入交互界面如下：</p>
<pre><code class="language-bash">runtime_pprof $ go tool pprof cpu.pprof
Type: cpu
Time: Jun 28, 2019 at 11:28am (CST)
Duration: 20.13s, Total samples = 1.91mins (568.60%)
Entering interactive mode (type "help" for commands, "o" for options)
(pprof)
</code></pre>
<p>我们可以在交互界面输入<code>top3</code>来查看程序中占用CPU前3位的函数：</p>
<pre><code class="language-bash">(pprof) top3
Showing nodes accounting for 100.37s, 87.68% of 114.47s total
Dropped 17 nodes (cum &lt;= 0.57s)
Showing top 3 nodes out of 4
      flatflat%   sum%      cum   cum%
    42.52s 37.15% 37.15%   91.73s 80.13%runtime.selectnbrecv
    35.21s 30.76% 67.90%   39.49s 34.50%runtime.chanrecv
    22.64s 19.78% 87.68%    114.37s 99.91%main.logicCode
</code></pre>
<p>其中：</p>
<ul>
<li>flat：当前函数占用CPU的耗时</li>
<li>flat：:当前函数占用CPU的耗时百分比</li>
<li>sun%：函数占用CPU的耗时累计百分比</li>
<li>cum：当前函数加上调用当前函数的函数占用CPU的总耗时</li>
<li>cum%：当前函数加上调用当前函数的函数占用CPU的总耗时百分比</li>
<li>最后一列：函数名称</li>
</ul>
<p>在大多数的情况下，我们可以通过分析这五列得出一个应用程序的运行情况，并对程序进行优化。</p>
<p>我们还可以使用<code>list 函数名</code>命令查看具体的函数分析，例如执行<code>list logicCode</code>查看我们编写的函数的详细分析。</p>
<pre><code class="language-bash">(pprof) list logicCode
Total: 1.91mins
ROUTINE ================ main.logicCode in .../runtime_pprof/main.go
    22.64s   1.91mins (flat, cum) 99.91% of Total
         .          .   12:func logicCode() {
         .          .   13:   var c chan int
         .          .   14:   for {
         .          .   15:         select {
         .          .   16:         case v := &lt;-c:
    22.64s   1.91mins   17:                   fmt.Printf("recv from chan, value:%v\n", v)
         .          .   18:         default:
         .          .   19:
         .          .   20:         }
         .          .   21:   }
         .          .   22:}
</code></pre>
<p>通过分析发现大部分CPU资源被17行占用，我们分析出select语句中的default没有内容会导致上面的<code>case v:=&lt;-c:</code>一直执行。我们在default分支添加一行<code>time.Sleep(time.Second)</code>即可。</p>
<h3 id="图形化">图形化</h3>
<p>或者可以直接输入web，通过svg图的方式查看程序中详细的CPU占用情况。 想要查看图形化的界面首先需要安装graphviz图形化工具。</p>
<p>Mac：</p>
<pre><code class="language-bash">brew install graphviz
</code></pre>
<p>Windows: 下载graphviz 将<code>graphviz</code>安装目录下的bin文件夹添加到Path环境变量中。 在终端输入<code>dot -version</code>查看是否安装成功。</p>
<p><img src="http://ww1.sinaimg.cn/large/007Djzqpgy1g8bgr7fcaej30ja0fcq4r.jpg" alt="undefined" loading="lazy">关于图形</p>
<p>的说明： 每个框代表一个函数，理论上框的越大表示占用的CPU资源越多。 方框之间的线条代表函数之间的调用关系。 线条上的数字表示函数调用的次数。 方框中的第一行数字表示当前函数占用CPU的百分比，第二行数字表示当前函数累计占用CPU的百分比。</p>
<h2 id="go-torch和火焰图">go-torch和火焰图</h2>
<p>火焰图（Flame Graph）是 Bredan Gregg 创建的一种性能分析图表，因为它的样子近似 🔥而得名。上面的 profiling 结果也转换成火焰图，如果对火焰图比较了解可以手动来操作，不过这里我们要介绍一个工具：<code>go-torch</code>。这是 uber 开源的一个工具，可以直接读取 golang profiling 数据，并生成一个火焰图的 svg 文件。</p>
<h3 id="安装go-touch">安装go-touch</h3>
<pre><code class="language-bash">   go get -v github.com/uber/go-torch
</code></pre>
<p>火焰图 svg 文件可以通过浏览器打开，它对于调用图的最优点是它是动态的：可以通过点击每个方块来 zoom in 分析它上面的内容。</p>
<p>火焰图的调用顺序从下到上，每个方块代表一个函数，它上面一层表示这个函数会调用哪些函数，方块的大小代表了占用 CPU 使用的长短。火焰图的配色并没有特殊的意义，默认的红、黄配色是为了更像火焰而已。</p>
<p>go-torch 工具的使用非常简单，没有任何参数的话，它会尝试从<code>http://localhost:8080/debug/pprof/profile</code>获取 profiling 数据。它有三个常用的参数可以调整：</p>
<ul>
<li>-u –url：要访问的 URL，这里只是主机和端口部分</li>
<li>-s –suffix：pprof profile 的路径，默认为 /debug/pprof/profile</li>
<li>–seconds：要执行 profiling 的时间长度，默认为 30s</li>
</ul>
<h3 id="安装-flamegraph">安装 FlameGraph</h3>
<p>要生成火焰图，需要事先安装 FlameGraph工具，这个工具的安装很简单（需要perl环境支持），只要把对应的可执行文件加入到环境变量中即可。</p>
<ol>
<li>下载安装perl：https://www.perl.org/get.html</li>
<li>下载FlameGraph：<code>git clone https://github.com/brendangregg/FlameGraph.git</code></li>
<li>将<code>FlameGraph</code>目录加入到操作系统的环境变量中。</li>
<li>Windows平台的同学，需要把<code>go-torch/render/flamegraph.go</code>文件中的<code>GenerateFlameGraph</code>按如下方式修改，然后在<code>go-torch</code>目录下执行<code>go install</code>即可。</li>
</ol>
<pre><code class="language-go">// GenerateFlameGraph runs the flamegraph script to generate a flame graph SVG. func GenerateFlameGraph(graphInput []byte, args ...string) ([]byte, error) {
flameGraph := findInPath(flameGraphScripts)
if flameGraph == "" {
        return nil, errNoPerlScript
}
if runtime.GOOS == "windows" {
        return runScript("perl", append([]string{flameGraph}, args...), graphInput)
}
return runScript(flameGraph, args, graphInput)
}
</code></pre>
<h3 id="压测工具wrk">压测工具wrk</h3>
<p>推荐使用https://github.com/wg/wrk 或 https://github.com/adjust/go-wrk</p>
<h3 id="使用go-torch">使用go-torch</h3>
<p>使用wrk进行压测:<code>go-wrk -n 50000 http://127.0.0.1:8080/book/list</code> 在上面压测进行的同时，打开另一个终端执行<code>go-torch -u http://127.0.0.1:8080 -t 30</code>，30秒之后终端会初夏如下提示：<code>Writing svg to torch.svg</code></p>
<p>然后我们使用浏览器打开<code>torch.svg</code>就能看到如下火焰图了。</p>
<p><img src="http://ww1.sinaimg.cn/large/007Djzqpgy1g8bgri75hmj30xl0ldgsh.jpg" alt="undefined" loading="lazy"></p>
<p>火焰图的y轴表示cpu调用方法的先后，x轴表示在每个采样调用时间内，方法所占的时间百分比，越宽代表占据cpu时间越多。通过火焰图我们就可以更清楚的找出耗时长的函数调用，然后不断的修正代码，重新采样，不断优化。</p>
<h2 id="pprof与性能测试结合">pprof与性能测试结合</h2>
<p><code>go test</code>命令有两个参数和 pprof 相关，它们分别指定生成的 CPU 和 Memory profiling 保存的文件：</p>
<ul>
<li>-cpuprofile：cpu profiling 数据要保存的文件地址</li>
<li>-memprofile：memory profiling 数据要报文的文件地址</li>
</ul>
<p>我们还可以选择将pprof与性能测试相结合，比如：</p>
<p>比如下面执行测试的同时，也会执行 CPU profiling，并把结果保存在 cpu.prof 文件中：</p>
<pre><code class="language-bash">go test -bench . -cpuprofile=cpu.prof
</code></pre>
<p>比如下面执行测试的同时，也会执行 Mem profiling，并把结果保存在 cpu.prof 文件中：</p>
<pre><code class="language-bash">go test -bench . -memprofile=./mem.prof
</code></pre>
<p>需要注意的是，Profiling 一般和性能测试一起使用，这个原因在前文也提到过，只有应用在负载高的情况下 Profiling 才有意义。</p><br><br>
来源：https://www.cnblogs.com/Dr-wei/p/11742414.html

查看完整版本: Go pprof性能调优