golang手动管理内存

5ol.cc

　　作者：John Graham-Cumming.   原文点击此处。翻译：Lubia Yang(已失效)
　　前些天我介绍了我们对Lua的使用，implement our new Web Application Firewall.
　　另一种在CloudFlare （作者的公司）变得非常流行的语言是Golang。在过去，我写了一篇 how we use Go来介绍类似Railgun的网络服务的编写。
　　用Golang这样带GC的语言编写长期运行的网络服务有一个很大的挑战，那就是内存管理。
　　为了理解Golang的内存管理有必要对run-time源码进行深挖。有两个进程区分应用程序不再使用的内存，当它们看起来不会再使用，就把它们归还到操作系统（在Golang源码里称为scavenging ）。
　　这里有一个简单的程序制造了大量的垃圾（garbage），每秒钟创建一个 5,000,000 到 10,000,000 bytes 的数组。程序维持了20个这样的数组，其他的则被丢弃。程序这样设计是为了模拟一种非常常见的情况：随着时间的推移，程序中的不同部分申请了内存，有一些被保留，但大部分不再重复使用。在Go语言网络编程中，用goroutines 来处理网络连接和网络请求时（network connections or requests），通常goroutines都会申请一块内存（比如slice来存储收到的数据）然后就不再使用它们了。随着时间的推移，会有大量的内存被网络连接（network connections）使用，连接累积的垃圾come and gone。
　　

package main　　

　　
import (
　　
"fmt"
　　
"math/rand"
　　
"runtime"
　　
"time"
　　
)
　　

　　
func makeBuffer() []byte {
　　
return make([]byte, rand.Intn(5000000)+5000000)
　　
}
　　

　　
func main() {
　　
pool := make([][]byte, 20)
　　

　　
var m runtime.MemStats
　　
makes := 0
　　
for {
　　
b := makeBuffer()
　　
makes += 1
　　
i := rand.Intn(len(pool))
　　
pool = b
　　

　　
time.Sleep(time.Second)
　　

　　
bytes := 0
　　

　　
for i := 0; i < len(pool); i++ {
　　
if pool != nil {
　　
bytes += len(pool)
　　
}
　　
}
　　

　　
runtime.ReadMemStats(&m)
　　
fmt.Printf("%d,%d,%d,%d,%d,%d\n", m.HeapSys, bytes, m.HeapAlloc,
　　
m.HeapIdle, m.HeapReleased, makes)
　　
}
　　
}
　　

　　程序使用 runtime.ReadMemStats函数来获取堆的使用信息。它打印了四个值，

　　HeapSys：程序向应用程序申请的内存
　　HeapAlloc：堆上目前分配的内存
　　HeapIdle：堆上目前没有使用的内存
　　HeapReleased：回收到操作系统的内存

　　GC在Golang中运行的很频繁（参见GOGC环境变量（GOGC environment variable ）来理解怎样控制垃圾回收操作），因此在运行中由于一些内存被标记为”未使用“，堆上的内存大小会发生变化：这会导致HeapAlloc和HeapIdle发生变化。Golang中的scavenger 会释放那些超过5分钟仍然没有再使用的内存，因此HeapReleased不会经常变化。
　　下面这张图是上面的程序运行了10分钟以后的情况：

　　(在这张和后续的图中，左轴以是以byte为单位的内存大小，右轴是程序执行次数)
　　红线展示了pool中byte buffers的数量。20个 buffers 很快达到150,000,000 bytes。最上方的蓝色线表示程序从操作系统申请的内存。稳定在375,000,000 bytes。因此程序申请了2.5倍它所需的空间！
　　当GC发生时，HeapIdle和HeapAlloc发生跳变。橘色的线是makeBuffer()发送的次数。
　　这种过度的内存申请是有GC的程序的通病，参见这篇paper
　　Quantifying the Performance of Garbage Collection vs. Explicit Memory Management
　　程序不断执行，idle memory（即HeapIdle）会被重用，但很少归还到操作系统。
　　解决此问题的一个办法是在程序中手动进行内存管理。例如，
　　程序可以这样重写：
　　

package main　　

　　
import (
　　
"fmt"
　　
"math/rand"
　　
"runtime"
　　
"time"
　　
)
　　

　　
func makeBuffer() []byte {
　　
return make([]byte, rand.Intn(5000000)+5000000)
　　
}
　　

　　
func main() {
　　
pool := make([][]byte, 20)
　　

　　
buffer := make(chan []byte, 5)
　　

　　
var m runtime.MemStats
　　
makes := 0
　　
for {
　　
var b []byte
　　
select {
　　
case b =