learn and live.

本文基于Go 1.13

Go程序的内存从申请阶段到不再使用后的释放阶段都由Go标准库自动管理。尽管管理工作不需要开发者参与，但是Go对内存管理的底层实现做了非常好的优化，里面充满了有意思的知识点，还是值得我们学习的。

从堆上申请内存

几天前，我读了一篇关于BigCache的文章，我对它是如何做到以下两点十分感兴趣：

• 加速并发访问
• 避免高额的GC开销

于是我去阅读了它的代码。我觉得它的做法很赞，所以我写了这篇文章来与你分享。

BigCache 是一个快速，支持并发访问，自淘汰的内存型缓存，可以在存储大量元素时依然保持高性能。BigCache将元素保存在堆上却避免了GC的开销。 —— 摘自《BigCache README 中的简介》

1
2
3
4
5
6
7
8
9
10

// BigCache README 中的简单使用示例

import "github.com/allegro/bigcache"

cache, _ := bigcache.NewBigCache(bigcache.DefaultConfig(10 * time.Minute))

cache.Set("my-unique-key", []byte("value"))

entry, _ := cache.Get("my-unique-key")
fmt.Println(string(entry))

BigCache github地址

并发访问

先看效果

1
2
3
4
5
6

$./myapp -v
GitCommitLog=d97d098e5bb4ad38a2a7968f273a256e10a0108f mod bininfo comment
GitStatus=cleanly
BuildTime=2019.10.26.194341
GoVersion=go version go1.13 darwin/amd64
runtime=darwin/amd64

myapp 是一个演示用的 demo 程序，输入 -v 参数运行时，打印出程序的一些信息。以上信息对应的说明如下：

关于两个队列

首先我们必须明白，处于“LISTENING”状态的TCP socket，有两个独立的队列：

• SYN队列（SYN Queue）
• Accept队列（Accept Queue）

这两个术语有时也被称为“reqsk_queue”，“ACK backlog”，“listen backlog”，甚至“TCP backlog”，但是这篇文章中我们使用上面两个术语以免造成混淆。

SYN队列

Go标准库中的bytes.Buffer（下文用Buffer表示）类似于一个FIFO的队列，它是一个流式字节缓冲区。

我们可以持续向Buffer尾部写入数据，从Buffer头部读取数据。当Buffer内部空间不足以满足写入数据的大小时，会自动扩容。

伸缩策略

阅读本篇文章前，你最好已经知道如何写基本的单元测试。本篇文章共包含3个小建议，以及7个小技巧。

建议一，不要使用框架

在Go语言中，结构体的大小取决于内部属性的类型以及它们的排列顺序。

1
2
3
4
5
6

struct {
    a bool
    b int32
    c string
    d string
}

上面这个结构体的大小和下面这个结构体的大小是不同的，尽管它们只是属性的定义顺序不同。

RSS是Resident Set Size（常驻内存大小）的缩写，用于表示进程使用了多少内存（RAM中的物理内存），RSS不包含已经被换出的内存。RSS包含了它所链接的动态库并且被加载到物理内存中的内存。RSS还包含栈内存和堆内存。

VSZ是Virtual Memory Size（虚拟内存大小）的缩写。它包含了进程所能访问的所有内存，包含了被换出的内存，被分配但是还没有被使用的内存，以及动态库中的内存。

假设进程A的二进制文件是500K，并且链接了一个2500K的动态库，堆和栈共使用了200K，其中100K在内存中（剩下的被换出或者不再被使用），一共加载了动态库中的1000K内容以及二进制文件中的400K内容至内存中，那么：

文章前放个广告，我个人采用Go语言编写的一个开源流媒体服务器，欢迎关注： lal (https://github.com/q191201771/lal)

chunk stream id

设计思想

大部分人在考虑存储性能时，他们首先想到的是最大吞吐量。但是最大吞吐量就像汽车厂商给汽车标的最高速度。实际上，你几乎永远不会达到那个速度。考虑存储性能时也不应该只考虑最大吞吐量。

还拿汽车来举例，大部分时候，加速度和过弯的处理能力可能会比最大吞吐量更重要。这和存储性能是类似的。

大部分人都知道SSD固态硬盘一般比普通的机械硬盘快。但这不仅仅是因为固态硬盘的最大吞吐量更大。还和它们的IOPS（Input/Output operations per second, 每秒读写次数）有关。更高IOPS的存储器，会提高我们日常真实应用的性能。但是IOPS也不是唯一指标。更准备的说：IOPS只有和平均时延以及读写字节大小相关联时才有意义。让我们先来看IOPS和时延。