[译] Go语言调度器 by povilas

发表于 | 分类于
| 字数统计: 1.4k

英文原文：https://povilasv.me/go-scheduler/

基础

Go语言的运行时管理了调度，垃圾回收，和协程的运行时环境。这里我们只讨论调度器。

运行时调度器将协程映射到系统线程上执行。协程是轻量级的线程，启动协程的开销十分小。每个协程被一个称为G的结构体所描述，它包含了记录协程栈和当前状态的必要字段。所以，G = 协程。

运行时保持跟踪每个G并将它们映射到逻辑处理器上，逻辑处理器称为P。P可以被看成一个抽象资源或者一个上下文（context），它需要被系统线程（称为M，或者Machine）获取，然后系统线程才可以执行G。

你可以通过在运行时调用runtime.GOMAXPROCS(numLogicalProcessors)来控制逻辑处理器的数量，如果你真打算调整这个参数（也许你不应该调整它），最好只设置一次，因为这个调用会引起垃圾回收器STW（即程序暂停执行）。

基本来说，操作系统运行线程，线程运行你的代码。Go的把戏是编译器在运行时的一些位置插入一些代码（比如通过channel发送数据，调用运行时包中的函数等），这样Go才能通知调度器做相应的处理。

Go-runtime-Page

注：上图来源于Analysis of the Go runtime scheduler

M P G间的交互

M P G间的交互有一点点复杂。先看下面这张来自go runtime scheduler slides by Gao Chao的流程图，画得非常好。

Go-runtime-Page

图中可以看到，有两种类型的G队列：一个全局队列在schedt结构体中（很少被使用），另外每个P持有一个可运行G的队列。

为了运行一个协程，M需要持有上下文P。然后M从所持有的P中的协程队列中取出协程并执行协程中的代码。

当你生成一个新协程时（调用go func()），这个协程被放入P的队列中。这里有一个有趣的偷取调度算法，当M执行完了一些G后试图再次从队列中获取G，而此时队列为空，那么M会随机选取另一个P并试图从选取的P上偷取一半数量的可执行G。

还有一件有趣的事情是，当你在协程中调用一个阻塞式的系统调用。阻塞式的系统调用会被拦截，如果这个P上还有其它的G等待被运行，Go的运行时会将这个P的系统线程分离出来，然后再创建一个新的系统线程（如果没有空闲线程的话）来为这个P服务。

译者yoko注
这里说的拦截系统调用，就是文章开头所说的Go编译器在真正的系统调用前后插入了代码。
阻塞的协程在阻塞前带着系统线程跑了（和所属的P说拜拜），新生成一个系统线程和P挂载，继续运行P上后续的协程。

当这个系统调用完成时，系统调用所属的协程会被放回一个本地运行队列，而之前运行这个系统调用的系统线程会被标识为非运行状态并将这个线程插入空闲线程列表中。

译者yoko注
使得调用完系统调用的协程可以继续被正常调度，系统调用之后的代码被正常执行。
系统线程则被回收，交给Go调度器管理。

如果某个协程发起了网络调用，运行时也会做相似的处理。调用会被拦截，但是由于Go集成了network poller，它有自己独立的系统线程，所以这个协程会被指派过去。

基本来说，如果当前协程阻塞在以下几种情况时，Go的运行时会运行另一个协程。

  • 阻塞式的系统调用（比如打开一个文件）
  • 网络IO
  • channel操作
  • sync包中的同步原语

跟踪调度器

Go允许跟踪打印运行时调度信息。方法是设置GODEBUG环境变量：

1
$ GODEBUG=scheddetail=1,schedtrace=1000 ./program

输出示例：

1
2
3
4
5
6
7
8
9
10
11
12
SCHED 0ms: gomaxprocs=8 idleprocs=7 threads=2 spinningthreads=0 idlethreads=0 runqueue=0 gcwaiting=0 nmidlelocked=0 stopwait=0 sysmonwait=0
  P0: status=1 schedtick=0 syscalltick=0 m=0 runqsize=0 gfreecnt=0
  P1: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
  P2: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
  P3: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
  P4: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
  P5: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
  P6: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
  P7: status=0 schedtick=0 syscalltick=0 m=-1 runqsize=0 gfreecnt=0
  M1: p=-1 curg=-1 mallocing=0 throwing=0 preemptoff= locks=1 dying=0 helpgc=0 spinning=false blocked=false lockedg=-1
  M0: p=0 curg=1 mallocing=0 throwing=0 preemptoff= locks=1 dying=0 helpgc=0 spinning=false blocked=false lockedg=1
  G1: status=8() m=0 lockedm=0

一般来说，你不需要那么详细的信息，所以你可以这样：

1
$ GODEBUG=schedtrace=1000 ./program

这里有一篇William Kennedy写的非常棒的文章，详细描述了如何使用trace。

另外，还有一个值得推荐的工具叫做go tool trace，它有UI界面，用于展示你的程序以及运行时做了什么。你可以看这篇文章学习如何使用它。

引用链接:

本文完，作者yoko，尊重劳动人民成果，转载请注明原文出处： https://pengrl.com/p/22729/

0%