golang internals

徐冬丽

　　中文的go语言内部细节的资料几乎没有,所以自己研究了一下
　　声明：本文内容主要来自本人对源代码的研究,以及网上找到的一些资料的整理,不保证完全正确性
　　-------------------------------------------------------
　　函数调用协议
　　go语言中使用的是非连续栈。原因是需要支持goroutine。
　　假设调用 go func(1,2,3) ，func函数会在一个新的go线程中运行，显然新的goroutine不能和当前go线程用同一个栈，否则会相互覆盖。
　　所以对go关键字的调用协议与普通函数调用是不同的。不像常规的C语言调用是push参数后直接call func，上面代码汇编之后会是：
　　参数进栈
　　push func
　　push 12
　　call runtime.newproc
　　pop
　　pop
　　12是参数占用的大小。在runtime.newproc中，会新建一个栈空间，将栈参数的12个字节拷贝到新栈空间并让栈指针指向参数。
　　这时的线程状态有点像当被调度器剥夺CPU后一样，pc,sp会被存到类型于类似于进程控制块的一个结构体struct G内。func被存放在了struct G的entry域，后面进行调度时调度器会让goroutine从func开始执行。
　　defer关键字调用过程类似于go，不同的是call的是runtime.deferproc
　　函数返回时，如果其中包含了defer语句，不是调用add xx SP, return
　　而是call runtime.deferreturn，add 48 sp，return
　　多值返回还没研究明白是怎么实现，如果没记错，C语言中返回值好像是放在eax的，这个估计要放栈里了。有待考证。
　　-----------------------------------------------------------------------
　　编译过程分析
　　$GOROOT/src/cmd/gc目录，这里gc不是垃圾回收的意思，而是go compiler
　　6g/8g的源文件的主函数是在lex.c
　　从这个文件可以看到整个编译的流程。先是利用bison做了词法分析yyparse()
　　后面就是语法分析,注释中有第一步第二步...最后生成目标文件.8或.6,相当于c的.o
　　go.y是bison的语法定义文件
　　事实上go在编译阶段也只是将所有的内容按语法分析的结果放入NodeList这个数据结构里，然后export写成一个*.8(比如i386的架构），这个.8的文件大概是这样子的：
　　go object linux 386 go1 X:none
　　exports automatically generated from
　　hello.go in package "even"
　　$$ // exports
　　package even
　　import runtime "runtime"
　　type @"".T struct { @"".id int }

　　func (@"".this *@"".T "noescape")>　　func @"".Even(@"".i int) (? bool) { return @"".i % 2 == 0 }
　　func @"".odd(@"".i int) (? bool) { return @"".i % 2 == 1 }
　　$$ // local types
　　$$
　　....
　　可以自己做实验写个hello.go，运行go tool 8g hello.go
　　具体的文件格式，可以参考src/cmd/gc/obj.c里的dumpobj函数的实现
　　而如果我们在源文件里写一个import时，它实际上会将这个obj文件导入到当前的词法分析过程中来，比如
　　import xxx
　　它就是会把pkg/amd64-linux/xxx.a加载进来，接着解析这个obj文件
　　如果我们看go.y的语法分析定义，就会看到许多hidden和there命名的定义，比如import_there, hidden_import等等，这些其实就是从obj文件来的定义。
　　又比如我们可能会看到一些根本就不存在于源代码中的语法定义，但是它确实编译过了，这是因为在编译过程中源文件被根据需要插入一些其他的碎片进来，比如builtin的一些库或者自定义的一些lib库。
　　理解了这些，基本上就对go的编译过程有了一个了解，事实上go的编译过程做的事情也就是把它变成obj完事，至少我们目前没有看到更多的工作。接下来想要更深入的理解，就要再看xl的实现了，这部分是将obj变成可执行代码的过程，应该会比较有趣了。
　　---------------------------------------------------------------------------------------------
　　runtime中的调度器相关
　　$GOROOT/src/pkg/runtime目录很重要，值得好好研究，源代码可以从runtime.h开始读起。
　　goroutine实现的是自己的一套线程系统，语言级的支持，与pthread或系统级的线程无关。
　　一些重要的结构体定义在runtime.h中。两个重要的结构体是G和M
　　结构体G名字应该是goroutine的缩写，相当于操作系统中的进程控制块，在这里就是线程的控制结构，是对线程的抽象。
　　其中包括
　　goid //线程ID
　　status//线程状态，如Gidle,Grunnable,Grunning,Gsyscall,Gwaiting,Gdead等
　　有个常驻的寄存器extern register G* g被使用，这个是当前线程的线程控制块指针。amd64中这个寄存器是使用R15，在x86中使用0(GS)  分段寄存器
　　结构体M名字应该是machine的缩写。是对机器的抽象，这里是可用的cpu核心。
　　proc.c中是实现的线程调度相关。
　　如果有自己写过操作系统的经验，看这个会比较过瘾
　　调度器调度的时机是某线程进入系统调用，或申请内存，或由于等待管道而堵塞等
　　------------------------------------------------------------------------------------------
　　系统的初始化
　　proc.c中有一段注释
　　// The bootstrap sequence is:
　　//
　　// call osinit
　　// call schedinit
　　// make & queue new G
　　// call runtime·mstart
　　//
　　// The new G calls runtime·main.
　　这个可以在$GOROOT/src/pkg/runtime/asm_386.S中看到。go编译生成的程序应该是从这个文件开始执行的。
　　// saved argc, argv
　　...
　　CALL runtime·args(SB)
　　CALL runtime·osinit(SB) //这个设置cpu核心数量
　　CALL runtime·schedinit(SB)
　　// create a new goroutine to start program
　　PUSHL $runtime·main(SB) // entry

　　PUSHL $0 // arg>　　CALL runtime·newproc(SB)
　　POPL AX
　　POPL AX
　　// start this M
　　CALL runtime·mstart(SB)
　　还记得前面讲的go线程的调用协议么？先push参数，再push被调函数和参数字节数，接着调用runtime.newproc
　　所以这里其实就是新开个线程执行runtime.main
　　runtime.newproc会把runtime.main放到就绪线程队列里面。
　　本线程继续执行runtime.mstart，m意思是machine。runtime.mstart会调用到schedule
　　schedule函数绝不返回，它会根据当前线程队列中线程状态挑选一个来运行。
　　然后就调度到了runtime.main函数中来，runtime.main会调用用户的main函数，即main.main从此进入用户代码
　　总结一下函数调用流程就是
　　runtime.osinit --> runtime.schedinit --> runtime.newproc --> runtime.mstart --> schedule -->
　　runtime.main --> main.main
　　这个可以写个helloworld了用gdb调试，一步一步的跟
　　-----------------------------------------------------------------------------------------------
　　interface的实现
　　假设我们把类型分为具体类型和接口类型。
　　具体类型例如type myint int32 或type mytype struct {...}
　　接口类型是例如type I interface {}
　　接口类型的值，在内存中的存放形式是两个域，一个指向真实数据(具体类型的数据)的指针，一个itab指针。
　　具体见$GOROOT/src/pkg/reflect/value.go 的type nonEmptyInterface struct {...} 定义
　　itab中包含了数据（具体类型的）的类型描述符信息和一个方法表
　　方法表就类似于C++中的对象的虚函数表，上面存的全是函数指针。
　　方法表是在接口值在初始化的时候动态生成的。具体的说：
　　对每个具体类型，都会生成一个类型描述结构，这个类型描述结构包含了这个类型的方法列表
　　对接口类型，同样也生成一个类型描述结构，这个类型描述结构包含了接口的方法列表
　　接口值被初始化的时候，利用具体类型的方法表来动态生成接口值的方法表。
　　比如说var i I = mytype的过程就是:
　　构造一个接口类型I的值，值的第一个域是一个指针，指向mytype数据的一个副本。注意是副本而不是mytype数据本身，因为如果不这样的话改变了mytype的值，i的值也被改变。
　　值的第二个域是指向一个动态构造出来的itab，itab的类型描述符域是存mytype的类型描述符，itab的方法表域是将mytype的类型描述符的方法表的对应函数指针拷贝过来。构造itab的代码在$ROOT/src/pkg/runtime/iface.c中的函数
　　static Itab*  itab(InterfaceType *inter, Type *type, int32 canfail)
　　这里还有个小细节是类型描述符的方法表是按方法名排序过的，这样itab的动态构建过程更快一些，复杂度就是O(接口类型方法表长度+具体类型方法表长度)
　　可能有人有过疑问：编译器怎么知道某个类型是否实现了某个接口呢？这里正好解决了这个疑问：
　　在var i I = mytype 的过程中，如果发现mytype的类型描述符中的方法表跟接口I的类型描述符中的方法表对不上，这个初始化过程就会出错，提示说mytype没有实现接口中的某某方法。
　　再暴一个细节，所有的方法，在编译过程中都被转换成了函数
　　比如说 func (s *mytype) Get()会被变成func Get(s *mytype)。
　　接口值进行方法调用的时候，会找到itab中的方法表的某个函数指针，其第一个参数传的正是这个接口值的第一个域，即指向具体类型数据的指针。
　　在具体实现上面还有一些优化过程，比如接口值的真实数据指针那个域，如果真实数据大小是32位，就不用存指针了，直接存数据本身。再有就是对类接口类型interface{}，其itab中是不需要方法表的，所以这里不是itab而直接是一个指向真实数据的类型描述结构的指针。
　　-------------------------------------------------------------------------------------------------
　　收集的一些关于go internals的链接：
　　http://code.google.com/p/try-catch-finally/wiki/GoInternals
　　http://research.swtch.com/gopackage
　　http://research.swtch.com/interfaces
　　http://research.swtch.com/goabstract
　　http://blog.csdn.net/hopingwhite/article/details/5782888