Go语言——goroutine并发模型

参考：

网站建设哪家好，找创新互联！专注于网页设计、网站建设、微信开发、成都微信小程序、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了海棠免费建站欢迎大家使用！

Goroutine并发调度模型深度解析手撸一个协程池

Golang 的 goroutine 是如何实现的？

Golang - 调度剖析【第二部分】

OS线程初始栈为2MB。Go语言中，每个goroutine采用动态扩容方式，初始2KB，按需增长，最大1G。此外GC会收缩栈空间。

BTW，增长扩容都是有代价的，需要copy数据到新的stack，所以初始2KB可能有些性能问题。

更多关于stack的内容，可以参见大佬的文章。 聊一聊goroutine stack

用户线程的调度以及生命周期管理都是用户层面，Go语言自己实现的，不借助OS系统调用，减少系统资源消耗。

Go语言采用两级线程模型，即用户线程与内核线程KSE（kernel scheduling entity）是M:N的。最终goroutine还是会交给OS线程执行，但是需要一个中介，提供上下文。这就是G-M-P模型

Go调度器有两个不同的运行队列：

go1.10\src\runtime\runtime2.go

Go调度器根据事件进行上下文切换。

调度的目的就是防止M堵塞，空闲，系统进程切换。

详见 Golang - 调度剖析【第二部分】

Linux可以通过epoll实现网络调用，统称网络轮询器N（Net Poller）。

文件IO操作

上面都是防止M堵塞，任务窃取是防止M空闲

每个M都有一个特殊的G，g0。用于执行调度，gc，栈管理等任务，所以g0的栈称为调度栈。g0的栈不会自动增长，不会被gc，来自os线程的栈。

go1.10\src\runtime\proc.go

G没办法自己运行，必须通过M运行

M通过通过调度，执行G

从M挂载P的runq中找到G，执行G

golang 协程什么时候切换

应puppet大拿刘宇的邀请，我去西山居运维团队做了一个简短分享，谈谈为什么我要将我们的项目从python转向go。

坦白的讲，在一帮python用户面前讲为什么放弃python转而用go其实是一件压力蛮大的事情，语言之争就跟vim和emacs之争一样，是一个永恒的无解话题，稍微不注意就可能导致粉丝强烈地反击。所以我只会从我们项目实际情况出发，来讲讲为什么我最终选择了go。

为什么放弃python

首先，我其实得说说为什么我们会选择python。在我加入企业快盘团队之前，整个项目包括更早的金山快盘都是采用python进行开发的。至于为什么这么选择，当时的架构师葱头告诉我，主要是因为python上手简单，开发迅速。对于团队里面大部分完全没服务端开发经验的同学来说，python真的是一个很好的选择。

python的简单高效，我是深有体会的。当时私有云项目也就几个程序员，但是我们要服务多家大型企业，进行定制化的开发，多亏了python，我们才能快速出活。后来企业快盘挂掉之后，我们启动轻办公项目，自然也使用python进行了原始版本的构建。

python虽然很强大，但我们在使用的时候也碰到了一些问题，主要由如下几个方面：

动态语言

python是一门动态强类型语言。但是，仍然可能出现int + string这样的运行时错误，因为对于一个变量，在写代码的时候，我们有时候很容易就忘记这个变量到底是啥类型的了。

在python里面，可以允许同名函数的出现，后一个函数会覆盖前一个函数，有一次我们系统一个很严重的错误就是因为这个导致的。

上面说到的这些，静态语言在编译的时候就能帮我们检测出来，而不需要等到运行时出问题才知道。虽然我们有很完善的测试用例，但总有case遗漏的情况。所以每次出现运行时错误，我心里都想着如果能在编译的时候就发现该多好。

性能

其实这个一直是很多人吐槽python的地方，但python有它适合干的事情，硬是要用python进行一些高性能模块的开发，那也有点难为它了。

python的GIL导致无法真正的多线程，大家可能会说我用多进程不就完了。但如果一些计算需要涉及到多进程交互，进程之间的通讯开销也是不得不考虑的。

无状态的分布式处理使用多进程很方便，譬如处理http请求，我们就是在nginx后面挂载了200多个django server来处理http的,但这么多个进程自然导致整体机器负载偏高。

但即使我们使用了多个django进程来处理http请求，对于一些超大量请求，python仍然处理不过来。所以我们使用openresty，将高频次的http请求使用lua来实现。可这样又导致使用两种开发语言，而且一些逻辑还得写两份不同的代码。

同步网络模型

django的网络是同步阻塞的，也就是说，如果我们需要访问外部的一个服务，在等待结果返回这段时间，django不能处理任何其他的逻辑（当然，多线程的除外）。如果访问外部服务需要很长时间，那就意味着我们的整个服务几乎在很长一段时间完全不可用。

为了解决这个问题，我们只能不断的多开django进程，同时需要保证所有服务都能快速的处理响应，但想想这其实是一件很不靠谱的事情。

异步网络模型

tornado的网络模型是异步的，这意味着它不会出现django那样因为外部服务不可用导致这个服务无法响应的问题。话说，比起django，我可是非常喜欢tornado的，小巧简单，以前还写过几篇深入剖析tornado的文章了。

虽然tornado是异步的，但是python的mysql库都不支持异步，这也就意味着如果我们在tornado里面访问数据库，我们仍然可能面临因为数据库问题造成的整个服务不可用。

其实异步模型最大的问题在于代码逻辑的割裂，因为是事件触发的，所以我们都是通过callback进行相关处理，于是代码里面就经常出现干一件事情，传一个callback，然后callback里面又传callback的情况，这样的结果就是整个代码逻辑非常混乱。

python没有原生的协程支持，虽然可以通过gevent，greenlet这种的上patch方式来支持协程，但毕竟更改了python源码。另外，python的yield也可以进行简单的协程模拟，但毕竟不能跨堆栈，局限性很大，不知道3.x的版本有没有改进。

开发运维部署

当我第一次使用python开发项目，我是没成功安装上项目需要的包的，光安装成功mysql库就弄了很久。后来，是一位同事将他整个python目录打包给我用，我才能正常的将项目跑起来。话说，现在有了docker，是多么让人幸福的一件事情。

而部署python服务的时候，我们需要在服务器上面安装一堆的包，光是这一点就让人很麻烦，虽然可以通过puppet，salt这些自动化工具解决部署问题，但相比而言，静态编译语言只用扔一个二进制文件，可就方便太多了。

代码失控

python非常灵活简单，写c几十行代码才能搞定的功能，python一行代码没准就能解决。但是太简单，反而导致很多同学无法对代码进行深层次的思考，对整个架构进行细致的考量。来了一个需求，啪啪啪，键盘敲完开速实现，结果就是代码越来越混乱，最终导致了整个项目代码失控。

虽然这也有我们自身的原因，譬如没好的代码review机制，没有好的项目规范，但个人感觉，如果一个程序员没经过良好的编码训练，用python很容易就写出烂的代码，因为太自由了。

当然，我这里并不是说用python无法进行大型项目的开发，豆瓣，dropbox都是很好的例子，只是在我们项目中，我们的python代码失控了。

上面提到的都是我们在实际项目中使用python遇到的问题，虽然最终都解决了，但是让我愈发的觉得，随着项目复杂度的增大，流量性能压力的增大，python并不是一个很好的选择。

为什么选择go

说完了python，现在来说说为什么我们选择go。其实除了python，我们也有其他的选择，java，php，lua(openresty)，但最终我们选择了go。

虽然java和php都是最好的编程语言（大家都这么争的），但我更倾向一门更简单的语言。而openresty，虽然性能强悍，但lua仍然是动态语言，也会碰到前面说的动态语言一些问题。最后，前金山许式伟用的go，前快盘架构师葱头也用的go，所以我们很自然地选择了go。

go并不是完美，一堆值得我们吐槽的地方。

error，好吧，如果有语言洁癖的同学可能真的受不了go的语法，尤其是约定的最后一个返回值是error。项目里面经常会充斥这样的代码:

if _, err := w.Write(data1); err != nil {

returun err

}

if _, err := w.Write(data2); err != nil {

returun err

}

难怪有个梗是对于一个需求，java的程序员在写配置的时候，go程序员已经写了大部分代码，但是当java的程序员写完的时候，go程序员还在写err != nil。

这方面，errors-are-values倒是推荐了一个不错的解决方案。

包管理，go的包管理太弱了，只有一个go get，也就是如果不小心更新了一个外部库，很有可能就导致现有的代码编译不过了。虽然已经有很多开源方案，譬如godep以及现在才出来的gb等，但毕竟不是官方的。貌似google也是通过vendor机制来管理第三方库的。希望go 1.5或者之后的版本能好好处理下这个问题。

GC，java的GC发展20年了，go才这么点时间，gc铁定不完善。所以我们仍然不能随心所欲的写代码，不然在大请求量下面gc可能会卡顿整个服务。所以有时候，该用对象池，内存池的一定要用，虽然代码丑了点，但好歹性能上去了。

泛型，虽然go有inteface，但泛型的缺失会让我们在实现一个功能的时候写大量的重复代码，譬如int32和int64类型的sort，我们得为分别写两套代码，好冗余。go 1.4之后有了go generate的支持，但这种的仍然需要自己根据go的AST库来手动写相关的parser，难度也挺大的。虽然也有很多开源的generate实现，但毕竟不是官方的。

当然还有很多值得吐槽的地方，就不一一列举了，但是go仍旧有它的优势。

静态语言，强类型。静态编译能帮我们检查出来大量的错误，go的强类型甚至变态到不支持隐式的类型转换。虽然写代码感觉很别扭，但减少了犯错的可能。

gofmt，应该这是我知道的第一个官方提供统一格式化代码工具的语言了。有了gofmt，大家的代码长一个样了，也就没有花括号到底放到结尾还是新开一行这种蛋疼的代码风格讨论了。因为大家的代码风格一样，所以看go的代码很容易。

天生的并行支持，因为goroutine以及channel，用go写分布式应用，写并发程序异常的容易。没有了蛋疼的callback导致的代码逻辑割裂，代码逻辑都是顺序的。

性能，go的性能可能赶不上c，c++以及openresty，但真的也挺强悍的。在我们的项目中，现在单机就部署了一个go的进程，就完全能够胜任以前200个python进程干的事情，而且CPU和MEM占用更低。

运维部署，直接编译成二进制，扔到服务器上面就成，比python需要安装一堆的环境那是简单的太多了。当然，如果有cgo，我们也需要将对应的动态库给扔过去。

开发效率，虽然go是静态语言，但我个人感觉开发效率真的挺高，直觉上面跟python不相上下。对于我个人来说，最好的例子就是我用go快速开发了非常多的开源组件，譬如ledisdb，go-mysql等，而这些最开始的版本都是在很短的时间里面完成的。对于我们项目来说，我们也是用go在一个月就重构完成了第一个版本，并发布。

实际项目中一些Go Tips

到现在为止，我们几乎所有的服务端项目都已经转向go，当然在使用的时候也遇到了一些问题，列出来算是经验分享吧。

godep，我们使用godep进行第三方库管理，但是godep我碰到的最大的坑就是build tag问题，如果一个文件有build tag，godep很有可能就会忽略这个文件。

IO deadline，如果能自己在应用层处理的都自己处理，go的deadline内部是timer来控制，但timer内部采用一个array来实现的heap，全局共用一个锁，如果大并发量，并且timer数量过多，timeout变动太频繁，很容易就引起性能问题。

GC，这个前面也说了，多用内存池，对象池，另外，我还发现，如果对象的生命周期跟goroutine一致，对性能的提升也不错，也在go的group问过相关问题，大家猜测可能是因为一些对象其实是在goroutine的8k栈上面分配的，所以一起回收没有额外GC了。

Go gob，如果要做RPC服务，gob并不是一个很好的选择，首先就跟python的pickle不通用，然后为了做不同系统的数据传入，任何包都必须带上类型的详细信息，size太大。go里面现在还没一套官方的RPC方案，gRPC貌似有上位的可能。

dji go怎么切换语言

【安卓 Android 设备】

app 的语言跟随手机系统的语言设置，若您需要修改 app 语言，直接调整手机系统的语言设置即可；

【苹果 iOS】

进入 app 主页，点击右下角【我】- 右上角【设置】-【设置语言】。

Python开发者在转到Go语言之前需要了解什么？

转载请参见文章末尾处的要求。【感谢张佳伟（@ghosert）的热心翻译。如果其他朋友也有不错的原创或译文，可以尝试推荐给伯乐在线。】这是一篇（长）博文， 介绍了我们在 Repustate 迁移大量 Python/Cython 代码到 Go 语言的经验。如果你想了解整个故事，背景和所有的事情，请继续往下读。如果你只是想了解 Python 开发者在一头扎进 Go 语言前需要了解什么，请点击一下链接：从Python迁移到Go的建议(Tips Tricks) 背景在Repustate，我们完成过的最棒的技术成就之一是实现了阿拉伯语的情感分析。阿拉伯语是一块难啃的硬骨头，因为它的词形变化相当复杂。比起譬如英语，阿拉伯语的分词（将一个句子切分呈几个独立的单词）也更困难，因为阿拉伯语的单词本身还可能会包含空白字符（例如：“阿列夫”在一个单词里的位置）。这也谈不上是泄密，Repustate 使用支持向量机（SVM）来获取一个句子背后最有可能的含义，并在其中加上情感元素。 总体上来说，我们使用了 22 种模型（22 个 SVM） 并且在一篇文档中，每一个单词我们都会加以分析。因此如果你有一篇 500 字的文档，那么基于 SVM，会进行十万次的比较。 PythonRepustate 几乎完全就是一个 Python 商店。我们使用 Django 来实现 API 和网站。因此（目前）为了保持代码一致，同时使用 Python 来实现阿拉伯语情感引擎是合情合理的。只是做原型和实现的话，Python 是很好的选择。它的表达能力很强悍，第三方类库等等也很好。如果你就是为了Web服务，Python 很完美。但是当你进行低级别的计算，大量依赖于哈希表（Python 里的字典类型）做比较的时候，一切都变慢了。我们每秒能处理大约两到三个阿拉伯文档，但是这太慢了。比较下来，我们的英语情感引擎每秒能处理大约五百份文档。 瓶颈因此我们开启了 Python 分析器，开始调查是什么地方用了那么长时间。还记得我前面说过我们有 22 个 SVM 并且每个单词都需要经过处理吗？好吧，这些都是线性处理的，非并行处理。所以我们的第一反应是把线性处理改成 map/reduce 那样的操作。简单来说：Python 不太适合用作 map/reduce。当你需要并发的时候，Python 算上好用。在 2013 Python 大会上（译者：PyCon 2013），Guido 谈到了 Tulip，他的这个新项目正在弥补 Python 这方面的不足，不过得过段一段时间才能推出，但是如果已经有了更好用的东西，我们为什么还要等呢？ 选Go 语言，还是回家算了？我在Mozilla的朋友告诉我，Mozilla 内部正在将他们大量的基础日志架构切换到 Go 语言上，部分原因是因为强大的 [goroutines]。Go 语言是 Google 的人设计的，并且在设计之初就把支持并发作为第一要务，而不是像 Python 的各种解决方案那样是事后才加上去的。因此我们开始着手把 Python 换成 Go 语言。虽然Go 代码还不算正式上线的产品，但是结果非常令人鼓舞。我们现在能做到每秒处理一千份文档，使用更少的内存，还不用调试你在 Python 里遇到：丑陋的多进程/gevent/“为什么 Control-C 杀不了进程”这些问题。 为什么我们喜欢 Go 语言任何人，对编程语言是如何工作（解释型 vs 编译型， 动态语言 vs 静态语言）有一点理解的话，会说，“切，当然 Go 语言会更快”。是的，我们也可以用 Java 把所有的东西重写一遍，也能看到类似更快的改善，但那不是 Go 语言胜出的原因。你用 Go 写的代码好像就是对的。我搞不清楚到底是怎么回事，但是一旦代码被编译了（编译速度很快），你就会觉得这代码能工作（不只是跑起来不会错，而且甚至逻辑上也是对的）。我知道，这听上去不太靠谱，但是确实如此。这和 Python 在冗余（或非冗余）方面非常类似，它把函数作为第一目标，因此函数编程会很容易想明白。而且当然，go 线程和通道让你的生活更容易，你可以得到静态类型带来的性能大提升，还能更精细的控制内存分配，而你却不必为此在语言表达力上付出太多的代价。 希望能早点知道的事情（Tips Tricks）除去所有这些赞美之词以后，有时你真的需要在处理 Go 代码的时候，相对于 Python，改变一下思维方式。因此这是我在迁移代码时记录的笔记清单 —— 只是在我把 Python 代码转换到 Go 时从我脑子里随机冒出来的点子：没有内建的集合类型（必须使用map，并检查是否存在）因为没有集合，必须自己写交集，并集之类的方法没有tuples 类型，必须写你自己的结构，或者使用 slices （即数组）没有类似 \__getattr__() 的方法，你必须总是检查存在性，而不是设置默认值，例如，在 Python 里，你可以这样写 value = dict.get(“a_key”, “default_value”)必须总是检查错误（或者显式的忽略错误）不能有变量/包没被使用，因此简单的测试也需要有时注掉一些代码在[] byte 和 string 之间转换。 regexp 使用 [] byte （不可变）。这是对的，但是老把一些变量转换来转换去很烦人Python 更宽松。你可以使用超出范围的索引在字符串里取一个片段，而且不会出错。你还可以用负数取出片段，但是 Go 不行你不能混合数据结构类型。也许这样也不太干净，但是有时在 Python 里，我会使用值是混合了字符串和列表的字典。但是 Go 不行，你不得不清理干净你的数据结构或者使用自定义的结构不能解包一个 tuple 或者 list 到几个不同的变量（例如：x, y, z = [1, 2, 3]）驼峰式命名风格（如果你没有首字大写方法名/结构名，他们不会被暴露给其它的包）。我更喜欢 Python 的小写字母加下划线命名风格。必须显式检查是否有错误 != nil, 不像在 Python 里，许多类型可以像 bool 那样检查 （0, “”, None 都可以被解释成 “非” 集合）文档在一些模块上太散乱了，例如（crypto/md5），但是 IRC 上的 go-nuts 很好用，提供了巨大的帮助。从数字到字符串的转换（int64 - string） 和 []byte - string （只要使用 string([]byte)）不太一样。需要使用 strconv。阅读Go 代码比起 Python 那样写起来如伪代码的语言更像一门编程语言， Go 有更多的非字母数字字符，并且使用 || 和 ， 而不是 “or”和“and”写一个文件的话，有 File.Write([]byte) 和 File.WriteString(string)， 这点和 Python 开发者的 Python 之道：“解决问题就一种方法 ”相违背。修改字符串很困难，必须经常重排 fmt.Sprintf没有构造函数，因此惯用法是创建 NewType() 方法来返回你要的结构Else （或者 else if）必须正确格式化，else 得和 if 配对的大括号在同一行。奇怪。赋值运算符取决于在函数内还是函数外，例如，= 和 :=如果我只想要“键”或者只想要 “值”，譬如： dict.keys() 或者 dict.values()，或者一个 tuples 的列表，例如：dict.items()，在 Go 语言里没有等价的东西，你只能自己枚举 map 来构造你的列表类型我有时使用一种习惯用法：构造一个值是函数的字典类型，我想通过给定的键值调用这些函数，你在 Go 里可以做到，但是所有的函数必须接受，返回相同的东西，例如：相同的方法签名如果你使用 JSON 并且 你的 JSON 是一个复合类型，恭喜你。 你必须构造自定义的结构匹配 JSON 块里的格式，然后把原始 JSON 解析到你自定义结构的实例中去。比起 Python 世界里 object = json.loads(json_blob) 要做更多的工作 是不是值得？值得，一百万倍的值得。速度的提升太多了，以致很难舍弃。同时，我认为， Go 是目前趋势所在，因此在招新员工的时候，我认为把 Go 当作 Repustate 技术积累的重要一环会很有帮助。]