分布式技术一周技术动态 2016.03.27

xuyaxiu

分布式系统实践
　　1. Borg、Omega和Kubernetes：谷歌十几年来从这三个容器管理系统中得到的经验教训
　　https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=402035632&idx=1&sn=3ea87982c823edb7707dd692b9aa8287&scene=0&key=710a5d99946419d9d0bbddb3386b6d54227b536e8be55d2a526ec83d96da60186f71996099c6a43d89bb030473cfd53c&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=usOoww%2FD6guLnYYFa16HEpq0CXQfQ0rsK%2FGEy%2Fa9fhVnv7j%2BcQIYo7VM15RpARWZ
　　要点: 这篇文章由这三个容器集群管理系统长年开发维护的谷歌工程师Brendan Burns、Brian Grant、David Oppenheimer、Eric Brewer和John Wilkes于近日发表，阐述了谷歌从Borg到Kubernetes这个旅程中所获得的知识和经验教训。
　　2. 百度分布式交互查询平台——PINGO架构迭代
　　https://mp.weixin.qq.com/s?__biz=MjM5MjAwODM4MA==&mid=403025790&idx=1&sn=703d753df2dbba7991923ff4d67bf47e&scene=0&key=710a5d99946419d9e60d8eb3d26aaaf9c3f582b367e48d072a1df4f336137201a2e0b875be9aa22177f01223a12d414f&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=um4c0ijSptqFu7zCMunysLA2Fo8QQuhfPFzGSHeR4b1IUpyNMPB2zkTXvTsKX%2BwA
　　要点: 这篇文章介绍了我厂大数据部交互式查询引擎从基于MR的QueryEngine到基于SparkSQL的PINGO的演化过程.
　　3. Google的深度学习强在哪？谷歌首席科学家说了这些奇妙特性
　　https://mp.weixin.qq.com/s?__biz=MzA3NTM4NDE2Mw==&mid=401777115&idx=1&sn=b4ffd5cc3a5600ded3ade5a62dd6779b&scene=1&srcid=0326tvHrqt0x51LmaSts5ULz&key=710a5d99946419d9f90ca20f928b23a5d52cd3114dbd6d20c306a944859a5861e3da8ed58163ee2664563eb89b45519a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=um4c0ijSptqFu7zCMunysLA2Fo8QQuhfPFzGSHeR4b1IUpyNMPB2zkTXvTsKX%2BwA
　　要点: 这是根据Jeff Dean在3月7日韩国大学的演讲<<大规模深度学习>>记录和整理的一篇文章, 看看Google的深度学习强在哪里.
服务化和资源管理技术
　　1. Kubernetes 1.2.0 携一大波新特性震撼发布！
　　https://mp.weixin.qq.com/s?__biz=MzIwNzA1MTA5OA==&mid=628878734&idx=1&sn=81d3c6b24b54afb168412544751a7d88&scene=1&srcid=0319XZ0po05fsmpvfMteXT7L&key=710a5d99946419d9be91b7c4f569e21f36cdaf2082a00147af30754d5eb28617182d9123dc03be9b80868e2363279e3b&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=dAar3fUCKmta%2BSg9ODyyDjRwvbQ1X6RPqrJh4IbZlub9ew4I1KPi37jHCn2i4mZV
　　要点: k8s发布了1.2版本, 一大堆新特性, 感兴趣的同学可以仔细阅读.
　　2. 一个适合 Kubernetes 的最佳网络互联方案
　　https://mp.weixin.qq.com/s?__biz=MzAwMDM2NzUxMg==&mid=2682845156&idx=1&sn=4b40feba12c09bb34ce272b475784878&scene=0&key=710a5d99946419d9b248ed8a80bf33aedbc9534fc4ab91f814532f0c72ed2de2a888d7c126ef3daf27a88dd578f4b3c4&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=StPuikuYrikQxKPA0WCUlDGh%2FmuZT3DfIqwTCXSYJJAA%2B6AHWDhWe6Fbt0kn8iEA
　　要点: 编者的话】本文比较了几种 Kubernetes 联网方案，包括 Flannel（aws-vpc | host-gw | vxlan）和 IPvlan 。目前建议选择 flannel + host-gw 方案，没有特别依赖，性能也够用。一旦 flannel 支持 IPvlan （有自动化设置工具了），且 Linux 内核版本比较新，就可以采用 IPvlan 方案。
　　3. 雪球的Docker实践
　　http://www.infoq.com/cn/articles/docker-in-xueqiu#rd
　　要点: 这篇文章虽然标题是docker实践, 其实涵盖了基于docker的DevOps全过程, 非常值得初步尝试docker的中小产品线学习和尝试docker技术栈.
　　4. Docker Swarm和Kubernetes在大规模集群中的性能比较
　　https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=402059523&idx=1&sn=dbdb9962667e063f87964a20da61f793&scene=0&key=710a5d99946419d9be47ef7741afd289cd2130d495ac839537b314cb548d145df52502419e9b40660a2ba30601637ffa&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=6wJ9Ev1wfHfanwgB%2BF3zZnpC%2B%2FF3yd%2BxAyNoPckFLtXEBwOZdJASlq9kIUnhwfAm
　　要点: 这篇文章在1000个节点的集群规模下, 详细测试了面对不同workload情况下, Swarm和k8s在启动容器和容器罗列方面的性能差异, 指导我们进行技术选型.
服务高可用技术
　　1. Facebook工程发布技术的幕后故事
　　http://blog.jobbole.com/16966/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io
　　要点: 这篇文章重点讲述了facebook工程发布的过程, 虽然对技术谈的不多, 但是从整个流程描述中仍然有很多东西值得我们学习和思考, 特别是"几乎不回滚"的场景, 让我们看到facebook强有力的软件质量保证以及系统对异常的容忍能力.
　　2. 分布式系统中负载均衡算法在高可用场景下的分析
　　http://tech.youzan.com/load-balancing-algorithm/
　　要点: 这篇文章分析了几种负载均衡算法在高可用场景下的失败概率, 给我们提供了在不同场景下, 选择不同负载均衡策略的数学依据.
DevOps 技术
　　1. 透过CAT，来看分布式实时监控系统的设计与实现
　　https://mp.weixin.qq.com/s?__biz=MzA5Nzc4OTA1Mw==&mid=410426909&idx=1&sn=851bf383a5c82f6c9eb5fa0f3b0b9399&scene=0&key=710a5d99946419d91dcbf6d56168d681707af93830e647c48f12aa0fdd2ea7cb503929ae266fb309a24c382d1d2bd5f9&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=dAar3fUCKmta%2BSg9ODyyDjRwvbQ1X6RPqrJh4IbZlub9ew4I1KPi37jHCn2i4mZV
　　要点: 这篇文章介绍了大众点评的实时监控系统CAT的设计与实现, 特别是其组件化和服务化的理念, 致力于工具间的互通互联.
　　2. 如何用 sysdig 监控和排查 Linux 服务器
　　http://blog.jobbole.com/98717/
　　要点: sysdig是strace+tcpdump+lsof的合体, 本文介绍了如何使用sysdig分析linux服务器的性能瓶颈.
　　3. 统一监控报警平台架构设计思路
　　https://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=402970094&idx=1&sn=0726e08f5eda662c451fb92096c56b0b&scene=0&key=710a5d99946419d9ea8534a885616cc6beaa26db3e6e21dc09d1ba3ae99ee498e346ccf81263cda3bf1cccc758cb64c5&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=mCIVf8ZVJY%2FFZPG6BzEnp38qF8Lws1M8nQeXb9LDKRCRm55zE1tjm0atNSGWMVA7
　　要点: 监控报警平台的设计思路相比大家都不陌生, 无非就是数据采集+时间序列数据库+汇聚报警. 不过从头打造还是很费力的, 这篇文章介绍了基于ganglia+centreon, 二次开发了一款统一监控报警平台, 实现了线上3个机房多达1w台规模的服务器监控, 对于希望快速构建中型服务器规模的监控平台很有借鉴意义.
　　4. 云时代运维如何转型？大众点评有话说
　　https://mp.weixin.qq.com/s?__biz=MjM5MDE0Mjc4MA==&mid=403223805&idx=1&sn=96b898899ca0b44044f12ae951eb18d8&scene=0&key=710a5d99946419d981cec90d74139f9be19d7939cd2afc300ac745f9a4d27eb0fd3a7c4b07effa9694d4c5653b167549&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=6wJ9Ev1wfHfanwgB%2BF3zZnpC%2B%2FF3yd%2BxAyNoPckFLtXEBwOZdJASlq9kIUnhwfAm
　　要点: 这篇文章讲述了大众点评的运维团队转型过程, 从最开始的手工运维, 到工具化运维, 再到服务化运维, 最后到产品化运维的转型, 转型之后的运维团队变成了全能型的产品团队, 做技术, 做推广, 做运营, 做数据分析, 让运维团队走到了公司的核心位置, 很值得我们借鉴和学习.
大杂烩
　　1. 谷歌如何测试软件
　　https://mp.weixin.qq.com/s?__biz=MjM5OTMxMzA4NQ==&mid=407815983&idx=1&sn=353b851575590889c7647bfb34a90446&scene=1&srcid=0321MIli6F8EnkUXbIJ1Pi8n&key=710a5d99946419d90a1c8b87d001329595e31ba9a5e2c6b480de3b01bdf35676161becfd7983d79a649118dc41bfae1d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=ZjtHsCI0IOn7vPqYZMtnjUVeu%2Fl2WdMuvA%2B2QfjruwMmAImjGMF%2FQwVU9KYOWiay
　　要点: 这篇文章没有讲google的软件测试技术, 而是重点阐述了google的软件测试工程师的角色定位.
　　2. iTerm2 指南
　　http://wdxtub.com/2016/03/20/iterm2-guide/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io
　　要点: iterm2可以说是mac上的必备神器了, 这篇文章是对iterm2很好的一篇入门指南.
　　3. 大数据已经火了四五年，但你真的知道怎么用它来驱动产品和运营吗？
　　https://mp.weixin.qq.com/s?__biz=MjM5MzcwOTkyMw==&mid=403809898&idx=1&sn=08362ccce930fc6e6ad1d097340445e2&scene=1&srcid=0313N0o6e98sYMKoiLQTYfV4&key=710a5d99946419d9c31bc75312c4778ec796d9f4809fd4f7f3d6c8bb8b1df5fb995746272fb7396c22a8807e87ac91ee&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.3+build(15D21)&version=11020201&pass_ticket=usOoww%2FD6guLnYYFa16HEpq0CXQfQ0rsK%2FGEy%2Fa9fhVnv7j%2BcQIYo7VM15RpARWZ
　　要点: 这篇文章介绍了常规数据分析的基本范式, 给我们科普了数据分析的常见做法和应用场景. 虽然我们是架构工程师, 但是仍然少不了日常的数据分析工作. 比如分析beehive中故障实例的分布, 比如分析线上集群的容量数据等等, 希望这篇文章能够对大家的日志数据分析工作有所启发.
　　4. C++11带来的优雅语法
　　http://www.cnblogs.com/me115/p/4800777.html
　　要点: 不熟悉c++11没有关系, 但是一定要学会这几个优雅的语法, 让代码变得立刻高大上起来.