分布式技术一周技术动态 2016.05.29

艾辉

分布式系统实践
　　1. 网易视频云：新一代列式存储格式Parquet的最佳实践
　　https://mp.weixin.qq.com/s?__biz=MzI4NTA1MDEwNg==&mid=2650755579&idx=1&sn=640c55c7f2800be48271cdfb1880be99&scene=0&key=8d8120cb97983fad266c6ac303c9142a6b1da8ee51bea2e187dba1380070fd7707bdef8da1404d53ac1fe3cff11ee461&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=rN4ZbFd5fnrF%2Fp2dYa1VXuQ3FWkkWIQQnBshb0PJJ7e4370GEA9WYoE9%2BpYYD3Vu
　　要点: Parquet的思想来自于google的dremel论文, 2015年孵化成apache的顶级项目. Parquet将嵌套的结构化数据, 转换为扁平结构, 从而实现高性能的adhoc查询, 满足对业务数据OLAP的需求, 本文介绍了Parquet的基本原理和使用实践.
　　2. 用最少的机器支撑万亿级访问，微博6年Redis优化历程
　　https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547263&idx=1&sn=fe484b24660b7e1dc4beabca71fe1cb1&scene=0&key=8d8120cb97983fadb4d4952622cf2b38889684507e99283cec5671723337f57584cae092faf48126df769cf7a26a5bcf&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=R50B6eF5dIEu8H9nJz8rB8b9fmyfw8CBZlAJDiNQ0pR1%2BX6flaMuk62QxYtmOVf5
　　要点: 这篇文章介绍了微博6年来redis的优化过程, 从刚开始的简单粗暴使用到后来的服务化时代, 很多思路值得借鉴.
　　3. 浅谈分布式存储的性能限制模型
　　http://www.xsky.com/tec/%E6%B5%85%E8%B0%88%E5%88%86%E5%B8%83%E5%BC%8F%E5%AD%98%E5%82%A8%E7%9A%84%E6%80%A7%E8%83%BD%E9%99%90%E5%88%B6%E6%A8%A1%E5%9E%8B/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io
　　要点: 拿到一个分布式存储系统的设计架构, 要能够相对准确的估算性能指标, 这篇文章以ceph为例, 总结了分析的方法.
服务化和资源管理技术
　　1. 容器的配置管理
　　https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=2649690158&idx=1&sn=fa6e976fb8bd5425d1fc08126514e28f&scene=0&key=8d8120cb97983fad6f21733f6589d1e3f0a5f07a8232384a31c69a5e06e2afd088be58f674444cb0964f40d2d8cf26c3&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=EVEdxRJwTj0PZC%2FpzhDT2VaJuRuz4LRBo%2FvHmVxcwp5yeRdT%2BliPwdKv5%2BFCZ4kn
　　要点: 却别于传统的使用puppet/ansible进行配置管理的技术, 本文基于go语言, 打造了一款docker native的配置管理系统.
　　2. 谷歌容器集群管理系统实践
　　https://mp.weixin.qq.com/s?__biz=MjM5NzAyNTE0Ng==&mid=2649517102&idx=1&sn=905f52151d27535063f7536df56fdce2&scene=0&key=8d8120cb97983fadc6223d37b6d3a2b6b35dc241b95cfb3eacdfa3e8b53c93840abc8ea832fb05d47f8182e3d7c7814c&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=qk9M%2BJHrjFrayXavS4Tu0Zw36iyEmFm4b2Ikd0n%2BBuKUmzoV7ZY2PUxvI%2FouuH%2F6
　　要点: 本文来自才云科技的邓德源在中国云计算技术大会演讲的内容，邓德源是才云科技的CTO，前谷歌容器集群管理核心成员。除了borg之外, 本文概要介绍了围绕borg构建的生态系统以及典型的围绕borg的工作流. 可以看出, borg只是google强大的基础设施的冰山一角, 缺少这些基础设施, borg也无法很好的运行.
　　3. Hypernetes：为Kubernetes带来安全性与多租户机制
　　https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=2649690191&idx=1&sn=c837bf641c8cf869ab570244fda52bdf&scene=0&key=8d8120cb97983fad2bcb74c52d39b03d3784aa5ac6f8aa3b17b2fe0f9c6d237364ad4f8e146588379a25491a8047f713&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=rN4ZbFd5fnrF%2Fp2dYa1VXuQ3FWkkWIQQnBshb0PJJ7e4370GEA9WYoE9%2BpYYD3Vu
　　要点: 容器在隔离性和安全性方面还是逊色于虚拟机的, HyperContainer项目希望融合容器和虚拟机的共同优势, 利用现有的虚拟化技术(KVM/Xen)运行docker镜像. Hypernetes项目将HyperContainer和k8s结合, 利用k8s强大的容器编排能力, 实现多租户的容器和网络运行环境.
服务高可用技术
　　1. TCP队列相关参数的总结
　　http://weibo.com/p/230418e59371cc0102vg4n
　　要点: 作为架构工程师, 可能经常需要调整内核的网络参数, 然而很多文章只是说明了调整的方法, 却没有说明背后的原因. 这篇文章从原理开始, 详细介绍了tcp队列相关的参数设置, 让我们知其然知其所以然.
DevOps 技术
　　1. 中小企业运维自动化部署实战
　　http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=207822283&idx=1&sn=12455e6d57c7923ee842e959276aaba5&scene=21#wechat_redirect
　　要点: 这篇文章作者整理了面对中小企业的自动化部署流程, 实际上, 在我厂流程也基本上类似, 只不过我们有更强大的基础平台层支持(比如beehive), 每个环节不需要OP写大量的脚本, 但是基本思想是不变的.
　　2. 论运维自动化的正确姿势
　　http://mp.weixin.qq.com/s?__biz=MzA4Nzg5Nzc5OA==&mid=205230877&idx=1&sn=082b90f5ca552d038d1760187c8be38f&scene=21#wechat_redirect
　　要点: 本文介绍了运维自动化的方法论, 以及开源运维工具怎么选的问题, 让我们对运维自动化有了初步的和清晰的认识.
　　3. Google是如何做到从不宕机的？
　　https://mp.weixin.qq.com/s?__biz=MzA3OTgyMDcwNg==&mid=2650625219&idx=1&sn=d089f599efeeb6ccdfb813aece8cc611&scene=0&key=8d8120cb97983faddb879975bafdea8b779b949d10f00953251adab9a2aba9264049493b5b0eb5b4b85ad7e55d03328f&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=4wHH6MjXbp7JHsI2q17%2BOzZl8Ra5JSAeTa7AgllJrZX0XgYrTZjAoXn20fS%2Bc2WP
　　要点: 这篇文章概要的介绍了google SRE的理念, SRE或者说DevOps我认为更多的是理念而不是技术, 让运营(或者说运维)人员开发软件(而不仅仅是工具)取代需要人工完成的事情是一件非常有意义的事情.
大杂烩
　　1. ProtoBuf 反射详解
　　https://mp.weixin.qq.com/s?__biz=MzAxNDI5NzEzNg==&mid=2651156659&idx=1&sn=902715e6189633b4607922d4ece5f239&scene=0&key=8d8120cb97983fad77360a05788ec4335f92264ede8985d168da58111ecdedcd78b4b8e74f4006369c0a38e8d8f56cb6&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=EVEdxRJwTj0PZC%2FpzhDT2VaJuRuz4LRBo%2FvHmVxcwp5yeRdT%2BliPwdKv5%2BFCZ4kn
　　要点: 相信很多同学都掌握protobuf的基本用法, 然而protobuf更强大的地方在于反射, 利用反射, 可以使用简洁的代码实现更强大的功能, 比如protobuf和json的互转(thrift没有反射, 实现起来就非常麻烦了), 这篇文章介绍了protobuf的反射API以及使用方法.
　　2. 你要避免的软件开发模式
　　https://mp.weixin.qq.com/s?__biz=MzA3ODQwOTU3Nw==&mid=2650356191&idx=1&sn=70907e075b845c975a639228606aa46a&scene=1&srcid=0522eZ8J2zWK8cEZ6thhsauf&key=8d8120cb97983fad12fdd6bc4d07aed4a6adff77ad497e13dd1a0fe22127e011fe982e1f8ef6d1e47fdd8b672a05acab&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.4+build(15E65)&version=11020201&pass_ticket=EVEdxRJwTj0PZC%2FpzhDT2VaJuRuz4LRBo%2FvHmVxcwp5yeRdT%2BliPwdKv5%2BFCZ4kn
　　要点: 作者总结了几种非常常见的, 但是却是错误的开发模式, 看看自己中了几个?
　　3. Linux的进程优先级
　　http://liwei.life/2016/04/07/linux%E7%9A%84%E8%BF%9B%E7%A8%8B%E4%BC%98%E5%85%88%E7%BA%A7/#rd
　　要点: 大家经常看ps或者top命令, 有没有注意到进程的nice(NI)和priority(PI)值, 想知道进程从ready到被调度的最小时间间隔吗, 想知道进程被调度之后的可以运行的最小时间吗? 这篇文章通过对内核进程调度算法的剖析(CFS调度算法), 详细解释了NI和PI的含义, 看完之后就明白我提的问题了.
　　4. Linux堆内存管理深入分析
　　https://jaq.alibaba.com/community/art/show?spm=a313e.7916648.0.0.SxOSff&articleid=315
　　要点: malloc/free可能是任何RD都非常熟悉的函数了, 但是大家知道malloc/free背后的故事吗, 为什么会有tcmalloc等其他的内存管理程序的存在呢? 这篇文章详细介绍了glibc堆管理的细节, 从这些细节中大家就能发现glibc在内存管理上的优缺点了, 也更容易理解tcmalloc的优越之处了. (PS, 为什么大学的操作系统课程里, 不深入讲讲glibc实现malloc/free的原理呢, 肤浅的讲了一大堆理论的东西, 既不深入也不生动).