分布式技术追踪 2017年第二期

cheng029

　　分布式技术动态周刊自2015年7月份运转以来受到了很多同学的好评, 不过一直发布在公司的内部wiki上. 为了让更多的朋友也能看到, 从2017年开始发布到外网上, 希望能够帮助大家在众多技术类文章中挑选出分布式技术方向比较优秀的文章, 让不同层次的朋友都能有所收获. 感兴趣的同学可以订阅 高柯用架构师 公众号, 以后会发布更多的技术类文章出来.

　　分布式系统实践
　　1. 微软部署FPGA的三个阶段：Bing、Azure网络和数据中心
　　http://dwz.cn/4Zd5GR
　　摘要: 这篇文章介绍了微软三代FPGA的演变过程, 以及通过FPGA获取到的收益. 从最初的专用FPGA集群到现在的每台机器一块FPGA, 放在网卡和交换机之间, 共享服务器网络, 部署了57万台服务器. 可见微软在FPGA上的技术积累确实深厚, 并且文章中指出, 微软使用FPGA提升了bing搜索, 深度学习等重要服务的性能, 值得学习.
　　2. 为什么说传统分布式事务不再适用于微服务架构？
　　http://dwz.cn/50eL37
　　摘要: 传统分布式事务往往不再适合微服务架构, 一方面分布式事务开销较大, 延迟高, 另一方面绝大多数情况下, 最终一致性(或者说短暂的不一致)业务上是可以接受的. 这篇文章介绍了可靠队列机制, 补偿模式和TCC模式这3种实现最终一致性的方法. 虽然文章中是以电商的场景举例的, 不过大家可以发散下思维, 平时工作中很多场景都是这样的.
　　服务化和虚拟化技术
　　1. 容器集群管理平台的比较
　　http://dwz.cn/4YXq37
　　摘要: Swarm, k8s和mesos是当前用的比较多的容器管理平台了, 这篇文章对他们进行了简单的对比. swarm相对年轻和简单些, k8s比较复杂, 功能也多, mesos内核相对轻量级, 但是可扩展性最好, 并且目前已经发展了一个完善的生态环境. 经历过百度PaaS建设之后, 如果让我选择的话, 我会选择mesos(不过百度不是用mesos的), 因为可扩展性好, 非常有利于二次开发, 其次生态丰富(大家不要小看这一点, 很多功能技术上可能不复杂, 但是工作量可不小), 很多功能可以说开箱即用.
　　2. Kubernetes：理解资源的概念
　　http://dwz.cn/50nL0i
　　摘要: 容器化的时代, 我们都意识到需要利用资源隔离机制, 实现容器之间的互不影响. 其实在资源模型中, 对每个维度的资源, 都有请求和限额之分. 请求描述了容器的资源期望, 资源调度器会把容器分配到满足资源期望的节点上(允许使用超发资源的容器除外); 限额描述了容器可以使用的资源最大值, 超过这个值就会被节流甚至杀死, 从而保证流氓容器的干扰. 这篇文章深入讲解了资源请求和限额的概念.
　　高可用技术
　　1. 模拟百万级TCP并发
　　http://dwz.cn/4Zcjlf
　　摘要: 我们都知道一台服务器最多可以打开65536个端口, 如果想要模拟百万级并发的测试, 除了使用大量的客户机之外, 还有其他的办法吗? 这篇文章介绍了基于libpcap"旁路"内核的方法, 使用raw socket, 自己构造TCP三次握手数据包, 从而轻松实现了模拟百万级并发的场景.
　　2. 设计高可用系统前，先考虑好如何定义系统的边界吧！
　　http://dwz.cn/5151v6
　　摘要: 我们在进行软件开发过程中, 需要考虑很多限制条件, 比如队列长度, 带宽限制, 流量控制, 消息速度限制等等, 如果不显示的进行限制, 那么他就会变成隐式的, 让我们无法准确预测故障在什么时候发生. 所以在设计高可用系统的时候, 一定要注意显示的设置那些限制条件.
　　运维和DevOps技术
　　1. 2017年DevOps的5大发展预测
　　http://dwz.cn/4YX534
　　摘要: 这篇文章介绍了DevOps在2017年的发展趋势预测, 重点是工具整合, 进一步容器化, 统一开发安全和运维, 更加注重安全的时期和更多的自动化代码.
　　2. 一篇文章搞清楚如何维护分布式对象存储
　　http://dwz.cn/4ZBSDZ
　　摘要: 对象存储系统在互联网技术中可以说是一个很大的方向, 也有不少同类的系统, 不过介绍运维的文章不多. 这篇文章首先阐述了对象存储的定义, 然后重点讲述了swift的运维和基于SSD的优化.
　　丰富多彩的计算机世界
　　1. 从客户端的角度设计后端的接口
　　http://dwz.cn/4ZdP4T
　　摘要: 接口设计可以说是我们架构工程师必不可少的工作之一了, 由于接口是模块与模块之间交互的契约, 良好的接口设计对项目的成功实施起着非常重要的作用. 这篇文章从客户端的角度介绍了设计接口需要考虑的问题和解决方法. 文章中的客户端指手机app, 大家都知道发布app不是一件容易的事, 所以基本原则都是瘦客户端, 这时候接口的设计就更加重要和关键了.
　　2. 普通程序员如何转向AI方向
　　http://dwz.cn/50fwWl
　　摘要: AI的火热程度不用我多说了, 很多同学是不是也都迫不及待的想了解或者学习一些AI的技术呢. 这篇文章给出了从入门到深入掌握过程中推荐学习的文章或者课程, 帮助不同层次的同学学习和参考. 文章首推的就是Ng的课, 呵呵.