分布式技术一周技术动态 2016-08

cike0415

分布式系统实践
　　1. 驱动海量大数据实时多维分析，优酷为什么会选择Druid？
　　https://mp.weixin.qq.com/s?__biz=MzA5NzkxMzg1Nw==&mid=2653160326&idx=1&sn=9c6a91df0ff088f799eefe2ca14926ca&scene=0&key=8dcebf9e179c9f3a11295728e84286c8427ddea06d951c4e08f2efb52ad1d982d9f5f8bbe434244929ff240d0ec88b5d&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=Uax4it219TvGLrsu%2B5wo6lhIzCrLx6RPRmntpCJlCs%2FagzKHed%2B%2F8X23mVqpb6o0
　　要点: 得益于搜索引擎的模糊查询能力, 现在越来越多的采用搜索引擎作为metric数据存储的系统了. 常用的就是elasticsearch了, 这篇文章介绍了一个新的系统Druid, 作为elasticsearch的竞争对手, 大家看看Druid为我们带来了什么.
　　2. Kudu:支持快速分析的新型Hadoop存储系统
　　https://mp.weixin.qq.com/s?__biz=MzAxNjc1MTk5Nw==&mid=2649157358&idx=1&sn=2e3ce0404f94ee7a76f4cfc1c7871ed0&scene=0&key=305bc10ec50ec19bcb42ce97192be42b984a67f978a66dc2d5e2dcd680b51ec06fc25e49979086f55a76d87a9b370c3b&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=sqOYmeb6Y6iZU0ALnyzmorV1KUgY9CxMjI9F9QW%2F04y3j%2Fffu7GA4k%2FncoOU0d9j
　　要点: Kudu是Cloudera开源的新型列式存储系统，是Apache Hadoop生态圈的新成员之一（incubating），专门为了对快速变化的数据进行快速的分析，填补了以往Hadoop存储层的空缺。本文主要对Kudu的动机、背景，以及架构进行简单介绍。
服务化和资源管理技术
　　1. 生产环境中Docker的持久化存储模式
　　https://mp.weixin.qq.com/s?__biz=MzA5OTAyNzQ2OA==&mid=2649691054&idx=1&sn=429d4e2cb90ba071d6ecd1b75a1a700f&scene=0&key=8dcebf9e179c9f3a64fb26157ce2b6ddc223affc6ea41365a90977d2997846272163c39f50533c3b1239c5ba17485a22&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=PMTAhwWyT7JmcVpG70n2zKfB8A%2FUTuwv70e2VXbzZRPsLwqacuZKM1crAxbAfFER
　　要点: 一听到"有状态"这个词, 很多人可能会说, 这个服务与docker无缘了. 确实, 状态管理在容器中显得更为复杂, 这篇文章介绍了几种docker持久化存储的设计模式, 包括配置, 机密信息, 数据库和分片等.
　　2. 有状态容器实践：k8s集成ceph分布式存储
　　https://mp.weixin.qq.com/s?__biz=MzI5MDEzMzg5Nw==&mid=2660392784&idx=1&sn=8a329a87b2b5647c8a2f81604d927381&scene=1&srcid=0807OgvikpPIeL7jN6cOBLq2&key=8dcebf9e179c9f3a29d93eac76026ae69296bd763c0fa39a743cf72f4b551bf0deb2d303046ba7917bfcd13119c0a8f7&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=AsXDk6M5F4JQ6AubjK2h2ZewfiEJrliZ6fwx1IJmvl%2BooBzsmupmUEz%2BUAyhjE8t
　　要点: 这也是一篇介绍有状态容器的解决方案的文章, 文章介绍了k8s的一些业界常见的分布式存储方案, 以及作者实践k8s与ceph的集成过程, 为大家开拓一个新的思路.
服务高可用技术
　　1. 可用性高达五个9！支付系统高可用架构设计实战
　　http://dbaplus.cn/news-21-591-1.html?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io
　　要点: 支付系统对于系统可用性的要求非常高, 这篇文章介绍了一个支付的中间件系统, 对接各种支付渠道和商家, 这篇文章从系统设计到监控报警到trace设计等方面介绍了高可用架构的设计实战.
　　2. Mercury:唯品会全链路应用监控系统解决方案详解
　　https://mp.weixin.qq.com/s?__biz=MzAwMDU1MTE1OQ==&mid=2653547643&idx=1&sn=c06dc9b0f59e8ae3d2f9feb734da4459&scene=1&srcid=0808In0tFMP6JqRbT6aA96I7&key=8dcebf9e179c9f3a20529347aa03075c042aa442f728cf4a07ba2fafd1c12b7e7185edfd57d069fd0b967246646645ff&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=AsXDk6M5F4JQ6AubjK2h2ZewfiEJrliZ6fwx1IJmvl%2BooBzsmupmUEz%2BUAyhjE8t
　　要点: 这篇文章非常详细的介绍了唯品会的全链路监控系统, 涵盖了trace, metrics分析, 监控, 报警, 前端展现等方面. 从文章上看, 他们的日志数量级和我们相仿, 采用的技术栈有些也是我们一直想尝试的, 挺有参考价值.
DevOps 技术
　　1. DevOps，关于一致性(C)、可用性(A)和距离(D)的表达！
　　https://mp.weixin.qq.com/s?__biz=MzA4NjAzMjEyOA==&mid=2654565201&idx=1&sn=50281efef223c37ceeaa4f257d7fbc83&scene=0&key=8dcebf9e179c9f3aeb8dd68b2785cece3d16dfecd1062da63e7374e52e51ff35ec63082e415ad20cd454772d183cdc2a&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=AsXDk6M5F4JQ6AubjK2h2ZewfiEJrliZ6fwx1IJmvl%2BooBzsmupmUEz%2BUAyhjE8t
　　要点: 谈起DevOps，涉及到的东西太多，有文化，有工具、有架构、有组织、有思维、有过程、有度量等. 作者根据过去对DevOps的理解，将DevOps高度总结成三个词语：一致性（Consistency）、可用性（Availablity）和距离（Distance）
大杂烩
　　1. Linux进程间通信-共享内存
　　http://liwei.life/2016/08/08/share_memory/
　　要点: 这篇文章非常深入的讲解了共享内存, 如果你还不了解共享内存, 那么这篇文章非常适合你.
　　2. Twitter机器学习平台的设计与搭建
　　https://mp.weixin.qq.com/s?__biz=MzI4NzE1NTYyMg==&mid=2651101493&idx=1&sn=5c058bf8a936ada350efcb9f54ae8cd6&scene=1&srcid=0810E9lybfAjl35bFTcUrT2s&key=305bc10ec50ec19b1512dbfb54acc9cb9cc824331ef06eff3de3a83429413b9dffbf6dbd7e53bc1a4e33368c896fa3db&ascene=0&uin=Mjk1ODMyNTYyMg%3D%3D&devicetype=iMac+MacBookPro11%2C4+OSX+OSX+10.11.5+build(15F34)&version=11020201&pass_ticket=HYzde6eYniVhqquzaNko2fK0zA2w%2B1nqQAN2xCY%2BSFJJasXDH8gQFXktzflyKJLh
　　要点: 在数据爆炸的时代，机器学习是有效挖掘信息的途径，怎样顺势而为设计与搭建大规模机器学习平台？本文整理自Twitter机器学习平台组负责人郭晓江在ArchSummit深圳2016的演讲。帮助大家了解Twitter机器学习的发展历史与变迁以及超大规模(日万亿量级请求)的在线机器学习系统的设计。