parameter server是什么？

qmya00

　　parameter server是什么？
　　最近PMP学友会举办了个活动，就是阿里巴巴集团的大数据工程师介绍parameter server。
　　只是攒3个PDU，但是一直想往大数据方向发展，这个不能不知。
　　百度了一下，有了点眉目，以下摘自几个网络文章。问候会给出地址。
　　一、parameter server概念：
　　参数服务器是个编程框架，用于方便分布式并行程序的编写，其中重点是对大规模参数的分布式存储和协同的支持。
　　二、parameter server的发展背景：
　　工业界需要训练大型的机器学习模型，一些广泛使用的特定的模型在规模上的两个特点：
　　1. 参数很大，超过单个机器的容纳能力（比如大型Logistic Regression和神经网络）
　　2. 训练数据巨大，需要分布式并行提速（大数据）
　　这种需求下，当前类似MapReduce的框架并不能很好适合。
　　因此需要自己实现分布式并行程序，其实在Hadoop出来之前，对于大规模数据的处理，都需要自己写分布式的程序（MPI）。 之后这方面的工作流程被Google的工程师总结和抽象成MapReduce框架，大一统了。
　　参数服务器就类似于MapReduce，是大规模机器学习在不断使用过程中，抽象出来的框架之一。重点支持的就是参数的分布式，毕竟巨大的模型其实就是巨大的参数。
　　三、parameter server架构：
　　Parameter Server(Mli)
　　----------------------------
　　架构：
　　集群中的节点可以分为计算节点和参数服务节点两种。其中，计算节点负责对分配到自己本地的训练数据（块）计算学习，并更新对应的参数；参数服务节点采用分布式存储的方式，各自存储全局参数的一部分，并作为服务方接受计算节点的参数查询和更新请求。
　　简而言之吧，计算节点负责干活和更新参数，参数服务节点则负责存储参数。
　　冗余和恢复：
　　类似MapReduce，每个参数在参数服务器的集群中都在多个不同节点上备份（3个也是极好的），这样当出现节点失效时，冗余的参数依旧能够保证服务的有效性。当有新的节点插入时，把原先失效节点的参数从冗余参数那边复制过来，失效节点的接班人就加入队伍了。
　　并行计算：
　　并行计算这部分主要在计算节点上进行。 类似于MapReduce，分配任务时，会将数据拆分给每个worker节点。
　　参数服务器在开始学习前，也会把大规模的训练数据拆分到每个计算节点上。单个计算节点就对本地数据进行学习就可以了。学习完毕再把参数的更新梯度上传给对应的参数服务节点进行更新。
　　详细的流程：
　　1.
　　分发训练数据 -> 节点1
　　节点2
　　节点3
　　...
　　节点i
　　...
　　节点N
　　2.
　　节点i 学习过程：
　　遍历本地的训练数据，统计所有需要的参数(key)
　　向分布式的参数服务器查询需要的参数（注意，本地数据对应到的参数只是全局参数的一小部分）
　　得到查询到的参数值，用于模型的本地训练
　　一轮训练完毕，得到所有对应参数的更新，将更新上传给参数服务器
　　3.
　　参数服务器更新参数过程：
　　参数服务器得到计算节点传过来的局部更新，汇总后更新本地数据
　　一些细节还是看李沐的文章吧，这个模型相对其他的一些参数服务器的框架是最简单直观的。
　　四、Project Adam
　　------------------
　　微软研究院的一个专门用于deep learning的参数服务器，很厉害的样子。用了很多trick来提升性能和容纳更大的模型和数据，当然精度也随之上升了很多。
　　大体的架构和Parameter Server(Mli)的比较相似，但论文里面包含了比较丰富的细节，可以跟之前的内容互补一下。
　　相似点

• 　　同样拆分为计算节点(worker)和参数服务节点(parameter server)，参数分布式存储
  
• 　　均采用冗余，每个参数会保存3份，当某参数对应的服务节点失效，服务会转到该参数对应的部分节点上（2选1）
  

　　其他点
　　
　　五、Parameter Server 构成：
　　
　　参数服务器中，分布式存储参数的部分，包含两类节点：
　　Parameter Server(PS): 这类节点负责具体参数的分布式存储
　　Parameter Server Controller(PSC): 这类节点负责路由和冗余容灾和失效恢复等操作
　　换句话说，PSC是PS的管理者。 Adam中节点控制的灵活性全在PSC中。
　　路由机制
　　project Adam中使用了路由来确定每个参数的存储位置。
　　路由信息由PSC（其实是多个一致的节点来支撑整个集群的工作）。
　　计算节点在每次访问和更新参数前，先向PSC询问最新的路由信息，然后将参数按目标位置拆分发送。
　　而当PS中出现节点变化（节点失效或者添加，类似MapReduce，PSC也会定期PING每个PS来确认节点有效状态），PSC会修改路由，并提供最新的路由信息给计算节点。
　　冗余机制
　　前面说到，每个参数会在PS集群中有三个副本，存储在不同的节点上来实现冗余。
　　其中一个节点会被选为primary，来提供针对某个参数的服务。
　　当这个节点失效时，另外两个副本中会被挑选出一个作为新的primary，来继续此参数的服务。 这是容灾的第一步
　　恢复机制
　　前面说到，冗余机制是容灾第一步。
　　长久之计是将目前状态恢复到失效之前（目前该参数只有两个副本，需要恢复到3个），这就需要PSC的控制，将失效节点上的参数拆分到其他active的节点上备份（如此就恢复成了三个副本）
　　当然，如果有新节点的加入，也需要在PSC注册登记，之后PSC可以分配部分参数过去并修改路由。
　　有趣的trick

• 　　单机上，使用指针传递来避免内存复制
  
• 　　集群中通信，单个机器在传递多个进程的信息传递请求前，会通过相同的发送目标节点来归纳这些消息，之后一并发送请求。
  
• 　　无锁写入。这个也许会带来写冲突，但是概率比较低，而且深度神经网络天生可以忍受噪音
  

　　更多的信息可以搜索 project Adam，论文里面细节比较容易懂，还有一段录像讲解。
　　六、一个简单的实现：SwiftSnails
　　---------------------------------------------------
　　这是我写一个小的参数服务器，比较简单，代码也比较少。 没有用MPI，自己实现路由分发啥的，有种解放前小米加步枪的感觉。里面有个Word2Vec的分布式实现作为Demo，效率还是不错的。 有兴趣的可以看看 。
　　项目地址： SwiftSnails by Superjom
　　作者：Superjom
　　链接：https://www.zhihu.com/question/26998075/answer/40577680
　　来源：知乎
　　著作权归作者所有，转载请联系作者获得授权。
　　七、参考资料：
　　1、李沐的论文 《Parameter Server for Distributed Machine Learning》http://www.cs.cmu.edu/~muli/file/ps.pdf
　　2、MapReduce的替代者-Parameter Server：http://blog.csdn.net/buptgshengod/article/details/46819051
　　3、https://www.zhihu.com/question/26998075/answer/40663986