Distributed Machine Learning —— Parameter Server

GItBook的链接是我的一些读书笔记,欢迎大家一起来讨论。

Parameter Server for Distributed Machine Learning,NIPS 2013 worksshop

知乎上看到最多的一篇。中间关于convergence的推导我还没完成,但是大致思路差不多。

GitBook


Communication Efficient Distributed Machine Learning with the Parameter Server,NIPS 2014

提出了Delayed Block Proximal Method,使用了 1)block(每个worker每次update 1 block of parameter 2) bounded-delay和 3)用户自定义filter来放宽数据一致性。 和2013年最早的那一篇相比,感觉大方向都一致,然后将block特性和filter描述的更加详细。

GitBook


Scaling Distributed Machine Learning with the Parameter Server,OSDI 2014

这篇OSDI上的文章就更加倾向于系统介绍,和前面一篇互为补充。在一致性、容错上描述更多,ranged-based vector clock,anticlockwise neighbour,replication。还提到了会和YARN类似的资源管理器合并。

GitBook

你可能感兴趣的:(算法/oj,Machine,Learning,-,Distributed)