鲁班学院java架构师成长路线

最近在学习分布式框架中的Ray和RLlib，学习大概有一段时间了，对于分布式框架也算是有所了解了，接下来就是分享我这几天学习分布式框架的一些专业知识的分享了。

RLlib设计理念是这样的：基于ray框架，组件化实现强化学习经典方法;

构建了不同形式的计算模型，无导优化，model base，策略优化，多种异步任务且需要保证可以集中统一控制;
对于每个分布式的rllib算法，可以编写一个等价的算法，显示逻辑上的集中式程序控制，同时算法子任务交给别机器进行处理,整体设计大任务，然后单任务分小块并行。

虽然有了ray，但对于某一算法（如DQN,DDPG）一般不了解这个框架的人不知道怎么写，怎么样让task划分并行，于是该实验室就基于Ray这个库实现了多种RL算法形成一个可以方便直接调用的库包括DQN DDPG。

ray是一个针对强化学习及类似学习过程而设计的一个框架，它是为了解决其它框架都无法统一直接地完成强化学习计算的问题而设计的一款可以将强化学习主要计算囊括并分布式化的框架，事实上它并不特别复杂。

Ray的主要贡献是第一个整合三种计算需求的分布式框架适合RL，该框架表示并控制这三种计算，主要做到三种功能：
1.可伸缩性；
2.动态负载平衡仿真；
3.处理大型输入和输出；

学习是个循序渐进的过程，分布式框架亦是如此，那么你们眼中的大神，他们在背后的付出和努力你们或许看不到，但是却只看到了他们的高度，要知道一份耕耘，一份收获，付出永远都是跟回报成正比的，如果你长期地做一件事情做了很久却还没有成果，那可能是你还需要更加努力一点才能够引起量变。