Spark集群环境搭建(standalone模式)

Spark集群环境搭建(standalone模式)

  • 1. 实验室名称:
  • 2. 实验项目名称:
  • 3. 实验学时:
  • 4. 实验原理:
  • 5. 实验目的:
  • 6. 实验内容:
  • 7. 实验器材(设备、虚拟机名称):
  • 8. 实验步骤:
    • 8.1 验证是否已经正确地安装了JDK
    • 8.2 验证是否已经正确地配置了SSH无密码登录
    • 8.3 在master节点上安装Spark
    • 8.4 设置spark运行环境和配置参数
    • 5.5 同步Spark安装和配置
    • 5.6 配置slaves
    • 8.7 测试spark
    • 8.8 在Spark集群上执行Spark程序
    • 8.9 关闭Spark集群:
    • 8.10 小结
  • 9. 实验结果及分析:
  • 10. 实验结论:
  • 11. 总结及心得体会:

原创申明: 未经许可,禁止以任何形式转载,若要引用,请标注链接地址
全文共计4532字,阅读大概需要3分钟
欢迎关注我的个人公众号:不懂开发的程序猿

1. 实验室名称:

大数据实验教学系统

2. 实验项目名称:

Spark集群环境搭建(standalone模式)

3. 实验学时:

4. 实验原理:

spark有以下几种运行模式,每种运行模式都有自己不同的优点和长处。

name Value
• local(本地模式) 常用于本地开发测试,本地还分为local单线程和local-cluster多线程;
• standalone(集群模式) 典型的Mater/slave模式,Master可能有单点故障的;Spark支持ZooKeeper来实现 HA。
• on yarn(集群模式) 运行在 yarn 资源管理器框架之上,由 yarn 负责资源管理

你可能感兴趣的:(精品付费专栏学习,spark,hadoop,大数据)