【livy】Spark Livy深究

什么是livy

Livy的特点

Livycloudera开发通过REST来连接、管理spark的解决方案

• 从任何地方提交job
• 使用交互式的Scala、Python语言与远程的spark集群进行通信
• 无需更改代码

Livy的运作流程阐述

Livy的安装、启动、访问

Livy的启动：
依次启动zookeeper集群、Hadoop集群
zkServer.sh start
start-dfs.sh
start-yarh.sh
bin/livy-server start

Livy的使用

• 可以使用livy-session,可以通过rest来执行spark-shell,用于处理交互的请求
  1、session的创建
  语法：curl -XPOST ‘http://Livyserver对应的ip地址的别名：8998/sessions’ -H “Content-type:application/json” --data {"kind"类型名}
  2、session的查看：
  http://jamson01:8998/ui
  3、使用livy session,计算hdfs上根目录下的文件hello.txt中每个单词出现的总次数，并将结果落地到hdfs指定的目录下
  语法：
  curl -XPOST http://LASON01:8998/sessions/session的唯一标识/statements -H ‘Content-Type:application/json’ -d '{“code”:"待计算的代码片段“}‘

注意：待到 livy server的状态转化为idle的时候，向其发送请求，才会去执行。执行时，其状态变成busy。执行完毕之后，状态又会变成idle.

• 通过使用livy-batches,可以通过rest来执行spark-submit,用于处理交非互式请求