常用spark命令

--spark启动

localhost$spark-sql --master yarn 启动主节点 yarn模式

--查看hdfs文件 

hdfs dfs -ls /spark/myDatabase.db 查看我们建的表 其实是是建立在hdfs里面

hdfs dfs -du -h /spark/myDatabase.db 查看我们的文件大小 也就是我们的表的大小 要接近最小的block大小 如64M或者128M -h 是以我们合适的单位去展示大小 可以根据目录du下去，知道文件 ，可以查看文件被分开了多少个小文件。

--打包
去到源码的class文件的顶级目录bin目录下 
jar cvf test.jat com 
意思是把bin下的com目录下全打包成test.jar包

---------------

spark-sql   //打开spark-sql窗口，可执行sql语句，例如查看hive数据库、表或执行建库、建表、select等sql操作
spark-shell //打开spark-shell窗口，可执行scala代码片段。

以下在spark-sql中执行
1、查看已有的database
show databases;


2、创建数据库
create database myDatabase;


3、登录数据库myDatabase;
use myDa