Spark SQL, DataFrames and Datasets Guide——性能调优

性能调优

对于某些工作负载，可以通过缓存内存中的数据或打开一些实验选项来提高性能。

Spark SQL可以通过调用spark.catalog.cacheTable(“tableName”)或使用内存中的列式格式来缓存表dataFrame.cache()。然后，Spark SQL将仅扫描所需的列，并自动调整压缩以最小化内存使用和GC压力。您可以调用spark.catalog.uncacheTable(“tableName”)从内存中删除表。

可以使用SQL setConf上的方法SparkSession或通过SET key=value使用SQL 运行 命令来完成内存中缓存的配置。

运行Spark SQL CLI

Spark SQL CLI是一种方便的工具，可以在本地模式下运行Hive Metastore服务，并执行从命令行输入的查询。请注意，Spark SQL CLI无法与Thrift JDBC服务器通信。

要启动Spark SQL CLI，请在Spark目录中运行以下命令：

./bin/spark-sql

Hive的结构是通过将您做hive-site.xml，core-site.xml和hdfs-site.xml文件conf/。您可以运行./bin/spark-sql --help所有可用选项的完整列表。