spark-sql

spark-sql用hive表格，在yarn-cluster模式下运行遇到的问题及解决办法

1、编程时无法加载hive包，需要在编译好的spark(用spark-shell启动，用spark-sql能够直接访问hive表)的lib目录下，考出assembly包，为其创建一个maven的repository
·2015-10-23 08:14

Spark学习笔记之-Spark 命令及程序入口

可参考以下这个文章，写的简洁明了http://blog.csdn.net/lovehuangjiaju/article/details/48768371实际上可以看出spark各种脚本，spark-shell、spark-sql
dandykang·2015-10-21 09:16

基于spark1.4的Spark-Sql

Author：kwu 基于spark1.4的Spark-Sql，spark1.4.1在7月15刚发布，提供较好sql支持1、如何启动Spark-Sql启动脚本如下[plain] viewplaincopy
kwu_ganymede·2015-10-13 13:00

【解决】Spark运行时产生的临时目录的问题

今天，在执行spark-sql时，查询数据量超过1.7亿行，数据量大小38G，出现系统盘占用突然变高的情况，监控如下：检查为/tmp目录下，spark生成的临时目录占用了大量的磁盘空间，生成的spark
kwu_ganymede·2015-10-13 10:00

【解决】Spark On Yarn执行中executor内存限制问题

解决SparkOnYarn执行中executor内存限制问题集群版本Spark1.3.1+Hadoop.2.6-CDH5.4启动Spark-SQL的JDBC服务，如下：start-thriftserver.sh
kwu_ganymede·2015-10-13 10:00

spark集成hive遭遇mysql check失败的问题

问题：spark集成hive，启动spark-shell或者spark-sql的时候，报错：INFOMetaStoreDirectSql:MySQLcheckfailed,assumingwearenotonmysql
bluejoe2000·2015-10-05 13:00

Spark-SQL连接Hive

1,首先运行一个简单程序:  objectSparkSqlHive{defmain(args:Array[String]){valsparkConf=newSparkConf().setAppName("SparkSQLHive")valsc=newSparkContext(sparkConf)valhiveContext=newHiveContext(sc)hiveContext.sql("CR
dabokele·2015-09-24 10:00

Spark-SQL连接MySql关系型数据库

本文主要分析SparkSQL官方文档中有关于JDBCToOtherDatabases部分，以MySQL数据库为例，结合数据读写操作的实例代码进行详细的分析。本文中的代码需要使用到MysqlJDBC连接jar包。一、从mysql读取数据1、单表查询完整程序如下：packagecom.ckm.spark.sqlimportjava.util.Propertiesimportorg.apache.spa
dabokele·2015-09-23 11:09

Spark-SQL连接MySql关系型数据库

注意:程序中需要用到jdbc的jar包本程序中使用的是mysql-connector-java-5.1.29.jar1,从mysql数据库读取数据 完整程序如下:importjava.util.Propertiesimportorg.apache.spark.sql.SQLContextimportorg.apache.spark.{SparkContext,SparkConf}/***Creat
dabokele·2015-09-23 11:00

数据可视化:Zeppelin+spark

阅读更多一.序言最近需要常见数据可视化的东西，主要是方便spark-sql，方便内部操作方便，因此选择了个数据可视化的,hue和zepplin，hue是比较强大的，但是spark方便也是孵化状态，是非apache
greemranqq·2015-09-09 10:00

数据可视化:Zeppelin+spark

一.序言   最近需要常见数据可视化的东西，主要是方便spark-sql，方便内部操作方便，因此选择了个数据可视化的,hue和zepplin，hue是比较强大的，但是spark方便也是孵化状态，是非apache
greemranqq·2015-09-09 10:00

spark笔记2-spark-sql 程序

一.序言   这里介绍用idea跑程序去连接spark-sql->hive-metastore的小例子，关于服务器上得保证spark-sql/spark-shell正确执行，然后再用本地的程序去实现，我这里版本用的
greemranqq·2015-09-08 16:00

spark笔记2-spark-sql 程序

阅读更多一.序言这里介绍用idea跑程序去连接spark-sql->hive-metastore的小例子，关于服务器上得保证spark-sql/spark-shell正确执行，然后再用本地的程序去实现，
greemranqq·2015-09-08 16:00

spark 笔记1 -- spark程序连接

一.序言spark现在用得比较多了，但是开始连接spark的的时候有些小问题，这里简单记录一下，我用的spark1.4.1hadoop2.7hive1.2.1,目的想用spark-sql连接hive的metastore
犀利的蛙·2015-09-07 11:07

spark 笔记1 -- spark程序连接

一.序言   spark现在用得比较多了，但是开始连接spark的的时候有些小问题，这里简单记录一下，  我用的spark1.4.1 hadoop2.7hive1.2.1,目的想用spark-sql连接
greemranqq·2015-09-07 11:00

spark 笔记1 -- spark程序连接

阅读更多一.序言spark现在用得比较多了，但是开始连接spark的的时候有些小问题，这里简单记录一下，我用的spark1.4.1hadoop2.7hive1.2.1,目的想用spark-sql连接hive
greemranqq·2015-09-07 11:00

Spark SQL

SparkSQL1.2(building-spark1.2,sparksqlonhive,spark-sql)http://blog.csdn.net/sunbow0/article/details/42487761
yizheyouye·2015-07-23 10:00

配置并启动spark的thriftserver网关

1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh--driver-class-path
刀刀_高扬·2015-06-23 17:37

配置并启动spark的thriftserver网关

1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh--driver-class-path
刀刀_高扬·2015-06-23 17:37

SPARKSQL使用MYSQL做METADATA

createDatabaseIfNotExist=true启动spark-sql要给driver路径spark-sql--driver-clas
刀刀_高扬·2015-06-23 17:17

SPARKSQL使用MYSQL做METADATA

createDatabaseIfNotExist=true启动spark-sql要给driver路径spark-sql--driver-clas
刀刀_高扬·2015-06-23 17:17

基于spark1.3.1的spark-sql实战－02

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.// sc is an existin
stark_summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.//scisanexistingSpa
Stark_Summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

阅读更多HiveTables将HIVE_HOME/conf/hive-site.xml文件copy到SPARK_HOME/conf/下Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreatesmetastore_dbandwarehouseinthecurrentdirectory.//scisanexistingSpark
Stark_Summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

阅读更多HiveTables将HIVE_HOME/conf/hive-site.xml文件copy到SPARK_HOME/conf/下Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreatesmetastore_dbandwarehouseinthecurrentdirectory.//scisanexistingSpark
Stark_Summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.//scisanexistingSpa
Stark_Summer·2015-05-20 14:00

基于spark1.3.1的spark-sql实战－02

HiveTables将HIVE_HOME/conf/hive-site.xml 文件copy到SPARK_HOME/conf/下 Whennotconfiguredbythehive-site.xml,thecontextautomaticallycreates metastore_db and warehouse inthecurrentdirectory.//scisanexistingSpa
stark_summer·2015-05-19 17:00

基于spark1.3.1的spark-sql实战－01

sqlContext总的一个过程如下图所示：SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将LogicalPlan转换
stark_summer·2015-05-19 13:00

基于spark1.3.1的spark-sql实战－01

 sqlContext总的一个过程如下图所示：SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将LogicalPlan转
Stark_Summer·2015-05-19 13:00

基于spark1.3.1的spark-sql实战－01

 sqlContext总的一个过程如下图所示：SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将LogicalPlan转
Stark_Summer·2015-05-19 13:00

基于spark1.3.1的spark-sql实战－01

sqlContext总的一个过程如下图所示：SQL语句经过SqlParse解析成UnresolvedLogicalPlan；使用analyzer结合数据数据字典（catalog）进行绑定，生成resolvedLogicalPlan；使用optimizer对resolvedLogicalPlan进行优化，生成optimizedLogicalPlan；使用SparkPlan将LogicalPlan转换
stark_summer·2015-05-19 13:00

spark sql 对接 HDFS

hdfs   我们知道，在spark shell 中操作hdfs 上的数据是很方便的，但是操作也未免过于繁琐，幸好spark 还想用户提供另外两种操作 spark sql 的方式 一 spark-sql
·2015-05-14 01:00

【Spark九十四】spark-sql工具的使用

spark-sql是Spark bin目录下的一个可执行脚本，它的目的是通过这个脚本执行Hive的命令，即原来通过 hive>输入的指令可以通过spark-sql>输入的指令来完成。
bit1129·2015-04-30 18:00

【Spark九十四】spark-sql工具的使用

spark-sql是Spark bin目录下的一个可执行脚本，它的目的是通过这个脚本执行Hive的命令，即原来通过 hive>输入的指令可以通过spark-sql>输入的指令来完成。
bit1129·2015-04-30 18:00

【Spark九十四】spark-sql工具的使用

spark-sql是Spark bin目录下的一个可执行脚本，它的目的是通过这个脚本执行Hive的命令，即原来通过 hive>输入的指令可以通过spark-sql>输入的指令来完成。
bit1129·2015-04-30 18:00

【解决】Spark运行时产生的临时目录的问题

[Author]:kwu今天，在执行spark-sql时，查询数据量超过1.7亿行，数据量大小38G，出现系统盘占用突然变高的情况，监控如下：检查为/tmp目录下，spark生成的临时目录占用了大量的磁盘空间
大数据部·2015-04-30 16:47

Spark中文手册10：spark部署：提交应用程序及独立部署模式

Spark中文手册-编程指南Spark之一个快速的例子Spark之基本概念Spark之基本概念Spark之基本概念（2）Spark之基本概念（3）Spark-sql由入门到精通Spark-sql由入门到精通续
ichsonx·2015-03-24 17:04

Spark中文手册10：spark部署：提交应用程序及独立部署模式

Spark中文手册-编程指南Spark之一个快速的例子Spark之基本概念Spark之基本概念Spark之基本概念（2）Spark之基本概念（3）Spark-sql由入门到精通Spark-sql由入门到精通续
ichsonx·2015-03-24 17:00

Spark SQL CLI 运行

/bin/spark-sql需要先把hive-site.xml负责到spark的conf目录下[[email protected]]$.
wind520·2015-03-04 14:00

记录一则Spark读写和Lost Excutor错误的分析和解决过程

一、概述上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统（一部分scala作业逻辑代码后面blog再给大家分享）遇到的一些
zengzhaozheng·2015-02-27 18:20

记录一则Spark读写和Lost Excutor错误的分析和解决过程

一、概述 上篇blog记录了些在用spark-sql时遇到的一些问题，今天继续记录用Spark提供的RDD转化方法开发公司第一期标签分析系统（一部分scala作业逻辑代码后面blog再给大家分享）遇到的一些
zengzhaozheng·2015-02-27 18:20

spark-sql访问hive的问题记录

好久没有弄博客了。。。 hive0.14 spark0.12   [hadoop@irs bin]$ ./spark-sql Spark assembly has been built with Hive, including Datanucleus jars on classpathException in thread "main" java.l
·2015-02-03 16:00

Spark SQL 1.2(building-spark1.2, sparksql on hive,spark-sql)

1、SparkSQL1.2(building-spark1.2,sparksqlonhive,spark-sql)1.1补充——Spark1.2编译Spark官方编译指南地址：http://spark.apache.org
sunbow0·2015-01-07 10:00
上一页 4 5 6 7 8 9 10 11 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他