sparkSQL

Spark入门实战系列--6.SparkSQL（中）--深入了解运行计划及调优

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1使用Hive-Console了解运行计划前面介绍了SparkSQL的运行过程，罗列了很多概念很抽象，比如UnresolvedLogicPlan
yirenboy·2015-08-27 10:00

Spark入门实战系列--6.SparkSQL（中）--深入了解SparkSQL运行计划及调优

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1.1 运行环境说明1.1.1 硬软件环境l 主机操作系统：Windows64位，双核4线程，主频2.2G，10G内存l 虚拟软件：VMware®Workstation9.0.0build-812388l 虚拟机操作系统：CentOS6.564位，单核l 虚拟机运行环境：Ø JDK：1.7.0_5564位Ø
shishanyuan·2015-08-27 06:00

sparkSQL实战之二：编程指定模式

当样本类不能提前确定（例如，记录的结构是经过编码的字符串，或者一个文本集合将会被解析，不同的字段投影给不同的用户），一个schemaRDD可以通过三步来创建。从原来的RDD创建一个行的RDD创建由一个structType表示的schema匹配第一步创建的RDD的行结构通过SQLContext提供的applySchema方法应用这个schema到行的RDD例如：//CreateanRDDvalpeo
u012432611·2015-08-26 17:00

Spark入门实战系列--6.SparkSQL（上）--SparkSQL简介

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1SparkSQL的发展历程1.1HiveandSharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解
yirenboy·2015-08-26 09:00

Spark入门实战系列--6.SparkSQL（上）--SparkSQL简介

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1、SparkSQL的发展历程1.1 HiveandSharkSparkSQL的前身是Shark，给熟悉RDBMS
shishanyuan·2015-08-26 09:00

sparksql链接mysql

1.在IDEA上建立一个sparksql_mysql的scala对象。2.连接mysql的代码如下importjava.sql.
爱嘉牛LA·2015-08-19 09:00

Spark SQL JSON数据处理

也就是说，我们的用户即可以通过HiveServer2使用HiveSQL执行MapReduce分析数据，也可以使用SparkServer使用SparkSQL（HiveSQL）执行SparkAppli
yurun·2015-08-14 13:00

Spark SQL JSON数据处理

也就是说，我们的用户即可以通过HiveServer2使用HiveSQL执行MapReduce分析数据，也可以使用SparkServer使用SparkSQL（HiveSQL）执行SparkApplicat
demigelemiao·2015-08-14 13:00

Spark大数据分析框架的核心部件

Spark大数据分析框架的核心部件Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、SparkSQL数据检索语言
openthings·2015-08-07 11:00

SparkSQL JSON数据操作(1.3->1.4)

1.用户自定义schemadatajson串格式如下:{ "partner_code":"demo", "app_name":"web", "person_info":{"name":"张三","age":18}, "items":[{"item_id":1,"item_name":"王家村","group":"group1"},{"item_id":2,"item_name":"李家澡堂","i
lsshlsw·2015-08-05 23:00

Spark历险记之编译和远程任务提交

Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了SparkSQL
qindongliang1922·2015-08-05 22:00

Spark历险记之编译和远程任务提交

Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了SparkSQL
u010454030·2015-08-05 19:00

[置顶] 倾情大奉送--Spark入门实战系列

这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、SparkStreaming、SparkMLib和SparkGraphX
yirenboy·2015-08-05 09:00

倾情大奉送--Spark入门实战系列

这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、SparkStreaming、SparkMLib和SparkGraphX
shishanyuan·2015-08-03 16:00

倾情大奉送--Spark入门实战系列

这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、SparkStreaming、SparkMLib和SparkGraphX
shishanyuan·2015-08-03 16:00

Spark SQL and DataFrame Guide(1.4.1)——之Data Sources

数据源(DataSources)SparkSQL通过DataFrame接口支持多种数据源操作。一个DataFrame可以作为正常的RDD操作，也可以被注册为临时表。
yijichangkong·2015-07-30 20:00

基于sparksql调用shell脚本执行SQL

[Author]:kwu基于sparksql调用shell脚本执行SQL，sparksql提供了类似hive中的-e,-f,-i的选项1、定时调用脚本#!
大数据部·2015-07-30 16:48

Spark SQL and DataFrame Guide(1.4.1)——之DataFrames

SparkSQL是处理结构化数据的Spark模块。它提供了DataFrames这种编程抽象，同时也可以作为分布式SQL查询引擎使用。
yijichangkong·2015-07-29 16:00

Spark SQL编程指南（Python）

前言SparkSQL允许我们在Spark环境中使用SQL或者HiveSQL执行关系型查询。它的核心是一个特殊类型的SparkRDD：SchemaRDD。
demigelemiao·2015-07-29 10:00

Spark SQL编程指南（Python）

前言 SparkSQL允许我们在Spark环境中使用SQL或者HiveSQL执行关系型查询。它的核心是一个特殊类型的SparkRDD：SchemaRDD。 
yurun·2015-07-29 10:00

Spark SQL

SparkSQL1.2(building-spark1.2,sparksqlonhive,spark-sql)http://blog.csdn.net/sunbow0/article/details/42487761
yizheyouye·2015-07-23 10:00

SparkSQL（Spark-1.4.0)实战系列（三）——SparkSQL应用案例

本节主要内容数据准备案例实战数据准备将实验数据Date.txt、Stock.txt、StockDetail.txt(hadoopfs-put/data/data）上传到HDFS上，如下图所示Date.txt格式如下：//Date.txt文件定义了日期的分类，将每天分别赋予所属的月份、星期、季度等属性 //日期，年月，年，月，日，周几，第几周，季度，旬、半月 2014-12-24,201412,20
lovehuangjiaju·2015-07-18 22:00

SparkSQL（Spark-1.4.0)实战系列（二）——DataFrames进阶

本节主要内容如下DataFrame与RDD的互操作实战不同数据源构建DataFrame实战DataFrame与RDD的互操作实战1采用反映机制进行Schema类型推导（RDD到DataFrame的转换）SparkSQL
lovehuangjiaju·2015-07-17 19:00

spark sql json处理代码修改记录

sparksqljson处理代码修改记录.md###JacksonParser 字符串到数值类型的转换几种数值类型都调整，都增加 |VALUE_STRING，如：```packageorg.apache.spark.sql.json
北京起航·2015-07-17 18:00

spark sql 怎样处理日期类型

sparksql 怎样处理日期类型、时间类型json每个对象不能换行##问题描述jsonFile日期类型怎样处理？怎样从字符型，转换为Date或DateTime类型？
北京起航·2015-07-17 11:00

spark sql 访问hive数据的配置详解

sparksql能够通过thriftserver访问hive数据，默认spark编译的版本是不支持访问hive，因为hive依赖比较多，因此打的包中不包含hive和thriftserver,因此需要自己下载源码进行编译
duncandai·2015-07-15 23:00

SparkSQL（Spark-1.4.0)实战系列（一）——DataFrames基础

主要内容本教程中所有例子跑在Spark-1.4.0集群上DataFrames简介DataFrame基本操作实战DataFrames简介本文部分内容译自https://databricks.com/blog/2015/02/17/introducing-dataframes-in-spark-for-large-scale-data-science.htmlDataFrames在Spark-1.3.
lovehuangjiaju·2015-07-15 23:00

如何应对SparkSQL DataFrame保存到hdfs时出现的过多小文件问题

原因就不解释了，总之是因为多线程并行往hdfs写造成的（因为每个DataFrame/RDD分成若干个Partition，这些partition可以被并行处理）。其结果就是一个存下来的文件，其实是hdfs中一个目录，在这个目录下才是众多partition对应的文件，最坏的情况是出现好多size为0的文件。如果确实想避免小文件，可以在save之前把DaraFrame的partition设为0：(当然，
jsky_studio·2015-07-08 22:24

SparkSQL读取HBase数据，通过自定义外部数据源

关键字：SparkSQL读取HBase、SparkSQL自定义外部数据源     前面文章介绍了SparSQL通过Hive操作HBase表。
superlxw1234·2015-07-02 09:00

SparkSQL读取HBase数据，通过自定义外部数据源

关键字：SparkSQL读取HBase、SparkSQL自定义外部数据源     前面文章介绍了SparSQL通过Hive操作HBase表。
superlxw1234·2015-07-02 09:00

SparkSQL读取HBase数据

阅读更多关键字：Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制这里的SparkSQL是指整合了Hive的spark-sqlcli
superlxw1234·2015-07-01 09:00

SparkSQL读取HBase数据

关键字：Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制这里的SparkSQL是指整合了Hive的spark-sqlcli
superlxw1234·2015-07-01 09:00

SparkSQL读取HBase数据

关键字：Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制这里的SparkSQL是指整合了Hive的spark-sqlcli
superlxw1234·2015-07-01 09:00

Wing - 新一代百度大数据查询引擎

开源界后续涌现的adhoc场景查询引擎如Impala、SparkSQL
刘成·2015-06-27 00:00

Wing - 新一代百度大数据查询引擎

开源界后续涌现的adhoc场景查询引擎如Impala、SparkSQL
刘成·2015-06-27 00:00

SPARKSQL使用MYSQL做METADATA

将hive-site.xml拷贝到$SPARK_HOME/conf中配置如hive使用mysql一样，注意赋予相应的权限。javax.jdo.option.ConnectionURLjdbc:mysql://xxxx:3306/sparkmetadata?createDatabaseIfNotExist=true启动spark-sql要给driver路径spark-sql--driver-clas
刀刀_高扬·2015-06-23 17:17

SPARKSQL使用MYSQL做METADATA

将hive-site.xml拷贝到$SPARK_HOME/conf中配置如hive使用mysql一样，注意赋予相应的权限。javax.jdo.option.ConnectionURLjdbc:mysql://xxxx:3306/sparkmetadata?createDatabaseIfNotExist=true启动spark-sql要给driver路径spark-sql--driver-clas
刀刀_高扬·2015-06-23 17:17

Spark SQL中实现Hive MapJoin

在SparkSQL中，目前还不支持自动或者手动使用MapJoin。变通的方法是，将小表进行cache，然后再和大表做join。SparkSQL中cac
superlxw1234·2015-06-23 08:00

Spark SQL中实现Hive MapJoin

在SparkSQL中，目前还不支持自动或者手动使用MapJoin。变通的方法是，将小表进行cache，然后再和大表做join。SparkSQL中cac
superlxw1234·2015-06-23 08:00

Spark-submit提交任务到集群

1IDEA打包示例代码参考AMPCamp2015之SparkSQL，开发环境使用idea。
kaiseu·2015-06-19 16:26

spark1.4.0基于yarn的安装心得体会

目前线上用的是cdh5.3.2中内嵌的spark1.2.0版本，该版本BUG还是蛮多的，尤其是一些sparksql的BUG，简直不能忍。
xiao_jun_0820·2015-06-19 14:00

Spark SQL性能优化

性能优化参数针对SparkSQL性能调优参数如下：代码示例import java.util.List; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaSparkContext
cloud-coder·2015-06-17 16:00

Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数

     Spark1.4发布，除了重量级的SparkR，其中的SparkSQL支持了我期待已久的窗口分析函数(windowfunctions),关于Hive中窗口分析函数的用法可参考 Hive分析函数系列
zhou_yuefei·2015-06-17 16:00

Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数

      Spark1.4发布，除了重量级的SparkR，其中的SparkSQL支持了我期待已久的窗口分析函数(window functions),关于
superlxw1234·2015-06-17 12:00

Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数

阅读更多Spark1.4发布，除了重量级的SparkR，其中的SparkSQL支持了我期待已久的窗口分析函数(windowfunctions),关于Hive中窗口分析函数的用法可参考Hive分析函数系列文章
superlxw1234·2015-06-17 12:00

Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数

      Spark1.4发布，除了重量级的SparkR，其中的SparkSQL支持了我期待已久的窗口分析函数(window functions),关于
superlxw1234·2015-06-17 12:00

如何使用Spark SQL 的JDBC server

简介        SparkSQL providesJDBCconnectivity,whichisusefulforconnectingbusinessintelligence(BI)toolstoaSparkclusterandforsharingaclusteracrossmultipleusers.TheJDBCserverrunsasastandaloneSparkdriverprog
cloud-coder·2015-06-17 11:00

spark sql简单示例

运行环境集群环境：CDH5.3.0具体JAR版本如下：spark版本：1.2.0-cdh5.3.0hive版本：0.13.1-cdh5.3.0hadoop版本：2.5.0-cdh5.3.0sparksql
cloud-coder·2015-06-16 17:00

sparkSQL 集成hive异常问题解决

1、报：Exceptioninthread"main"java.lang.RuntimeException:java.lang.RuntimeException:Unabletoinstantiateorg.apache.hadoop.hive.metastore.HiveMetaStoreClient是由于元数据默认到derby中找，所以提供mysql的解决：在spark-env.sh文件中添加
谷雨hadoop·2015-06-15 17:19

Catalyst——Spark SQL中的函数式关系查询优化框架

概要Catalyst是SparkSQL中的一套函数式关系查询优化框架。传统上认为查询优化器是关系型数据库最为复杂的核心组件。
连城·2015-06-15 00:00
上一页 85 86 87 88 89 90 91 92 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他