sparkSQL

sparkSQL学习

参考：spark官方中文文档1、综述1.1版本 SparkSQL允许在Spark中执行使用SQL，HiveQL或Scala表示的关系型查询。核心组件为一个新类型的RDD--SchemaRDD。
wangqiaowqo·2015-11-09 15:00

SparkSQL（二）

SparkSQL可以处理多种类型的数据，本文就简单的以Parquet、Json、RelationDatabase为主线介绍下SparkSQL的处理过程。
u010376788·2015-11-04 20:00

SparkSQL操作sqlserver和postgresql示例

defmain(agrs:Array[String]){ //configurationandnewSparkContext valconf=newSparkConf().setAppName("SparkSQL_Select_Table
zhao_rock·2015-11-03 20:00

Spark SQL  inferSchema实现原理探微（Python）

使用SparkSQL的基础是“注册”（Register）若干表，表的一个重要组成部分就是模式，SparkSQL提供两种选项供用户选择： （1）applySchema  applySchema的方式需要用户编码显示指定模式
yurun·2015-11-03 18:00

Spark SQL inferSchema实现原理探微（Python）

使用SparkSQL的基础是“注册”（Register）若干表，表的一个重要组成部分就是模式，SparkSQL提供两种选项供用户选择：（1）applySchemaapplySchema的方式需要用户编码显示指定模式
demigelemiao·2015-11-03 18:00

Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数

Spark1.4发布，除了重量级的SparkR，其中的SparkSQL支持了我期待已久的窗口分析函数(windowfunctions),关于Hive中窗口分析函数的用法可参考 Hive分析函数系列 文章
wuzhilon88·2015-11-03 17:00

SparkSQL（一）

1.反射推断模式SparkSQL的Scala接口支持将包含caseclass的RDDs自动转换为SchemaRDDs。而caseclass定义了表的模式。caseclass的参数名
u010376788·2015-11-02 20:00

Spark(Hive) SQL中UDF的使用（Python）

相对于使用MapReduce或者SparkApplication的方式进行数据分析，使用HiveSQL或SparkSQL能为我们省去不少的代码工作量，而HiveSQL或SparkSQL本身内置的各类UDF
yurun·2015-11-02 19:00

Spark(Hive) SQL中UDF的使用（Python）

相对于使用MapReduce或者SparkApplication的方式进行数据分析，使用HiveSQL或SparkSQL能为我们省去不少的代码工作量，而HiveSQL或SparkSQL本身内置的各类UDF
demigelemiao·2015-11-02 19:00

Spark(Hive) SQL数据类型使用详解(Python)

SparkSQL使用时需要有若干“表”的存在，这些“表”可以来自于Hive，也可以来自“临时表”。
yurun·2015-10-30 16:00

Spark(Hive) SQL数据类型使用详解(Python)

SparkSQL使用时需要有若干“表”的存在，这些“表”可以来自于Hive，也可以来自“临时表”。
demigelemiao·2015-10-30 16:00

spark学习连接

SparkSQL结构化数据分析http://www.aboutyun.com/thread-14481-1-1.htmlSpark1.3.0版中DataFrame实践http://www.aboutyun.com
wangqiaowqo·2015-10-28 17:00

Spark SQL 初探

早在SparkSubmit2013里就有介绍到SparkSQL，不过更多的是介绍Catalyst查询优化框架。
m635674608·2015-10-28 14:00

SparkSQL简介

1、SparkSQL的发展历程1.1 HiveandSharkSparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在
m635674608·2015-10-28 14:00

Spark SQL小结

在2014年7月1日的SparkSummit上，Databricks宣布终止对Shark的开发，将重点放到SparkSQL上。
m635674608·2015-10-28 14:00

[翻译 by Zephyr] README In Spark Building

同时，它也支持一系列丰富高水平的工具，包括用于SQL的SparkSQL和数据结构处理，用于机器学习的MLlib，用于图形处理的GraphX,和实时流处理的SparkStreaming。
u011414200·2015-10-26 10:00

Spark1.5.1学习笔记（一）Standalone集群配置

鲁春利的工作笔记，好记性不如烂笔头ApacheSpark是一个通用的大规模数据快速处理引擎，基于Scala语言实现，但提供多语言（Java,Scala,PythonandR）API，以及丰富的工具集（如SparkSQL
luchunli1985·2015-10-23 10:01

Spark1.5.1学习笔记（一）Standalone集群配置

鲁春利的工作笔记，好记性不如烂笔头ApacheSpark是一个通用的大规模数据快速处理引擎，基于Scala语言实现，但提供多语言（Java,Scala,PythonandR）API，以及丰富的工具集（如SparkSQL
luchunli1985·2015-10-23 10:01

Spark SQL Table Join(Python)

示例SparkSQL注册“临时表”执行“Join”（InnerJoin、LeftOuterJoin、RightOuterJoin、FullOuterJoin）代码frompysparkimportSparkConf
demigelemiao·2015-10-19 16:00

Astro —— 华为开源的 SparkSQL on HBase

华为2015年7月20日在O'ReillyOpenSourceConvention(OSCON)上宣布SparkSQLonHBasepackage正式开源。
u010022051·2015-10-19 09:00

Spark SQL 1.3.0 DataFrame介绍、使用及提供了些完整的数据写入

为了解决这一矛盾，SparkSQL1.3.0在原有SchemaR
五柳-先生·2015-10-15 10:17

Spark 同步提交应用/多文件输出

/spark-submit--classSparkSQLTest--masterspark:hadoop1:7077--executor-memory2g--num-executors3/home/kai
u011414200·2015-10-14 07:00

spark sql 连接使用mysql数据源

sparksql可以通过标准的jdbc连接数据库，获得数据源package com.xx; import org.apache.spark.SparkConf; import org.apache.spark.SparkContext
杰仪·2015-10-13 13:00

基于sparksql调用shell脚本执行SQL

[Author]:kwu基于sparksql调用shell脚本执行SQL，sparksql提供了类似hive中的-e ,-f,-i的选项1、定时调用脚本[plain] viewplaincopy#!
kwu_ganymede·2015-10-13 13:00

Spark SQL 源码分析系列文章

SparkSQL—–SparkSQL源码分析系列文章—–
yizheyouye·2015-10-12 21:00

SparkSQL中DataFrame registerTempTable源码浅析

阅读更多dataFrame.registerTempTable(tableName);最近在使用SparkSQL时想到1万条数据注册成临时表和1亿条数据注册成临时表时，效率上是否会有很大的差距，也对DataFrame
zhao_rock·2015-10-09 13:00

SparkSQL中DataFrame registerTempTable源码浅析

dataFrame.registerTempTable(tableName); 最近在使用SparkSQL时想到1万条数据注册成临时表和1亿条数据注册成临时表时，效率上是否会有很大的差距，也对DataFrame
zhao_rock·2015-10-09 13:00

SparkSQL中DataFrame registerTempTable源码浅析

阅读更多dataFrame.registerTempTable(tableName);最近在使用SparkSQL时想到1万条数据注册成临时表和1亿条数据注册成临时表时，效率上是否会有很大的差距，也对DataFrame
zhao_rock·2015-10-09 13:00

Spark SQL 1.3.0 DataFrame介绍、使用

自2013年3月面世以来，SparkSQL已经成为除SparkCore以外
bluejoe2000·2015-10-07 19:00

SparkSQL之数据源

准备json文件：cat/root/1.json{"name":"Michael"}{"name":"Andy","age":30}{"name":"Justin","age":19}可以尝试传统方法：valpeople=sqlContext.read.json("file:///root/1.json");people.printSchema();people.registerTempTable
白乔·2015-10-07 18:07

SparkSQL之数据源

准备json文件：cat/root/1.json {"name":"Michael"} {"name":"Andy","age":30} {"name":"Justin","age":19}可以尝试传统方法：valpeople=sqlContext.read.json("file:///root/1.json"); people.printSchema(); people.registerTemp
bluejoe2000·2015-10-07 18:00

Spark SQL之External DataSource外部数据源

http://blog.csdn.net/oopsoom/article/details/42061077一、SparkSQLExternalDataSource简介随着Spark1.2的发布，SparkSQL
白乔·2015-10-02 11:47

Spark SQL之External DataSource外部数据源

http://blog.csdn.net/oopsoom/article/details/42061077一、SparkSQLExternalDataSource简介 随着Spark1.2的发布，SparkSQL
bluejoe2000·2015-10-02 11:00

Spark修炼之道（进阶篇）——Spark入门到精通：第八节 Spark SQL与DataFrame（一)

本节主要内宾SparkSQL简介DataFrame1.SparkSQL简介SparkSQL是Spark的五大核心模块之一，用于在Spark平台之上处理结构化数据，利用SparkSQL可以构建大数据平台上的数据仓库
lovehuangjiaju·2015-09-26 16:00

sparksql性能测试

spark耗时对数据大小并不是线性增长，而是随数据大小缓慢增长。数据相差一个数量级，运行时间也只差几秒，下面是多次运行下面的程序的耗时情况：分别测试100，1000，10000但是数据超过一定大小，并行化及注册为表都没问题，而执行sql查询则出现问题：Exceptioninthread"main"org.apache.spark.SparkException:Jobabortedduetostag
u012432611·2015-09-24 11:00

Spark-SQL连接Hive

1,首先运行一个简单程序:  objectSparkSqlHive{defmain(args:Array[String]){valsparkConf=newSparkConf().setAppName(
dabokele·2015-09-24 10:00

Spark-SQL连接MySql关系型数据库

本文主要分析SparkSQL官方文档中有关于JDBCToOtherDatabases部分，以MySQL数据库为例，结合数据读写操作的实例代码进行详细的分析。
dabokele·2015-09-23 11:09

sparksql与hive整合

hive配置编辑$HIVE_HOME/conf/hive-site.xml,增加如下内容:   hive.metastore.uris   thrift://master:9083   Thrift uri for the remote metastore. Used by metastore client to connect to remote metastore.12345启动hivemet
stark_summer·2015-09-22 15:00

sparksql与hive整合

阅读更多hive配置编辑$HIVE_HOME/conf/hive-site.xml,增加如下内容: hive.metastore.uris thrift://master:9083 Thrifturifortheremotemetastore.Usedbymetastoreclienttoconnecttoremotemetastore.12345启动hivemetastore启动metastor
Stark_Summer·2015-09-22 15:00

sparksql与hive整合

阅读更多hive配置编辑$HIVE_HOME/conf/hive-site.xml,增加如下内容: hive.metastore.uris thrift://master:9083 Thrifturifortheremotemetastore.Usedbymetastoreclienttoconnecttoremotemetastore.12345启动hivemetastore启动metastor
Stark_Summer·2015-09-22 15:00

sparksql与hive整合

hive配置编辑$HIVE_HOME/conf/hive-site.xml,增加如下内容:  hive.metastore.uris  thrift://master:9083  Thrifturifortheremotemetastore.Usedbymetastoreclienttoconnecttoremotemetastore.12345启动hivemetastore启动metast
Stark_Summer·2015-09-22 15:00

spark学习笔记总结-spark入门资料精化

SparkSQL、SparkStreaming、MLlib、GraphX、SparkR等核心组件解决了很
u013719780·2015-09-14 22:00

SPARK 知识地图

1  TableofContentsspark总揽sparkcoresparksqlsparkmllibsparkgraphxsparkstreaming2  spark总揽spark官网：https:
bigsloth·2015-09-14 19:00

sparksql与hive整合

hive配置编辑$HIVE_HOME/conf/hive-site.xml,增加如下内容: hive.metastore.uris thrift://master:9083 Thrifturifortheremotemetastore.Usedbymetastoreclienttoconnecttoremotemetastore. 启动hivemetastore启动metastore: $hive
stark_summer·2015-09-14 18:00

Spark SQL Relational Data Processing in Spark (学习笔记)

SparkSQL可以将两者结合起来。
dazheng·2015-09-06 22:50

SPARK 第4期：通过案例实战掌握spark sql（dataframe）

第4期：通过案例实战掌握sparksql（dataframe） SPARK中使用dataframe效率更高，比原生的scalapython查询sql执行速度更快 young.registertemptable
duan_zhihua·2015-09-02 21:00

spark架构实战

SparkSummitChina在北京召开，场面火爆；同年，SparkMeetup在北京、上海、深圳和杭州四个城市举办，其中仅北京就成功举办了5次，内容更涵盖SparkCore、SparkStreaming、SparkMLlib、SparkSQL
lmh12506·2015-08-31 11:00

Spark入门实战系列--6.SparkSQL（下）--Spark实战应用

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送–Spark入门实战系列》获取1运行环境说明1.1硬软件环境主机操作系统：Windows64位，双核4线程，主频2.2G，10G内存虚拟软件：VMware®Workstation9.0.0build-812388虚拟机操作系统：CentOS64位，单核虚拟机运行环境：JDK：1.7.0_5564位Hadoop：2.2.0（需要编译为64位
yirenboy·2015-08-31 09:00

Spark入门实战系列--6.SparkSQL（下）--Spark实战应用

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取1、运行环境说明1.1 硬软件环境l 主机操作系统：Windows64位，双核4线程，主频2.2G，10G内存l 虚拟软件：VMware®Workstation9.0.0build-812388l 虚拟机操作系统：CentOS64位，单核l 虚拟机运行环境：Ø JDK：1.7.0_5564位Ø Hadoop
shishanyuan·2015-08-31 09:00

用maven编译spark1.4

exportMAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M-XX:ReservedCodeCacheSize=512m"ToenableHiveintegrationforSparkSQLalongwithitsJDBCserverandCLI
u012432611·2015-08-27 11:00
上一页 84 85 86 87 88 89 90 91 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他