sparkSQL

Spark修炼之道（进阶篇）——Spark入门到精通：第九节 Spark SQL运行流程解析

1.整体运行流程使用下列代码对SparkSQL流程进行分析，让大家明白LogicalPlan的几种状态，理解SparkSQL整体执行流程//scisanexistingSparkContext. valsqlContext
lovehuangjiaju·2015-12-31 10:00

SparkSql

废话不多说直接上代码，把所有的想要的信息都封装成一个实体Bean，下面这个Bean比较简单。public class Student implements Serializable {     private static final long serialVersionUID = 4L;     private String name;     private Integer age;  
momisabuilder·2015-12-30 11:00

Spark修炼之道（高级篇）——Spark源码阅读：第十三节 Spark SQL之SQLContext（一)

作者：周志湖1.SQLContext的创建SQLContext是SparkSQL进行结构化数据处理的入口，可以通过它进行DataFrame的创建及SQL的执行，其创建方式如下：//sc为SparkContext
lovehuangjiaju·2015-12-30 07:00

SparkSql官方文档中文翻译(java版本)

1概述（Overview）2DataFrames2.1入口：SQLContext（StartingPoint:SQLContext）2.2创建DataFrames（CreatingDataFrames）2.3DataFrame操作（DataFrameOperations）2.4运行SQL查询程序（RunningSQLQueriesProgrammatically）2.5DataFrames与RDD
超大的雪童子·2015-12-29 21:00

spark sql cli 配置使用

想使用sparksqlcli直接读取hive中表来做分析的话只需要简答的几部设置就可以了1.拷贝hive-site.xml至sparkconfcd/usr/local/hive/conf/hive-site.xml
骑小象去远方·2015-12-28 15:00

sparkSQL中udf的使用

新博客地址在spark中使用sql时可能会想自定义一些函数，可以使udf来实现，下面举了几个简单易懂的例子。Example1.个数统计表结构如下，统计出每个人的爱好个数namehobbiesalicejogging,Coding,cookinglinatravel,dance#将某个字段中逗号分隔的数量统计出来 sqlContext.udf.register("hobby_num",(s:Stri
lsshlsw·2015-12-24 23:00

解析Spark大数据分析框架的核心部件

Spark大数据分析框架的核心部件包含RDD内存数据结构、Streaming流计算框架、GraphX图计算与网状数据挖掘、MLlib机器学习支持框架、SparkSQL数据检索语言、Tachyon文件系统
勿忘初心321·2015-12-23 13:00

spark概述随笔 // todo

6、spark核心由sparksql、sparkstream
逸新·2015-12-21 15:00

Spark SQL 官方文档-中文翻译

SparkSQL官方文档-中文翻译Spark版本：Spark1.5.2转载请注明出处：http://www.cnblogs.com/BYRans/1概述（Overview）2DataFrames2.1入口
BYRans·2015-12-18 14:00

Spark SQL学习

SparkSQL编程指南（Python）http://www.cnblogs.com/yurunmiao/p/4685310.html绍SparkSQL的RegisterFunction，也就是说可以动态创建函数用于
wangqiaowqo·2015-12-18 13:00

Spark SQL 之 Migration Guide

SparkSQL之MigrationGuide支持的Hive功能转载请注明出处：http://www.cnblogs.com/BYRans/MigrationGuide与Hive的兼容（CompatibilitywithApacheHive
BYRans·2015-12-16 14:00

Spark SQL 之 Performance Tuning & Distributed SQL Engine

SparkSQL之PerformanceTuning&DistributedSQLEngine转载请注明出处：http://www.cnblogs.com/BYRans/缓存数据至内存（CachingDataInMemory
BYRans·2015-12-14 18:00

Spark-SQL介绍及优化策略

以下对Spark-SQL介绍及优化策略进行总结：一、基于Hive的SQL解析器的SharkSpark1.0版本开始，推出了SparkSQL。
kwu_ganymede·2015-12-14 14:44

Spark-SQL介绍及优化策略

以下对Spark-SQL介绍及优化策略进行总结：一、基于Hive的SQL解析器的SharkSpark1.0版本开始，推出了SparkSQL。
kwu_ganymede·2015-12-14 14:00

Spark入门实战系列--6.SparkSQL（下）--Spark实战应用

转自：http://www.cnblogs.com/shishanyuan/p/4723713.html1、运行环境说明1.1硬软件环境l主机操作系统：Windows64位，双核4线程，主频2.2G，10G内存l虚拟软件：VMware®Workstation9.0.0build-812388l虚拟机操作系统：CentOS64位，单核l虚拟机运行环境：ØJDK：1.7.0_5564位ØHadoop：
dhtx_wzgl·2015-12-14 13:23

Spark RDDRelation

packagemain.asiainfo.coc.sparksql importorg.apache.spark.sql.SQLContext importorg.apache.spark.
超大的雪童子·2015-12-13 15:00

jdbc调用sparksql on yarn

sparksql访问hive表1.将hive-site.xml拷贝到spark目录下conf文件夹2.
ggzone·2015-12-12 10:02

jdbc调用sparksql

将hive-site.xml拷贝到spark目录下conf文件夹local模式spark-sql--driver-class-path/usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar或者需要在$SPARK_HOME/conf/spark-env.sh中的SPARK_CLASSPATH添加jdbc驱动的jar包exportex
ggz631047367·2015-12-12 10:00

spark、hive、impala、hbase、gbase在结构化数据方面查询原理对比(含parquet/orc)

以前也玩过spark，但这次玩，是因为spark从1.4版本后使sparksql独立出来，想必一定不赖；另外，还支持DataFrame，底层存储支持parquet，甚至orcfile。
fengyun14·2015-12-11 23:49

SparkSQL读取Hive中的数据

最近在学习SparkSQL，看到SparkSQLonHIVE。下面主要是介绍一下如何通过SparkSQL在读取HIVE的数据。
ljy2013·2015-12-11 17:00

个推 Spark实践教你绕过开发那些“坑”

Spark主要包括SparkSQL，SparkStreaming，Spark MLLib以及图计算。 Spark核心概念简介1、RDD即弹性分布式数据集，通过RDD可以执行各种算子实现数据处理和计算。
HiddlestonCloud·2015-12-08 12:00

个推 Spark实践教你绕过开发那些“坑”

Spark主要包括SparkSQL，SparkStreaming，Spark MLLib以及图计算。 
illy安智·2015-12-08 11:00

个推 Spark实践教你绕过开发那些“坑”

Spark主要包括SparkSQL，SparkStreaming，SparkMLLib以及图计算。Spark核心概念简介1、RDD即弹性分布式数据集，通过RDD可以执行各种算子实现数据处理和计算。
个推·2015-12-08 00:00

王道远：Spark SQL后续发展重点

他是Hive/Spark开源项目的资深贡献者，目前专注于SparkSQL模块开发，拓展SparkSQL的兼容性，同时根据性能测试的结果对SparkSQL进行性能优化。
赵震一·2015-12-04 00:00

spark sql加载avro

 1、sparksql可以直接加载avro文件，之后再进行一系列的操作，示例： 1SparkConfsparkConf=newSparkConf().setAppName("Sparkjob"); 2JavaSparkContextjavaSparkContext
骁枫·2015-12-03 11:00

Spark SQL 之 Data Sources

#SparkSQL之DataSources转载请注明出处：http://www.cnblogs.com/BYRans/数据源（DataSource）SparkSQL的DataFrame接口支持多种数据源的操作
BYRans·2015-11-29 20:00

Spark修炼之道（进阶篇）——Spark入门到精通：第十三节 Spark Streaming—— Spark SQL、DataFrame与Spark Streaming

主要内容SparkSQL、DataFrame与SparkStreaming1.SparkSQL、DataFrame与SparkStreaming源码直接参照：https://github.com/apache
lovehuangjiaju·2015-11-29 16:00

Spark SQL 之 DataFrame

SparkSQL之DataFrame转载请注明出处：http://www.cnblogs.com/BYRans/概述（Overview）SparkSQL是Spark的一个组件，用于结构化数据的计算。
BYRans·2015-11-28 17:00

Spark SQL - DataFrame

1OverviewSparkSQLisaSparkmoduleforstructureddataprocessing.ItprovidesaprogrammingabstractioncalledDataFramesandcanalsoactasdistributedSQLqueryengine
sunflower627·2015-11-26 14:00

SparkSQL学习笔记(二)DataSource

简介：SparkSQL通过DataFrame接口支持处理各种数据源，df可以抽象为RDD或注册内存(临时)表处理，临时表可以通过SQL操作并返回一个结果df。
南有乔木不可休·2015-11-24 13:50

spark sql基本使用方法介绍

spark中可以通过sparksql直接查询hive或impala中的数据，一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql--masterspark://master
duncandai·2015-11-23 19:43

spark sql基本使用方法介绍

spark中可以通过sparksql直接查询hive或impala中的数据， 一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql--masterspark://
daizj·2015-11-23 19:00

用Apache Spark进行大数据处理

from:http://www.infoq.com/cn/articles/apache-spark-sqlSparkSQL，作为ApacheSpark大数据框架的一部分，主要用于结构化数据处理和对Spark
see_you_again·2015-11-23 09:00

Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

streaming-programming-guide.html#mllib-operationsSpark流式计算简介SparkStreaming相关核心类入门案例1.Spark流式计算简介Hadoop的MapReduce及SparkSQL
zhouzhihubeyond·2015-11-21 22:46

Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark Streaming（一)

streaming-programming-guide.html#mllib-operationsSpark流式计算简介SparkStreaming相关核心类入门案例1.Spark流式计算简介Hadoop的MapReduce及SparkSQL
lovehuangjiaju·2015-11-21 22:00

spark SQL例子

sparkSQL：在大数据查询是，使用SQL让我们方便了许多。。。
see_you_again·2015-11-19 10:00

SparkSQL Driver ClassNotFoundException的解决方案

在使用SparkSQL连接关系型数据库时，需要通过JDBC来加载对应数据库的驱动，如SQLServerJDBC连接用到的sqljdbc4.jar，处理时经常会遇到sparksql抛出jdbc的驱动程序ClassNotFoundException
zhao_rock·2015-11-18 10:00

通过自定义SparkSQL外部数据源实现SparkSQL读取HBase

包: sparksql.hbaseHBaseRelation.scalapackage sparksql.hbase import java.io.Serializable import org.apache.spark.sql
小水熊·2015-11-16 17:00

Spark脚本调用

Spark提供了多个脚本来作为程序的入口，其中最常用的是交互脚本spark-shell,pyspark，还有sparksql的客户端spark-sql。
代码浮生·2015-11-13 11:00

Spark视频 王家林 Spark公开课大讲坛第二期： Spark的Shark和SparkSQL

王家林 Spark公开课大讲坛第一期：Spark把云计算大数据速度提高100倍以上 http://edu.51cto.com/lesson/id-30816.html   Spark实战高手之路 系列书籍  http://down.51cto.com/tag-Spark%E6%95%99%E7%A8%8B.html   王家林老师（邮箱1861008
·2015-11-13 04:37

SparkSQL External Datasource简易使用之CSV

下载源码&编译： git clone https://github.com/databricks/spark-csv.git sbt/sbt assembly   Maven GAV： groupId: com.databricks.spark artifactId: spark-csv_2.10 version: 0.2.0   $SPARK
·2015-11-12 23:52

spark1.2.0版本SparkSQL使用parquet类型注意事项

在Spark1.2.0版本中是用parquet存储类型时注意事项： sql语句： select * from order_created_dynamic_partition_parquet;   在spark-sql中执行结果： 2014-05 [B@4621484a [B@3311163e 2014-05 [B@70ab973a [B@11559aa0
·2015-11-12 23:51

SparkSQL External Datasource简易使用之AVRO

下载源码&编译： git clone https://github.com/databricks/spark-avro.git sbt/sbt package   Maven GAV： groupId: com.databricks.spark artifactId: spark-avro_2.10 version: 0.1   $SPARK_
·2015-11-12 23:51

spark-sql启动后在监控页面中显示的Application Name为SparkSQL::xxxx的疑问

启动spark-sql执行sql时，在监控页面中看到该Application的Name是SparkSQL:hadoop000(其中hadoop000是测试机器的hostname)，就有个想法，修改下该application
·2015-11-12 23:50

SparkSQL使用之如何使用UDF

使用java开发一个helloworld级别UDF，打包成udf.jar，存放在/home/hadoop/lib下，代码如下： package com.luogankun.udf; import org.apache.hadoop.hive.ql.exec.UDF; public class HelloUDF extends UDF { public String evaluat
·2015-11-12 23:19

SparkSQL使用之JDBC代码访问Thrift JDBC Server

启动ThriftJDBCServer: cd $SPARK_HOME/sbin start-thriftserver.sh &   使用jdbc访问ThriftJDBCServer代码段： package com.luogankun.spark.sql import java.sql.DriverManager import java.sql.Connec
·2015-11-12 23:18

SparkSQL使用之Thrift JDBC server

Thrift JDBC Server描述 Thrift JDBC Server使用的是HIVE0.12的HiveServer2实现。能够使用Spark或者hive0.12版本的beeline脚本与JDBC Server进行交互使用。Thrift JDBC Server默认监听端口是10000。   使用Thrift JDBC Server前需要注意： 1、将hive-site.x
·2015-11-12 23:17

SparkSQL使用之Spark SQL CLI

Spark SQL CLI描述 Spark SQL CLI的引入使得在SparkSQL中通过hive metastore就可以直接对hive进行查询更加方便；当前版本中还不能使用Spark SQL CLI
·2015-11-12 23:16

SparkSQL配置和使用初探

Linux Server release 6.4 (Santiago) Hadoop:Hadoop 2.4.1 Hive：0.11.0 JDK:1.7.0_60 Spark:1.1.0（内置SparkSQL
·2015-11-12 22:28

SparkSQL DataFrames操作

Hive中已经存在emp和dept表： select * from emp; +--------+---------+------------+-------+-------------+---------+---------+---------+ | empno | ename | job | mgr | hiredate | sal | comm
·2015-11-12 17:30
上一页 83 84 85 86 87 88 89 90 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他