sparkSQL

选择 Parquet for Spark SQL 的 5 大原因

www.ibm.com/developerworks/cn/analytics/blog/5-reasons-to-choose-parquet-for-spark-sql/index.html选择ParquetforSparkSQL
孟德新书·2016-10-23 22:50

[dataguru]04SparkSQL原理和实践

//01Spark生态和安装部署.pdf01Spark生态和安装部署图文百度文库http://wenku.baidu.com/link?url=eCG-dk97jxI0wxtnywW3Sfqa5uZrY2yADQ3jbAvrxBAcnEsHTlV940CwMLg2dQgaJMSVGFED5R4H0fbJBRBtFuKhnTxtJovRlASDB_UGXf_课程回顾Spark是一个大数据处
葡萄喃喃呓语·2016-10-23 21:41

Spark SQL将数据写入Mysql表的一些坑

最近，在使用SparkSQL分析一些数据，要求将分析之后的结果数据存入到相应的MySQL表中。
Oooover·2016-10-18 13:56

Spark创建DataFrame和读取CSV数据文件

之前写的程序中，有些API在SparkSQLContext没有，我计算的结果先保存在rdd中，最后在使用RDD转换成dataframe进行保存，话不多说下面是代码.
leishenop·2016-10-17 23:34

SparkSQL操作sqlserver和postgresql示例

defmain(agrs:Array[String]){//configurationandnewSparkContextvalconf=newSparkConf().setAppName("SparkSQL_Select_Table
zhao_rock_2016·2016-10-15 21:50

1、Catalyst源码解读之SqlParser

本篇文章基于Spark1.6.1源码解读Catalyst下的SqlParsersparksql中可以分三种sql语句第一种DDL语句，DDL语句包含以下三种操作，代码见DDLParsercreateTable
海纳百川_spark·2016-10-13 16:01

Spark-SQL之DataFrame操作大全

SparkSQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。
dabokele·2016-10-12 23:35

在java应用中使用JDBC连接Spark SQL（HiveServer2）

根据Spark官网所述，SparkSQL实现了ThriftJDBC/ODBCserver：TheThriftJDBC/ODBCserverimplementedherecorrespondstotheHiveServer2inHive1.2.1YoucantesttheJDBCserverwiththebeelinescriptthatcomeswitheitherSparkorHive1.2.1
古月慕南·2016-10-07 11:40

Spark学习(SparkSQL连接oralce,MySQL)

Oracle示例：Class.forName("oracle.jdbc.driver.OracleDriver")vartheConf=newSparkConf().setAppName("testRDDMethod").setMaster("local")vartheSC=newSparkContext(theConf)vartheSC2=newSQLContext(theSC)varthe
hawksoft·2016-10-01 19:21

SparkSQL配置(HIVE作为数据源)

HIVE的配置（以mysql做为元数据的存储，hdfs作为数据的存储）：1.修改hive-env.sh（可以从hive-default.xml.template拷贝修改）#hadoop的主目录exportHADOOP_HOME=/usr/local/hadoop#HiveConfigurationDirectorycanbecontrolledby:exportHIVE_CONF_DIR=/usr
jiangzeyun·2016-09-30 18:35

Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数

关键字：Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制这里的SparkSQL是指整合了Hive的spark-sqlcli
天道酬勤厚积薄发·2016-09-29 11:18

大数据架构师之路-大数据框架大全

大数据架构师之路-大数据框架大全服务器脚本系列:�1.shell2.python3.perl4.ruby数据仓库系列:�1.hive2.sparksql3.ClouderaImpala4.kylin介绍
葡萄喃喃呓语·2016-09-25 19:11

Sparksql 一个错误：org.apache.spark.sql.AnalysisException: character '　' not supported here;

遇到如下错误，但是在hive中单独运行，或者是在spark-shell中单独运行的也是毫无问题的，为何偏偏在sparksql中出问题，而且不存在所说的那个character’’。
mtj66·2016-09-21 16:59

通过Spark结合使用Hive和ORC存储格式

主要分享以下几点内容：1.如何通过SparkShell交互式访问Spark2.如何读取HDFS文件和创建一个RDD3.如何通过SparkAPI交互式地分析数据集4.如何创建Hive的ORC格式的表5.如何使用SparkSQL
Free World·2016-09-19 16:42

SparkSql 函数的使用

转载link：http://www.cnblogs.com/BYRans/p/5005342.html写的不错importorg.apache.spark.{SparkConf,SparkContext} importorg.apache.spark.sql.SQLContext importorg.apache.spark.sql.functions._ /****/objectsparkDa
UnionIBM·2016-09-12 21:00

sparkSQL实战详解

摘要如果要想真正的掌握sparkSQL编程，首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识，然后就是对各个层级关系有一个清晰的认识后，才能真正的掌握它，
hffzkl·2016-09-11 17:13

elasticsearch使用spark sql来实现join

这里提供sparksql来实现join的一种思路。spark是一个通用的分布式处理框架，包括但不限于
flowaters·2016-09-03 18:00

sparkSQL的整体实现框架

这篇博客的目的是让那些初次接触sparkSQL框架的童鞋们，希望他们对sparkSQL整体框架有一个大致的了解，降低他们进入spark世界的门槛，避免他们在刚刚接触sparkSQL时，不知所措，不知道该学习什么
hffzkl·2016-09-02 11:28

将任意Java对象RDD转换成DataFrame

要做到这一点，主要需要如下两步：从Java类中获取StructType将Java对象转换成RowSpark版本:1.6.1准备研究SparkSQL内置的数据类型，做成Java类与SparkSQL类型的映射表推荐阅读
yizishou·2016-09-01 17:00

使用SparkSQL内置函数接口开发StructType/Row转Json函数

需求 将DataFrame中的StructType类型字段下的所有内容转换为Json字符串。spark版本:1.6.1  思路 DataFrame有toJSON方法，可将每个Row都转为一个Json字符串，并返回RDD[String]DataFrame.write.json方法，可将数据写为Json格式文件跟踪上述两处代码，发现最终都会调用Spark源码中的org.apache.spark.sql
yizishou·2016-09-01 13:00

编译spark源码使sparksql支持hive（cdh的）

一：首先设置maven的内存exportMAVEN_OPTS="-Xmx2g-XX:MaxPermSize=512M-XX:ReservedCodeCacheSize=512m"二：在spark的目录下执行该命令（cdspark-1.3.0）mvn-Pyarn-Dhadoop.version=2.6.0-cdh5.4.1-Phive-Phive-thriftserver-DskipTestscle
cjhdb·2016-08-31 14:22

Spark四大组件包括Spark Streaming、Spark SQL、Spark MLlib和Spark GraphX。

Spark四大组件包括SparkStreaming、SparkSQL、SparkMLlib和SparkGraphX。
山鹰的天空·2016-08-31 14:57

Spark 之DataFrame与RDD 转换

SparkSQL支持两种方式将存在的RDD转化为DataFrame。第一种方法是使用反射来推断包含特定对象类型的RDD的模式。在写Spark程序的同时，已经知道了模式，这种基于反
唐予之_·2016-08-30 11:37

使用Spark core和SparkSQL的窗口函数分别实现分组取topN的操作

在spark1.4及以上版本中，针对sparkSQL，添加了很多新的函数，进一步扩展了SparkSQL对数据的处理能力。
奔跑-起点·2016-08-29 18:43

Spark连接到MySQL并执行查询为什么速度会快？

3.SparkSQL如何将查询推送到MySQL？4.如何使用Spark缓存查询数据？5.如何使用Spark和PerconaXtraDBCluster？6.Spark表分区时需要注意的事项？
javastart·2016-08-27 19:52

Spark Streaming 结合Spark SQL 案例

本博文主要包含以下内容：String+SQL技术实现解析Streaming+SQL实现实战一：SparkString+SparkSQL技术实现解析：使用SparkStreaming+SparkSQL来在线计算电商中不同类别中最热门的商品排名
二府村·2016-08-26 15:31

RDD、DataFrame和DataSet的区别

而右侧的DataFrame却提供了详细的结构信息，使得SparkSQL可以清楚地知
奔跑-起点·2016-08-26 15:30

Spark大数据学习资源汇总

details/31745111Sparkresource1官方资料Spark官网及文档AMPLab官网Databricks博客2Spark生态系统资源分享2.1SparkSparkhanson教程2.2SparkSQLandShark2.3GraphX2.4SparkStreaming2.5MLlib3Spa
kingzone_2008·2016-08-24 15:58

sparksql DataSet和DataFrame

Dataset是Spark1.6新增的接口，用以提供RDDs（强类型，有使用强大的lambda函数的能力）的优点和SparkSQL的经优化的执行引擎的优点。
felix_feng·2016-08-23 17:17

jdbc调用sparksql

将hive-site.xml拷贝到Spark目录下conf文件夹local模式spark-sql--driver-class-path/usr/local/hive-1.2.1/lib/mysql-connector-java-5.1.31-bin.jar或者需要在$SPARK_HOME/conf/spark-env.sh中的SPARK_CLASSPATH添加jdbc驱动的jar包exportex
山鹰的天空·2016-08-22 16:44

SparkSQL使用之JDBC代码访问Thrift JDBC Server

启动ThriftJDBCServer:cd$SPARK_HOME/sbinstart-thriftserver.sh&使用jdbc访问ThriftJDBCServer代码段：packagecom.luogankun.spark.sqlimportjava.sql.DriverManagerimportjava.sql.Connectionimportjava.sql.PreparedStateme
山鹰的天空·2016-08-22 16:01

如何使用Spark SQL 的JDBC server

摘要如何使用SparkSQL的JDBCserver简介SparkSQLprovidesJDBCconnectivity,whichisusefulforconnectingbusinessintelligence
山鹰的天空·2016-08-22 11:38

基于hadoop生态圈的数据仓库实践 —— OLAP与数据可视化（二）

二、Hive、SparkSQL、Impala比较    Hive、SparkSQL和Impala三种分布式SQL查询引擎都是SQL-on-Hadoop解决方案，但又各有特点。
wzy0623·2016-08-19 12:00

SparkSQL实现查找Hive表集合中的多个元素匹配

#encodig=utf-8#_*_coding:utf-8_*_#Writer:byz#dateTime:2016-08-3importsyssys.path.append("/home/mysql1/anqu/python/code")reload(sys)importconfigsys.setdefaultencoding('utf8')frompysparkimportSparkConte
Raini.闭雨哲·2016-08-11 19:29

Spark资料

阅读更多testSparkSQLCatalyst源码分析之Optimizerhttp://blog.csdn.net/oopsoom/article/details/38121259//spark2.0
fushengxu·2016-08-10 19:00

Spark2.0 Structured Streaming

综述StructuredStreaming是构建在SparkSQL引擎上的流式数据处理引擎，使用Scala编写，具有容错功能。你可以像在使用静态RDD数据一样来编写你的流式计算过程。
董云龙·2016-08-07 23:45

Spark SQL 数据源 API：Spark平台的统一数据接入

SparkSQL数据源API：Spark平台的统一数据接入自从Spark1.0版本的SparkSQL问世以来，它最常见的用途之一就是作为从Spark平台上面获取数据的一个渠道。
codingworkhard·2016-08-05 02:44

在IDEA中调试运行Spark SQL

昨晚想通过调试的方式阅读一下SparkSQL的源码，用spark-sql命令行需要跨进程调试，太麻烦，于是尝试了一下在IDEA中运行和调试.结果不出所料，虽然最终可以在IDEA中成功运行了，不过中间还是遇到了不少问题
美伊小公主的奶爸·2016-08-04 11:35

Spark SQL 下DateFrame的初步认识（3）

概要：SparkSQL对数据的操作涉及到对数据的输入、输出，其实主要就是操作DataFrame。
二府村·2016-08-01 16:09

SparkSql 字节码生成技术

阅读更多以具体的SQL语句selecta+bfromtable为例进行说明，下面是它的解析过程：1.调用虚函数Add.eval(),需确认Add两边数据类型2.调用虚函数a.eval()，需要确认a的数据类型3.确认a的数据类型是int，装箱4.调用虚函数b.eval(),需确认b的数据类型5.确认b的数据类型是int，装箱6.调用int类型的add7.返回装箱后的计算结果从上面的步骤可以看出，一
fushengxu·2016-08-01 11:00

spark sql读取json

sparksql读取json的问题sparksql虽然支持了json作为数据源，但由于json是松散的数据结构，而sql需要确定的数据结构，所以sparksql在读取json的时候会将整个json完整遍历得到一个最大的
cjuexuan·2016-07-31 13:52

RDD,DataFrame与DataSet区别

而右侧的DataFrame却提供了详细的结构信息，使得SparkSQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。DataFrame多了数据的结构信息，即schema。RDD是分布式
bitcarmanlee·2016-07-29 14:26

Spark中saveAsTextFile至stage划分和job提交的源代码分析

阅读更多之前看了SparkStreaming和SparkSQL,自己还花了一些时间去玩了些machinelearning的算法，像线性回归，kmeans，协同过滤等。
humingminghz·2016-07-29 14:00

Spark中saveAsTextFile至stage划分和job提交的源代码分析

阅读更多之前看了SparkStreaming和SparkSQL,自己还花了一些时间去玩了些machinelearning的算法，像线性回归，kmeans，协同过滤等。
humingminghz·2016-07-29 14:00

Flume+Spark+Hive+Spark SQL离线分析系统

当然Spark不光是可以做离线计算，还提供了许多功能强大的组件，比如说，SparkStreaming组件做实时计算，和Kafka等消息系统也有很好的兼容性；SparkSql，可以让用户通过标准SQL语句操作从不同的数据源中过来的结构化数据
若水三千你是一千·2016-07-27 10:23

Flume+Spark+Hive+Spark SQL离线分析系统

当然Spark不光是可以做离线计算，还提供了许多功能强大的组件，比如说，SparkStreaming组件做实时计算，和Kafka等消息系统也有很好的兼容性；SparkSql，可以让用户通过标准SQL语句操作从不同的数据源中过来的结构化数据
ymh198816·2016-07-27 03:00

spark sql 入门详解

1.sparksql简介sparksql是为了处理结构化数据的一个spark模块。不同于sparkrdd的基本API，sparksql接口更多关于数据结构本身与执行计划等更多信息。
bitcarmanlee·2016-07-23 21:57

第114课加强版:SparkStreaming+Kafka+createDirectStream+KafkaOffsetMonitor解决内幕

第114课加强版:SparkStreaming+Kafka+createDirectStream前传：第114课:SparkStreaming+Kafka+SparkSQL+TopN+Mysql+KafkaOffsetMonitor
段智华·2016-07-23 20:57

SparkSQL之更改表结构

本文篇幅较短，内容源于自己在使用SparkSQL时碰到的一个小问题，因为在之后的数据处理过程中多次使用，所以为了加深印象，在此单独成文，以便回顾。
拾毅者·2016-07-23 18:15

SparkSQL之更改表结构

本文篇幅较短，内容源于自己在使用SparkSQL时碰到的一个小问题，因为在之后的数据处理过程中多次使用，所以为了加深印象，在此单独成文，以便回顾。
拾毅者·2016-07-23 18:15
上一页 78 79 80 81 82 83 84 85 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他