sparkSQL

SparkSQL2.0扩展外部数据源原理（读取外部系统）

需要实现下面几个类DefaultSource入口类，用来建立外部数据源连接，SparkSQL默认会找这个名字，不要改类名。
铁头乔·2017-04-27 10:38

在自定义数据源中使用sparksql（Spark2.0+）带示例

主要原理sparksql核心：ParseInterface：专门负责解析外部数据源SQL的SqlParser。
Xiao 伙伴·2017-04-27 01:29

Hive函数大全

Hive函数大全–完整版现在虽然有很多SQLONHadoop的解决方案，像SparkSQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive仍然是不可替代的角色
xiaoL_clo·2017-04-26 13:32

Java + Spark SQL + Hive + Maven简单实现和异常问题

hadoop+spark+hive分布式集群hadoop分布式集群搭建：hadoop分布式集群搭建spark分布式集群搭建:spark分布式集群搭建hive分布式集群搭建：待完善二.项目代码实现1需求通过SparkSql
IT狗探求·2017-04-25 20:43

SparkSQL与Hive的整合

SparkSQL与Hive的整合1.拷贝$HIVE_HOME/conf/hive-site.xml和hive-log4j.properties到$SPARK_HOME/conf/2.在$SPARK_HOME
AISeekOnline·2017-04-25 14:19

spark SQL实例（load和save操作）

load操作：主要用于加载数据，创建出DataFramesave操作：主要用于将DataFrame中的数据保存到文件中代码示例(默认为parquet数据源类型)packagewujiadong_sparkSQLimportorg.apache.spark.sql.SQLContextimportorg.apache.spark
BBlue-Sky·2017-04-23 11:54

sparkSQL实战详解

原文链接：http://www.cnblogs.com/hadoop-dev/p/6742677.html摘要如果要想真正的掌握sparkSQL编程，首先要对sparkSQL的整体框架以及sparkSQL
dfug3303·2017-04-21 11:00

spark sql 快速体验调试

阅读更多sparksql提供了更快的查询性能，如何能够更快的体验，开发和调试sparksql呢？
qindongliang1922·2017-04-13 16:00

spark sql 快速体验调试

sparksql提供了更快的查询性能，如何能够更快的体验，开发和调试sparksql呢？
qindongliang1922·2017-04-13 16:00

spark的生态圈

Spark系统中，其核心框架是sparkcore，同时涵盖支持结构化数据SQL查询与分析的查询引擎SparkSQL和shark，提供机器学习功能的系统MLbase及底层的分布式机器学习库MLlib，并行图计算框架
蜗牛0·2017-04-11 19:08

Spark相关文章索引（3）

环境部署Spark2.1.0的Standalone模式部署基本常识spark中的rdd的持久化Spark入门实战系列–9.Spark图计算GraphX介绍及实例《Spark官方文档》SparkSQL,DataFrames
BlackEnn·2017-04-10 13:00

Spark相关文章索引（3）

环境部署Spark2.1.0的Standalone模式部署基本常识spark中的rdd的持久化Spark入门实战系列–9.Spark图计算GraphX介绍及实例《Spark官方文档》SparkSQL,DataFrames
BlackEnn·2017-04-10 13:00

Spark相关文章索引（3）

环境部署Spark2.1.0的Standalone模式部署基本常识spark中的rdd的持久化Spark入门实战系列–9.Spark图计算GraphX介绍及实例《Spark官方文档》SparkSQL,DataFrames
BlackEnn·2017-04-10 13:00

Spark相关文章索引（3）

环境部署Spark2.1.0的Standalone模式部署基本常识spark中的rdd的持久化Spark入门实战系列–9.Spark图计算GraphX介绍及实例《Spark官方文档》SparkSQL,DataFrames
BlackEnn·2017-04-10 12:00

Apache Beam 剖析

这完全取决于业务需求，比如进行批处理的MapReduce，实时流处理的Flink，以及SQL交互的SparkSQL等等。而把这些开源框架，工具，类库，平台整合到一起，所需要的工作量以及复杂度，可想
哥不是小萝莉·2017-04-09 16:00

Spark SQL中的聚合（Aggregate）实现

SparkSQL中的聚合（Aggregate）实现SortBasedAggregate首先来说说实现比较简单（但实际执行起来却不简单）的SortBasedAggregate。
狗叔·2017-04-08 16:08

spark 基础知识整理（三）- spark SQL专题

一、简介SparkSQL是Spark中处理结构化数据的模块。与基础的SparkRDDAPI不同，SparkSQL的接口提供了更多关于数据的结构信息和计算任务的运行时信息。
Graceleeman·2017-04-07 21:42

spark点点滴滴 —— 认识spark sql的DataFrame和DataSet

概述spark的DataFrames和DataSets是sparkSQL中的关键概念，相比于RDD，DataFrame更能描述数据类型，因此是sparksql的基础类型，同时在spark2.0.x及其以后的版本中
简牧·2017-03-31 15:52

SparkSQL性能调优

最近在学习spark时，觉得SparkSQL性能调优比较重要，所以自己写下来便于更过的博友查看，欢迎大家指导。
YQlakers·2017-03-31 14:48

sparksql执行流程分析

在前面的文章《spark基础（上篇）》和《spark基础（下篇）》里面已经介绍了spark的一些基础知识，知道了sparksql是spark中一个主要的框架之一。
ZPPenny·2017-03-27 21:45

Spark2.1中用结构化流处理复杂的数据格式(译)

在本篇博文中，我们将深入的研讨该问题，并展示如何用SparkSQL内置函数解决数据转换中面临的挑战。确切的说，我们将从以下几个方面进行讨论：有哪些不同数据格式及怎样权衡如何简单的用S
幽兰深谷·2017-03-26 22:39

spark sql在喜马拉雅的使用之xql

sparksql在喜马拉雅的使用之xql什么是xql在大数据领域，发展到今天hive依然是一个非常有意义的项目，因为它把工程师都懂的sql直接用到了大数据领域，但是它也存在一些问题，比如运行速度慢这个是最明显的
cjuexuan·2017-03-24 10:22

Spark-SQL编程总结

概览SparkSQL用于处理结构化数据，与SparkRDDAPI不同，它提供更多关于数据结构信息和计算任务运行信息的接口，SparkSQL内部使用这些额外的信息完成特殊优化。
ZhaoYingChao88·2017-03-23 12:39

3.SparkSQL学习

sparkSQL的发展历程。hiveandsharksparkSQL的前身是shark。
dream0352·2017-03-17 19:16

sparkSQL用jdbc访问mysql

maven：org.apache.sparkspark-core_2.101.6.0org.apache.sparkspark-sql_2.101.6.0com.google.guavaguava18.0publicclassJDBCDataSource{publicstaticvoidmain(String[]args){/***设置mysql无密访问,spark1为服务器hostname*gr
ZYJ_2012·2017-03-17 17:18

Spark Shuffle FetchFailedException解决方案

报错提示SparkSQLshuffle操作带来的报错org.apache.spark.shuffle.MetadataFetchFailedException:Missinganoutputlocationforshuffle0org.apache.spark.shuffle.FetchFailedException
wuzhilon88·2017-03-17 16:12

Saprk数据倾斜七解决方案（三）

4、双重聚合方案适用场景：对RDD执行reduceByKey等聚合类shuffle算子或者在SparkSQL中使用groupby语句进行分组聚合时，比较适用这种方案。
MLlib_fiy·2017-03-15 17:11

MongoDB + Spark: 完整的大数据解决方案

通用性：我们可以使用SparkSQL来执行常规分析，SparkStreaming来来做流数据处理，以及用Mlib来执行机器学习等。
zhangfeilo·2017-03-14 09:00

SparkSQL中的Sort实现（二）

SparkSQL中的Sort实现（二）上节说到SparkSQL中将Sort分为两部分：第一部分是基于boundary的rangerepartition，通过采样确定每个partition的上下界，然后将数据按照上下界重新分区
狗叔·2017-03-12 22:39

python开发sparkSQL应用

准备条件：部署hadoop集群部署spark集群安装python（本人安装的是anaconda3,python是3.6）配置环境环境变量：vi .bashrc  #添加如下内容export SPARK_HOME=/opt/spark/currentexport PYTHONPATH=$SPARK_HOME/python/:$SPARK_HOME/python/lib/py4j-0.10.4-src
月牙湾湾·2017-03-10 15:47

SparkSQL编程指南之Java篇三-数据源(下)

4.HiveTablesSparkSQL支持对Hive的读写操作。然而因为Hive有很多依赖包，所以这些依赖包没有包含在默认的Spark包里面。
煉心_·2017-03-10 14:35

Spark机器学习

·DataFrame:通过SparkSQL组件里的DataFrame作为机器学习的数据集。支持多种数据类型.比如Data
Spark贵1·2017-03-07 19:44

SparkSQL中DataFrame Operations操作（select、filter、groupBy、count）

注意：此处用的sparkversion1.6.0，版本不同，SparkSQL写代码时不太一样，比如要查询所有用户，并且使每一位用户年龄增加1.spark2.1.0写法为：df.select($"name
RiverCode·2017-03-07 14:06

sparksql性能比对测试

一、YDB与sparksql在排序上的性能对比测试在排序上，YDB具有绝对优势，无论是全表，还是基于任意条件组合过滤，基本秒杀Spark任何格式。
Coding_Cao·2017-03-07 09:13

sparksql性能比对测试

一、YDB与sparksql在排序上的性能对比测试在排序上，YDB具有绝对优势，无论是全表，还是基于任意条件组合过滤，基本秒杀Spark任何格式。
Coding_Cao·2017-03-07 09:13

SparkSQL性能调优与优化指南

spark内存泄露1.高并发情况下的内存泄露的具体表现很遗憾，Spark的设计架构并不是为了高并发请求而设计的，我们尝试在网络条件不好的集群下，进行100并发的查询，在压测3天后发现了内存泄露。a)在进行大量小SQL的压测过程中发现，有大量的activejob在sparkui上一直处于pending状态，且永远不结束，如下图所示b)并且发现driver内存爆满c)用内存分析分析工具分析了下2.高并
Coding_Cao·2017-03-07 09:35

Spark中DataFrame的schema讲解

1.Schema是什么DataFrame中提供了详细的数据结构信息，从而使得SparkSQL可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么，DataFrame中的数据结构信息，即为schema
RiverCode·2017-03-06 22:51

基于spark SQL之上的检索与排序对比测试

一、YDB与sparksql在排序上的性能对比测试在排序上，YDB具有绝对优势，无论是全表，还是基于任意条件组合过滤，基本秒杀Spark默认的格式。
Coding_Cao·2017-03-06 16:18

基于spark SQL之上的检索与排序对比测试

一、YDB与sparksql在排序上的性能对比测试在排序上，YDB具有绝对优势，无论是全表，还是基于任意条件组合过滤，基本秒杀Spark默认的格式。
Coding_Cao·2017-03-06 16:18

基于spark SQL之上的检索与排序对比性能测试

一、YDB与sparksql在排序上的性能对比测试在排序上，YDB具有绝对优势，无论是全表，还是基于任意条件组合过滤，基本秒杀spark任何格式。
qq_33160722·2017-03-06 16:19

Structured Streaming Programming Guide官方文档再次阅读理解强化学习

OverviewStructuredStreamingisascalableandfault-tolerantstreamprocessingenginebuiltontheSparkSQLengine.Youcanexpressyourstreamingcomputationthesamewayyouwouldexpressabatchcomputationonstaticdata.TheSpa
javartisan·2017-03-05 19:22

Structured Streaming Programming Guide官方文档再次阅读理解强化学习

OverviewStructuredStreamingisascalableandfault-tolerantstreamprocessingenginebuiltontheSparkSQLengine.Youcanexpressyourstreamingcomputationthesamewayyouwouldexpressabatchcomputationonstaticdata.TheSpa
javartisan·2017-03-05 19:22

spark sql与hive整合

小结结构上HiveOnSpark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。
bingo_liu·2017-03-05 01:49

Spark2.1.0官方文档

它还支持一组丰富的高级工具，包括用于SQL和结构化数据处理的SparkSQL，用于机器学习的MLlib，用于图形处理的GraphX和SparkStreaming。
FlinkMe·2017-03-04 15:00

spark sql demo

通过pojo构造table：packagesparkSql;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaRDD
年青人阿奔·2017-03-02 15:13

遇到的Spark的坑

Hive-Jobs-Fail-with-com-mysql-jdbc-exceptions-MySQLSyntaxErrorExceptionspark写入Hive找不到表16/12/2117:57:36INFOSparkSqlPars
唐予之_·2017-02-21 19:54

SparkSQL编程指南之Java篇一-入门

1.SparkSQL的Java开发包SparkSQL提供Java的开发包，当前最新版本是2.1.0版本：spark-sql_2.11-2.1.0.jar，可以从下面链接下载：http://central.maven.org
煉心_·2017-02-16 14:29

一个简单的sparkSQL案例

使用编程接口来创建DataFrame.注意的问题:需要记住一个这样的结构~packagesparksqldemoimportorg.apache.spark.sql.types.
堡垒-93·2017-02-16 08:04

Spark RDDs vs DataFrames vs SparkSQL

简介Spark的RDD、DataFrame和SparkSQL的性能比较。
阿凡卢·2017-02-14 15:00

Spark SQL结构化数据处理

SparkSQL是Spark框架的重要组成部分，主要用于结构化数据处理和对Spark数据执行类SQL的查询。DataFrame是一个分布式的，按照命名列的形式组织的数据集合。
-Finley-·2017-02-12 10:00
上一页 76 77 78 79 80 81 82 83 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他