sparkSQL 第38页

spark sql 数据倾斜案例实操

原因分析：查看了下该任务的历史执行记录（如下图），其实最近几天一直在失败，只是在重试后偶尔会成功一下查看具体的报错日志，是shuffle数据丢失导致的任务失败，已经询问过该同事，已经对该sparksql

甄情·2020-08-20 18:01

关于hive和sparksql中的转义符如何处理

我是"中国"人"，解决：如果这样拼接的话会直接报错，这个时候需要转义符进行转义，而hive是对转义符转义三次，所以在hive里正确的写法是regexp_replace(字段名,'"','\\\\"')在sparksql

大数据小蜗牛·2020-08-20 17:01

Flink1.10集成Hive快速入门

之后出现的SQL引擎，如SparkSQL、Impala等，都在一定程度上提供了与Hive集成的功能，从而方便用户使用现有的数据仓库、进行作业迁移等。

西贝木土·2020-08-20 17:10

Flink1.10集成Hive快速入门

之后出现的SQL引擎，如SparkSQL、Impala等，都在一定程度上提供了与Hive集成的功能，从而方便用户使用现有的数据仓库、进行作业迁移等。

西贝木土·2020-08-20 17:10

第三篇|Spark SQL编程指南

本文将讨论Spark的另外一个重要模块--SparkSQL，SparkSQL是在Shark的基础之上构建的，于2014年5月发布。

西贝木土·2020-08-20 17:28

第三篇|Spark SQL编程指南

本文将讨论Spark的另外一个重要模块--SparkSQL，SparkSQL是在Shark的基础之上构建的，于2014年5月发布。

西贝木土·2020-08-20 17:28

用Spark进行实时流计算

RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算ApacheSpark在2016年的时候启动了StructuredStreaming项目，一个基于SparkSQL

实时计算·2020-08-20 17:15

用Spark进行实时流计算

RDDs的DstreamAPI，每个时间间隔内的数据为一个RDD，源源不断对RDD进行处理来实现流计算ApacheSpark在2016年的时候启动了StructuredStreaming项目，一个基于SparkSQL

实时计算·2020-08-20 17:15

Spark、Hive UDF函数使用汇总

//注册一张user表userDF.createOrReplaceTempView("user")SparkSql-UDF用法下面的UDF的功能是计算某列的长度，该列的类型为Stringspark.udf.register

灬皇帝的新装灬·2020-08-20 17:47

Spark SQL小文件问题在OPPO的解决方案

SparkSQL小文件是指文件大小显著小于hdfsblock块大小的的文件。过于繁多的小文件会给HDFS带来很严重的性能瓶颈，对任务的稳定和集群的维护会带来极大的挑战。

OPPO互联网技术·2020-08-20 17:43

Spark SQL小文件问题在OPPO的解决方案

SparkSQL小文件是指文件大小显著小于hdfsblock块大小的的文件。过于繁多的小文件会给HDFS带来很严重的性能瓶颈，对任务的稳定和集群的维护会带来极大的挑战。

OPPO互联网技术·2020-08-20 17:43

【赵强老师】什么是Spark SQL？

一、SparkSQL简介SparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。为什么要学习SparkSQL？

赵强老师·2020-08-20 17:11

【赵强老师】什么是Spark SQL？

一、SparkSQL简介SparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。为什么要学习SparkSQL？

赵强老师·2020-08-20 17:11

SparkSQL UDF 两种方式：udf() 和 register()

1）调用sqlContext.udf.register()此时注册的方法只能在sql()中可见，对DataFrameAPI不可见用法：sqlContext.udf.register("makeDt",makeDT(_:String,_:String,_:String))示例：defmakeDT(date:String,time:String,tz:String)=s"$date$time$tz"s

要努力啊要努力·2020-08-20 16:21

大数据离线分析系统：统计网站PV、UV

目录一、业务需求二、业务实现方案1.技术栈2.业务实现流程3.离线分析系统架构图三、技术实现1.HadoopCDH集群管理平台2.Flume采集服务器日志数据到HDFS3.SparkSQL清洗数据4.建立

小姚同學·2020-08-20 15:42

Spark-SQL之DataFrame操作大全

原文链接SparkSQL中的DataFrame类似于一张关系型数据表。在关系型数据库中对单表或进行的查询操作，在DataFrame中都可以通过调用其API接口来实现。

SunnyMore·2020-08-20 14:35

《数据可视化与数据挖掘——基于Tableau和SPSS Modeler图形界面》之连接数据库

王国平·2020-08-20 07:02

SparkSQL之DataSource

文章目录Parquet文件加载Parquet文件PartitionDiscovery分区探测Schema合并ORC文件Hive表用JDBC读其它数据库PerformanceTuning性能优化CachingDataInMemoryOtherConfigurationOptionsBroadcastHintforSQLQueries你用MapReduce、Spark、Hive去处理源数据，处理之后输

liweihope·2020-08-20 06:04

Spark Sql Row 的解析

在SparkSQL编程时，经常需要对获取的DataFrame对象进行map操作。map基于的元素是Row.那么如何操作Row呢？

阿海与蜗牛·2020-08-20 06:25

用户画像第四章(企业级360°用户画像_标签开发_统计型标签_年龄段标签开发）

统计型标签统计型标签是需要使用聚合函数计算后得到的标签,比如最近3个月的退单率,用户最常用的支付方式等等.年龄段标签开发：1、创建sparkSQL实例没用于读取hbasemysql数据2、链接mysql

……utf-8·2020-08-19 07:50

BigData-25：Spark基础

Spark生态圈：SparkCore:最重要，其中最重要的就是RDD（弹性分布式数据集）SparkSQLSparkStreamingSparkMLLib:协同过滤、ALS、逻辑回归等等—>实现推荐系统SparkGraphx

feiyanaffection·2020-08-19 06:55

Spark SQL自定义函数UDF、UDAF聚合函数以及开窗函数的使用

一、UDF的使用1、SparkSQL自定义函数就是可以通过scala写一个类，然后在SparkSession上注册一个函数并对应这个类，然后在SQL语句中就可以使用该函数了，首先定义UDF函数，那么创建一个

sxjlinux·2020-08-19 04:41

188、Spark 2.0之Dataset开发详解-基础操作：持久化、临时视图、ds与df互转换、写数据等

进行持久化再进行操作，避免重复计算创建临时视图createTempView、createOrReplaceTempView创建临时视图，主要是为了，可以直接对数据执行sql语句获取执行计划explain获取sparksql

ZFH__ZJ·2020-08-19 03:49

SparkSQL代码笔记03——连接hive

一、使用内置hiveps:需要注意内置hive是非常容易出现问题的1.先启动集群/opt/software/spark-2.2.0-bin-hadoop2.7/sbin/start-all.sh2.进入到spark-shell模式/opt/software/spark-2.2.0-bin-hadoop2.7/bin/spark-shell--masterspark://hadoop01:70773

嘉平11·2020-08-18 12:28

IDEA通过SparkSql访问hive报错：Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder

Exceptioninthread"main"java.lang.IllegalArgumentException:Errorwhileinstantiating'org.apache.spark.sql.hive.HiveSessionStateBuilder':atorg.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSess

zajbetterme·2020-08-18 12:24

SparkSQL 概述

博客地址:http://blog.csdn.net/yueqian_zhu/Baseonspark1.5.1overview一、入口：valsc:SparkContext//AnexistingSparkContext.valsqlContext=neworg.apache.spark.sql.SQLContext(sc)//thisisusedtoimplicitlyconvertanRDDto

yueqian_zhu·2020-08-18 12:45

Spark SQL 外部数据源（External DataSource）以及常用操作

1概述Spark1.2中，SparkSQL开始正式支持外部数据源。SparkSQL开放了一系列接入外部数据源的接口，来让开发者可以实现。

爆发的~小宇宙·2020-08-18 12:13

SparkSQL写入多种文件格式

需求：将数据库中的数据读取出来并以textjsoncsvparquet四种格式写入到本地文件或者hdfs中csv格式：能够以excel的形式打开代码实现：packagecn.ysjh0014.SparkSqlimportjava.util.Propertiesimportorg.apache.spark.sql

ysjh0014·2020-08-18 12:12

Hadoop学习笔记（1）－Hadoop生态系统

中间红框部分是saprk的生态圈，有RDD，sparkCore，sparkSQL，sparkGraphX，sparkML，sparkR，sparkStreaming。

XianMing的博客·2020-08-18 12:55

sparksql读取hive数据源配置

1、将hive-site.xml内容添加到sparkconf配置文件中，内容仅需要元数据连接信息即可hive.metastore.uristhrift://master-centos:9083ThriftURIfortheremotemetastore.Usedbymetastoreclienttoconnecttoremotemetastore.并分发到各个节点中2、如hive元数据采用的是my

jimmyxyalj·2020-08-18 12:19

sparksql读取hive表中数据

文章目录sparksql与hive本地调试newHiveContext空指针异常权限:异常执行select查询的时候找不到hostsparksql与hive本地调试将hive-site.xml文件拷贝到

_张不帅·2020-08-18 12:36

自适应查询执行AQE：在运行时加速SparkSQL

活动链接：SPARK中文峰会7月4日（二）｜RayOnSpark演讲嘉宾简介：王道远，阿里巴巴技术专家以下内容根据演讲视频以及PPT整理而成。点击链接观看精彩回放：https://developer.aliyun.com/live/43188一、自适应查询执行AQE简介关于自适应查询执行，在数据库领域早有充分研究。在Spark社区，最早在Spark1.6版本就已经提出发展自适应执行（Adaptiv

weixin_45906054·2020-08-18 12:47

Spark Sql常见的几种数据源

前言SparkSQL的DataFrame接口支持多种数据源的操作。可以使用关系转换进行操作，也可以被注册为临时视图。将DataFrame注册为临时视图，即可以通过SQL进行数据查询。

不将就的cris·2020-08-18 12:43

SparkSQL概述以及创建Dataset

一、概述http://spark.apache.org/docs/latest/sql-programming-guide.htmlSparkSQL是Spark中一个模块，用以对结构化数据进行处理。

人间小鲸鱼·2020-08-18 12:42

SparkSQL解决数据倾斜实战介绍(适用于HiveSQL)

一:什么情况会出现数据倾斜?哪些情况会出现数据倾斜:1、shuffle的时候，如果这个产生shuffle的字段为空，会出现数据倾斜2、key有很多，分区数设置的过少，导致很多key聚集在一个分区出现数据倾斜3、当某一个表中某一个key数据特别多，然后使用groupby就会出现数据倾斜4、大表join小表,这两个表中某一个表有某一个key或者某几个key数据比较多，会出现数据倾斜5、大表join大表

是谁注册了我的2052·2020-08-18 12:09

SparkSQL处理缺失值

一:缺失值的处理方式1.常见的缺失值有两种1.null,NaN等特殊类型的值,某些语言中null可以理解是一个对象,但是代表没有对象,NaN是一个数字,可以代表不是数字针对这一类的缺失值,Spark提供了一个名为DataFrameNaFunctions特殊类型来操作和处理2.“Null”,“NA”,""等解析为字符串的类型,但是其实并不是常规字符串数据针对这类字符串,需要对数据集进行采样,观察异常

是谁注册了我的2052·2020-08-18 12:08

产品经理学大数据——大数据软件框架：Spark（3）之Spark SQL

SparkSQL是什么？Spark的存在是为了快于MapReduce的速度进行分布式计算。Spark的设计者很快就了解到，大家还是想用SQL来访问数据，于是SparkSQL就出现了。

简城峰·2020-08-18 12:36

Spark之【SparkSQL】入门概述

在接下来的几篇博客分享中，博主将为大家介绍的是SparkSQL。本篇，首先为大家介绍的是SparkSQL的概述。码字不易，先赞后看，养成习惯!文章目录SparkSQL概述1.什么是SparkSQL?

Alice菌·2020-08-18 12:35

Spark Sql应用解析

文章目录一、SparkSql概述1、定义2、DataFrame3、DataSet二、数据转换RDDDataFrameRDD->DataFrameDataFrame->RDDRDDDataSetRDD->

唉.·2020-08-18 12:35

Spark大数据分析入门笔记

LatinoCaribo·2020-08-18 12:26

sparkStreaming中用sparksql时遇到的问题总结

问题一今天准备用sparkStreaming接入kafka再写入hive，准备在流里面执行sparksql，按照官网的写法，一开始的代码是这样的：SparkConfsparkConf=newSparkConf

Hello Guava·2020-08-18 12:39

SparkSql读取外部数据源

：方便快速从不同的数据源(json、parquet、rdbms)，经过混合处理(jsonjoinparquet)，再将处理结果以特定的格式(son、Parquet)写回指定的系统(HDFS、S3)上去SparkSQL1.2

BUPT-WT·2020-08-18 12:01

SparkSQL概述

1、SparkSQL前世今生为什么需要SQL1）事实上的标准：统计分析的标准2）易学易用3）受众面大例子：对文本文件进行统计分析：id,name,age,city1001,zhangsan,45,beijing

BUPT-WT·2020-08-18 12:01

大数据开发之Spark篇----idea上使用SparkSQL对Hive上的数据

在idea上使用SparkSQL连接到Hive上将hive-site.xml存储到项目上的resources目录上既然我们要在idea上使用spark来访问Hive上的数据，那我们也要有元数据地址才行嘛

豆豆总·2020-08-18 12:55

大数据开发之Spark篇----SparkSQL入门(1)

SparkSQL的基本了解SparkSQL是个啥？

豆豆总·2020-08-18 12:55

Spark之SparkSQL数据源

SparkSQL数据源:parquetJsonMysqlHive：SparkSQL数据源手动指定选项SparkSQL的DataFrame接口支持多种数据源的操作。

清风笑丶·2020-08-18 12:50

spark：sparksql：读取各数据源（mysql，json，txt，hive）并推送到hive或mysql

测试数据：people.json{"name":"andy"}{"name":"len"}{"name":"marry","age":19}{"name":"tom","age":29}{"name":"mike","age":39}people.txt1,tang1,102,tang2,203,tang3,304,tang4,405,tang5,50packagebi.tagimportjava

花和尚也有春天·2020-08-18 12:18

SparkSql入门及简单实例

一SparkSql简介SparkSQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。什么是DataFrames？

BillowX_·2020-08-18 12:09

推荐频道

sparkSQL

spark sql 数据倾斜案例实操

关于hive和sparksql中的转义符如何处理

Flink1.10集成Hive快速入门

Flink1.10集成Hive快速入门

第三篇|Spark SQL编程指南

第三篇|Spark SQL编程指南

用Spark进行实时流计算

用Spark进行实时流计算

Spark、Hive UDF函数使用汇总

推荐系统大规模特征工程与FEDB的Spark基于LLVM优化

推荐系统大规模特征工程与FEDB的Spark基于LLVM优化

Spark SQL小文件问题在OPPO的解决方案

Spark SQL小文件问题在OPPO的解决方案

【赵强老师】什么是Spark SQL？

【赵强老师】什么是Spark SQL？

SparkSQL UDF 两种方式：udf() 和 register()

大数据离线分析系统：统计网站PV、UV

Spark-SQL之DataFrame操作大全

《数据可视化与数据挖掘——基于Tableau和SPSS Modeler图形界面》之连接数据库

SparkSQL之DataSource

Spark Sql Row 的解析

用户画像第四章(企业级360°用户画像_标签开发_统计型标签_年龄段标签开发）

BigData-25：Spark基础

Spark SQL自定义函数UDF、UDAF聚合函数以及开窗函数的使用

188、Spark 2.0之Dataset开发详解-基础操作：持久化、临时视图、ds与df互转换、写数据等

SparkSQL代码笔记03——连接hive

IDEA通过SparkSql访问hive报错：Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder

SparkSQL 概述

Spark SQL 外部数据源（External DataSource）以及常用操作

SparkSQL写入多种文件格式

Hadoop学习笔记（1）－Hadoop生态系统

sparksql读取hive数据源配置

sparksql读取hive表中数据

自适应查询执行AQE：在运行时加速SparkSQL

Spark Sql常见的几种数据源

SparkSQL概述以及创建Dataset

SparkSQL解决数据倾斜实战介绍(适用于HiveSQL)

SparkSQL处理缺失值

产品经理学大数据——大数据软件框架：Spark（3）之Spark SQL

Spark之【SparkSQL】入门概述

Spark Sql应用解析

Spark大数据分析入门笔记

sparkStreaming中用sparksql时遇到的问题总结

SparkSql读取外部数据源

SparkSQL概述

大数据开发之Spark篇----idea上使用SparkSQL对Hive上的数据

大数据开发之Spark篇----SparkSQL入门(1)

Spark之SparkSQL数据源

spark：sparksql：读取各数据源（mysql，json，txt，hive）并推送到hive或mysql

SparkSql入门及简单实例