sparkSQL

spark_sql & hive_sql

SparkSQL相关语句总结1.in不支持子查询eg.select*fromsrcwherekeyin(selectkeyfromtest);支持查询个数eg.select*fromsrcwherekeyin
fengwuwer·2020-07-15 22:35

sparkSQL相关应用案例

目录1、sparksql操作hivesql2、sparksql操作jdbc数据源3、sparksql保存数据操作4、sparksql中自定义函数5、sparksql整合hive6、sparksql处理点击流日志数据案例
fengge18306·2020-07-15 22:28

spark sql 处理时间类型

近期研究了下sparksql。发现这scala与sql混写的套路很酷炫呀！一开始就出现了有点小坑爹的问题，相当于自己又涨了一点经验值，嘿嘿这个问题也是在数据库中操作很常见的一个问题。
feloxx·2020-07-15 22:50

spark sql基本使用方法介绍

spark中可以通过sparksql直接查询hive或impala中的数据，一、启动方法/data/spark-1.4.0-bin-cdh4/bin/spark-sql--masterspark://master
duncandai·2020-07-15 22:27

大数据Spark “蘑菇云”行动第48课程 Spark 2.0内幕深度解密和学习最佳实践

Spark“蘑菇云”行动第48课程Spark2.0内幕深度解密和学习最佳实践观点1：从Spark2.0开始，Spark本身成为了编译器90%左右都是在基于Hive做SQL多维度数据分析，现在的主要的潮流是SparkSQL
段智华·2020-07-15 22:42

Spark SQL编程指南（Python）【转】

转自：http://www.cnblogs.com/yurunmiao/p/4685310.html前言SparkSQL允许我们在Spark环境中使用SQL或者HiveSQL执行关系型查询。
dianzhouyu2189·2020-07-15 22:04

SparkSQL案例

SparkSQLUDF和DUAFimportorg.apache.log4j.{Level,Logger}importorg.apache.spark.sql.expressions.
晟翊zzZ·2020-07-15 21:57

【大数据】SparkSql连接查询中的谓词下推处理(一)

本文首发于vivo互联网技术微信公众号https://mp.weixin.qq.com/s/YPN85WBNcnhk8xKjTPTa2g作者：李勇目录：1.SparkSql2.连接查询和连接条件3.谓词下推
chiwanjuan3936·2020-07-15 21:52

Hadoop 理解与运用（一）

reducev2(map/reduceonyarn)Tezspark3.ImpalaPrestoDrill直接跑在hdfs上pig（脚本方式）hive（SQL语言）跑在map/reduce上hiveontez/sparkSQL4
Blieveinmyself·2020-07-15 21:11

一次Spark SQL提取数据所遇到的问题

目录需求背景及解决思路问题Ⅰ：csv编码问题问题Ⅱ：shuffle前后的分区问题问题Ⅲ：broadcastjoin不生效问题Ⅳ：sparksql关于stage的划分需求背景及解决思路boss给了一份csv
bradyM·2020-07-15 21:03

SQL操作Spark SQL--CatalogApiTest

args:Array[String]):Unit={valspark=SparkSession.builder().appName("CatalogApiTest").getOrCreate()//查看sparksql
aohuang8877·2020-07-15 20:19

Spark译文(三)

StructuredStreamingProgrammingGuide(结构化流编程指南)Overview(概貌)·StructuredStreaming是一种基于SparkSQL引擎的可扩展且容错的流处理引擎
aeluwl2038·2020-07-15 20:04

[Spark]直接调用RDD的方式实现SparkSQL的Filter操作

importorg.apache.spark.sql.SparkSessionobjectSqlExample{defmain(args:Array[String]):Unit={valspark=SparkSession.builder().appName("Sparksqlwholestageexample
adream307·2020-07-15 20:31

spark小文件过多

生产上，我们往往将SparkSQL作为Hive的替代方案，来获得SQLonHadoop更出色的性能。
a13705510005·2020-07-15 19:46

Spark SQL ：日志分析实战练习

从网上找到SparkSql分析慕课网日志数据的视频，用其中的数据巩固复习上个星期学的Spark知识；1.需求和数据描述需求很简单，就是根据日志数据从地市、流量、点击数三个方面求一系列topN。
Icedzzz·2020-07-15 19:13

SparkSQL读取json文件简单实现（一）

运行前提：搭建Hadoop+Spark集群，安装jdk1.8及以上版本，Scala2.11，maven31、新建maven项目这里需要注意的是我们为了方便，直接勾选Createfromarchetype，然后从下面列表中选择scalaarchetypesimple2、填写GAV这里按照个人设置，说白了GroupID就是公司的域名倒过来写artifactId可以是你项目的名称version就是项目的
Franky47·2020-07-15 19:39

Spark SQL中使用StringIndexer和IndexToString来对字符串信息进行索引和反索引

本篇博客使用了SparkSQL的相关语句，实现了以下功能：使用StringIndexer来对文本信息进行索引使用IndexToString和StringIndexer的labels值来实现反索引如何使用
JosephDing23·2020-07-15 19:59

Spark SQL架构

SparkSQL架构Spark技术栈（Spark生态站）：SparkSQL主要是对信息的处理，包括数据转化，数据抽取Spark周边有Python/Scala/java/MLLib/等等Spark可以集成
TT15751097576·2020-07-15 19:55

SparkSQL基本操作----作业三

题目：编程实现利用DataFrame读写MySQL的数据在MySQL数据库中新建数据库sparktest，再创建表employee，添加两条记录，如下图：配置Spark，通过JDBC连接数据库MySQL，编程实现利用DataFrame插入如下图所示的两行数据到MySQL中，最后打印出age的最大值和age的总和。表6-3employee表新增数据如下代码：仅供参考，运行成功；window下请添加依
温暖会追上来的.·2020-07-15 19:34

SparkSQL基本操作----作业一

题目：SparkSQL基本操作将下列JSON格式数据复制到Linux系统中，并保存命名为employee.json。
温暖会追上来的.·2020-07-15 19:33

SparkSQL基本操作----作业二

题目：编程实现将RDD转换为DataFrame源文件内容如下（包含id,name,age）：1,Ella,362,Bob,293,Jack,29请将数据复制保存到Linux系统中，命名为employee.txt，实现从RDD转换得到DataFrame，并按“id:1,name:Ella,age:36”的格式打印出DataFrame的所有数据。请写出程序代码。代码：importorg.apache.
温暖会追上来的.·2020-07-15 19:02

【最佳实践】SequoiaDB+SparkSQL在数据统计场景的应用

1前言在当前企业生产数据膨胀的时代，数据即使企业的价值所在，也是一家企业的技术挑战所在。所以在海量数据处理场景上，人们意识到单机计算能力再强也无法满足日益增长的数据处理需求，分布式才是解决该类问题的根本解决方案。而在分布式领域，有两类产品是至关重要的，分别分布式存储和分布式计算，用户只有将两者的特性充分利用，才可以真正发挥分布式架构的存储和计算能力。本文主要向读者们介绍SequoiaDB（分布式存
SequoiaDB_Official·2020-07-15 18:56

Spark | SparkSQL架构

目录SparkSQLDataFrameAPIDataFrame&DataSet&RDD三者区别SparkSQL组成SparkSQLCatalystOptimizerTreeTreeNodeQueryPlanExpressionRuleRuleExecutorCatalyst
点滴笔记·2020-07-15 18:50

SparkSQL自定义函数（实现几何平均数）

SparkSQL-自定义聚合函数（实现几何平均数）->创建SparkSessionparkSession->创建自定义函数-1、继承UserDefinedAggregateFunction-2、重写下面的方法
Round_Yuan·2020-07-15 18:30

Spar入门到放弃（1）-Spark简介

Spark简介[一、简介][二、特点][三、集群架构][四、核心组件][4.1SparkSQL][4.2SparkStreaming][4.3MLlib][4.4Graphx]一、简介Spark于2009
百年叔叔·2020-07-15 18:45

SparkSql的语法一(调用方法)

调用方法（通过调用方法实现数据分析）show：(以表格的形式展示数据集中前N行(20)记录)select:(投影查询，指定查询的字段)selectExpr:(支持表达式(基本运算或者别名)的投影查询)df.selectExpr("id+10","nameasusername")withColumn：(添加额外列方法)withColumnRenamed:(给列重命名方法相当于sql中的as别名)va
A Mr Yang·2020-07-15 18:46

spark参数调优

因为搞了半天，感觉这个更新换代很快啊~今天运行sparksql作业的时候，发现yarn上面的CPU资源，被占用完了，这™还搞个锤子并发嘛？
MrZhangBaby·2020-07-15 18:09

Spark Sql 原理讲解

SparkSql简介1.hive和Spark的比较hive:将sql解析成MR任务。
数据小二·2020-07-15 18:29

一个12分良心的Spark SQL入门教程

SparkSQL是Spark的一个结构化数据处理模块，提供了一个DataFrame的抽象模型，在Spark1.6.0之后，又加入了DataSet的抽象模型，因此它是一个分布式SQL查询引擎，SparkSQL
实验楼v·2020-07-15 18:26

Spark SQL数据的读取和存储

SparkSQL支持很多种结构化数据源，可以让你跳过复杂的读取过程，轻松从各种数据源中读取到Row对象。这些数据源包括Hive表、JSON和Parquet文件。
似梦似意境·2020-07-15 18:40

Spark SQL 本地开发环境搭建和案例分析

我的Scala基础教程1_SparkAPIs的演变SparkSQL，作为ApacheSpark大数据框架的一部分，主要用于结构化数据处理和对Spark数据执行类SQL的查询。
Kartty_·2020-07-15 17:11

SparkSQL性能优化

SparkSQL性能优化1、设置shuffle过程中的并行度,可以通过spark.sql.shuffle.partitions设置shuffle并行度。
JSON_ZJS·2020-07-15 17:58

Spark SQL的基本概念与用法

1.SparkSQL的作用Hive，它是将HiveSQL转换成MapReduce，然后提交到集群上执行的，大大简化了编写MapReduce程序的复杂性，但MapReduce这种计算模型执行效率比较慢。
Cool_Pepsi·2020-07-15 17:48

必看的Spark SQL入门教程

SparkSQL是Spark的一个结构化数据处理模块，提供了一个DataFrame的抽象模型，在Spark1.6.0之后，又加入了DataSet的抽象模型，因此它是一个分布式SQL查询引擎，SparkSQL
BAO7988·2020-07-15 16:01

Spinach: 使用Spark SQL进行即席查询 [session]

DaoyuanWang(Intel),李元健(百度)13:10–13:50Friday,2017-07-14Spark及更多发展(Spark&beyond)地点：紫金大厅B观众水平：中级必要预备知识观众需要了解SparkSQL
OReillyData·2020-07-15 16:59

sparkSQL中的.where里面的“=”的使用

我们必须要使用===而不是=或者==我们来看一个例子：假如这么一个表，我们想进行条件查询+---+-----+---+----+-------+|id|name|age|addr|salary|+---+-----+---+----+-------+|1|zhang|49|bj|10000||2|wang|34|sh|1000||3|li|28|sz|5000|（1）===df2.select($
喝粥也会胖的唐僧·2020-07-15 16:21

SparkSQL相关语句总结

1.in不支持子查询eg.select*fromsrcwherekeyin(selectkeyfromtest);支持查询个数eg.select*fromsrcwherekeyin(1,2,3,4,5);in40000个耗时25.766秒in80000个耗时78.827秒2.unionall/union不支持顶层的unionalleg.selectkeyfromsrcUNIONALLselectk
就问你吃不吃药·2020-07-15 16:47

Spark SQL作用及其架构

1概述对于SparkSQL的学习：本文首先会介绍SparkSQL的产生背景，知道了产生背景我们开始学习SparkSQL的作用和特点，最后介绍其原理。下一篇文章会介绍如何使用SparkSQL。
爆发的~小宇宙·2020-07-15 16:22

Spark调优 | Spark SQL参数调优

前言SparkSQL里面有很多的参数，而且这些参数在Spark官网中没有明确的解释，可能是太多了吧，可以通过在spark-sql中使用set-v命令显示当前spark-sql版本支持的参数。
seagle01·2020-07-15 16:51

Spark SQL案例介绍与编程实现

要点SparkSQL/DataFrame如何理解？如何使用sparkSQL编写统计代码？如何查看spark任务监控过程？SparkSQL程序开发需要注意哪些内容？
yjgithub·2020-07-15 16:14

Spark-SQL导出查询结果的两种方式

为了分析数据的需要，我们需要导出Spark-SQL的查询结果，通过SparkSQLCLI有两种方式。
蚁方阵·2020-07-15 16:10

sparksql优化1（小表大表关联优化 & union替换or）

----原语句（运行18min）INSERTintoTABLEschema.dstableSELECTbb.ipFROM(SELECTip,sum(click)click_num,round(sum(click)/sum(imp),4)user_click_rateFROMschema.srctable1WHEREdate='20171020'ANDipISNOTNULLANDimp>0GROUP
jimmyxyalj·2020-07-15 16:46

SparkSQL中的三种Join及其具体实现（broadcast join、shuffle hash join和sort merge join）

executor存储小表的全部数据，一定程度上牺牲了空间，换取shuffle操作大量的耗时，这在SparkSQL中称作BroadcastJoinBroadcastJoin的条件有以下几个：*被广播的表需要小于
wlk_328909605·2020-07-15 16:42

sql练习进阶-sparksql语法区别

表和数据/*NavicatPremiumDataTransferSourceServer:pdmSourceServerType:MySQLSourceServerVersion:50173SourceHost:192.168.1.100:3306SourceSchema:testTargetServerType:MySQLTargetServerVersion:50173FileEncoding
岁月的深沉·2020-07-15 16:33

spark SQL 参数调优

1spark.sql.codegen默认值为false，当它设置为true时，SparkSQL会把每条查询的语句在运行时编译为java的二进制代码。这有什么作用呢？
不管大小写·2020-07-15 16:53

SparkSQL

SQL(StructuredQueryLanaguage结构化查询语言)是一种特殊目的的编程语言，是一种数据库查询和程序设计语言,用于存储数据以及查询、更新和管理关系数据库系统；同时也是数据库脚本文件的扩展名。常用的SQL框架（Hive、Impala、Presto、Shark、Drill、Phoenix等等）RDD、DataFrame和DataSet之间的区别DataFrame是Spark1.3.
亿万年前的星光·2020-07-15 16:33

Spark之SparkSQL实战

DataFrames基本操作和DSLSQL风格UDF函数以及数据源：SparkSQL查询Json数据准备123{"name":"Michael"}{"name":"Andy","age":30}{"name
清风笑丶·2020-07-15 16:11

Spark SQL 查询人口数量与平均年龄实验

案例：查询某地的人口数量与平均年龄；分析:使用Spark查询人口的数量和平均年龄，首先我们使用SparkSQL方式查询，将原始数据读入，将其转化为DATAFRAME，然后是SQL方式计算：准备实验数据代码如下
weixin_34054931·2020-07-15 15:36

sparkSQL实战详解

摘要如果要想真正的掌握sparkSQL编程，首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识，然后就是对各个层级关系有一个清晰的认识后，才能真正的掌握它，
weixin_33896726·2020-07-15 15:30

SparkSQL执行时参数优化

近期接手了不少大数据表任务调度补数据的工作,补数时发现资源消耗异常的大且运行速度却不怎么给力.发现根本原因在于sparkSQL配置有诸多问题,解决后总结出来就当抛砖引玉了.具体现象内存CPU比例失调一个
weixin_30376453·2020-07-15 15:50
上一页 45 46 47 48 49 50 51 52 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他