sparkSQL

大数据带你挖掘打车的秘籍（1）

本课程将基于某市的出租车行驶轨迹数据，带你学习如何应用SparkSQL和机器学习相关技巧，并且通过数据可视化手段展现分析结果。1.1知识点SparkDataFrame操作SparkSQL的API查
oxuzhenyi·2017-02-11 13:08

Spark jdbc postgresql数据库连接和写入操作源码解读

原文链接：https://yq.aliyun.com/articles/70595概述：Sparkpostgresqljdbc数据库连接和写入操作源码解读，详细记录了SparkSQL对数据库的操作，通过
weixin_34402408·2017-02-10 09:00

Spark jdbc postgresql数据库连接和写入操作源码解读

概述：Sparkpostgresqljdbc数据库连接和写入操作源码解读，详细记录了SparkSQL对数据库的操作，通过java程序，在本地开发和运行。
dream_an·2017-02-10 09:00

NBA篮球运动员大数据分析决策支持系统

packagecom.dt.spark.sparksqlimportorg.apache.hadoop.conf.Configurationimportorg.apache.hadoop.fs.
a11a2233445566·2017-02-09 22:51

Spark SQL 与 Spark SQL on Hive 区别

SparkSQLDataSourcespark2.0.2通用的数据载入功能最简单的形式，默认的数据源格式是parquet，当然默认的格式可以通过spark.sql.sources.default进行配置
AlferWei·2017-02-05 00:30

Spark SQL 与 Spark SQL on Hive 区别

SparkSQLDataSourcespark2.0.2通用的数据载入功能最简单的形式，默认的数据源格式是parquet，当然默认的格式可以通过spark.sql.sources.default进行配置
AlferWei·2017-02-05 00:30

出租车数据分析

本课程将基于某市的出租车行驶轨迹数据，带你学习如何应用SparkSQL和机器学习相关技巧，并且通过数据可视化手段展现分析结果。1.1知识点SparkDataFrame操作SparkSQL的API查
weixin_33961829·2017-01-24 12:00

spark 读写oracle常见问题分析

基于SparkSQL读写Oracle的简单案例分析常见问题1概述本文主要内容包含SparkSQL读写Oracle表数据的简单案例，并针对案例中比较常见的几个问题给出解决方法。
a11a2233445566·2017-01-23 17:12

spark 读写oracle常见问题分析

 基于SparkSQL读写Oracle的简单案例分析常见问题1 概述本文主要内容包含SparkSQL读写 Oracle表数据的简单案例，并针对案例中比较常见的几个问题给出解决方法。
a11a2233445566·2017-01-23 17:00

Spark SQL网站搜索综合案例实战

lSparkSQLUserlogsHottest.log测试数据文件包括时间、用户id、商品、地点、设备信息10000条数据二：根据测试数据实现搜索平台上用户每天搜索排名5名的产品。
a11a2233445566·2017-01-23 17:29

spark2.1.0连接mysql

packagescala21.sparkSQLimportjava.sql.DriverManagerimportorg.apache.spark.rdd.RDDimportorg.apache.spark.sql
gerry.tan·2017-01-23 16:10

JDBC访问SparkSQL

packagedao;importjava.sql.*;/***Createdbyrooton17-1-10.*/publicclassHiveServer2Dao{/***获取链接*@return*/privatestaticConnectiongetConn(){Stringdriver="org.apache.hive.jdbc.HiveDriver";Stringurl="jdbc:hiv
程裕强·2017-01-22 10:49

Spark SQL内置函数的使用Spark SQL执行计划总结

个人感觉SparkSQL的优势在于UDF和DataFrame(RDD的封装，由于RDD是可以是任意类型，因此可以封装一个对象在RDD里面，spark2.0以后对DataSet做了优化，由于DataFrame
bigdataCoding·2017-01-18 16:33

使用spark-submit提交jar包到spark standalone集群(续)

继续上篇文章利用IntellijIdea在windows搭建spark开发环境(含打jar包过程）(一)以及Sparksql处理json日志[要求sparksql统计json日志条数存入mysql数据库
Books易·2017-01-16 21:28

spark 学习笔记

Spark学习笔记DataSource->Kafka->SparkStreaming->Parquet->SparkSQL(SparkSQL可以结合ML、GraphX等)->Parquet->其它各种DataMining
哎哟喂喽·2017-01-15 10:51

spark 学习笔记

Spark学习笔记DataSource->Kafka->SparkStreaming->Parquet->SparkSQL(SparkSQL可以结合ML、GraphX等)->Parquet->其它各种DataMining
哎哟喂喽·2017-01-15 10:51

《Spark商业案例与性能调优实战100课》第6课：商业案例之通过Spark SQL实现大数据电影用户行为分析

《Spark商业案例与性能调优实战100课》第6课：商业案例之通过SparkSQL实现大数据电影用户行为分析packagecom.dt.spark.sparksqlimportorg.apache.spark.sql
段智华·2017-01-11 23:51

Hive文件存储格式 :Parquet sparksql ,impala的杀手锏

hive表的源文件存储格式有几类：1、TEXTFILE默认格式，建表时不指定默认为这个格式，存储方式：行存储导入数据时会直接把数据文件拷贝到hdfs上不进行处理。源文件可以直接通过hadoopfs-cat查看磁盘开销大数据解析开销大,压缩的text文件hive无法进行合并和拆分2、SEQUENCEFILE一种HadoopAPI提供的二进制文件，使用方便、可分割、可压缩等特点。SEQUENCEFIL
mtj66·2017-01-01 22:40

Spark(四): Spark-sql 读hbase

SparkSQL是指整合了Hive的spark-sqlcli,本质上就是通过Hive访问HBase表，具体就是通过hive-hbase-handler,具体配置参见：Hive(五):hive与hbase
SunWuKong_Hadoop·2016-12-30 10:35

spark学习视频

3npwSpark编程模型http://pan.baidu.com/s/1o6Htm3o提取码：jc64Spark运行架构http://pan.baidu.com/s/1pJC72ob提取码：edgbSparkSQL
孙张宾·2016-12-29 18:05

spark 将dataframe数据写入Hive分区表

从spark1.2到spark1.3，sparkSQL中的SchemaRDD变为了DataFrame，DataFrame相对于SchemaRDD有了较大改变，同时提供了更多好用且方便的API。
明星it·2016-12-29 15:02

spark sql

importorg.apache.spark.sql.SparkSessionvalspark=SparkSession.builder().appName("SparkSQLbasicexample"
fuck_prometheus·2016-12-28 14:00

SparkSQL schema创建DataFrame

SparkSQLschema创建DataFra
Mrgray·2016-12-27 10:38

Spark-SQL和Hive on Spark, SqlContext和HiveContext

HiveonSpark和SparkSQL是不同的东西HiveonSpark:是除了DataBricks之外的其他几个公司搞的，想让Hive跑在Spark上;SparkSQL:Shark的后继产品,解除了不少
美伊小公主的奶爸·2016-12-22 15:53

SparkSQL中的Sort实现（一）

引言Sort操作也是SQL中常用的操作，一般来说，Sort操作在SQL语句中有两种体现，即Sortby和Orderby。这两种的区别是前者是针对分区内排序，而后者是对全表进行一个排序。那有的人问了，全表排序可以理解，那分区排序针对于什么场景呢？通常是在SQL语句中搭配distributedby一起使用，先将表按照某些字段进行分区，然后在分区内进行排序，能够很好的看清分区内的数据分布。Sortby和
狗叔·2016-12-18 18:37

sparksql各种数据源

sparksql各种数据源的测试：大致的有json文件parquet文件，和常用的文件，jdbc等还有hbase的数据源（还没有贴出，可能要等几天贴出来了）代码：一般过程：第一步创建：利用SparkSeesion
小牛学堂2019·2016-12-15 22:18

22基于Scala的产品开发实践

基于目前的应用场景，主要使用了SparkSQL，目前使用的版本为Spark1
葡萄喃喃呓语·2016-12-13 10:28

SparkSQL的3种Join实现

SparkSQL作为大数据领域的SQL实现，自然也对Join操作做了不少优化，今天主要看一下在SparkSQL中对于Join，常见的3种实现。
狗叔·2016-12-12 23:16

Spark SQL 函数操作

Spark内置函数使用SparkSQL中的内置函数对数据进行分析，SparkSQLAPI不同的是，DataFrame中的内置函数操作的结果是返回一个Column对象，而DataFrame天生就是”Adistributedcollectionofdataorganizedintonamedcolumns
张章章Sam·2016-12-11 13:50

Spark SQL Hive数据源复杂综合案例实战

SparkSQLHive数据源复杂综合案例实战（读写各种分区表）Hive数据源来源SparkSQL除了支持SQLContext之外，还支持HIVESQL语法，利用HIVEContext来创建，HiveContext
张章章Sam·2016-12-10 23:52

spark sql on hive笔记一

阅读更多SparksqlonHive非常方便，通过共享读取hive的元数据，我们可以直接使用sparksql访问hive的库和表，做更快的OLAP的分析。
qindongliang1922·2016-12-09 20:00

Spark SQL通过JDBC连接MySQL读写数据

SparkSQL通过JDBC连接MySQL读写数据来源:传智播客云计算学科转自：http://heb.itcast.cn/news/20151229/16012088060.shtml?
hjw199089·2016-12-08 18:27

记一次Hive元数据管理问题的处理过程

工作中需要在hive中存储数据，sparksql操作数据。
mkflyfly·2016-12-02 16:04

Spark 基础

Spark核心引擎的特点——速度快、通用大一统的软件栈，其组件——SparkCore、SparkSQL(结构化数据)、SparkStreaming（实时计算）、MLib（机器学习）、GraphX（图计算
九七学姐·2016-11-29 09:19

Spark2.0.1 on yarn with hue 集群安装部署（六）hue+hive+sparksql

hue+hive+sparksql1、配置huecd/bigdata/hue/desktop/confvim/hue.ini配置hive与hue整合，找到[beeswax]修改内容如下：[beeswax
荷籽花结·2016-11-28 22:41

Kylin 与 Spark SQL相比，有哪些差异和优势

SparkSQL本质上是基于DAG模型的MPP。而Kylin核心是Cube(多维立方体)。关于MPP和Cube预处理的差异，重复如下：>MPP[1]的基本思路是增加机器来并行计算，从而提高查询速度。
排骨瘦肉丁·2016-11-25 17:57

Pyspark官方文档

原文链接问——[Apachepyspark]pyspark.sqlmodule导入SparkSQL和DataFrames包：-pyspark.sql.SparkSession-pyspark.sql.DataFrame-pyspark.sql.Column-pyspark.sql.Row-pyspark.sql.DataFra
小锄头·2016-11-25 11:55

SparkSQL内置函数

使用SparkSQL中的内置函数对数据进行分析，SparkSQLAPI不同的是，DataFrame中的内置函数操作的结果是返回一个Column对象，而DataFrame天生就是"Adistributedcollectionofdataorganizedintonamedcolumns
heavylgf·2016-11-23 13:32

SparkSQL：Spark整合Hive

1.安装HiveHive的安装，可以参看Hadoop-Hive快速入门，这里不再重述2.拷贝Hive的配置文件拷贝$HIVE_HOME/conf/hive-site.xml文件到$SPARK_HOME/conf下3.测试Hive本地数据测试文件people.txt1user011234562user021234563user031234564user04123456测试过程：新建一个内部表，导入本
PJ-Javis·2016-11-19 18:19

Kafka + SparkStreaming + SparkSQL + MYSQL(DBCP)

本文主要讲解如何组合Kafka+SparkStreaming+MYSQL(DBCP)。1、Kafka在Flume+Kafka+SparkStreaming中已经给出如何将Kafka与SparkStreaming集成2、使用DBCP维护connectionPool，对于内含思想请看ConnectionPool这篇博文，DBCP代码如下：publicclassDBManager{privatestat
无名氏0428·2016-11-16 19:59

spark-sql读取hive

Spark-1.3.1与Hive整合实现查询分析操作步骤1.我们可以通过指定SPARK_CLASSPATH变量，将需要访问Hive的元数据存储MySQL的驱动包加入进去，然后直接启动SparkSQLShell
csdncjh·2016-11-16 15:31

java自定义hive sparksql thriftServer连接池

由于公司需要做hive和sparksql查询功能，且都通过thriftserver进行查询，那么如何有效的创建链接并缓存链接就是比较关键的步骤了。
一头大菜鸟·2016-11-15 17:28

window+sparksql+hive+debug sparksql本地环境搭建

步骤11deom代码2安装配置jdk1.83安装配置scala2.11.184导入pom.xml中依赖jar：注意scala版本要和spark依赖的保持一致5下载Hadoop的bin包,设定环境变量HADOOP_HOME，值为解压后的目录6下载winutils.exe将其放到$HADOOP_HOME/bin/目录下7配置本地host:要想知道host的地址，可以pingmysql.csdn.net
csdnfq·2016-11-11 10:24

Spark笔试题

A.SparkStreamingBMlibCGraphxDSparkR2.下面哪个端口不是spark自带服务的端口(C)A.8080B.4040C.8090D.180803.spark1.4版本的最大变化(B)AsparksqlRelease
燃烧的岁月_·2016-11-09 06:16

Spark SQL DataFrame和DataSet

一、SparkSql历史大数据主要包括三类操作：1、长时间运行的批量数据处理。2、交互式运行的数据查询。3、实时数据流处理。
明翼·2016-11-04 12:22

Spark SQL数据加载和保存实例讲解

一、前置知识详解SparkSQL重要是操作DataFrame，DataFrame本身提供了save和load的操作，Load：可以创建DataFrame，Save：把DataFrame中的数据保存到文件或者说与具体的格式来指明我们要读取的文件的类型以及与具体的格式来指出我们要输出的文件是什么类型
snail_gesture·2016-11-02 16:51

大数据Spark “蘑菇云”行动补充内容第70课： Spark SQL代码实战和性能调优 4个spark sql调优技巧有用！！！！

大数据Spark“蘑菇云”行动补充内容第70课：SparkSQL代码实战和性能调优dataframe:Row是没有类型的，因为Row中的所有成员都被看着Object类型！！！
段智华·2016-10-31 21:21

大数据Spark “蘑菇云”行动补充内容第69课： Spark SQL案例之分析电影评分系统.

大数据Spark“蘑菇云”行动补充内容第69课：SparkSQL案例之分析电影评分系统.昨天的作业dataframe的算子实现：importorg.apache.spark.sql.types.
段智华·2016-10-29 20:22

百度分布式交互查询平台——PINGO架构迭代

为了更好的支持交互式任务，我们在大约一年前设计了基于SparkSQL与Tachyon的PINGO的雏形。在过去一年中，通过跟不同业务的结
www19·2016-10-26 11:53

Spark SQL Thrift Server 配置 Kerberos身份认证和权限管理

转载请注明出处：http://www.cnblogs.com/xiaodf/之前的博客介绍了通过Kerberos+Sentry的方式实现了hiveserver2的身份认证和权限管理功能，本文主要介绍SparkSQLJDBC
XIAO的博客·2016-10-25 18:00
上一页 77 78 79 80 81 82 83 84 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他