sparkSQL

14.RDD深度解析

阅读更多开篇：spark各种库，sparksql，sparkmachicelearning，等这么多库底层都是封装的RDD。
zhou_yuefei·2016-04-22 20:00

14.RDD深度解析

开篇：spark各种库，sparksql，sparkmachicelearning，等这么多库底层都是封装的RDD。
zhou_yuefei·2016-04-22 20:00

14.RDD深度解析

阅读更多开篇：spark各种库，sparksql，sparkmachicelearning，等这么多库底层都是封装的RDD。
zhou_yuefei·2016-04-22 20:00

Spark SQL窗口函数

阅读更多窗口函数又叫着窗口分析函数，Spark1.4版本SparkSQL支持窗口分析函数，主要用于分组函数；理解窗口函数，可以参考blog去了理解：http://www.cnblogs.com/CareySon
Kevin12·2016-04-22 07:00

Spark SQL窗口函数

窗口函数又叫着窗口分析函数，Spark1.4版本SparkSQL支持窗口分析函数，主要用于分组函数；理解窗口函数，可以参考blog去了理解：http://www.cnblogs.com/CareySon
Kevin12·2016-04-22 07:00

Spark SQL内置函数应用

阅读更多简单说明使用SparkSQL中的内置函数对数据进行分析，SparkSQLAPI不同的是，DataFrame中的内置函数操作的结果返回一个Column对象，而DataFrame天生就是“Adistributedcollectionofdataorganizedintonamedcolumns
Kevin12·2016-04-22 07:00

Spark SQL内置函数应用

阅读更多简单说明使用SparkSQL中的内置函数对数据进行分析，SparkSQLAPI不同的是，DataFrame中的内置函数操作的结果返回一个Column对象，而DataFrame天生就是“Adistributedcollectionofdataorganizedintonamedcolumns
Kevin12·2016-04-22 07:00

Spark SQL内置函数应用

简单说明   使用SparkSQL中的内置函数对数据进行分析，SparkSQLAPI不同的是，DataFrame中的内置函数操作的结果返回一个Column对象，而DataFrame天生就是“Adistributedcollectionofdataorganizedintonamedcolumns
Kevin12·2016-04-22 07:00

Spark Shuffle FetchFailedException解决方案

报错提示SparkSQLshuffle操作带来的报错org.apache.spark.shuffle.MetadataFetchFailedException:Missinganoutputlocationforshuffle0org.apache.spark.shuffle.FetchFailedException
breeze_lsw·2016-04-21 22:30

1.spark概述

它提供了大量的计算工具，比如SparkSql可以支持S
u013676711·2016-04-20 23:00

Zeppelin 安装部署实验

一、实验目的1.使用Zeppelin运行SparkSQL访问Hive表2.动态表单SQL二、实验环境：12个节点的Spark集群，以standalone方式部署，各个节点运行的进程如表1所示。
wzy0623·2016-04-20 16:00

Spark为什么快？

SparkSQL比HadoopHive快，是有一定条件的，而且不是SparkSQL的引擎比Hive的引擎快，相反，Hive的HQL引擎还比SparkSQL的引擎更快。
lmalds李麦迪·2016-04-19 14:36

第61课：Spark SQL数据加载和保存内幕深度解密实战

一：前置知识详解：SparkSQL重要是操作DataFrame，DataFrame本身提供了save和load的操作，Load：可以创建DataFrame，Save：把DataFrame中的数据保存到文件或者说与具体的格式来指明我们要读取的文件的类型以及与具体的格式来指出我们要输出的文件是什么类型
snail_gesture·2016-04-18 12:00

10w分区表,hive能跑,sparksql运行也完全能跑起来

使用SparkSql操作10w+分区表及SparkSQL性能优化总结/***王家林老师授课http://weibo.com/ilovepains*/ 每天晚上20：00YY频道现场授课频道68917580
duan_zhihua·2016-04-16 21:00

Spark组件之SparkSQL学习1之问题报错No TypeTag available for Person

/** *@authorxubo *spark1.5.2 * *reference:http://spark.apache.org/docs/1.5.2/sql-programming-guide.html */更多代码请见：https://github.com/xubo245/SparkLearning运行InferringtheSchemaUsingReflection时报错：代码：//sci
bob601450868·2016-04-14 17:00

Spark入门学习交流—Spark生态圈

Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了SparkSQL
jim_cainiaoxiaolang·2016-04-14 10:14

Spark SQL操作Hive数据库

本次例子通过scala编程实现SparkSQL操作Hive数据库！
jinyonglu168·2016-04-13 22:39

Spark SQL操作Hive数据库

阅读更多本次例子通过scala编程实现SparkSQL操作Hive数据库！
Kevin12·2016-04-13 22:00

Spark SQL操作Hive数据库

本次例子通过scala编程实现SparkSQL操作Hive数据库！
Kevin12·2016-04-13 22:00

10w分区表,hive能跑,sparksql运行也完全能跑起来

1,问题来源:对于有几个万分区的分区表，sparksql一跑就挂，但hive不会，请问怎么处理执行sql:ga10.coin_gain_lost是一个有几万个分区的分区表date字段是一级分区Causedby
段智华·2016-04-10 19:59

10w分区表,hive能跑,sparksql运行也完全能跑起来

 1,问题来源:对于有几个万分区的分区表，sparksql一跑就挂，但hive不会，请问怎么处理执行sql:ga10.coin_gain_lost是一个有几万个分区的分区表date字段是一级分区Causedby
duan_zhihua·2016-04-10 19:00

第69课：SparkSQL通过Hive数据源实战学习笔记

第69课：SparkSQL通过Hive数据源实战学习笔记本期内容：1SparkSQL操作Hive解析2SparkSQL操作Hive实战数据源：home/richard/slq/spark/people.txt
梦飞天·2016-04-10 00:19

配置Tableau Desktop连接SparkSQL

配置TableauDesktop连接SparkSQL1.前期准备a、在window上安装TableauDesktop(window的版本必须是win7或以上)，同时上官网去下载Tableau的SparkSQL
David-123·2016-04-08 18:26

第76课：Spark SQL基于网站Log的综合案例实战之Hive数据导入、Spark SQL对数据操作每天晚上20：00YY频道现场授课频道68917580

/***王家林老师授课http://weibo.com/ilovepains*/ 每天晚上20：00YY频道现场授课频道68917580 第76课：SparkSQL基于网站Log的综合案例实战之Hive
duan_zhihua·2016-04-07 21:00

Spark RDD揭秘

Spark计算中提供的各种库例如：sparksql，sparkmachinelearning等的底层都是封装的RDD     RDD本身提供了通用的抽象，在现有的sparksql,sparkstreaming
cary_1991·2016-04-07 09:00

一个SparkSQL作业的一生

而SparkSQL则是Spark之上搭建的SQL解决方案，主打交互查询场景。
bluejoe2000·2016-04-06 20:00

第73课内幕资料详细版 Spark SQL Thrift Server 实战 每天晚上20：00YY频道现场授课频道68917580

第73课SparkSQLThriftServer实战/***王家林老师授课http://weibo.com/ilovepains*/ 每天晚上20：00YY频道现场授课频道689175801.启动hadooproot
duan_zhihua·2016-04-04 20:00

Spark Python 快速体验

Spark技术栈如上图所示，Spark的技术栈包括了这些模块：核心模块：SparkCore集群管理 StandaloneSchedulerYARNMesosSparkSQLSpark流StreamingSpark
naughty·2016-04-04 14:00

spark sql读hbase

项目背景sparksql读hbase据说官网现在在写，但还没稳定，所以我基于hbase-rdd这个项目进行了一个封装，其中会区分是否为2进制，如果是就在配置文件中指定为#b,如long#b,还有用了个公司封装的
cjuexuan·2016-04-01 17:57

spark sql读hbase

项目背景sparksql读hbase据说官网现在在写，但还没稳定，所以我基于hbase-rdd这个项目进行了一个封装，其中会区分是否为2进制，如果是就在配置文件中指定为#b,如long#b,还有用了个公司封装的
cjuexuan·2016-04-01 17:00

[置顶] Spark-Sql版本升级对应的新特性汇总

Spark-Sql版本升级对应的新特性汇总SparkSQL的前身是Shark。由于Shark自身的不完善，2014年6月1日ReynoldXin宣布：停止对Shark的开发。
kwu_ganymede·2016-04-01 17:00

搭建sparksql的hive测试环境

sbt依赖name:="Pi" version:="1.0" scalaVersion:="2.10.6" libraryDependencies++=Seq( "org.apache.spark"%%"spark-core"%"1.5.2", "org.apache.spark"%"spark-hive_2.10"%"1.5.2", "joda-time"%"joda-time"%"2.9.
ggz631047367·2016-03-31 15:00

大数据工程师技能图谱

Storm/JStorm2、SparkStreaming3、Flink三、分布式存储1、HDFS四、资源调度1、Yarn2、Mesos五、数据分析/数据仓库(SQL类)1、Pig2、Hive3、kylin4、SparkSQL5
tterminator·2016-03-31 13:00

用beeline连接SparkSQL

1.在$SPARK_HOME/conf/hive-site.xml文件中添加下面的属性vi$SPARK_HOME/conf/hive-site.xml       hive.metastore.uris    thrift://master:9083    ThriftURIfortheremotemetastore.Usedbymetastoreclienttoconnecttoremoteme
wzy0623·2016-03-28 16:00

Hive On Spark和SparkSQL

SparkSQL和HiveOnSpark都是在Spark上实现SQL的解决方案。Spark早先有Shark项目用来实现SQL层，不过后来推翻重做了，就变成了SparkSQL。
凌度·2016-03-27 11:00

Spark SQL on hive配置和实战

sparksql官网：http://spark.apache.org/docs/latest/sql-programming-guide.html#starting-point-sqlcontext首先要配置好
Kevin12·2016-03-26 18:00

Spark SQL on hive配置和实战

阅读更多sparksql官网：http://spark.apache.org/docs/latest/sql-programming-guide.html#starting-point-sqlcontext
Kevin12·2016-03-26 18:00

HIVE和SPARKSQL计算引擎在TEXT导入PARQUET格式的HIVE存储引擎分片数量机制

表的hive导入：createtableXXXXXXX201512(N多字段构成)STOREDASPARQUETFILE;insertintoXXXXXXX201512select*fromXXXXXXX20151231;以上的insert，3000万的数据，一般是6、7分钟的样子，，一个表到总表产生的分片数是40多个，之后查询一张表大概1秒左右别用Spark-SQL进行以上的插入过程，原因如下：
feiweihy·2016-03-25 15:33

大数据技能图谱

403428818&idx=1&sn=08a505f0204ea2edfb49925903a04a0a#rd下面是StuQ发布的大数据技能图谱，比较实用，供参考大数据处理框架Spark   -RDD   -SparkSQL
darrenzhu·2016-03-24 19:50

大数据技能图谱

mid=403428818&idx=1&sn=08a505f0204ea2edfb49925903a04a0a#rd下面是StuQ发布的大数据技能图谱，比较实用，供参考大数据处理框架Spark-RDD-SparkSQL-SparkStreaming-MLLibHadoop-HDFS
darrenzhu·2016-03-24 13:00

大数据技能图谱

mid=403428818&idx=1&sn=08a505f0204ea2edfb49925903a04a0a#rd下面是StuQ发布的大数据技能图谱，比较实用，供参考大数据处理框架Spark-RDD-SparkSQL-SparkStreaming-MLLibHadoop-HDFS
darrenzhu·2016-03-24 13:00

Spark生态系统项目

2、SparkSQL：可以执行SQL查询，包括基本的SQL语法和HiveQL语法。读取的
Wei-L·2016-03-20 21:52

Spark生态系统项目

2、SparkSQL：可以执行SQL查询，包括基本的SQL语法和HiveQL语法
LW_GHY·2016-03-20 21:00

第57课 spark sql on hive实战

/***王家林老师授课 http://weibo.com/ilovepains */  第57课sparksqlonhive实战1、配置/usr/local/spark-1.6.0-bin-hadoop2.6
duan_zhihua·2016-03-20 09:00

SparkSQL读HBase的数据

引入依赖1、如果你使用的是spark-shell，可以如下操作：>$SPARK_HOME/bin/spark-shell--packagesHuawei-Spark:Spark-SQL-on-HBase:1.0.02、如果你使用SBT的话，在你们build.sbt文件加入一下依赖：spDependencies+="Huawei-Spark/Spark-SQL-on-HBase:1.0.0"3、如果
LW_GHY·2016-03-18 22:00

SparkSQL读HBase的数据

引入依赖1、如果你使用的是spark-shell，可以如下操作：>$SPARK_HOME/bin/spark-shell--packagesHuawei-Spark:Spark-SQL-on-HBase:1.0.02、如果你使用SBT的话，在你们build.sbt文件加入一下依赖：spDependencies+="Huawei-Spark/Spark-SQL-on-HBase:1.0.0"3、如果
Wei-L·2016-03-18 22:00

Kafka+Spark Streaming+Redis实时系统实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象
LW_GHY·2016-03-18 21:00

第61课：Spark SQL数据加载和保存内幕深度解密实战

/***王家林老师授课http://weibo.com/ilovepains*/  第61课：SparkSQL数据加载和保存内幕深度解密实战源文件people.json{"name":"Michael"
duan_zhihua·2016-03-17 21:00

大数据技能图谱

大数据处理框架Spark  -RDD  -SparkSQL  -SparkStreaming  -MLLibHadoop  -HDFS(分布式文件系统)  -Mapreduce（计算框架）  -Yarn
rathan0·2016-03-17 14:00

第56课：Spark SQL和DataFrame的本质

一、SparkSQL与DataframeSparkSQL之所以是除Sparkcore以外最大和最受关注的组件的原因：a）能处理一切存储介质和各种格式的数据（你同时可以方便的扩展SparkSQL的功能来支持更多的数据类型
lqding1980·2016-03-14 22:17
上一页 81 82 83 84 85 86 87 88 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他