sparkSQL

第56课：Spark SQL和DataFrame的本质

一、SparkSQL与DataframeSparkSQL之所以是除Sparkcore以外最大和最受关注的组件的原因：a）能处理一切存储介质和各种格式的数据（你同时可以方便的扩展SparkSQL的功能来支持更多的数据类型
lqding1980·2016-03-14 22:17

第53课：Hive 第一课：Hive的价值、Hive的架构设计简介

而SparkSQL是一个更加出色和高级的查询引擎，并不提供存储功能。所以SparkSQL无法取代Hive，在现在企业级应用中SparkSQL+Hive成为了业界使用的大
lqding1980·2016-03-14 14:10

第53课：Hive 第一课：Hive的价值、Hive的架构设计简介

而SparkSQL是一个更加出色和高级的查询引擎，并不提供存储功能。所以SparkSQL无法取代Hive，在现在企业级应用中SparkSQL+Hive成为了业界使用的大
lqding1980·2016-03-14 14:10

day60:sparkSql

以下内容来源于DT大数据梦工厂：一：SparkSQL与DataFrame1、sparksql之所以是除了sparkcore以外最大的和最受关注的组件，原因是：a)处理一切存储介质和各种格式的数据（同时可以方便的扩展
·2016-03-12 21:00

Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象
openthings·2016-03-11 16:00

基于Spark DataFrame的图数据库GraphFrame：用Spark SQL查询Graph

GraphFrame发布GraphFrame基于SparkSQL的DataFrame，继承了DataFrame扩展性和高性能。并且可以提供支持Scala、Java和Python等语言的统一API。
侠天·2016-03-10 00:00

踩坑事件：不能对基于文本的临时表使用sql insert语句

问题答案参见：http://apache-spark-user-list.1001560.n3.nabble.com/How-to-direct-insert-vaules-into-SparkSQL-tables-td118
王宝生·2016-03-09 17:00

踩坑事件：windows操作系统下的eclipse中编写SparkSQL不能从本地读取或者保存parquet文件

这个大坑.......如题，在Windows的eclipse中编写SparkSQL代码时，编写如下代码时，一运行就抛出一堆空指针异常：//首先还是创建SparkConf SparkConfconf=newSparkConf
王宝生·2016-03-09 16:00

Spark生态顶级项目汇总

SparkSQL：可以执行SQL查询，包括基本的SQL语法和Hiv
css1111·2016-03-07 23:00

Spark生态顶级项目汇总

SparkSQL：可以执行SQL查询，包括基本的SQL语法和Hi
侠天·2016-03-07 00:00

用Apache Spark进行大数据处理——第三部分：Spark流

介绍在“用ApacheSpark进行大数据处理”系列的前两篇文章中，我们看到了ApacheSpark框架是什么(第一部分)还有如何使用SparkSQL库访问数据的SQL接口(第二部分)。
Srini Penchikala·2016-03-03 00:00

Spark SQL在Hive中的使用

SparkSQL主要目的是使得用户可以在Spark上使用SQL，其数据源既可以是RDD，也可以是外部的数据源（比如Parquet、Hive、Json等）。
Wei-L·2016-03-02 16:04

Spark SQL在Hive中的使用

SparkSQL的其中一个分支就是Sparkon Hive，也就是使用Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑，可以近似认为仅将物理执行计划从MR作业替换成了Spark作业。
LW_GHY·2016-03-02 16:00

第53课：Hive第一课

一：Hive的历史价值1， Hive是Hadoop上的KillerApplication，Hive是Hadoop上的数据仓库，Hive同时兼具有数据仓库中的存储引擎和查询引擎的作用；而SparkSQL是一个更加出色和高级的查询引擎
snail_gesture·2016-03-01 10:00

Spark SQL Example

SparkSQLExampleThisexampledemonstrateshowtouse sqlContext.sql tocreateandloadatableandselectrowsfromthetableintoaDataFrame.ThenextstepsusetheDataFrameAPItofiltertherowsforsalariesgreaterthan150,000a
ggz631047367·2016-02-27 10:00

Spark SQL: Error in query: undefined function错误的解决方法

问题描述如果你在SparkSQL上试图调用在HIVE注册的自定义函数（UDF）时，你可能会遇到这样的错误：SparkSQL:Errorinquery:undefinedfunctionxxxxxx这个问题发生在
bluishglc·2016-02-26 13:00

Spark SQL系列------1. Spark SQL 物理计划的Shuffle实现

  SparkSQL物理计划要到Spark-core执行，需要将SparkSQL物理计划转化成RDD，并且建立RDD之间的依赖关系。
u012684933·2016-02-25 14:00

GIS+=地理信息+行业+大数据——Spark集群下SPARK SQL开发测试介绍

Spark集群下SPARKSQL开发介绍前言在之前的文章《SPARKforIntelliJIDEA开发环境部署》中已经完成了对开发环境的搭建工作，下面就可以开发程序了。
chinagissoft·2016-02-24 22:01

Spark集群下SPARK SQL开发测试介绍

Spark集群下SPARKSQL开发介绍前言   在之前的文章《SPARKforIntelliJIDEA开发环境部署》中已经完成了对开发环境的搭建工作，下面就可以开发程序了。
chinagissoft·2016-02-24 22:00

Blog List

BlogListSparkSpark快速入门-Spark1.6.0SparkSQL官方文档-中文翻译SparkSQL之MigrationGuideSparkSQL之PerformanceTuning&DistributedSQLEngineSparkSQL
BYRans·2016-02-19 09:00

Blog List

BlogListSparkSpark快速入门-Spark1.6.0SparkSQL官方文档-中文翻译SparkSQL之MigrationGuideSparkSQL之PerformanceTuning&DistributedSQLEngineSparkSQL
BYRans·2016-02-19 09:00

下载Spark从入门到精通（Scala编程、案例实战、高级特性、Spark内核源码剖析、Hadoop高端）

课程会涵盖Scala编程详解、Spark核心编程、SparkSQL和SparkStreaming、S
搏击人生·2016-02-15 14:00

spark sql学习入门

              sparkSQL的DataFrame的操作以及和RDD的转换相关概念：      spark的核心是RDD，它是弹性分布式数据集，对应着一系列的操作。
liyaohhh·2016-02-15 12:00

[译]大数据分析平台搭建教程：基于Apache Zeppelin Notebook和R的交互式数据科学

方便你做出可数据驱动的、可交互且可协作的精美文档，并且支持多种语言，包括Scala(使用ApacheSpark)、Python(ApacheSpark)、SparkSQL、Hive、Markdown、Shell
HarryZhu·2016-02-12 00:00

深入了解spark运行计划及调优

5.SparkSQL如何调优？1.1运行环境说明1.1.1硬软件环境l主机操作系统：Windows64位，双核4线程，主频2.2G，10G内存l虚拟软件：VMware®Workstation9
javastart·2016-02-07 16:20

Spark实战-Spark SQL（一）

Spark修炼之道（进阶篇）——Spark入门到精通：第十节SparkSQL案例实战（一）http://blog.csdn.net/lovehuangjiaju/article/details/50639287
·2016-02-06 18:00

Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark SQL案例实战（一）

作者：周志湖放假了，终于能抽出时间更新博客了…….1.获取数据本文通过将github上的Spark项目git日志作为数据，对SparkSQL的内容进行详细介绍数据获取命令如下：[root@masterspark
zhouzhihubeyond·2016-02-05 23:32

Spark修炼之道（进阶篇）——Spark入门到精通：第十节 Spark SQL案例实战（一）

作者：周志湖放假了，终于能抽出时间更新博客了…….1.获取数据本文通过将github上的Spark项目git日志作为数据，对SparkSQL的内容进行详细介绍数据获取命令如下：[root@masterspark
lovehuangjiaju·2016-02-05 23:00

Spark运行原理和RDD解析(DT大数据梦工厂)

也能计算内存放不下的数据实际如果数据大于内存，则要考虑数据放置策略和优化算法，因为Spark初衷是一寨式处理小到5~10台的分布式大到8000台的规模，Spark都能运行大数据计算问题：交互式查询（基于shell、sparkSQL
feiweihy·2016-02-03 13:25

2.Spark之简介SQL

SparkSQL是Spark用来处理结构化数据的模块。下面介绍SparkSQL的几个特点。集成：允许在Spark程序中无缝混入SQL或者类DataFrameAPI，来查询结构化的数据。
鞋底留个洞·2016-01-27 10:00

Spark入门实战系列--1.Spark及其生态圈简介

Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了SparkSQL
莫问viva·2016-01-27 09:00

SparkSql 不支持Date Format （支持Timestamp）

最近项目中需要用到sparksql，需要查询sqlDate类型，无奈，官方现阶段1.6.0还不支持Date类型，不过支持Timestamp类型，所以问题可以解决了。
农民阿姨·2016-01-25 22:00

SparkSql 不支持Date Format （支持Timestamp）

最近项目中需要用到sparksql，需要查询sqlDate类型，无奈，官方现阶段1.6.0还不支持Date类型，不过支持Timestamp类型，所以问题可以解决了。
农民阿姨·2016-01-25 22:00

Spark 1.6 SparkSQL实践

数据源CDN日志。每行日志数据格式：序号名称说明1客户端IP 2预留字段 3预留字段 4请求时间格式为：[dd/MMM/yyyy:HH:mm:ss Z]5请求url格式为：”GET url HTTP/1.1”6Http状态码 7下载资源大小单位：B（字节）8请求响应时间单位：S（秒）9http HOST 10referer 11UA格式：-“UA”12http_x_forwarded_for 13
莫问viva·2016-01-25 22:00

获取表头信息

sparksql中获取表头信息方法一:可以使用 describe table; 方法二:先 SET hive.cli.print.header=true; 然后select*fromtablelimit0
超大的雪童子·2016-01-25 13:00

第001讲-Spark内核解密：Spark五大功能组件

一、SparkSQL SQLCoreSparkSQL的核心是把已有的RDD，带上Schema信息，然后注册成类似sql里的”Table”，对其进行sql查询。
zisheng_wang_DATA·2016-01-21 20:00

Hive on Spark解析

相较于其他诸如Impala、Shark（SparkSQL的前身）等引擎而言，Hive拥有更为广泛的用户基础以及对SQL语法更全面的支持。
jiangshouzhuang·2016-01-20 21:00

常见创建RDD的方法

课程会涵盖Scala编程详解、Spark核心编程、SparkSQL和SparkStreaming、SparkGraphX、SparkR、MachineLearning、Spark内核以及源码剖析、性能调优
kxr0502·2016-01-20 08:20

倾情大奉送--Spark入门实战系列

这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、SparkStreaming、SparkMLib和SparkGraphX
coco_ethan·2016-01-17 22:36

Spark1.6 DataSets简介

通过引入SparkSQL，让开发者可以使用这些高级API接口来从事结构化数据的工作（例如数据库表，JSON文件)，并提供面向对象使用RDD的API，开发只需要调用相关的方法便可使用spark来进行数据的存储与计算
超大的雪童子·2016-01-11 21:00

Spark1.6新特性简介及个人的理解

新的Spark1.6版本发布了，之前使用Spark1.4版本的SparkSQL，这次发布后主要关注了1.6版本的SparkSQL特性参阅了官方的ReleaseNote和jiraissuedetail以及之前在使用
zhao_rock·2016-01-11 10:00

Spark概述

1.Spark定义构建与计算集群之上支持大数据集的快速的通用的处理引擎a)快速：DAG、Memoryb)通用：集成SparkSQL、Streaming、Graphic、R、BatchProcessc)运行方式
ilinux_one·2016-01-10 10:00

sparksql语法，读json

sparksql语法，读json--样本[hadoop@node1resources]$pwd/home/hadoop/spark-1.5.2-bin-hadoop2.6/examples/src/main
gdmzlhj1·2016-01-08 15:56

Spark分析窗口函数

在离线平台中，90%以上的离线分析任务都是使用Hive实现，其中必然会使用很多窗口分析函数，如果SparkSQL支持窗口分析函数，那么对于后面Hive向SparkSQL中的迁移的工作量会大大降低，使用方式如下
kwu_ganymede·2016-01-04 17:00

Spark 综合应用

本节模拟几个综合应用场景SQLOnSpark:使用sqlContext查询年纪大于等于10岁的人名HiveOnSpark:使用了hiveContext计算每年销售额店铺分类,根据销售额对店铺分类,使用sparkSQL
u012432611·2016-01-04 11:00

spark streaming -- （视频笔记）

batch计算实时流计算sparkstreaming交互式查询sparksql，impala，tez-------------------------------------
逸新·2016-01-02 22:00

Spark简介

Spark在2013年6月进入Apache成为孵化项目，8个月后成为Apache顶级项目，速度之快足见过人之处，Spark以其先进的设计理念，迅速成为社区的热门项目，围绕着Spark推出了SparkSQL
weitao1026·2016-01-02 00:00

SparkSQL On Yarn with Hive，操作和访问Hive表

转载自：http://lxw1234.com/archives/2015/08/466.htm本文将介绍以yarn-cluster模式运行SparkSQL应用程序，访问和操作Hive中的表，这个和在Yarn
ggzone·2016-01-01 21:17

SparkSQL On Yarn with Hive，操作和访问Hive表

转载自：http://lxw1234.com/archives/2015/08/466.htm本文将介绍以yarn-cluster模式运行SparkSQL应用程序，访问和操作Hive中的表，这个和在Yarn
ggz631047367·2016-01-01 21:00

Models and Algorithms behind Spark SQL

FollowingaresomeexcerptsfromthepaperSparkSQL:RelationalDataProcessinginSparkbyMichaelArmbrustetal..Thoseexcerptssummarizethemainideaofthepaper.Papername
CallingWisdom·2015-12-31 20:00
上一页 82 83 84 85 86 87 88 89 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他