sparkSQL

用Apache Spark进行大数据处理——第二部分：Spark SQL

SparkSQL，作为ApacheSpark大数据框架的一部分，主要用于结构化数据处理和对Spark数据执行类SQL的查询。
Srini Penchikala·2015-06-12 00:00

用Apache Spark进行大数据处理——第二部分：Spark SQL

SparkSQL，作为ApacheSpark大数据框架的一部分，主要用于结构化数据处理和对Spark数据执行类SQL的查询。
Srini Penchikala·2015-06-12 00:00

SparkSQL基础应用(1.3.1)

一.概述从1.3版本开始SparkSQL不再是测试版本，之前使用的SchemaRDD重命名为DataFrame,统一了Java和ScalaAPI。
lsshlsw·2015-06-09 14:00

[一起学Hive]之二—Hive函数大全-完整版

阅读更多Hive函数大全–完整版现在虽然有很多SQLONHadoop的解决方案，像SparkSQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive
superlxw1234·2015-06-03 08:00

[一起学Hive]之二—Hive函数大全-完整版

阅读更多Hive函数大全–完整版现在虽然有很多SQLONHadoop的解决方案，像SparkSQL、Impala、Presto等等，但就目前来看，在基于Hadoop的大数据分析平台、数据仓库中，Hive
superlxw1234·2015-06-03 08:00

基于Spark Mllib，SparkSQL的电影推荐系统

本文测试的Spark版本是1.3.1本文将在Spark集群上搭建一个简单的小型的电影推荐系统，以为之后的完整项目做铺垫和知识积累整个系统的工作流程描述如下：1.某电影网站拥有可观的电影资源和用户数，通过各个用户对各个电影的评分，汇总得到了海量的用户-电影-评分数据2.我在一个电影网站上看了几部电影，并都为其做了评分操作（0-5分）3.该电影网站的推荐系统根据我对那几部电影的评分，要预测出在该网站的
qq1010885678·2015-05-27 20:00

Spark（九） -- SparkSQL API编程

13 Looky,14 LL,15 分别是Name和Age在Idea中新建Object，原始代码如下：objectTextFile{ defmain(args:Array[String]){ } }SparkSQL
qq1010885678·2015-05-24 23:00

Spark Sql和DataFrame指南（部分）

有一个链接sql-programming-guide简单翻译几个要点：SparkSQLisaSparkmoduleforstructureddataprocessing.ItprovidesaprogrammingabstractioncalledDataFramesandcanalsoactasdistributedSQLqueryengine
cq1982·2015-05-24 17:52

Spark SQL demo

参考官网SparkSQL的例子——https://spark.apache.org/docs/1.2.1/sql-programming-guide.html#rdds，自己写了一个脚本:val sqlContext
周一帆·2015-05-21 20:00

Spark（三） -- Shark与SparkSQL

首先介绍一下Shark的概念Shark简单的说就是Spark上的Hive，其底层依赖于Hive引擎的但是在Spark平台上，Shark的解析速度是Hive的几多倍它就是Hive在Spark上的体现，并且是升级版，一个强大的数据仓库，并且是兼容Hive语法的下面给出一张来自网上的Shark构架图从图上可以看出，Spark的最底层大部分还是基于HDFS的，Shark中的数据信息等也是对应着HDFS上的
qq1010885678·2015-05-14 21:00

Spark parquet merge metadata问题

 在sparksql1.2.x当中存在一个问题：当我们尝试在一个查询中访问多个parquet文件时，如果这些parquet文件中的字段名和类型是完全一致的、只是字段的顺序不一样，例如一个文件中是namestring
bhq2010·2015-05-05 13:00

Kafka+Spark Streaming+Redis实时计算整合实践

基于Spark通用计算平台，可以很好地扩展各种计算类型的应用，尤其是Spark提供了内建的计算库支持，像SparkStreaming、SparkSQL、MLlib、GraphX，这些内建库都提供了高级抽象
Yanjun·2015-04-28 13:00

DataFrame使用mysql数据

错误提示：Exceptioninthread"main"java.sql.SQLException:Nosuitabledriverfoundforjdbc:mysql://localhost:3306/sparkSql
breeze_lsw·2015-04-26 08:55

DataFrame使用mysql数据

Exception in thread "main" java.sql.SQLException: No suitable driver found for jdbc:mysql://localhost:3306/sparkSql
lsshlsw·2015-04-26 08:00

SparkSQL 初步应用（HiveContext使用）

至于为什么会产生这个错误，这里，先卖个关子，先看看这个问题是如何发现的：首先，找到了这篇文章：http://apache-spark-user-list.1001560.n3.nabble.com/SparkSQL-select-syntax-td16299
996440550·2015-04-17 20:48

SparkSQL 初步应用（HiveContext使用）

至于为什么会产生这个错误，这里，先卖个关子，先看看这个问题是如何发现的：首先，找到了这篇文章：http://apache-spark-user-list.1001560.n3.nabble.com/SparkSQL-select-syntax-td16299
996440550·2015-04-17 20:48

孙其功陪你学之——Spark 正则化和SparkSQL

本博文程序是读取hadoop的hdfs中的文件，使用正则化解析出规定格式的数据，然后加载到sparkSQL数据库中。
启功·2015-04-16 14:18

SparkSQL 初步应用

最近项目中使用SparkSQL来做数据的统计分析，闲来就记录下来。
996440550·2015-04-15 13:38

SparkSQL 初步应用

最近项目中使用SparkSQL来做数据的统计分析，闲来就记录下来。
996440550·2015-04-15 13:38

【Spark九十二】Spark SQL操作Parquet格式的数据

1.关于SparkSQL操作Parquet因为Parquet文件中包含了Schema信息，也就是说，Parquet文件是Schema自解释的，因此SparkSQL操作Parquet时，不需要指定Schema
bit1129·2015-04-14 18:00

【Spark九十二】Spark SQL操作Parquet格式的数据

1.关于SparkSQL操作Parquet因为Parquet文件中包含了Schema信息，也就是说，Parquet文件是Schema自解释的，因此SparkSQL操作Parquet时，不需要指定Schema
bit1129·2015-04-14 18:00

【Spark九十二】Spark SQL操作Parquet格式的数据

1.关于SparkSQL操作Parquet因为Parquet文件中包含了Schema信息，也就是说，Parquet文件是Schema自解释的，因此SparkSQL操作Parquet时，不需要指定Schema
bit1129·2015-04-14 18:00

Spark1.3.0新特性概览

自2013年3月面世以来，SparkSQL已经成为除SparkCore以外最大的Spark组件。
yhao2014·2015-04-10 14:00

spark 1.3.0 将dataframe数据写入Hive分区表

从spark1.2到spark1.3，sparkSQL中的SchemaRDD变为了DataFrame，DataFrame相对于SchemaRDD有了较大改变，同时提供了更多好用且方便的API。
mach_learn·2015-04-03 11:21

spark概述

它还支持一组丰富的更高级的工具,包括:SQL方面的SparkSQL和结构化数据处理,机器学习方面的MLlib,图形处理方面的GraphX以及SparkStreaming。
newlife111·2015-04-03 10:00

Apache Zeppelin简介

ipythonnotebook，可以直接在浏览器中写代码、笔记并共享)多用途笔记本可实现你所需要的：-数据采集-数据发现-数据分析-数据可视化和协作支持多种语言，默认是scala(背后是sparkshell)，SparkSQL
sanfendi·2015-04-01 12:53

Apache Zeppelin简介

ipythonnotebook，可以直接在浏览器中写代码、笔记并共享)多用途笔记本可实现你所需要的：-数据采集-数据发现-数据分析-数据可视化和协作支持多种语言，默认是scala(背后是sparkshell)，SparkSQL
ozhaohuafei·2015-04-01 12:00

SparkSQL

SparkSQLandDataFrameSpark1.3的SparkSQL是对结构型数据进行处理的一个模块，主要是对抽象的DataFrames进行SQL的常见的操作，而DataFrames可以从多种数据源转换而来
DragonRiver2015·2015-03-30 14:00

Spark SQL and DataFrame for Spark 1.3

SparkSQLandDataFrameGuide启动StartShell[[email protected]]$.
wind520·2015-03-14 11:00

连城：大数据场景下的“搔到痒处”和“戳到痛处”

目前从事ApacheSpark中结构化数据分析组件SparkSQL的开发。在做Spark之前，连城从来没有做过大数
图灵访谈·2015-03-12 00:00

Homework 2: UDF Caching in Spark

    为spark编写UDFcache：  作业介绍 https://github.com/cs186-spring15/course/tree/master/hw2    我花了点时间做了下，觉得是学习sparksql
r7raul·2015-03-05 13:30

Homework 2: UDF Caching in Spark

为spark编写UDFcache：作业介绍https://github.com/cs186-spring15/course/tree/master/hw2我花了点时间做了下，觉得是学习sparksql和
r7raul·2015-03-05 13:30

大数据日报 2015-02-14

SparkSQL数据源API：Spark平台的统一数据接入 @网路冷眼市民眼中的绿地为何没那么多？
Airship·2015-02-15 14:00

Spark SQL示例

SparkSQL尝试// data from 2014.9.12 val transfer = sc.textFile("hdfs://LDKJSERVER1046:8020/user/flume/transfer20
南洋牧师·2015-02-03 17:00

SparkSql 使用

炼数成金课程SparkSql无需安装，直接初始化SQLContext即可//启动spark-shellbin/spark-shell--masterspark://hadoop1:7077--executor-memory3g
escaflone·2015-01-29 16:00

sparkSQL1.1

Spark1.1.0中变化较大是sparkSQL和MLlib，sparkSQL1.1
·2015-01-22 15:00

Spark 1.2 发布，开源集群计算系统

此版本包括Spark核心操作和性能改进；添加新的网络传输子系统，进行了较大的改进；SparkSQL引入了一个外部数据源的支持，支持Hive13；动态分区；fixed-precisiondecimaltype
openthings·2015-01-20 20:00

Spark使用体会

2)      SparkSQL对NoSQL数据提供了SQL接口。这个非常方便，比如可以从CSV或JSON数据
yery·2015-01-20 15:00

Spark SQL 1.2(building-spark1.2, sparksql on hive,spark-sql)

1、SparkSQL1.2(building-spark1.2,sparksqlonhive,spark-sql)1.1补充——Spark1.2编译Spark官方编译指南地址：http://spark.apache.org
sunbow0·2015-01-07 10:00

spark1.1的部署、sparksql CLI、sparksql-jdbc运用

spark1.1的部署、sparksqlCLI、sparksql-jdbc运用SparkSql实际运用：在spark0.9.x中不支持jdbc操作，spark1.1会加入jdbc支持版本说明：spark
javastart·2015-01-04 15:00

【Spark】Spark十： Spark SQL第一部分

Spark的OneStacktorulethemall的特性，在SparkSQL即有显现。在传统的基于Hadoop的解决方案中，需要另外安装Pig或者Hive来解决类SQL的即席查询问题。 
axxbc123·2015-01-03 00:00

Spark on Yarn ”爬坑“集锦（spark1.2）

二、遇到的"坑"和爬坑思路1、SparkSqlonyarn-client模式遇到找不到mysql驱动包问题。解决方案：这个比较简单直接编辑$SPARK_HOME
zengzhaozheng·2014-12-30 18:36

Spark on Yarn ”爬坑“集锦（spark1.2）

二、遇到的"坑"和爬坑思路1、SparkSqlonyarn-client模式遇到找不到mysql驱动包问题。解决方案：这个比较简单直接编辑$SPARK_HOME/con
zengzhaozheng·2014-12-30 18:36

Spark 1.0.0企业级开发动手：实战世界上第一个Spark 1.0.0课程，涵盖Spark 1.0.0所有的企业级开发技术

企业级实践课程，课程包含Spark的架构设计、Spark编程模型、Spark内核框架源码剖析、Spark的广播变量与累加器、Shark的原理和使用、Spark的机器学习、Spark的图计算GraphX、SparkSQL
wangruoze·2014-12-24 16:00

Spark SQL之External DataSource外部数据源（二）源码分析

/** SparkSQL源码分析系列文章*/  （Ps:ExternalDataSource使用篇地址：SparkSQL之ExternalDataSource外部数据源（一）示例 http://blog.csdn.net
u014388509·2014-12-22 01:00

Spark SQL之External DataSource外部数据源（一）示例

一、SparkSQLExternalDataSource简介 随着Spark1.2的发布，SparkSQL开始正式支持外部数据源。
u014388509·2014-12-22 01:00

spark1.1.0下使用SparkSQL

spark1.1.0的安装参见http://blog.csdn.net/bluejoe2000/article/details/41391407安装了spark之后，可以在shell中执行SparkSQL
bluejoe2000·2014-11-23 18:00

sparkSQL1.1入门

Spark1.1.0中变化较大是sparkSQL和MLlib，sparkSQL1.1.0主要
白乔·2014-11-18 15:15

sparkSQL1.1入门

Spark1.1.0中变化较大是sparkSQL和MLlib，sparkSQL1.1
bluejoe2000·2014-11-18 15:00

盘点SQL on Hadoop中用到的主要技术

考虑到系统使用的广泛程度与成熟度，在具体举例时一般会拿Hive和Impala为例，当然在调研的过程中也会涉及到一些其他系统，如SparkSQL，Presto，TAJO等。而对于
·2014-11-15 14:00
上一页 85 86 87 88 89 90 91 92 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他