textFile

Hive支持的文件格式与压缩算法(1.2.1)

概述只要是配置了正确的文件类型和压缩类型(比如Textfile+Gzip、SequenceFile+Snappy等)，Hive都可以按预期读取并解析数据，提供SQL功能。
houzhizhen·2016-11-09 10:39

大数据Spark “蘑菇云”行动补充内容第69课： Spark SQL案例之分析电影评分系统.

_importorg.apache.spark.sql.RowvalPATH="/data/moviesData/"valmoviesData=sc.textFile(PATH+"movies.dat"
段智华·2016-10-29 20:22

Spark java程序入门（二）创建RDD与查看RDD内容

使用Spark需要RDD编程，而RDD编程的第一步就是构建RDD有两种方法创建RDD（1）从文件系统中直接读入一个外部数据集，一个简单的例子，比如JavaRDDinput=sc.textFile("文件路径
linj_·2016-10-16 13:54

hive存储格式

TEXTFILE默认格式，行存储，导入数据时直接把数据文件拷贝到hdfs的hive表目录(hivelocation)，数据文件可先经过gzip等压缩，再导hive表(系统自动检查，执行查询时自动解压)，
cm_chenmin·2016-10-12 22:11

Spark学习(文件读取路径）

下面的代码在local模式下有效，在其它模式下无效：vartheP1=sc.textFile("file:/
hawksoft·2016-10-05 16:08

[UE4]读写Text文本时的根目录

读取文本文件：FStringprojectDir=FPaths::GameDir(); projectDir+="Content/TextFile.txt"; TArrayStringArray;
aigo·2016-09-20 19:00

700多万hadoophive和spark性能测试

700多万的数据，每个都执行两遍------------------rdd---------------valrdd=sc.textFile("hdfs://master:9000/spark/SogouQ
燃烧的岁月_·2016-09-10 08:29

spark本地模式

sc.textFile("hdfs://wuke01:9000/input/wuke.txt").flatMap(_.s
CottonDuke·2016-09-03 09:37

spark-2.0-从RDD到DataSet

1、加载文件valrdd=sparkContext.textFile("./data.txt")valds=sparkSes
youdianjinjin·2016-07-31 15:00

RDD编程中的RDD连接（表连接）问题

对rdd理解不深的时候我们可能会写出如下代码：valtemp1=sc.textFile("C://Users/802/Desktop/1.txt").map(_.split(",")).map(k=>(
Utopia_1919·2016-07-26 17:18

Spark Transformation —— distinct 算子

spark-shellspark-shell--masterspark://master:7077(重要的事情说多遍，spark-shell和spark-submit核心的参数是差不多的)创建RDDvardata=sc.textFile
搬砖小工053·2016-07-22 10:50

hive文件存储格式

EXTERNAL TABLE MYTEST(num INT, name STRING)  > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'  > STORED AS TEXTFILE
baidu_21578557·2016-07-16 15:00

Spark从外部读取数据之textFile

textFile函数/***ReadatextfilefromHDFS,alocalfilesystem(availableonallnodes),orany*Hadoop-supportedfilesystemURI
legotime·2016-07-11 06:46

spark-shell中的简单操作

1.wordCount的几种写法一般函数式写法：sc.textFile("/user/chenjinghui/words").flatMap(x=>x.split("")).map(x=>(x,1)).
csdncjh·2016-07-09 10:10

hive表的存储格式; ORC格式的使用

hive表的源文件存储格式有几类：1、TEXTFILE默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理。
longshenlmj·2016-06-17 20:22

Spark数据分析之第2课

#读取HDFS文件并创建RDDscala>valrawblocks=sc.textFile("/linkage")rawblocks:org.apache.spark.rdd.RDD[String]=/
jiangshouzhuang·2016-05-24 11:00

spark学习13之RDD的partitions数目获取

2.代码：sc.textFile("/xubo/GRCH38Sub/GRCH38L12566578
KeepLearningBigData·2016-05-22 16:24

Spark-再次分析Apache访问日志

._ valp=newAccessLogParser vallog=sc.textFile("log.small"
youdianjinjin·2016-05-15 01:00

Spark基础排序+二次排序（java+scala）

1.基础排序算法2.二次排序算法3.更高级别排序4.排序算法内幕1.基础排序算法sc.textFile("/data/putfile.txt").flatMap(_.split("")).map(word
sundujing·2016-05-13 23:00

使用Spark对日志进行简单的文本解析

本文旨在对基本的SparkRDDapi进行简单练习原日志格式：从hdfs上读取日志文件：valrdd=sc.textFile("hdfs://master:9000/spark/localhost_access_log
Stark_xhz·2016-05-11 20:33

spark第一个简单示例的源码解读

解读spark程序必须具备scala基础知识，关于scala基础参考文章1.完整代码如下：scala>valtextFile=sc.textFile("file:///usr/local/spark/README.md
qq_23617681·2016-05-10 23:00

Java 文本文件读写工具类

 下面的TextFile类包含static方法可以像简单字符串那样读写文本文件，并且可以创建一个TextFile对象，它用一个ArrayList来保存文件的若干行。
luming_xml·2016-05-09 10:00

以字节的方式（写入，读取）文本，以字符的方式（写入，读取）文本

package v2ch01.textFile; import java.io.BufferedInputStream; import java.io.File; import java.io.FileInputStream
pro_jerry·2016-05-08 00:00

hive存储格式

hive文件的存储格式：textfile、sequencefile、rcfile、自定义格式1.textfile   textfile,即是文本格式，默认格式，数据不做压缩，磁盘开销大，数据解析开销大  
u014432433·2016-05-07 20:00

Spark计算模型与I/O机制

1）SparkContext中的textFile函数从HDFS读取日志文件，输出变量file。
ZyZhu·2016-05-06 15:28

zhuzher日志log

vallog=sc.textFile("/data/logstash/data/*.log") valrowRDD2=log2.map(line=>(line.split("\"message\":\"
残阳飞雪·2016-05-06 10:00

spark读取多个文件夹(嵌套)下的多个文件

原理也非常简单，就是textFile功能。编写这样的代码，读取上次输出的多个结果，由于RDD保存结果都是保存为一个文件夹。而多个相关联R
sparkexpert·2016-05-05 20:34

spark笔记二之Spark程序模型Transformation算子与action算子

Spark程序模型读取文件valfile=sc.textFile("hdfs://192.168.192.137:9000/data/t1.csv")filter函数过滤带“a”的行，输出errors（
q383700092·2016-05-04 08:00

spark-shell实现WordCount&按word排序&按count排序

kitty hello world hello tom读取HDFS中位于hdfs://node1:9000/wc/input目录下的文本文件,读取结果赋值给textRddval textRdd = sc.textFile
宋挺·2016-04-24 22:00

Spark 基础 —— String

scala>valrawData=sc.textFile("...") rawData:org.apache.spark.rdd.RDD[String] valline=rawData.first line
lanchunhui·2016-04-23 15:00

Spark 机器学习 —— 从决策树到随机森林

importorg.apache.spark.mllib.linalg.Vectors importorg.apache.spark.mllib.regression.LabeledPoint valrawdata=sc.textFile
lanchunhui·2016-04-22 11:00

Hive-0.5中UDF和UDAF简述

Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式：JavaInteger/String,HadoopIntWritable
kingmax54212008·2016-04-21 18:00

spark之RDD

masterspark://bigdata.eclipse.com:7077reduceBykey、groupBykey、sortByKey、join的使用1、reduceBykey varrdd=sc.textFile
yangcongyangling·2016-04-16 00:00

Spark MLlib 编程

数据集的构造valrawData=sc.textFile("...") valdata=rawdata.map{line=> valrow=line.split(',').map(_.toDouble)
lanchunhui·2016-04-09 13:00

RDD转换成DataFrames

先创建一个bean类caseclassPerson(name:String,age:Int)然后将Rdd转换成DataFramevalpeople=sc.textFile("examples/src/main
cjun1990·2016-04-08 17:00

RDD的创建 操作类型 缓存

一、创建1、外部数据源读取hdfssc.textFile("文件路径")hbaseamasons3....2、来自于本身的集合sc.parallelize(List(1,2,3)) ParalleziedCollection
feierxiaoyezi·2016-04-01 14:00

Hive数据导入方案—使用ORC格式存储hive数据

推荐使用ORC格式的表存储数据思路：因为在hive指定RCFile格式的表，不能直接load数据，只能通过textfile表进行insert转换。
javastart·2016-03-27 17:27

delphi 操作文件

var F:Text; //TextFile和Text是一样的----------------------------------   filename:=ExtractFilePath(Application.ExeName
鹅倌·2016-03-23 14:02

Spark RDD 多文件输入

setMaster("local") .setAppName("save"); JavaSparkContextsc=newJavaSparkContext(conf); JavaRDDlines=sc.textFile
王宝生·2016-03-10 19:00

Hive 高级编程——深入浅出学Hive

第一部分：产生背景产生背景•为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：•文件格式：TextFile，SequenceFile•内存中的数据格式：JavaInteger
三毛_2·2016-03-07 17:00

Spark排序算法！！ 使用java开发 自定义key值 进行二次排序 深入解析！

43 87【源代码文件】SecondaySortApp.javaSecondarySortKey.java classSecondarySort ：1、读入每行的数据记录JavaRDDlines=sc.textFile
duan_zhihua·2016-02-28 20:00

Spark应用开发中使用缓存或checkpoint实现容错

使用方法：valfile=sc.textFile("/tmp/spark/1.data") file.persist() file.cou
kwu_ganymede·2016-02-21 21:00

Spark高级排序彻底解密(DT大数据梦工厂)

==========基础排序算法============scala>sc.setLogLevel("WARN")scala>valx=sc.textFile("/historyserverforSpark
feiweihy·2016-02-20 12:46

spark例子

1、Wordcount程序测试：进入spark-shell中valtext_file=sc.textFile("hdfs://hadoop1:8020/ai/README.txt")valcounts=
qq_16365849·2016-02-19 15:00

spark RDD 算子运行过程及分类

1、输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，
张欢19933·2016-02-19 11:00

hive入门们学习：orcFile和parquet存储格式简介

hive入门们学习：orcFile和parquet存储格式简介hive的的表格的存储格式默认情况下是textfile格式的，textfile格式的数据是按照行存储数据。
liyaohhh·2016-02-17 09:00

hive入门们学习：orcFile和parquet存储格式简介

               hive入门们学习：orcFile和parquet存储格式简介         hive的的表格的存储格式默认情况下是textfile格式的，textfile格式的数据是按照行存储数据
liyaohhh·2016-02-17 09:00

spark - 从HDFS加载文件并分析

scala> val file=sc.textFile("/workspace/bpUserinfo_logs/bpUserinfo_20160212.log")  scala> val count=file.flatMap
LightingCui·2016-02-16 14:00

Spark机器学习读书笔记-CH04

[root@demo1ch04]#spark-shell--masteryarn--jars/root/studio/jblas-1.2.3.jar scala>valrawData=sc.textFile
littlesuccess·2016-01-31 15:00

spark 实战笔记case3

valmapper=sc.textFile("/user/hive/warehouse/sla.db/e*_30days/").map(line=>line.split("\073")).map(line
mlljava1111·2016-01-30 19:00
上一页 13 14 15 16 17 18 19 20 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他