TextFile

【十八掌●武功篇】第十掌：Hive之高级知识

十八掌●武功篇】第十掌：Hive之原理与优化【十八掌●武功篇】第十掌：Hive之高级知识【十八掌●武功篇】第十掌：Hive之安装过程实践一、Hive文件格式1、常见文件格式Hive中的文件格式常见的有：textfile
鸣宇淳·2017-11-17 08:50

Spark - DAGScheduler

scala>sc.textFile("README.md").filter(_
空即是色即是色即是空·2017-11-13 19:25

Spark中加载本地（或者hdfs）文件以及 spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件

Spark中加载本地(或者hdfs)文件以及spark使用SparkContext实例的textFile读取多个文件夹(嵌套)下的多个数据文件在正常调用过程中，难免需要对多个文件夹下的多个文件进行读取，
Data_IT_Farmer·2017-11-08 16:55

spark加载外部资源方式

首选说明spark加载文件：1、采用Source.fromFile(LocalPath)方式加载，可加载本地文件，这里本地文件指的是非集群方式2、加载hdfs，sc.textfile()3、采用sc.textFile
lvdan86546853·2017-11-02 18:37

Spark Quick Start

/bin/spark-shellscala>vallines=sc.textFile("/Users/study/spark/derby.log")lines:org.apache.spark.rdd.RDD
東方海竹·2017-11-02 16:56

Spark存储与读取文件方法小结

saveAsObjectFile,SequenceFile,mapFile,textFile我就不说了。首先：在写文件的时候，经常输出的目录以及存在，需要一个删掉目录以及存在的情况。
lvdan86546853·2017-10-25 10:36

Spark由浅到深(2)-- 了解核心概念RDD

示例://在Python中使用textFile()创建一
GeezKe·2017-10-24 16:38

spark深度学习例子音乐推荐代码

=newSparkConf().setAppName("musicRecommend")valsc=newSparkContext(conf)//处理艺术家数据valrawArtistData=sc.textFile
Next__One·2017-10-24 13:33

Spark加载和保存数据

APACHEHIVE等键值对的数据库：比如CASSANDRA,HBASE,ELASTICSEARCH,JDBC等文件系统下面是一些常见的，在spark中使用的文件系统：TextFiles加载文件只需要调用textFile
zhexiao27·2017-10-12 14:35

hive-02-hive文件存储格式

nameSTRING)>ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t'>STOREDASTEXTFILE>LOCATION'/data/test';指定文件存储格式为“TEXTFILE
九师兄-梁川川·2017-09-07 17:49

spark2.2.0源码学习过程记录：Day4

1、读《apachespark源码剖析》第四章第1节作业提交我也使用简单的WordCount例子sc.textFile("/hdfs-site.xml").flatMap(line=>line.split
猫耳山大王·2017-09-02 16:21

spark2.2.0源码学习过程记录：Day4

1、读《apachespark源码剖析》第四章第1节作业提交我也使用简单的WordCount例子sc.textFile("/hdfs-site.xml").flatMap(line=>line.split
猫耳山大王·2017-09-02 16:21

Spark SQL 基础学习 【一】命令行操作DataFrame

xuzheng,30将文件上传到hdfshadoopfs-putstudent.txt/2.读取数据并分割在sparkshell执行下面命令，读取数据，将每一行的数据使用列分隔符分割valrdd=sc.textFile
freefish_yzx·2017-08-27 16:26

Hive调优实践

1文件格式的选择ORC格式确实要比textFile要更适合于hive，查询速度会提高20-40%左右例子1：youtube1的文件格式是TextFIle，youtube3的文件格式是orchive>selectvideoId
_和·2017-08-25 20:45

hive 数据存储格式详解

Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成
ChinaUnicom110·2017-08-24 10:50

Spark中加载本地（或者hdfs）文件以及SparkContext实例的textFile使用

默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读本地文件读取sc.textFile("路径").在路径前面加上file://
光与热·2017-08-13 18:57

spark读取gz文件

spark1.5.1是支持直接读取gz格式的压缩包的，和普通文件没有什么区别：使用spark-shell进入sparkshell交互界面：输入命令：sc.textFile("\huawei\mr\20161120
afei2530·2017-08-09 11:00

【总结】spark按文本格式和Lzo格式处理Lzo压缩文件的比较

1、描述spark中怎么加载lzo压缩格式的文件2、比较lzo格式文件以textFile方式和LzoTextInputFormat方式计算数据，RunningTasks个数的影响a.确保lzo文件所在文件夹中生成
巧克力黒·2017-08-08 19:28

Spark中cache和persist的作用以及存储级别

在Spark中有时候我们很多地方都会用到同一个RDD,按照常规的做法的话,那么每个地方遇到Action操作的时候都会对同一个算子计算多次,这样会造成效率低下的问题例如:valrdd1=sc.textFile
lijie_cq·2017-07-27 19:20

Spark 简单的wordcount

sc.textFile("/input/words.txt").flatMap(line=>line.split("")).map(word=>(word,1)).reduceByKey((x,y)=>
RoronoaZoro丶·2017-07-21 09:57

Spark机器学习（Chapter 04）推荐系统

#coding:utf-8frompysparkimportSparkContextsc=SparkContext("local[4]","MovieLensSparkApp")rawData=sc.textFile
星之空殇·2017-06-26 22:19

77、78、79

include#includeusingnamespacestd;intmain(intargc,char*argv[]){strstreamtextfile;{ifstreamin(argv[1]);textfile
Sansuihaha·2017-06-10 10:14

spark简单例子

一、统计指定索引的每个值有多少个：vartextFile=sc.textFile("/xxxx_orgn/p1_day=20170609/*.txt");varpairRdd=textFile.filter
supersyd·2017-06-08 21:25

取出大文件里面的一部分数据

一方面加载等处理过程较长，而且还很有可能导致你的电脑死机，或者spark-shell崩溃有两个方法可以选择：randomSplitfilter方法一randomSplitscala>valt1=sc.textFile
dufufd·2017-05-14 17:39

spark2.0系列《一》—— RDD VS. DataFrame VS. DataSet

但是这一切的基础都是在RDD上进行操作，即使是进行SQL操作也是将利用SpaekContext类中的textFile方法读取txt文件返回RDD对象，然后使用SQLContext实例化载利用函数createDataFrame
wing1995·2017-05-03 20:00

oracle 外部表总结

外部表介绍ORACLE外部表用来存取数据库以外的文本文件（TextFile）或ORACLE专属格式文件。因此，建立外部表时不会产生段、区、数据块等存储结构，只有与表相关的定义放在数据字典中。
河南骏·2017-04-26 09:30

spark RDD算子（四）之创建键值对RDD mapToPair flatMapToPair

aabbccaaaaaaddddeeeeeeeeffaabbzkseekkseezzzks将每一行的第一个单词作为键，1作为value创建pairRDDscala版本scala是没有mapToPair函数的，scala版本只需要map就可以了scala>vallines=sc.textFile
翟开顺·2017-04-19 00:27

spark RDD算子（二） filter,map ,flatMap

sparktest\sample.txt文件的内容如下aabbccaaaaaaddddeeeeeeeeffaabbzkseekkseezzzks我要将包含zks的行的内容给找出来scala版本vallines=sc.textFile
翟开顺·2017-04-16 21:30

惰性求值的简单介绍

因此，当我们调用sc.textFile(...)时，数据并没有被读取到内存中，而是要在必要
蜗牛0·2017-04-12 22:21

Hive 文件压缩存储格式（STORED AS）

Hive文件存储格式包括以下几类：1.TEXTFILE2.SEQUENCEFILE3.RCFILE4.自定义格式其中TEXTFILE为默认格式，建表时不指定,默认为这个格式，导入数据时会直接把数据文件拷贝到
艾伦蓝·2017-04-11 11:35

Spark Scala Demo

SparkContext创建valconf=newSparkConf().setAppName("AppName")valsc=newSparkContext(conf)读取Hdfs文件sc.textFile
chichuduxing·2017-04-09 22:43

Hive 文件压缩存储格式（STORED AS）

[size=medium][color=red][b]Hive文件存储格式包括以下几类：[/b][/color][/size]1.TEXTFILE2.SEQUENCEFILE3.RCFILE4.自定义格式
艾伦蓝·2017-04-06 09:29

UItextfiled 工作小问题解决

self.textFiled.leftView=appNumLeftView;self.textFiled.leftViewMode=UITextFieldViewModeAlways;当然self.textFile
薰衣草儿·2017-04-01 16:25

入门spark+python

user_data=sc.textFile("ml-100k/u.user")user_data.first()#此处如能输出数据文件首行，则说明环境搭建没问题sc是Sparkshell启动时自动创建的一个
bettesu·2017-03-28 23:02

SparkRDDNote

sparkContext.textFile("")读取文件时注意路径格式：本地文件file:///D://fileDirctory1//file.txthdfs:hdfs:/user/hdfs/test
时待吾·2017-03-24 20:22

Spark 读取多个小文件

我尝试了集中办法，都不是很让人满意：一、使用sc.textFile(".../*.txt"),JavaRDDdata=sc.textFile(path)
月落乌啼silence·2017-03-16 11:27

代码+图文讲解spark中scala常用正则匹配

\\s匹配任意多个空白字符valrdd7=sc.textFile("G:\\zhengze.txt")valrdd9=rdd7.flatMap(
RiverCode·2017-03-06 09:00

PART V 操作系统层 Chapter 11 文件系统

用于组织二级存储设备文件系统(filesystem):操作系统为它管理的文件提供的逻辑视图目录(directory):文件的有名分组A.文本文件和二进制文件所有文件都可以被归类为文本文件或二进制文件文本文件(textfile
ZJU_warren·2017-02-06 19:48

Spark实例WordCount（统计+排序）

valconf=newSparkConf().setAppName("WordCount").setMaster("local[4]")valsc=newSparkContext(conf)valres=sc.textFile
数据石·2017-01-18 17:52

java实现RDD算子

www.cnblogs.com/tovin/p/3832405.htmltextFile:可将本地文件或HDFS文件转换成RDD，读取本地文件需要各节点上都存在，或者通过网络共享该文件JavaRDDlines=sc.textFile
铁头乔·2017-01-03 13:30

Hive文件存储格式 :Parquet sparksql ,impala的杀手锏

hive表的源文件存储格式有几类：1、TEXTFILE默认格式，建表时不指定默认为这个格式，存储方式：行存储导入数据时会直接把数据文件拷贝到hdfs上不进行处理。
mtj66·2017-01-01 22:40

python3 实现对比conf 文件差异

pythonimport difflibimport sys####   Usage: compare_nginx.conf.py filename1 filename2 >diff.htmltry:    textfile1
ComK·2016-12-27 12:20

图解Spark API

/spark/bin/pyspark使用textFile创建RDD:>>>txt=sc.textFile(
Florian·2016-12-15 23:00

spark写orc格式文件

storedasorc;spark写文件    val jsons = "hdfs://localhost:9000/test/artist_orc.json"    val people = sc.textFile
xiaobin0303·2016-12-13 16:42

hive 创建三种文件类型的表

--TextFile sethive.exec.compress.output=true; setmapred.output.compress=true; setmapred.output.compression.codec
ccmaotang·2016-12-09 10:00

数据存储text转parquet及引发的OOM问题

1.数据转parquet的后效果table1为textfile格式存储的表，分区20161122转换之前大小约400M,分别以parquet无压缩，parquetsnappy压缩和parquetgzip
dashabiooo·2016-12-04 21:56

数据存储text转parquet及引发的OOM问题

阅读更多1.数据转parquet的后效果table1为textfile格式存储的表，分区20161122转换之前大小约400M,分别以parquet无压缩，parquetsnappy压缩和parquetgzip
x10232·2016-12-04 21:00

第二周第一天label.textfile属性

lable,button,textfilelable,textfile,imageview属性lable属性//创建labelletlabel=UILabel()label.frame=CGRect(x
112233香樟树·2016-11-27 19:32

Spark函数传递:闭包和单例模式

这些都是Spark的基本内容，稍微提及一下，由以下一个小例子引入正题：vallines=sc.textFile("data.txt
董云龙·2016-11-24 19:41

统计没有农产品市场的省份有哪些

/***统计没有农产品市场的省份有哪些*///有农产品市场的省份valproductRDD=sc.textFile("file:///home/tg/datas/product.txt")//全国所有的省份
霄嵩·2016-11-15 10:19
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他