TextFile

Spark源码分析(1) 从WordCount示例看Spark延迟计算原理

WordCount示例：val file=spark.textFile("hdfs://...")val counts=file.flatMap(line=>line.split(""))                 
josephguan·2014-08-22 12:00

hive 压缩策略

Hive使用的是Hadoop的文件系统和文件格式，比如TEXTFILE，SEQUENCEFILE等。
乡里伢崽·2014-08-15 15:00

hive中UDF、UDAF和UDTF使用

Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式：JavaInteger/String,Hado
xiaofengxbf·2014-08-10 22:00

ORACLE外部表总结

外部表介绍ORACLE外部表用来存取数据库以外的文本文件（TextFile）或ORACLE专属格式文件。因此，建立外部表时不会产生段、区、数据块等存储结构，只有与表相关的定义放在数据字典中。
潇湘隐者·2014-08-06 12:00

hive rcfile存储格式

Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成
年华似水·2014-08-05 16:32

hive rcfile存储格式

Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成
czw698·2014-08-05 16:00

TextFile SequencFile性能对比

  首先所有的输入格式都继承FileInputFormat，对于TextFile和SequenceFile有对应的TextInputFormat和SequenceFileInputFormat。  
r7raul·2014-08-04 15:37

TextFile SequencFile性能对比

首先所有的输入格式都继承FileInputFormat，对于TextFile和SequenceFile有对应的TextInputFormat和SequenceFileInputFormat。
r7raul·2014-08-04 15:37

GraphX笔记

加载边时顶点是边上出现的点,定点默认数据是1，注意文件格式:12,中间是空格graphx只会读取两列分别作为源顶点和目标顶点,如:12other，第三列的other直接被忽略 valusers=sc.textFile
liuxuejiang158·2014-08-01 04:00

Spark技术互动问答分享

对组成的数据集上调用，返回一个（K，Seq[V])对的数据集，所以是没有排序的；要想分组排序，首先要使用groupByKey完成分组功能，然后使用sortWith这个函数对指完成排序实现；完整代码如下所示：spark.textFile
Spark亚太研究院·2014-07-24 17:00

Hive学习笔记之--Hive 高级编程<转>

第一部分：产生背景产生背景为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：•文件格式：TextFile，SequenceFile•内存中的数据格式：JavaInteger
yongjian_luo·2014-07-18 13:00

工具 类库 框架 1

最近开发用到的类库：.net1、LINQ2TextFile使用简单：TextFileReaderreader1=newTextFileReader(str_FilePath[i].ToString().
yuweikang·2014-07-15 11:00

java File_encoding属性

大小0字节.感到非常奇怪,因为开发的时候都好好的,打包出来怎么会出现异常.细看才后发现是file_encoding这个java系统属性编码方式设置导致的.开发的时候一般我们都在eclipse中把项目的textfile
zhuyijian135757·2014-07-12 00:00

hive不同格式存储的性能测试

Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成
乡里伢崽·2014-07-08 14:00

python发送邮件

usr/bin/env python   # -*- coding: utf8 -*- import smtplib   from email.mime.text import MIMEText   textfile
unionstack·2014-07-03 15:20

python发送邮件

/usr/bin/env python  # -*- coding: utf8 -*-import smtplib  from email.mime.text import MIMEText  textfile
unionstack·2014-07-03 15:20

【03】Spark分析日志实例

1、准备数据http://www.sogou.com/labs/dl/q.html2、加载scala> val rdd = sc.textFile("/home/scipio/SogouQ.mini")
xixicat·2014-06-28 14:00

【01】Spark 简单实例

wget http://statweb.stanford.edu/~tibs/ElemStatLearn/datasets/spam.data2、加载文件scala> val inFile = sc.textFile
xixicat·2014-06-28 12:00

Spark(3)More Examples and Deployment

More Spark Examples1.1 Text Searchval file = spark.textFile()val errors = file.filter(line => line.contains
sillycat·2014-06-21 04:00

Spark 读取HDFS文件

环境：CentOS6.3SPARK1.0.0 1.读取text文件scala>valdistFile=sc.textFile("hdfs://localhost:54310/data/in/log
zlcd1988·2014-06-19 18:00

hive文件压缩存储格式

hive文件存储格式包括以下几类：1.TEXTFILE2.SEQUENCEFILE3.RCFILE4.自定义格式   其中TEXTFILE为默认格式，建表时不指定,默认为这个格式，导入数据时会直接把数据文件拷贝到
雨一直下·2014-05-26 11:00

hive文件压缩存储格式

hive文件存储格式包括以下几类： 1.TEXTFILE 2.SEQUENCEFILE 3.RCFILE 4.自定义格式     其中TEXTFILE为默认格式
雨一直下·2014-05-26 11:00

Hive文件格式（RCFILE）

hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到
寂寞烟·2014-04-28 14:46

【spark系列3】spark开发简单指南

分布式数据集创建之textFile    文本文件的RDDs可以通过SparkContext的textFile方法创建，该方法接受文件的URI地址（或者机器上的文件本地路径，或者一个hdfs://,sdn
sina微博_SNS程飞·2014-04-19 23:20

hive中UDF、UDAF和UDTF使用

Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式：JavaInteger/String,Hadoo
龙明倩·2014-04-17 11:54

Hive语言手册之四：压缩数据存贮与应用

可以把使用GZip或BZip2压缩的文本数据直接导入到Hive，并且以TextFile格式进行存储，Hive可以识别压缩的数据并且在查询时进行实时解压，例如：CREATETABLEraw(lineSTRING
guoxy_nb·2014-04-15 20:02

Spark RDD Action 详解---Spark学习笔记8

valkemeans_data=sc.textFile("kmeans_data.txt") kemean
u014388509·2014-04-04 17:00

Hive文件格式

hive文件存储格式包括以下几类： 1、TEXTFILE 2、SEQUENCEFILE 3、RCFILE 4、ORCFILE(0.11以后出现) 其中TEXTFILE为默认格式，建表时不指定默认为这个格式
·2014-03-20 14:00

hive 0.12读取textfile函数调用栈

atorg.apache.hadoop.util.LineReader.readLine(LineReader.java:123)atorg.apache.hadoop.mapred.LineRecordReader.next(LineRecordReader.java:140)atorg.apache.hadoop.mapred.LineRecordReader.next(LineRecordR
vah101·2014-03-07 17:00

delphi 文件操作

先上个例子procedure TForm1.Button1Click(Sender:TObject);//写文件var wText:TextFile;begin AssignFile(wText,'ip.txt
yuhaiyang_gz·2014-03-05 19:47

如何重用Spark的计算结果？--遇到的问题--待解决(已解决字符串文件存储的方式)

   word_count在大数据学习上，就行刚开始编程时候打印“Hello world”一样，Spark的word_count的解决实现确实比较优雅，只需要一条语句就解决了：sc.textFile(filePath
hanzhankang·2014-03-04 14:00

Spark实例分析1

取访问日志log的ip并去重valsc=newSparkContext("local","SimpleApp","/opt/spark/spark-0.9.0-incubating") valtemp=sc.textFile
hanzhankang·2014-03-04 13:00

10 个 lsof 命令行的使用示例

FD-FiledescriptorFD列包含这样一些值cwd-Currentworkingdirectory txt-Textfile mem
hongtoushizi·2014-03-03 11:00

10 个 lsof 命令行的使用示例

FD-FiledescriptorFD列包含这样一些值cwd-Currentworkingdirectory txt-Textfile mem-MemoryMappedfile mmap-MemoryMappeddevice
huaishu·2014-03-02 13:00

LzoIndexer对TextFile格式文件的lzo压缩建立index索引

对于lzo压缩，常用的有LzoCodec和lzopCodec，可以对sequenceFile和TextFile进行压缩，但是有一点，对TextFile压缩后，mapred对压缩后的文件默认是不能够进行split
xiewenbo·2014-02-21 10:00

Hive学习笔记之--Hive 高级编程

第一部分：产生背景产生背景为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：•文件格式：TextFile，SequenceFile•内存中的数据格式：JavaInteger
常飞梦·2014-02-07 14:56

Hive学习笔记之--Hive 高级编程

第一部分：产生背景产生背景为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：•文件格式：TextFile，SequenceFile•内存中的数据格式：JavaInteger
lichangzai·2014-02-07 14:00

SparkR发布 让R跑在Spark上

sc<-sparkR.init("local") lines<-textFile(sc,"
包研·2014-01-26 00:00

Spark 源码分析 -- task实际执行过程

切分成Stage, 封装成taskset, 提交给TaskScheduler, 然后等待调度, 最终到Executor上执行 val sc = new SparkContext(……) val textFile
·2014-01-21 16:00

(6)Hive 高级编程——深入浅出学Hive

sishuok.com/forum/blogPost/list/6220.html第一部分：产生背景产生背景•为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：•文件格式：TextFile
jiangxuchen·2014-01-16 17:28

(6)Hive 高级编程——深入浅出学Hive

sishuok.com/forum/blogPost/list/6220.html第一部分：产生背景 产生背景 •为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括： •文件格式：TextFile
jiangxuchen·2014-01-16 17:00

Hive-UDAF开发指南

Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式： JavaInteger/String,Hado
wisgood·2014-01-16 14:00

Hive 高级编程??深入浅出学Hive

HiveQLHiveShell基本操作hive优化Hive体系结构Hive的原理 配套视频课程 第一部分：产生背景产生背景为了满足客户个性化的需求，Hive被设计成一个很开放的系统，很多内容都支持用户定制，包括：文件格式：TextFile
heuydjhg·2014-01-16 12:45

深入学习《Programing Hive》：数据压缩

Hive使用的是Hadoop的文件系统和文件格式，比如TEXTFILE，SEQUENCEFILE等。        在Hive中对中间数据或最终数据数据做压缩，是提高数据吞吐量和性能的一种手段。
skywhsq1987·2014-01-08 17:00

深入学习《Programing Hive》：数据压缩

Hive使用的是Hadoop的文件系统和文件格式，比如TEXTFILE，SEQUENCEFILE等。        在Hive中对中间数据或最终数据数据做压缩，是提高数据吞吐量和性能的一种手段。
skywhsq1987·2014-01-08 09:00

MapReduce的input为SequenceFile的相关实验

SequenceFile代码如下：执行完该java程序后，hdfs上面生成了SequenceFile:/sfile/sfile.seq我们可以用命令"hadoopdfs-text/sfile/sfile.seq"以textfile
samhacker·2014-01-05 11:00

Spark源码分析 – SparkContext

scheduler模块 这位写的非常好, 让我对Spark的源码分析, 变的轻松了许多 这里自己再梳理一遍 先看一个简单的spark操作, val sc = new SparkContext(……)val textFile
·2013-12-24 18:00

基于HIVE文件格式的map reduce代码编写

SEQUENCEFILE和RCFILE的存储格式都有利用，为了满足HIVE的数据开放，hiveclient的方式就比较单一，直接访问HIVE生成的HDFS数据也是一种必要途径，所以本文整理测试了如何编写基于TEXTFILE
evo_steven·2013-12-23 16:11

基于HIVE文件格式的map reduce代码编写

SEQUENCEFILE和RCFILE的存储格式都有利用，为了满足HIVE的数据开放，hiveclient的方式就比较单一，直接访问HIVE生成的HDFS数据也是一种必要途径，所以本文整理测试了如何编写基于TEXTFILE
evo_steven·2013-12-23 16:00

hive文件存储格式

nameSTRING) >ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t' >STOREDASTEXTFILE >LOCATION'/data/test';指定文件存储格式为“TEXTFILE
wisgood·2013-12-07 20:00
上一页 17 18 19 20 21 22 23 24 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他