TextFile

spark中的SparkContext实例的textFile使用的小技巧

http://blog.csdn.net/xiao_jun_0820/article/details/44218045网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建RDD，类似sc.textFile
u010064842·2015-08-04 13:00

spark implementation hadoop setup,cleanup

defmain(args:Array[String]){ valsc=newSparkContext("local","xxx") valinputData=sc.textFile("hdfs://master
stark_summer·2015-07-31 17:00

easyui-combobox 多选框编辑

textField:"name",    multiple:true, //设置为多选    editable:false   });    编辑时需要加载相应表单的数据，此时应处理填入combobox的textFile
ElricRockbell·2015-07-23 17:00

C# 文件操作方法

  方法一: FileStream textFile = File.Open(@"F:\程序\新手测试\linqApplication1\linqApplication1
·2015-07-20 18:00

在TXT文件中查找指定字符串并显示指定字符串所在行的内容

vardir:string;FileNameList,StrList,FileList:TStringList;i,x:Integer;//F:TextFile;TS:string;begindir:=
killer0717·2015-07-18 14:33

【Spark】RDD操作详解1——Transformation和Actions概况

输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，转化为
JasonDing·2015-07-11 22:28

【Spark】RDD操作详解1——Transformation和Actions概况

输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallelize方法输入Scala集合或数据）输入Spark，数据进入Spark运行时数据空间，转化为
JasonDing1354·2015-07-11 22:00

基于Hive 的文件格式：RCFile 简介及其应用

SequenceFile（2）RCFile（3）Avro（4）文本格式（5）外部格式2、为什么需要RCFile3、RCFile简介4、超越RCFile，下一步采用什么方法5、如何生成RCFile文件（1）hive中直接通过textfile
jiangshouzhuang·2015-06-28 23:00

Spark之Transformation和Action

1、RDD的两种类型操作 RDD的创建：    (SparkContext)sc.parallelize(collection)//将一个集合转换成RDD    sc.textFile("path.."
datapro·2015-06-23 18:00

Hive文件存储格式的测试比较

Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成
igorzhang·2015-06-20 16:00

spark的python API的一些研究成绩记录

from pyspark import SparkContext     sc = SparkContext(appName="Hello")     #读取文件     lines = sc.textFile
zerozz·2015-06-03 16:00

利用word分词来对文本进行词频统计

org.apdplat.word.WordFrequencyStatistics​ 类提供了词频统计的功能 命令行脚本的调用方法如下： 将需要统计词频的文本写入文件：text.txt chmod +x wfs.sh & wfs.sh -textFile
yangshangchuan·2015-05-21 13:00

利用word分词来对文本进行词频统计

org.apdplat.word.WordFrequencyStatistics​ 类提供了词频统计的功能 命令行脚本的调用方法如下： 将需要统计词频的文本写入文件：text.txt chmod +x wfs.sh & wfs.sh -textFile
yangshangchuan·2015-05-21 13:00

利用word分词来对文本进行词频统计

org.apdplat.word.WordFrequencyStatistics​ 类提供了词频统计的功能 命令行脚本的调用方法如下： 将需要统计词频的文本写入文件：text.txt chmod +x wfs.sh & wfs.sh -textFile
yangshangchuan·2015-05-21 13:00

利用word分词来对文本进行词频统计

org.apdplat.word.WordFrequencyStatistics​ 类提供了词频统计的功能 命令行脚本的调用方法如下： 将需要统计词频的文本写入文件：text.txt chmod +x wfs.sh & wfs.sh -textFile
yangshangchuan·2015-05-21 13:00

利用word分词来对文本进行词频统计

org.apdplat.word.WordFrequencyStatistics类提供了词频统计的功能命令行脚本的调用方法如下：将需要统计词频的文本写入文件：text.txt chmod +x wfs.sh & wfs.sh -textFile
杨尚川·2015-05-21 13:00

Hive 4种文件格式

http://www.cnblogs.com/Richardzhu/p/3613661.htmlhttp://www.iteblog.com/archives/1014hive文件存储格式包括以下几类：1、TEXTFILE2
鲍礼彬·2015-05-17 23:53

Hive 4种文件格式

//www.cnblogs.com/Richardzhu/p/3613661.html  http://www.iteblog.com/archives/1014hive文件存储格式包括以下几类：1、TEXTFILE2
baolibin528·2015-05-17 23:00

Spark MLlib Statistics统计

//读取数据，转换成RDD[Vector]类型   valdata_path="/home/jb-huangmeiling/sample_stat.txt"   valdata=sc.textFile(
sunbow0·2015-05-11 15:00

hive文件格式

xt_format_text( source string,  loginv string,  uv string,  dt string) row format delimited stored as textfile
肥皂·2015-04-26 23:00

hive数据压缩

转载：http://itindex.net/detail/47472-%E5%AD%A6%E4%B9%A0-programing-hiveHive使用的是Hadoop的文件系统和文件格式，比如TEXTFILE
forever_ai·2015-04-17 11:38

hive数据压缩

转载：http://itindex.net/detail/47472-%E5%AD%A6%E4%B9%A0-programing-hiveHive使用的是Hadoop的文件系统和文件格式，比如TEXTFILE
An342647823·2015-04-17 11:00

Thinking in java -- 文件读写实用工具

代码摘自“Thinkinginjava18.7章节”//:net/mindview/util/TextFile.java //Staticfunctionsforreadingandwritingtextfilesas
u010926176·2015-04-07 11:00

Hive Udf 与Udaf

Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式： JavaIntege
nysyxxg·2015-03-29 15:00

蜗龙徒行-Spark学习笔记【二】Spark shell下kmeans聚类算法的应用

importorg.apache.spark.mllib.clustering.KMeansimportorg.apache.spark.mllib.linalg.Vectors//加载并分析数据valdata=sc.textFile
cafuc46wingw·2015-03-26 12:00

spark编译时的问题

wordcount的测试程序时居然程序出现异常就退出了，在网上搜了好久找到如下这篇博文，最后重新编译安装后，一切都正常了~~~~~这里我用的是spark1.2hadoop2.4.1scala>valrdd1=sc.textFile
281824088·2015-03-12 17:05

spark编译时的问题

的测试程序时居然程序出现异常就退出了，在网上搜了好久找到如下这篇博文，最后重新编译安装后，一切都正常了~~~~~这里我用的是spark1.2  hadoop2.4.1scala>valrdd1=sc.textFile
281824088·2015-03-12 17:05

spark中的SparkContext实例的textFile使用的小技巧

网上很多例子，包括官网的例子，都是用textFile来加载一个文件创建RDD，类似sc.textFile("hdfs://n1:8020/user/hdfs/input")textFile的参数是一个path
xiao_jun_0820·2015-03-12 10:00

spark下统计单词频次

|textFile("/etc/profile"). |flatMap((s:String)=>s.split("\\s")).|map(_.toUpperCase).
bluejoe2000·2015-03-06 08:00

eclipse配置SVN和Maven以及常用插件

阅读更多开发环境配置手册1、下载最新版本eclipseJAVAEE版本https://www.eclipse.org/downloads/2、启动eclipse，选择workspace，配置workspace的textfile
yq81862·2015-03-02 18:00

Spark SQL示例

SparkSQL尝试// data from 2014.9.12 val transfer = sc.textFile("hdfs://LDKJSERVER1046:8020/user/flume/transfer20
南洋牧师·2015-02-03 17:00

使用Spark计算PV、UV

scala>valtextFile=sc.textFile("hdfs://localhost:9000/user/r
ozhaohuafei·2015-01-28 14:00

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count

操作HDFS：先要保证HDFS启动了：启动spark集群：以spark-shell运行在spark集群上： 查看下之前上传到HDFS上的”LICENSE.txt“文件：用spark读取这个文件：使用count统计该文件的行数： 我们可以看到count耗时为0.239708s对该RDD进行cache操作并执行count使得缓存生效：执行count结果为：此时耗时为0.21132s再执行count操作
Stark_Summer·2015-01-28 13:00

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count

阅读更多操作HDFS：先要保证HDFS启动了：启动spark集群：以spark-shell运行在spark集群上：查看下之前上传到HDFS上的”LICENSE.txt“文件：用spark读取这个文件：使用count统计该文件的行数：我们可以看到count耗时为0.239708s对该RDD进行cache操作并执行count使得缓存生效：执行count结果为：此时耗时为0.21132s再执行count
Stark_Summer·2015-01-28 13:00

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cach

操作HDFS：先要保证HDFS启动了：启动spark集群：以spark-shell运行在spark集群上：查看下之前上传到HDFS上的”LICENSE.txt“文件：用spark读取这个文件：使用count统计该文件的行数： 我们可以看到count耗时为0.239708s对该RDD进行cache操作并执行count使得缓存生效：执行count结果为：此时耗时为0.21132s再执行count操作：
stark_summer·2015-01-28 13:00

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count

操作HDFS：先要保证HDFS启动了：启动spark集群：以spark-shell运行在spark集群上： 查看下之前上传到HDFS上的”LICENSE.txt“文件：用spark读取这个文件：使用count统计该文件的行数： 我们可以看到count耗时为0.239708s对该RDD进行cache操作并执行count使得缓存生效：执行count结果为：此时耗时为0.21132s再执行count操作
Stark_Summer·2015-01-28 13:00

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count

阅读更多操作HDFS：先要保证HDFS启动了：启动spark集群：以spark-shell运行在spark集群上：查看下之前上传到HDFS上的”LICENSE.txt“文件：用spark读取这个文件：使用count统计该文件的行数：我们可以看到count耗时为0.239708s对该RDD进行cache操作并执行count使得缓存生效：执行count结果为：此时耗时为0.21132s再执行count
Stark_Summer·2015-01-28 13:00

Hive-4-Hive的文件格式

Hive文件格式1、TextFile 默认文件格式数据不做压缩，磁盘开销大，数据解析开销大，可以结合Gzip、Bzip2使用（系统自动检测，执行查询时自动解压）数据不会被Hive切分，所以无法对数据进行并行操作创建命令
f369504543·2015-01-24 15:00

Hive文件存储格式

Hive文件存储格式包括以下几类：1.TEXTFILE2.SEQUENCEFILE3.RCFILE4.ORCFILE(0.11以后出现)其中TEXTFILE是默认格式，建表是不指定默认为这个格式，导入数据时会直接把数据文件拷贝到
lzm1340458776·2015-01-23 15:00

Spark API编程动手实战-02-以集群模式进行Spark API实战textFile、cache、count

操作HDFS：先要保证HDFS启动了：启动spark集群：以spark-shell运行在spark集群上：查看下之前上传到HDFS上的”LICENSE.txt“文件：用spark读取这个文件：使用count统计该文件的行数： 我们可以看到count耗时为0.239708s对该RDD进行cache操作并执行count使得缓存生效：执行count结果为：此时耗时为0.21132s再执行count操作：
stark_summer·2015-01-23 10:00

工具——将windows文本格式转换为UNIX格式

将windows文本格式转换为UNIX格式1、使用sed命令来进行转换，如下：sed-e’s,^M,,g’textfile其中^M的输入方法是Ctrl+V,Ctrl+M对于批量文件的处理，可以用下面的命令
Frideric_Sun·2014-12-30 11:28

Hive文件格式（表STORE AS 的四种类型）

hive文件存储格式包括以下几类：1、TEXTFILE2、SEQUENCEFILE3、RCFILE4、ORCFILE(0.11以后出现)其中TEXTFILE为默认格式，建表时不指定默认为这个格式，导入数据时会直接把数据文件拷贝到
kexinmei·2014-12-26 14:00

sprk学习之二

lines=sc.textFile()   加载RDD=====================================================================errors
YHX1014·2014-12-08 13:00

管理ORACLE实例

初始化参数文件：-PFILE：Staticparameterfile,PFILE-SPFILE：Persistentserverparameterfile,SPFILE PFILE--initSID.ora・Textfile
ospub·2014-12-04 16:12

Hive总结（十一）Hive自定义函数UDF

Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式：JavaInteger/String,Hadoo
程序员成长史·2014-11-27 15:21

Hive总结（十一）Hive自定义函数UDF

Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式： JavaInteger/String,Hado
lifuxiangcaohui·2014-11-27 15:00

南邮数据结构实验2 （2）哈夫曼编码和编译系统

C——编码：输入由字符集中字符组成的任意字符串，利用已生成的哈夫曼编码进行编码，显示编码结果，并将输入的字符串及其编码结果分别保存在磁盘文件textfile.txt和codefile.txt中。D
Tc_To_Top·2014-11-03 09:00

C# .NET - Sql Bulk Insert from multiple delimited Textfile using c#.net

SqlBulkCopy.WriteToServer has 4 overloads:SqlBulkCopy.WriteToServer (DataRow[])    Copies all rows from the supplied DataRow array to a destination table specified by the  &nb
·2014-10-22 09:00

hive建立表存储格式

EXTERNAL TABLE MYTEST(num INT, name STRING)  > ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'  > STORED AS TEXTFILE
蓝狐乐队·2014-09-26 15:00

python在eclipse下配置编码问题

preferences->general->editors->texteditors->spelling->encoding->UTF-8，编辑器的编码格式window->preferences->workspace->textfile
方开金·2014-09-11 22:00
上一页 16 17 18 19 20 21 22 23 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他