textFile

spark 实战笔记case2

valt1=sc.textFile("/tmp/db_case1/order_created/*").map(line=>line.split("\t")) valt2=sc.textFile("/tmp
mlljava1111·2016-01-30 19:00

10.Spark之RDD及编程接口

HelloWorld    valsc=newSparkContext("spark://...","HelloWorld","SPARK_HOME路径","APP_JAR路径")    valfile=sc.textFile
鞋底留个洞·2016-01-28 18:00

大数据IMF传奇 第19课 spark 二次排序 使用JAVA自定义key 进行二次排序

scala>sc.textFile("/README.txt").flatMap(_.split("")).map((_,1)).reduceByKey(_+_).map(x=>(x._2,x._1))
duan_zhihua·2016-01-24 20:00

Spark机器学习读书笔记-CH03

获取数据:wgethttp://files.grouplens.org/datasets/movielens/ml-100k.zip 3.2.探索与可视化数据:In[3]: user_data=sc.textFile
littlesuccess·2016-01-24 17:00

Spark sc.textFile(...).map(...).count() 执行完整流程

本文介绍下Spark到底是如何运行sc.TextFile(…).map(….).count()这种代码的，从driver端到executor端。
allwefantasy·2016-01-22 21:00

file-diff.py――文件对比，输出HTML文档

/usr/bin/envpython#coding:utf-8importdifflibimportsystry:  textfile1=sys.argv[1]  #第一个配置文件路径参数  textfile2
wjpingok·2016-01-21 15:22

spark构建回归模型

机器学习第六章实现加载数据集数据集为Bike-Sharing-Datasetpath="hdfs:///user/yy/Bike-Sharing-Dataset/hour_noheader.csv"raw_data=sc.textFile
YiyangJump·2016-01-19 15:18

树形结构的处理——组合模式（三）：杀毒软件框架结构的解决方案

客户端可以一致地对待文件和文件夹，Sunny公司开发人员使用组合模式来进行杀毒软件的框架设计，其基本结构如图11-5所示：在图11-5中，AbstractFile充当抽象构件类，Folder充当容器构件类，ImageFile、TextFile
will130·2016-01-18 16:00

spark编程珠玑-RDD篇

把数据读取到RDD的操作同样也是惰性的，因此我们调用sc.textFile()时数据没有立即读取进来，而是有必要时才会读取。和转化操作
venps·2016-01-18 11:00

difflib模块对比apache配置文件差异

/usr/bin/python importdifflib importsys  try:   textfile1=sys.argv[1]   #第一个配置文件路径  textfile2=sys.argv
fuchao1·2016-01-14 22:53

spark集群搭建时的一个问题

求大神解惑：spark1.6版本操作hdfs报错：在spark-shell里：valfile=sc.textFile("hdfs://master138:9000/sparktest/README.md
beat_it_·2016-01-14 16:00

spark集群搭建时的一个问题

阅读更多求大神解惑：spark1.6版本操作hdfs报错：在spark-shell里：valfile=sc.textFile("hdfs://master138:9000/sparktest/README.md
beat_it_·2016-01-14 16:00

SPARK入门

默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读 本地文件读取 sc.textFile("路径").在路径前面加上file:
xztelecomlcs·2016-01-13 14:36

SPARK入门

默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读 本地文件读取 sc.textFile("路径").在路径前面加上file:
xztelecomlcs·2016-01-13 14:36

SPARK入门

默认是从hdfs读取文件，也可以指定sc.textFile("路径").在路径前面加上hdfs://表示从hdfs文件系统上读本地文件读取 sc.textFile("路径").在路径前面加上file:/
xztelecomlcs·2016-01-13 14:36

Spark环境下的Kmeans-Python实现

appName="MySparkApplication") #读取数据,data文件夹下有6个数据文件，这样写能全部读取，需要注意的是，在其他worker的相同路径下也需要有这些文件 lines=sc.textFile
u012784277·2016-01-11 17:00

Could not find creator property with name 'id'（local spark debug）

    spark本地IDE调试模式下：JavaRDDtextFile=sc.textFile("E:\\json.txt",1); 执行异常：com.fasterxml.jackson.databind.JsonMappingException
lvdccyb·2016-01-06 11:00

Could not find creator property with name 'id'（local spark debug）

阅读更多spark本地IDE调试模式下：JavaRDDtextFile=sc.textFile("E:\\json.txt",1);执行异常：com.fasterxml.jackson.databind.JsonMappingException
lvdccyb·2016-01-06 11:00

通过wordCount实战详解Spark RDD创建 -- （视频笔记）

DAG图（RDD依赖关系图，有向图，无环图）shuffledRDD为宽依赖 在sparkshell的页面上查看具体的job执行情况我们实际操作save 》》》valcache=sc.textFile("
逸新·2015-12-29 15:00

RDD 中action的saveAsTextFile和saveAsObjectFile详解 -- （视频笔记）

sc.textFile("hdfs://hadoop-1:9000/data/test/test.dat").flatMap(_.split("")).map(word=>(word,1)).reduceByKey
逸新·2015-12-29 14:00

动手实战创建RDD的三种方式--（视频笔记）

1、通过scala集合（数组，range） valcollection=sc.parallelize(1to10000)2、在hdfs或者hbasevalhdfsData=sc.textFile("hdfs
逸新·2015-12-28 19:00

使用python实现文本的diff

/usr/bin/envpython    #coding:utf-8    importdifflib    importsys    try:        textfile1=sys.argv[1
鸿弟·2015-12-25 14:00

hive文件存储格式

nameSTRING) >ROWFORMATDELIMITEDFIELDSTERMINATEDBY'\t' >STOREDASTEXTFILE >LOCATION'/data/test';指定文件存储格式为“TEXTFILE
尧山少侠·2015-12-23 13:00

Spark External Datasets

Spark支持textFile、SequenceFiles和任何其他的Hadoop的InputFormat格式的数据。
ljy2013·2015-12-21 15:00

Scala pair RDD 统计均值，方差等

=newSparkConf().setAppName("hh") conf.setMaster("local[3]") valsc=newSparkContext(conf) valdata=sc.textFile
power0405hf·2015-12-15 10:00

Scala Spark 求众数

newSparkConf().setAppName("Mode") conf.setMaster("local[3]") valsc.newSparkContext(conf) valdata=sc.textFile
power0405hf·2015-12-14 21:00

Hive的文件格式比较

Hive的三种文件格式：TEXTFILE、SEQUENCEFILE、RCFILE中，TEXTFILE和SEQUENCEFILE的存储格式都是基于行存储的，RCFILE是基于行列混合的思想，先按行把数据划分成
lifuxiangcaohui·2015-12-10 18:00

spark RDD transformation和action操作

作为文件的示例scala>scres30:org.apache.spark.SparkContext=org.apache.spark.SparkContext@68fda8scala>valfile=sc.textFile
qq_20545159·2015-12-09 14:00

spark集群环境下Lost task 0.0 in stage 10.0 (TID 17, 10.28.23.202): java.io.FileNotFoundException

scala>valfile=sc.textFile("test.txt")15/12/0913:22:36INFOMemoryStore:ensureFreeSpace(
qq_20545159·2015-12-09 13:00

合并HDFS和本地文件系统中的小文件

本文以TextFile为例，介绍一下从本地–>HDFS、HDFS–>本地、以及HDFS–>HDFS的文件上传下载移动过程中，对小文件的合并方法将本地的小文件合并，上传到HDFS假设存放在本地的数据由很多个小文件组成
sungang_1120·2015-12-09 13:00

合并HDFS和本地文件系统中的小文件

本文以TextFile为例，介绍一下从本地–>HDFS、HDFS–>本地、以及HDFS–>HDFS的文件上传下载移动过程中，对小文件的合并方法将本地的小文件合并，上传到HDFS假设存放在本地的数据由很多个小文件组成
sungang_1120·2015-12-09 13:00

Spark-Error-Common

Array[]) {     hadoopAddr = conf = SparkConf().setAppName()     sc = SparkContext(conf)     mapRdd = sc.textFile
wangyuqwerty·2015-12-08 22:43

Spark-Error-Common

Array[]) {    hadoopAddr = conf = SparkConf().setAppName()    sc = SparkContext(conf)    mapRdd = sc.textFile
wangyuqwerty·2015-12-08 22:43

Spark Scala 范例

1.处理HDFS日志文件中错误日志vallines=sc.textFile("hdfs://...")
power0405hf·2015-12-01 19:00

Hive 学习大纲

学习内容：第一部分：Hive的环境搭建、基本操作、存储类型与复合数据类型主要介绍：Hive的安装、Hive的负载均衡搭建、Hive的访问方式、Hive的数据类型、Hive的CLI操作介绍；TextFile
Mike_H·2015-12-01 16:41

Scala in Spark 基本操作【未完】

5:SparkContext，SparkConfspark读取hbaseScala强大的集合数据操作示例spark中的一些RDD操作以及变换#创建textFileRDD valtextFile=sc.textFile
power0405hf·2015-11-29 22:00

[数据科学] 从text, json文件中提取数据

#-*-coding:utf-8-*- fpath="data/textfile.txt" f=open(fpath,'r') ##按照字符读取字符 first_char=f.read(
GUANGHUIZ·2015-11-26 19:00

hive中UDF、UDAF和UDTF使用

Hive是一个很开放的系统，很多内容都支持用户定制，包括：a）文件格式：TextFile，SequenceFileb）内存中的数据格式：JavaInteger/String,Hadoo
yntmdr·2015-11-26 08:26

spark初识

scala> sc.textFile("D:\\boke\\technology\\spark\\hello.txt").flatMap(_.split("\\s")) .map(x=>(x, 1)).
Zero零_度·2015-11-19 11:00

Spark学习--spark-shell使用

Spark-shell使用配置好Spark集群，测试Sparkwordcount程序，可以通过基本的Spark-shell来进行交互式的代码提交，比如：valtextFile=sc.textFile("
ASIA_kobe·2015-11-18 21:00

Spark 读取文件中文乱码解决

当我们获取文本文件数据源是，直接使用如下代码会出现中文乱码问题valtxt=sc.textFile(rootPath+"/4/*") 解决方案：将文本先用数据流读进内存，转化成list，在转化成spark
see_you_again·2015-11-18 14:00

ios日历视图实现日期输入

在textFile
·2015-11-13 15:07

Hive操作语句的使用实例讲解

person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE
·2015-11-13 13:02

Hive基础之Hive的存储类型

Hive常用的存储类型有： 1、TextFile： Hive默认的存储类型；文件大占用空间大，未压缩，查询慢； 2、Sequence File：将属于以<KEY,VALUE>的形式序列化到文件中
·2015-11-13 02:06

sqoop操作之HIVE导出到ORACLE

loc string ) row format delimited fields terminated by '\t' lines terminated by '\n' stored as textfile
·2015-11-13 02:59

C#中如何使用内嵌资源

C#中如何使用内嵌资源（文字、图片）方法一：直接使用本地文件1、将图片和文件加入项目（可单独建目录存放他们，如Resources），例如：progress.gif和textFile.txt2、将图片和文件的生成操作设置为
·2015-11-12 16:34

Hive学习之动态分区及HQL

string,value string)row format delimited fields terminatedby '\t' lines terminated by '\n'stored as textfile
·2015-11-12 14:32

Hive 入门

person(name STRING,age INT)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' ESCAPED BY '\\' STORED AS TEXTFILE
·2015-11-12 14:26

有关IE的操作（收藏夹，清理缓存等）

1.添加网页到收藏夹的函数： procedure AddURL(Folder, Url, Title: string); var MyUrlFile: TextFile; begin
·2015-11-12 14:44

hive 存储格式

hive有textFile,SequenceFile,RCFile三种文件格式。
·2015-11-12 09:10
上一页 14 15 16 17 18 19 20 21 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他