E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
map-reduce
Pig系列之一:Pig简介
目前,Pig的底层由一个编译器组成,它在运行的时候会产生一些
Map-Reduce
程序序列,并且这里大规模的并行执行依然存在(例如,Hadoop子工程)。
shenlan211314
·
2011-01-04 20:00
数据分析
优化
pig
语言
任务
编译器
访谈与书摘:George Fairbanks与《恰如其分的软件架构》
此外,他还探讨了多种架构风格,如大泥球模式(Bigballofmud)、管道过滤器模式(Pipe-and-filter)、
Map-Reduce
模式,讨论了架构模式与架构风格之间的差异。这次采访还谈到了
Srini Penchikala
·
2010-12-30 00:00
访谈与书摘:George Fairbanks与《恰如其分的软件架构》
此外,他还探讨了多种架构风格,如大泥球模式(Bigballofmud)、管道过滤器模式(Pipe-and-filter)、
Map-Reduce
模式,讨论了架构模式与架构风格之间的差异。这次采访还谈到了
Srini Penchikala
·
2010-12-30 00:00
Hadoop快速入门
目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和
Map-Reduce
框架有所体会,比如在HDFS上运行示例程序或简单作业等。
ssyan
·
2010-12-10 09:00
java
hadoop
ssh
input
平台
output
Hadoop快速入门
目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS ) 和
Map-Reduce
框架有所体会,比如在HDFS上运行示例程序或简单作业等。
wapysun
·
2010-12-10 09:00
hadoop
linux
正则表达式
软件测试
ssh
Hadoop快速入门
阅读更多目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和
Map-Reduce
框架有所体会,比如在HDFS上运行示例程序或简单作业等。
isiqi
·
2010-12-10 09:00
Hadoop
SSH
Linux
正则表达式
软件测试
Hadoop快速入门
阅读更多目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和
Map-Reduce
框架有所体会,比如在HDFS上运行示例程序或简单作业等。
wapysun
·
2010-12-10 09:00
Hadoop
SSH
Linux
正则表达式
软件测试
Hadoop 集群运行测试代码(Hadoop 权威指南天气数据示例)
之前在百度/Google上怎么也没有找到怎么样将自己的
Map-Reduce
方法跑在集群上的每一步都具体描述,经过一番痛苦的无头苍蝇式的摸索,成功了,心情不错... 1准备天气预报数据(权威指南上的数据的简化版
feipigwang
·
2010-12-03 18:00
apache
eclipse
mapreduce
hadoop
百度
HadoopMapReduce --
Map-Reduce
具体实现详解
FileSplit:文件的子集--文件分割体 简介: 这篇文档描述在hadoop中map和reduce操作是怎样具体完成的。如果你对Google的MapReduce各式模式不熟悉,请先参阅MapReduce--http://labs.google.com/papers/mapreduce.html Map 由于Ma
·
2010-12-03 13:00
map-reduce
Hadoop学习总结之四:
Map-Reduce
的过程解析
一、客户端
Map-Reduce
的过程首先是由客户端提交一个任务开始的。
forfuture1978
·
2010-11-29 21:00
hadoop
null
buffer
input
action
Path
Hadoop学习总结之三:
Map-Reduce
入门
1、
Map-Reduce
的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第
forfuture1978
·
2010-11-29 21:00
hadoop
iterator
input
任务
interface
output
Hadoop学习总结之四:
Map-Reduce
的过程解析
一、客户端
Map-Reduce
的过程首先是由客户端提交一个任务开始的。
forfuture1978
·
2010-11-19 23:00
jvm
数据结构
hadoop
Blog
Hadoop学习总结之四:
Map-Reduce
的过程解析
一、客户端
Map-Reduce
的过程首先是由客户端提交一个任务开始的。
forfuture1978
·
2010-11-19 23:00
jvm
数据结构
hadoop
Blog
Hadoop学习总结之三:
Map-Reduce
入门
1、
Map-Reduce
的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第
liuxinglanyue
·
2010-11-15 20:00
jvm
hadoop
cache
Hadoop学习总结之三:
Map-Reduce
入门
1、
Map-Reduce
的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第
forfuture1978
·
2010-11-14 18:00
jvm
hadoop
cache
Hadoop学习总结之三:
Map-Reduce
入门
1、
Map-Reduce
的逻辑过程假设我们需要处理一批有关天气的数据,其格式如下:按照ASCII码存储,每行一条记录每一行字符从0开始计数,第15个到第18个字符为年第25个到第29个字符为温度,其中第
forfuture1978
·
2010-11-14 18:00
jvm
hadoop
cache
世界顶尖PHP站Facebook后台技术探秘
Hadoop and Hive Hadoop的是一个开源的
map-reduce
实现,使得它可以在进行大数据上进行运算。
sav2005
·
2010-11-10 16:00
hadoop
PHP
erlang
软件测试
Facebook
Cloudant发布了基于Java的CouchDB视图服务器
这意味着不仅仅是Erlang和解释性语言如Javascript或者Python可以用于
Map-Reduce
工作,基于JVM的语言也可以用于
Map-Reduce
工作。
Michael Hunger
·
2010-09-19 00:00
Cloudant发布了基于Java的CouchDB视图服务器
这意味着不仅仅是Erlang和解释性语言如Javascript或者Python可以用于
Map-Reduce
工作,基于JVM的语言也可以用于
Map-Reduce
工作。
Michael Hunger
·
2010-09-19 00:00
Hadoop示例程序WordCount运行及详解
最近在学习云计算,研究Haddop框架,费了一整天时间将Hadoop在Linux下完全运行起来,看到官方的
map-reduce
的demo程序WordCount,仔细研究了一下,算做入门了。
samuschen
·
2010-09-15 15:00
apache
编程
框架
linux
hadoop
kfs简介
自从去年Google发布了他的几款主要产品gfs,bigtable,
map-reduce
的相关文档后,一些牛人就马上行动起来,折腾出来实现类似功能的开源产品了,kfs就是其中之一,
flyonok
·
2010-08-17 23:00
MapReduce工作原理
Map-Reduce
框架的运作完全基于<key,value>对,即数据的输入是一批<key,value>对,生成的结果也是一批<key,value>对,只是有时候它们的类型不一样而已
p_x1984
·
2010-06-30 13:00
mapreduce
工作
hadoop
框架
清理Hadoop HDFS的脚本
执行
MAP-REDUCE
程序失败重新执行的时候需要清理HDFS文件系统。
Aegeaner
·
2010-05-26 17:00
hadoop
脚本
ssh
《Data-Intensive Text Processing with MapReduce》第4章-压缩
在用
map-reduce
进行倒排索引的建立的时候,进入文档的编号已经有序了,按照升序排序,这时候可以对文档编号进行压缩。
fuyangchang
·
2010-05-23 08:00
mapreduce
存储
文档
processing
encoding
branch
How To Write
Map-Reduce
OnHadoop
一个
Map-Reduce
作业(job) 通常会把输入的数据集切分为若干独立的数据块,由 map任务(task)以完全并行的方式处理它们。
zhangzhaokun
·
2010-05-09 21:00
mapreduce
框架
hadoop
list
任务
作业
解析hadoop框架下的
Map-Reduce
job的输出格式的实现
Hadoop包含两个部分:一个分布式文件系统HDFS(HadoopDistributedFileSystem),和一个
Map-Reduce
实现。
iammonster
·
2010-04-10 18:00
apache
mapreduce
编程
框架
hadoop
解析hadoop框架下的
Map-Reduce
job的输出格式的实现
Hadoop包含两个部分:一个分布式文件系统HDFS(HadoopDistributedFileSystem),和一个
Map-Reduce
实现。
iammonster
·
2010-04-10 18:00
apache
mapreduce
编程
hadoop
框架
Hadoop源码分析-HDFS
Google’s Solution --> Open Source Word’s Solution : Google File System – Hadoop Distributed FS
Map-Reduce
david.org
·
2010-03-11 20:00
hadoop
工作
socket
网络应用
hbase
Hadoop示例程序WordCount详解
最近在学习云计算,研究Haddop框架,费了一整天时间将Hadoop在Linux下完全运行起来,看到官方的
map-reduce
的demo程序WordCount,仔细研究了一下
dapp66
·
2010-03-03 15:00
apache
编程
hadoop
linux
框架
hadoop文件复制命令
hadoop内置的distcp命令,采用
map-reduce
的方式对文件进行复制,对于大数据文件夹的复制,特别是文件夹的嵌套式很有效的。 不需要我们手工指定底层文件夹,即可完成复制。
fuyangchang
·
2010-02-08 16:00
MapBalanceReduce介绍
目的:1、从根本上解决reduce时的数据倾斜问题2、从根本上解决基于优先级的并发调度问题Map-Balance-Reduce(简称MBR)是在现有
Map-Reduce
模型基础之上的改进,以从根本上解决
eyjian
·
2010-02-08 16:13
mapreduce
职场
休闲
MapBalanceReduce介绍
目的:1、从根本上解决reduce时的数据倾斜问题2、从根本上解决基于优先级的并发调度问题Map-Balance-Reduce(简称MBR)是在现有
Map-Reduce
模型基础之上的改进,以从根本上解决
eyjian
·
2010-02-08 16:13
mapreduce
职场
休闲
c++ && python 实现 Hadoop Streaming 的 partitioner 和 模块化
partitioner和模块化这些东西是我自己的理解,如果有错误的地方,或者有哪些地方走了弯路,请帮我指出我的错误,谢谢HadoopStreaming是一个工具,代替编写Java的实现类,而利用可执行程序来完成
map-reduce
MemoryGarden's Blog
·
2010-01-24 03:00
hadoop
map-reduce
矩阵乘法
hadoop ,行与行的乘法。 http://carbon.cudenver.edu/csprojects/CSC5809S01/Simd/parmult.html 一直很奇怪矩阵的乘法怎么在hadoop上面实现。看了上面的演示,才发现其实事情很简单。 矩阵M*N=A,受到习惯思维的影响,矩阵的一个元素Aij是M的一行与N的一列相乘。但是实际上可以转换为M的一列中的每一个数和N中每一行相乘,
poson
·
2009-12-31 12:00
html
算法
hadoop
collaborative-map-reduce-in-the-browser
Google的
Map-Reduce
框架是非常强大、简洁、优雅的并行分布式处理框架。
鹤惊昆仑
·
2009-06-13 16:00
JavaScript
浏览器
Google
Ruby
Sinatra
Annotated Hadoop: 第三节 MapReduce工作原理
MapReduce工作原理
Map-Reduce
框架的运作完全基于<key,value
gaoyuntao2005
·
2008-11-28 12:00
mapreduce
工作
hadoop
框架
Annotated Hadoop: 第三节 MapReduce工作原理
MapReduce工作原理
Map-Reduce
框架的运作完全基于<key,value
gaoyuntao2005
·
2008-11-28 12:00
mapreduce
hadoop
工作
框架
map-reduce
简介
MapReduce是Google的一项重要技术,它是一个编程模型,用以进行大数据量的计算。对于大数据量的计算,通常采用的处理手法就是并行计算。至少现阶段而言,对许多开发人员来说,并行计算还是一个比较遥远的东西。MapReduce就是一种简化并行计算的编程模型,它让那些没有多少并行计算经验的开发人员也可以开发并行应用。在我看来,这也就是MapReduce的价值所在,通过简化编程模型,降低了开发并行
sws9999
·
2008-11-05 21:00
mapreduce
编程
框架
function
任务
FP
云计算资料索引[不断更新中]
Map-reduce
: http://highscalability.com/tags/map-reducehttp://wiki.huihoo.com/index.php?
blow_jj
·
2008-10-30 18:00
apache
eclipse
hadoop
linux
Google
云计算
基于Hadoop的Map reduce编程(一)
阅读更多翻译的一篇国外的关于hadoopmapreduce的文章,文章比较长,先翻译第一部分吧翻译者:pconlin900博客:http://pconline900.iteye.comHadoop是apache的一个开源的
map-reduce
pconline900
·
2008-09-25 14:00
编程
Hadoop
Mapreduce
框架
Google
[转] KFS,一个克隆GFS的文件系统
PS: google的三大基石 gfs,bigtable,
map-reduce
相对应的开源产品 gfs:kfs(据传google创史人的同窗所创),hdfs(hadoop的子项目) bigtable:
wapysun
·
2008-06-27 00:00
文件系统
[转] KFS,一个克隆GFS的文件系统
PS:google的三大基石gfs,bigtable,
map-reduce
相对应的开源产品gfs:kfs(据传google创史人的同窗所创),hdfs(hadoop的子项目)bigtable:hbase
heiyeshuwu
·
2008-06-27 00:00
hadoop
File
System
library
optimization
Components
[转] KFS,一个克隆GFS的文件系统
PS: google的三大基石 gfs,bigtable,
map-reduce
相对应的开源产品 gfs:kfs(据传google创史人的同窗所创),hdfs(hadoop的子项目) bigtable:
varsoft
·
2008-06-27 00:00
mapreduce
hadoop
linux
Google
hbase
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他