map-reduce

大象的崛起！Hadoop七年发展风雨录

与Google还是处在强烈竞争关系时候，招聘了Doug(Hadoop创始人)，把Google老大赖以生存的DFS与Map-Reduce开源了，开始了Hadoop的童年时期。
xrogzu·2011-09-12 00:00

大象的崛起！Hadoop七年发展风雨录

与Google还是处在强烈竞争关系时候，招聘了Doug(Hadoop创始人)，把Google老大赖以生存的DFS与Map-Reduce开源了，开始了Hadoop的童年时期。
nosqlfan gOODiDEA·2011-09-11 13:00

Hadoop示例程序WordCount运行及详解

WordCount运行及详解博客分类：HadoopLinux编程Apache框架Hadoop 最近在学习云计算，研究Haddop框架，费了一整天时间将Hadoop在Linux下完全运行起来，看到官方的map-reduce
yzhou86·2011-08-29 21:00

Nutch 1.3 学习笔记 6 ParseSegment

bin/nutchparse这个命令主要是用来解析抓取的内容，对其进行外链接分析，计算分数等操作，这个解析在抓取的时候就可以设置是否进行，如果在抓取的时候没有设置解析抓取的网页内容，那这边可以单独用一个Map-Reduce
amuseme_lu·2011-08-28 22:00

Spring Data JPA 简单介绍

于是就花了点时间了解SpringData，可能UDSLII期会基于SpringData做扩展SpringData相关资料介绍：针对关系型数据库，KV数据库，Document数据库，Graph数据库，Map-Reduce
nhy520·2011-08-26 14:00

Map-Reduce的过程解析

转载：http://www.cnblogs.com/forfuture1978/archive/2010/11/19/1882268.html一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的
shuhuai007·2011-08-25 12:00

Spring Data JPA 简单介绍

于是就花了点时间了解SpringData，可能UDSLII期会基于SpringData做扩展SpringData相关资料介绍：针对关系型数据库，KV数据库，Document数据库，Graph数据库，Map-Reduce
stone2083 tangfl·2011-08-25 07:00

MapReduce程式如何调用第三方和本地库

解决方法介绍：我们知道，在Hadoop中有一个叫做DistributedCache的东东，它是用来分发应用特定的只读文件和一个jar包的，以供Map-Reduce框架在启动任务和运行的时候使用这些缓冲的文件或者
amuseme_lu·2011-08-21 14:21

MapReduce程式如何调用第三方和本地库

解决方法介绍：我们知道，在Hadoop中有一个叫做DistributedCache的东东，它是用来分发应用特定的只读文件和一个jar包的，以供Map-Reduce框架在启动任务和运行的时候使用这些缓冲的文件或者
amuseme_lu·2011-08-21 14:00

Hadoop跑map-reduce任务时停滞不前的问题（二）

之前碰到过这个问题，是集群的配置问题。见http://blog.csdn.net/inte_sleeper/article/details/6572052今天又碰到这个问题啊，但是这次不是集群的问题了。。。调试了半天，发现其实是有一行输入数据特别巨大，一行数据10几M，而我的map程序又比较复杂，导致map迟迟不能处理完这一行数据。。。所以有时合理地切分输入很重要啊，不然就很可能会出现个别map程
inte_sleeper·2011-08-18 17:00

hadoop学习--安装使用

hadoop内部结构：hadoop执行map-reduce流程图：使用教程：1.下载hadoopcore源代码：http://apache.etoak.com//hadoop/common/hadoop
ToBeAndNotToBe·2011-08-08 14:00

hadoop官方中文文档

index.html 文档 概述 快速入门 集群搭建 HDFS构架设计 HDFS使用指南 HDFS权限指南 HDFS配额管理指南 命令手册 FS Shell使用指南 DistCp使用指南 Map-Reduce
java-007·2011-08-02 10:00

hadoop官方中文文档

index.html 文档 概述 快速入门 集群搭建 HDFS构架设计 HDFS使用指南 HDFS权限指南 HDFS配额管理指南 命令手册 FS Shell使用指南 DistCp使用指南 Map-Reduce
java-007·2011-08-02 10:00

Python 扯淡的Map-Reduce

发现python具有类似Hadoop中的Map-reduce概念的标准函数，于是变搞来玩玩，发现还是蛮好玩的，虽然功能简陋了点，不过该做的都做了。
lovingprince·2011-07-23 12:00

Python 扯淡的Map-Reduce

发现python具有类似Hadoop中的Map-reduce概念的标准函数，于是变搞来玩玩，发现还是蛮好玩的，虽然功能简陋了点，不过该做的都做了。
lovingprince·2011-07-23 12:00

Python 扯淡的Map-Reduce

发现python具有类似Hadoop中的Map-reduce概念的标准函数，于是变搞来玩玩，发现还是蛮好玩的，虽然功能简陋了点，不过该做的都做了。
javahigh1·2011-07-23 12:00

Hadoop运行python作业时的依赖于其他库的问题

用hadoopstreaming可以运行python写的map-reduce作业。但是如果map/reduce依赖于其他库呢？
inte_sleeper·2011-07-18 17:00

Hadoop跑map-reduce任务时停滞不前的问题

今天跑job的时候，发现map任务很正常地结束，但跑reduce任务时到20%几就停滞不前，而且一直卡住没法正常结束。看userlog，好像是FETCHmap任务的结果时超时，无法取到结果。中间还出现了一个诡异的地址web30.bbn.com.cn/202.106.195.30。也就是说，reduce任务到这个诡异的地址上去取结果。上网搜了一下，这个域名/IP是网通的一台找不到域名或地址后自动定向
inte_sleeper·2011-06-28 11:00

世界顶尖PHP站Facebook后台技术探秘

HadoopandHiveHadoop的是一个开源的map-reduce实现，使得它可以在进行大数据上进行运算。Facebook的使用这个进行数据分析（而我们都知道，Facebook已经大量的数据）。
lgm252008·2011-05-31 09:00

[转]Facebook主要后台技术

Hadoop and Hive Hadoop的是一个开源的map-reduce实现，使得它可以在进行大数据上进行运算。
wapysun·2011-05-24 17:00

[转]Facebook主要后台技术

HadoopandHiveHadoop的是一个开源的map-reduce实现，使得它可以在进行大数据上进行运算。Facebook的使用这个进行数据分析（而我们都知道，Facebook已经大量的数据）。
黑夜路人·2011-05-24 17:00

[转]Facebook主要后台技术

HadoopandHiveHadoop的是一个开源的map-reduce实现，使得它可以在进行大数据上进行运算。Facebook的使用这个进行数据分析（而我们都知道，Facebook已经大量的数据）。
heiyeshuwu·2011-05-24 17:00

基于GFS思想的分布式文件系统KFS

自从去年Google 发布了他的几款主要产品gfs,bigtable,map-reduce 的相关文档后，一些牛人就马上行动起来，折腾出来实现类似功能的开源产品了，kfs就是其中之一，主要模仿的是gfs
xuyuanshuaaa·2011-05-23 16:00

Hadoop学习总结：Map-Reduce入门

Hadoop学习总结：Map-Reduce入门 1、Map-Reduce的逻辑过程 假设我们需要处理一批有关天气的数据，其格式如下：     按照ASCII码存储
xuyuanshuaaa·2011-05-18 10:00

Hadoop Streaming 实战： 传递环境变量

用JAVA实现的Map-Reduce程序可以通过Hadoop提供的编程接口访问作业的配置信息，而streaming程序不能使用JAVA编程接口，因此，streaming框架通过设置环境变量的方式给mapper
yfkiss·2011-05-16 09:00

[读]互联网应用服务扩展的一点经验

wangdi-internet-service.htmlFreeWheel：互联网MRM视频广告投放发布平台:B2B：contentowner->contentdistributiors广告应用服务器：匹配(用户请求和现有广告的匹配)Logprocessor:map-reduce
blade2001·2011-05-13 13:00

Hadoop Streaming 实战： 实用Partitioner类KeyFieldBasedPartitioner

       我们知道，一个典型的Map-Reduce过程包括：Input->Map->Patition->Reduce->Output。
yfkiss·2011-05-11 10:00

Map-Reduce简介

MapReduce是一种编程模型，始于：Dean,Jeffrey&Ghemawat,Sanjay(2004)."MapReduce:SimplifiedDataProcessingonLargeClusters"。主要应用于大规模数据集的并行运算。其将并行计算简化为Map和reduce过程，极大地方便了编程人员在不会分布式并行编程的情况下,将自己的程序运行在分布式系统上。程序员只需要指定一个Map
yfkiss·2011-05-03 16:00

MapReduce源码分析总结

原文地址：http://www.cnblogs.com/end/archive/2011/04/26/2029499.html   转者注：本来想在Hadoop学习总结系列详细解析HDFS以及Map-Reduce
landyer·2011-05-03 04:00

Hadoop学习总结：Hadoop的运行痕迹

www.cnblogs.com/end/archive/2011/04/26/2029497.htmlHadoop学习总结之一：HDFS简介Hadoop学习总结之二：HDFS读写过程解析Hadoop学习总结之三：Map-Reduce
nodie·2011-05-03 04:10

Hadoop学习总结：Hadoop的运行痕迹

www.cnblogs.com/end/archive/2011/04/26/2029497.html   Hadoop学习总结之一：HDFS简介Hadoop学习总结之二：HDFS读写过程解析Hadoop学习总结之三：Map-Reduce
landyer·2011-05-03 04:00

Hadoop学习总结：Map-Reduce的过程解析

原文地址：http://www.cnblogs.com/end/archive/2011/04/26/2029496.html  一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。
landyer·2011-05-03 04:00

Hadoop学习总结：Map-Reduce入门

原文地址：http://www.cnblogs.com/end/archive/2011/04/26/2029492.html  1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下
landyer·2011-05-03 04:00

hadoop运行痕迹~~

Hadoop学习总结之一：HDFS简介Hadoop学习总结之二：HDFS读写过程解析Hadoop学习总结之三：Map-Reduce入门Hadoop学习总结之四：Map-Reduce的过程解析 在使用hadoop
adcxf·2011-04-12 16:00

hadoop作业运行部分源码

一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。
samuschen·2011-03-31 10:00

Hadoop学习总结之Map-Reduce的过程解析

引自 http://www.cnblogs.com/forfuture1978/archive/2010/11/19/1882268.html  
wf1982·2011-03-29 18:00

qt4.6的并行处理机制

google的数据后端处理大家可能听说过，所使用的并行机制是map-reduce,也就是用map去收集整理一个数据集，之后用reduce对数据集进行处理，得出想要的结果。
dxwangtcg·2011-03-23 07:24

Hadoop简化升级并支持其他的编程范式

敏捷性：新的设计将map-reduce作为一个用户库，这样同一个集群中所运行的job就可以使用不同的版本了。更低的延迟：新的设计考虑到了更快的响应、特别是对于小范
墙头草·2011-03-22 10:00

Hadoop重新设计，旨在简化升级并支持其他的编程范式

HadoopMap-Reduce开发团队领导ArunMurthy展示了针对Hadoop的重新设计过的核心Map-Reduce架构，旨在简化升级、支持更大的集群、更快的恢复，还要支持除了Map-Reduce
Ron Bodkin·2011-03-22 00:00

Hadoop重新设计，旨在简化升级并支持其他的编程范式

HadoopMap-Reduce开发团队领导ArunMurthy展示了针对Hadoop的重新设计过的核心Map-Reduce架构，旨在简化升级、支持更大的集群、更快的恢复，还要支持除了Map-Reduce
Ron Bodkin·2011-03-22 00:00

Hadoop快速入门

目的这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。
shenshouer·2011-03-08 14:00

Map-Reduce过程解析(zz)

 一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。
kevin_darkelf·2011-03-06 22:00

Map-Reduce 入门(zz)

1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第
kevin_darkelf·2011-03-06 22:00

Hadoop学习总结之四：Map-Reduce的过程解析

一、客户端Map-Reduce的过程首先是由客户端提交一个任务开始的。
冷静·2011-02-24 21:00

Hadoop学习总结之三：Map-Reduce入门

 1、Map-Reduce的逻辑过程假设我们需要处理一批有关天气的数据，其格式如下：按照ASCII码存储，每行一条记录每一行字符从0开始计数，第15个到第18个字符为年第25个到第29个字符为温度，其中第
冷静·2011-02-24 21:00

【Hadoop】 c++ && python 实现 Hadoop Streaming 的 partitioner 和 模块化

Hadoop Streaming 是一个工具， 代替编写Java的实现类，而利用可执行程序来完成map-reduce过程.工作流程：
violetlong·2011-01-30 14:00

Hadoop代码分析（二）

Inputormat：describes the input-specification for a Map-Reduce job   它是一个用于处理指定输入的接口： 1.用于验证输入的有效性
jiji879·2011-01-09 16:00

Hadoop安装及初探

这里只说一下，Hadoop项目起初的目的是将Google公司的三大宝GFS、BigTable以及Map-Reduce开源化。
geniuslinchao·2011-01-07 15:00

Hadoop中Map-Reduce处理逻辑理解

MapReduceisaprogrammingmodelandanassociatedimplementationforprocessingandgeneratinglargedatasets.Usersspecifyamapfunctionthatprocessesakey/valuepairtogenerateasetofintermediatekey/valuepairs,andareduc
desert3·2011-01-07 15:00

Hadoop中Map-Reduce处理逻辑理解

MapReduceisaprogrammingmodelandanassociatedimplementationforprocessingandgeneratinglargedatasets.Usersspecifyamapfunctionthatprocessesakey/valuepairtogenerateasetofintermediatekey/valuepairs,andareduc
desert3·2011-01-07 15:00
上一页 12 13 14 15 16 17 18 19 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他