E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
map-reduce
Couchbase发布Couchbase Server 2.0 GA
CouchbaseServer2.0的主要特性包括灵活的JSON数据模型,分布式的索引和查询,增量的
map-reduce
以及跨数据中心的复制。
Abel Avram
·
2013-01-19 00:00
hive join
): 1.支持equality joins, outer joins, and left semi joins 2.只支持等值条件 3.支持多表join 原理 hive执行引擎会将HQL“翻译”成为
map-reduce
·
2013-01-16 11:00
hive
hadoop学习笔记<四>----
map-reduce
工作原理
MapReduce的作业(job)是由客户端提交给Hadoop集群的。一个job包括了输入数据,MapReduce程序和配置信息。Hadoop将作业非为若干个任务(task)来执行,其中包括map任务和reduce任务。 有两类节点和task的执行相关,一类是jobtracker,另外一类是tasktracker。 jobtracker通过调度tasktracker上运行的任务来协调所有运行在
ztianlong
·
2013-01-14 23:00
map-reduce
基于单步的
Map-Reduce
的矩阵乘法
基于单步的
Map-Reduce
的矩阵乘法 矩阵的乘法只有在第一个矩阵的列数(column)和第二个矩阵的行数(row)相同时才有定义。一般单指矩阵乘积时,指的便是一般矩阵乘积。
chenglinhust
·
2013-01-12 21:00
HaLoop——适用于迭代计算的Hadoop
文章连接(VLDB‘2010)该文章提出了对Hadoop的修改,使之能够适用于迭代计算,将原生的Hadoop中每一个job中一个
map-reduce
对改成多个
map-reduce
对,这样job就可以复用
guoery
·
2013-01-07 13:00
Hadoop学习总结
Map-Reduce
的过程解析
一、客户端
Map-Reduce
的过程首先是由客户端提交一个任务开始的。
jiagou
·
2013-01-06 18:00
map-reduce
Hadoop学习总结
Map-Reduce
的过程解析
一、客户端
Map-Reduce
的过程首先是由客户端提交一个任务开始的。
keda8997110
·
2013-01-06 18:00
hive join
hive(0.9.0):1.支持equalityjoins,outerjoins,andleftsemijoins2.只支持等值条件3.支持多表join原理hive执行引擎会将HQL“翻译”成为
map-reduce
caodaoxi
·
2012-12-29 16:36
hive
hive join
1.支持equality joins, outer joins, and left semi joins 2.只支持等值条件 3.支持多表join原理 hive执行引擎会将HQL“翻译”成为
map-reduce
caodaoxi
·
2012-12-29 16:00
hive
Hadoop学习总结之四:
Map-Reduce
的过程解析
原文链接:http://www.cnblogs.com/forfuture1978/archive/2010/11/19/1882268.html一、客户端
Map-Reduce
的过程首先是由客户端提交一个任务开始的
wind5shy
·
2012-12-20 20:00
Hadoop学习总结之三:
Map-Reduce
入门
原文链接:http://www.cnblogs.com/forfuture1978/archive/2010/11/14/1877086.html1、
Map-Reduce
的逻辑过程假设我们需要处理一批有关天气的数据
wind5shy
·
2012-12-20 20:00
mapreduce
mapreduce
hadoop
hadoop
入门
通过
Map-Reduce
实现Join系列之四
在本系列的前面几篇文章中,主要介绍了利用
Map-Reduce
任务来完成两个或者多个文件的Join操作的一些算法和思路。
Mysun
·
2012-12-15 20:00
map-reduce
通过
Map-Reduce
实现Join系列之三
在这个系列的前两篇中,介绍了基本的Join算法以及在Hadoop环境中,如何利用
Map-Reduce
过程来完成Join。
Mysun
·
2012-12-15 20:00
map-reduce
通过
Map-Reduce
实现Join系列之二
在本系列的第一篇中,介绍了几种在数据库应用中常见的Join算法,本文将会介绍两种使用
Map-Reduce
实现对两个数据集合进行Join的算法,其中的一种会用到第一篇中提到的哈希Join算法。
Mysun
·
2012-12-15 20:00
map-reduce
通过
Map-Reduce
实现Join系列之一
本系列的开篇在提到使用
Map-Reduce
实现Join之前,先来看看目前在数据库中应用比较广泛和流行的集中Join算法。
Mysun
·
2012-12-15 20:00
map-reduce
Map-Reduce
Framework相关指标总结
Combineinputrecords Combiner是为了减少尽量减少需要拉取和移动的数据,所以combine输入条数与map的输出条数是一致的。 Combineoutputrecords 经过Combiner后,相同key的数据经过压缩,在map端自己解决了很多重复数据,表示最终在map端中间文件中的所有条目数 FailedShuffles cop
chenyi8888
·
2012-12-14 11:00
Hive,
Map-Reduce
and Local-Mode
转自 https://cwiki.apache.org/Hive/gettingstarted.html Hive,Map-ReduceandLocal-ModeHivecompilergeneratesmap-reducejobsformostqueries.ThesejobsarethensubmittedtotheMap-Reduceclusterindicatedbythevariable
zongquanliu
·
2012-11-29 00:55
hive
map-reduce
Local-Mode
hadoop学习笔记(1) 开发环境
转自:http://blog.csdn.net/qll125596718/article/details/7072365刚开始学习hadoop,首先搭建了一下开发环境,最开始是在单独编写
Map-Reduce
jiangxuchen
·
2012-11-28 13:00
Map-Reduce
的过程解析
转自:http://www.cnblogs.com/forfuture1978/archive/2010/11/19/1882268.html 一、客户端
Map-Reduce
的过程首先是由客户端提交一个任务开始的
inte_sleeper
·
2012-11-26 14:00
世界顶尖PHP站Facebook后台技术探秘
HadoopandHiveHadoop的是一个开源的
map-reduce
实现,使得它可以在进行大数据上进行运算。Facebook的使用这个进行数据分析(而我们都知道,Facebook已经大量的数据)。
dragonszy
·
2012-11-17 20:00
hadoop学习笔记-6-倒排索引InverseIndex
利用
map-reduce
思想来实现,如下:原始文本及内容:doc1.txt:MapReduceissimpledoc2.txt:MapReduceispowerfulissimpledoc3.txt:HelloMapReducebyeMapReduce
fufengrui
·
2012-11-10 17:25
hadoop学习笔记
hadoop学习笔记-6-倒排索引InverseIndex
利用
map-reduce
思想来实现,如下:原始文本及内容:doc1.txt:MapReduceissimpledoc2.txt:MapReduceispowerfulissimpledoc3.txt:HelloMapReducebyeMapReduce
fufengrui
·
2012-11-10 17:00
MongoDB Aggregation Framework初探
Overview Aggregation提供的功能
map-reduce
也能做(诸如统计平均值,求和等)。
在云端-看世间变幻
·
2012-11-08 22:00
java
mongodb
统计
分类
Aggregation
Group-by
【读书笔记】《大数据——互联网大规模数据挖掘与分布式处理》
有些内容结合了
map-reduce
等大数据的流行处理方法,是比较“时尚的”。
xceman1997
·
2012-10-21 11:00
hadoop-eclipse开发环境搭建及error: failure to login错误
对于Hadoop开发者来讲,通过JAVAAPI编程是进入
Map-Reduce
分布式开发的第一步。由于Eclipse本身并没有提供对MapReduce编程模式的支持,所以需要一些简单的步骤来实现。
kobe_lzq
·
2012-10-20 23:00
eclipse
mapreduce
hadoop
eclipse插件
plugins
login
hive join
hive(0.9.0):1.支持equalityjoins,outerjoins,andleftsemijoins2.只支持等值条件3.支持多表join原理hive执行引擎会将HQL“翻译”成为
map-reduce
yfkiss
·
2012-10-18 22:00
对大数据进行交互式分析
对于历史分析,对典型的就是利用
map-reduce
技术进行数据查询、统计;而对于实时分析,最重要的就是实时计算/持续计算技术,我以前也提到过,包括流数据处理、CEP等等。
叶蓬
·
2012-10-18 21:07
Hadoop
BDA
大数据分析
平台架构
&
大数据分析
对大数据进行交互式分析
对于历史分析,对典型的就是利用
map-reduce
技术进行数据查询、统计;而对于实时分析,最重要的就是实时计算/持续计算技术,我以前也提到过,包括流数据处理、CEP等等。
叶蓬
·
2012-10-18 21:07
hadoop
大数据分析
drill
Dremel
BDA
MapReduce工作原理简介(以wordcount 为例)
Map-Reduce
框架的运作完全基于对,即数据的输入是一批对,生成的结果也是一批对,只是有时候它们的类型不一样而已。
xrzs
·
2012-10-11 22:00
Spring Data JPA 简单介绍
于是就花了点时间了解SpringData,可能UDSLII期会基于SpringData做扩展SpringData相关资料介绍:针对关系型数据库,KV数据库,Document数据库,Graph数据库,
Map-Reduce
loveEVERYday
·
2012-09-22 23:00
Spring
Data
JPA
Spring Data JPA 简单介绍
于是就花了点时间了解SpringData,可能UDSLII期会基于SpringData做扩展SpringData相关资料介绍:针对关系型数据库,KV数据库,Document数据库,Graph数据库,
Map-Reduce
loveEVERYday
·
2012-09-22 23:00
Spring
Data
JPA
Spring Data JPA 简单介绍
于是就花了点时间了解SpringData,可能UDSLII期会基于SpringData做扩展SpringData相关资料 介绍:针对关系型数据库,KV数据库,Document数据库,Graph数据库,
Map-Reduce
loveEVERYday
·
2012-09-22 23:00
spring
jpa
Data
Hadoop Streaming 实战: 二次排序
我们知道,一个典型的
Map-Reduce
过程包括:Input->Map->Patition->Reduce->Output。
liuxincumt
·
2012-08-28 14:00
Dremel对现有
map-reduce
的改进
Google在2010年的时候对外公布了其使用的一个大数据交互式分析系统,名字叫Dremel。同时还发布了相关的论文, http://research.google.com/pubs/pub36632.html。 从论文中看,Dremel有两个方面的重大创新点, 以面向列的结构存储记录 并行聚合计算 以面向列的结构存储记录 Dremel将数据集合中的每条
Mysun
·
2012-08-22 17:00
map-reduce
Hadoop Outputformat浅析
从高层次角度来看,整个过程就是Hadoop接收输入文件、使用自定义转换(
Map-Reduce
步骤)获得内容流,以及将输出文件的结果写回磁盘。上个月InfoQ展示了怎样在第
fanshadoop
·
2012-08-17 23:00
hadoop
String
null
存储
Path
作业
基于
map-reduce
的并行最短路径算法
但是当节点数特别大,需要借助
map-reduce
计算时,用邻接表是更为合适的选择。每一行数据,key为NodeId,值为与这个节点邻接的所有节点的AdjacentList
缥缈孤鸿
·
2012-08-16 17:00
mapreudce
最短路径
并行
基于
map-reduce
的并行最短路径算法
但是当节点数特别大,需要借助
map-reduce
计算时,用邻接表是更为合适的选择。每一行数据,key为NodeId,值为与这个节点邻接的所有节点的AdjacentList
缥缈孤鸿
·
2012-08-16 17:00
并行
mapreudce
最短路径
Hadoop-0.20.203.0通过Eclipse连接编程
对于Hadoop开发者来讲,通过JAVAAPI编程是进入
Map-Reduce
分布式开发的第一步。由于Eclipse本身并没有提供对MapReduce编程模式的支持,所以需要一些简单的步骤来实现。
zhdjbabygo
·
2012-08-06 15:00
eclipse
mapreduce
hadoop
eclipse插件
ubuntu
plugins
Hive官方手册翻译(Getting Started)
内容列表Cloudera制作的Hive介绍视频安装与配置系统需求安装Hive发行版从Hive源码编译运行Hive配置管理概览运行时配置Hive,
Map-Reduce
与本地模式错误日志DDL操作元数据存储
Slaytanic
·
2012-07-23 16:12
hadoop
hive
手册
Hive官方手册翻译(Getting Started)
内容列表Cloudera制作的Hive介绍视频安装与配置系统需求安装Hive发行版从Hive源码编译运行Hive配置管理概览运行时配置Hive,
Map-Reduce
与本地模式错误日志DDL操作元数据存储
Slaytanic
·
2012-07-23 16:12
手册
hadoop
hive
hadoop
Hadoop学习总结:
Map-Reduce
的过程解析
一、客户端
Map-Reduce
的过程首先是由客户端提交一个任务开始的。
ZHB_McCoy
·
2012-06-25 10:00
map-reduce
探索Hadoop OutputFormat
从高层次角 度来看,整个过程就是Hadoop接收输入文件、使用自定义转换(
Map-Reduce
步骤)获得内容流,以及将输出文件的结果写回磁盘。上
lxneliu
·
2012-06-21 11:00
hadoop
用Hadoop管理界面来分析
Map-Reduce
作业
还是以上次的分析最高气温的
Map-Reduce
为例,源代码可以见 http://supercharles888.blog.51cto.com/609344/878422 这篇博客的内容。
charles_wang8888
·
2012-06-02 14:20
hadoop
管理界面
用Hadoop管理界面来分析
Map-Reduce
作业
还是以上次的分析最高气温的
Map-Reduce
为例,源代码可以见http://supercharles888.blog.51cto.com/609344/878422这篇博客的内容。
charles_wang888
·
2012-06-02 14:20
Hadoop
管理界面
Hadoop
Hadoop
Map-Reduce
的压缩最终输出文件
Hadoop可以在作业的Configuration对象中通过设定一系列参数来改变作业的行为,比如,我们需要进行一个
map-reduce
作业,并且吧最终作业reduce过程的结果输出为压缩的格式,我们可以在一般的
charles_wang8888
·
2012-05-31 13:26
hadoop
压缩输出格式
Hadoop
Map-Reduce
的压缩最终输出文件
Hadoop可以在作业的Configuration对象中通过设定一系列参数来改变作业的行为,比如,我们需要进行一个
map-reduce
作业,并且吧最终作业reduce过程的结果输出为压缩的格式,我们可以在一般的
charles_wang888
·
2012-05-31 13:26
Hadoop
压缩输出格式
Hadoop
为什么开发者总是选昏招
我们时常被过多的选择轰炸并习惯于应付像NoSQL、云、REST、
Map-Reduce
等流行词。
coreBugZJ
·
2012-05-27 23:00
oozie-工作流例子
Fork and Join Example The following workflow definition example executes 4
Map-Reduce
jobs in 3 steps
marsorp
·
2012-05-17 15:00
oozie
oozie-工作流
Map-Reduce
行为
Map-Reduce
行为 A
map-reduce
action can be configured to perform file system cleanup and directory
marsorp
·
2012-05-17 13:00
map-reduce
Mahout介绍
Mahout用
map-reduce
实现了部分数据挖掘算法,解决了并行挖掘的问题。这里说的“解决
zhou85xin
·
2012-05-07 15:00
安装
Mahout
使用
上一页
12
13
14
15
16
17
18
19
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他