Hadoop MapReduce入门

入门简介

Hadoop MapReduce入门_第1张图片

计算过程分为两个阶段

Map 和 Reduce
    Map 阶段并行处理输入数据
    Reduce阶段对Map结果进行汇总 

针对python语言来说:

      map函数或者reduce 函数来说,输出的数据格式为元组tuple

一个简单的 MapReduce 程序只需要指定 
     map()     reduce()   
     input()   output() 
     剩下的由框架完成。

Linux常见命令:

- 读取文件(文本文件,在Windows下使用记事本打开的文件)
    - more 文件名称
    - less 文件名称
    - head 文件名称 
        默认是显示前10行数据
    - tail 文件名称
        默认

你可能感兴趣的:(数据分析进阶之路,Linux命令,hadoop,MapReduce入门)