Hadoop一：命令和编译

复习MySQL：

1.MySql部署

2.创建、删除DB、表（字段类型）

3.增删改查的语法

4.where、limit n

5.order by 字段1 asc，字段2 desc，……

6.聚合函数和聚合语法

    select 字段1，字段2……，sum(字段3) group by 字段1，字段2…… having sum(字段3) >1000;

7.join

left join：右表数据去匹配左表（为主）的数据 工作用的最多的
right join：左表数据去匹配右表（为主）的数据

8.创建用户和权限

注意点：
    % 允许所有的IP都可以访问（权限危险）
    192.168.%.%
    创建用户并授权，同时限制只能在某个IP或者IP段上的机器才能访问

    谨记：
        flush privileges; 或者重启MySQL服务

Linux命令补充：

命令1 && 命令2 && ：先执行第一个命令之后依次执行

Hadoop:

1.官网：

http://hadoop.apache.org/

2.Hadoop的狭义和褒义认识：

狭义：软件(HDFS、MapReduce、Yarn)
褒义：以Hadoop为主的生态圈

3.Hadoop版本

Hadoop1.x：
    HDFS：分布式文件系统，存储
    MapReduce：分布式计算+资源调度和作业调度
Hadoop2.x
    HDFS：存储
    MapReduce：计算
    Yarn：YetAnother Resource Negotiate  资源调度和作业调度

4.创建两个文件夹

mkdir /opt/software /opt/sourcecode

software：
    apache-maven-3.3.9-bin.zip
    findbugs-1.3.9.zip
    protobuf-2.5.0.tar.gz

sourcecode：
    hadoop-2.8.1-src.tar.gz

5.Hadoop编译(第一个编译的项目)

Github：https://github.com/apache/hadoop
https://github.com/apache/hadoop/blob/trunk/BUILDING.txt

要求：
    Requirements:

        * Unix System
        * JDK 1.7+
        * Maven 3.0 or later
        * Findbugs 1.3.9 (if running findbugs)   ---略
        * ProtocolBuffer 2.5.0
        * CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
        * Zlib devel (if compiling native code)
        * openssl devel (if compiling native hadoop-pipes and to get the best HDFS encry
        ption performance)
        * Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_d
        fs)
        * Internet connection for first build (to fetch all Maven and Hadoop dependencie
        s)

6.JDK的安装&&全局环境变量

jdk文件必须放到:
    /usr/java目录下
解压jdk的tar包：
    tar -zxvf jdk-8u45-linux-x64.gz
注意点：
    解压之后，修改jdk文件夹的权限
    chown -R root:root jdk1.8.0_45  文件夹和文件夹里面的文件夹和文件
    chown -R root:root jdk1.8.0_45/*

配置环境变量：
    vi /etc/profile
        #add JAVA_HOME
        JAVA_HOME=/usr/java/jdk1.8.0_45
        export PATH=$JAVA_HOME/bin:$PATH
生效：
    source /etc/profile
查看是否成功：
    java -version

7.Maven

https://mvnrepository.com/
就是一个仓库，用来管理jar包
如果一个源代码工程里面有pom.xml，这个Maven工程需要用Maven来编译
解压Maven压缩包：
    unzip apache-maven-3.3.9-bin.zip 
配置环境变量：
    vi /etc/profile
        export MAVEN_HOME=/opt/software/apache-maven-3.3.9
        export MAVEN_OPTS="-Xms256m -Xmx512m"
        export PATH=$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
生效：
    source /etc/profile
查看Maven是否安装：
    mvn -version

8.Findbugs

解压：
    unzip findbugs-1.3.9.zip
配置环境变量：
    vi /etc/profile
        export FINDBUGS_HOME=/opt/software/findbugs-1.3.9
        export PATH=$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
生效：
    source /etc/profile
查看：
    findbugs -version

9.ProtocolBuffer

解压：
    tar -zxvf protobuf-2.5.0.tar.gz 
修改权限：
    chown -R root:root /opt/software/protobuf-2.5.0
安装cmake：
    yum install -y gcc gcc-gcc+ make cmake
指定软件安装的目录：
    ./configure --prefix=/usr/local/protobuf
编译安装：
    make && make install
查看是否存在文件夹：
    cd /usr/local/protobuf
配置环境变量：
    vi /etc/profile
        export PROTOC_HOME=/usr/local/protobuf
        export PATH=$PROTOC_HOME/bin:$FINDBUGS_HOME/bin:$MAVEN_HOME/bin:$JAVA_HOME/bin:$PATH
生效：
    source /etc/profile
查看：
    protoc --version

10.其他依赖

yum install -y openssl openssl-devel svn ncurses-devel zlib-devel libtool

yum install -y snappy snappy-devel bzip2 bzip2-devel lzo lzo-devel lzop autoconf automake

11.编译hadoop

cd /opt/sourcecode/hadoop-2.8.1-src

要求（more BUILDING.txt）：
    Building distributions:
    mvn clean package -Pdist,native -DskipTests -Dtar
如果存在screen，则安装screen：
    yum install -y screen

后台命令：
    screen -S hadoop
    之后退出ctrl + a + d
查看用户：
    screen -list
进入：
    screen -r 13814
第一次编译：清空打包跳过编译模式
    mvn clean package -Pdist,native -DskipTests -Dtar
注意：
    download需要3.5h
    不想download就使用.m2.tar.gz -->解压-->root家目录

.m2在家目录下

12.编译好的tar包

/opt/sourcecode/hadoop-2.8.1-src/hadoop-dist/target/hadoop-2.8.1.tar.gz

13.配置本地Maven仓库：

window/linux:
    cd /opt/software/apache-maven-3.3.9/conf
    1.vi setting.xml
        D:\software\apache-maven-3.3.9\repository
    2.创建D:\software\apache-maven-3.3.9\repository

提醒：

1、有时候编译过程中会出现下载某个包的时间太久，这是由于连接网站的过程中会出现假死，
此时按ctrl+c，重新运行编译命令。 
2、如果出现缺少了某个文件的情况，则要先清理maven(使用命令 mvn clean) 再重新编译。

【来自@若泽大数据】