05-Hadoop01之HDFS
一、Hadoop介绍
Hadoop 分为三部分 ： Common、HDFS 、Yarn、MapReduce(有点过时了)
Hadoop生态圈：除了hadoop技术以外，还有hive、zookeeper、flume、sqoop、datax、azkaban等一系列技术。
Hadoop 是 道格·卡丁 本身他是Lucene的创始人。
Lucene 其实是一个jar包。
检索现在主流的是Solr以及ES（Elastic Search）。
比如现在每一个网站，都有一个检索的输入框，底层技术： Solr （稍微有点过时了） , ES (正在流行中)
首先面临的问题是：海量数据如何存储？
根据谷歌推出的三篇论文：
BigTable -- HBase
GFS -- HDFS
MapReduce -- MapReduce
并将这些技术统称为 Hadoop （Logo 大象）。
Hadoop的三个版本：
Apache 版本（开源版本） 3.3.1 非常的新了
Cloudera 版本--商⽤版（道格·卡丁） CDH
Hortonworks --hadoop的代码贡献者在这家公司非常的多。二、HDFS的本地模式
HDFS ： 解决海量数据的存储问题 1p = 1024 T
Yarn : 计算的资源基础，所有的MR任务需要运行在Yarn上。
MapReduce：解决计算问题，它是一个计算框架（需要写代码的）思考一个问题：
淘宝平台：拥有海量商户，每一个商户都有很多商品，每一个商品需要上传很多照片，照片得高清，一张照片5M左右。淘宝如何解决海量图片的储存问题？-- 淘宝拥有一个技术 FastDFS，搭建一个图片集群，这个集群中的服务器，可以无限拓展。而且一张照片存3份。
人类的思想拓展非常快，数据存储在哪里是安全的？任何一家公司都不靠谱。全人类最靠谱，能不能将全人类的硬盘全部连起来，变成一个大硬盘。假如一个人贡献自己的硬盘，假如我在你的电脑上放了数据，我就会给你奖励。假如你使用了别人的硬盘，需要付费。 --国家定义为基础设施
使用虚拟货币结算，而且只支持 fil 这个币。HDFS三种模式：本地模式，伪分布模式，全分布模式
HDFS-- 分布式文件存储系统
Fil币挖矿
FastDFS（阿里巴巴）
原理都是一样的。
都是将多台电脑，硬盘组合在一起，形成一个文件存储系统，任何人都可以上传下载文件到这个平台上，数据自动备份，自动容灾。
如果文件系统空间不够了，直接添加电脑即可，完美对接之前的服务器。
如果中间服务器坏掉了，也不影响数据的完整性。 
配置：
1、上传
2、解压
tar -zxvf hadoop-3.3.1.tar.gz -C /opt/installs/
3、重命名
cd /opt/installs/
mv hadoop-3.3.1 hadoop
4、开始配置环境变量
vi /etc/profile
export JAVA_HOME=/opt/installs/jdk
export HADOOP_HOME=/opt/installs/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
5、刷新配置文件
source /etc/profile
6、验证hadoop命令是否可以识别
hadoop version 
使用一下hadoop这个软件（案例WordCount）:
词频统计就是我们大数据中的HelloWorld!
在 /home 下创建了一个文件 wc.txt 命令： touch wc.txt
需要统计的词如下：
hello world spark flink
hello laoyan 2202 laolv
hello suibian suibian hello
接着使用自动的wordCount工具进行统计：
hadoop jar /opt/installs/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /home/wc.txt /home/output
hadoop jar 执行某个jar包（其实就是java代码）
/opt/installs/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar 这个是jar的地址
/home/wc.txt 要统计的文件
/home/output 统计结果放哪里
如果统计的结果文件夹已经存在，会报错。
上面总结一下：
数据在本地磁盘上 /home/wc.txt
计算的结果也是在本地磁盘上 /home/ouput案例二：PI的计算
hadoop jar /opt/installs/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 10 100
10 代表10个任务
100 代表的是100次/每个任务三、伪分布模式
伪分布：按照分布式的步骤搭建，但是呢，服务器只有一台。只能用于开发、和学习用。
比如我想搭建一个集群，将集群中的所有磁盘连接在一起形成一个云端的hdfs.
但是公司就买了一台服务器。所以搭建出来的就是伪分布模式。
伪分布的意思：按照全分布的步骤搭建的集群，但是linux服务器只有一台。进行搭建之前的一些准备工作：
环境准备⼯作：
1、安装了jdk
2、安装了hadoop
3、关闭了防⽕墙
4、免密登录
⾃⼰对⾃⼰免密
ssh-copy-id bigdata01 选择yes 输⼊密码
测试免密是否成功： ssh bigdata01
5、修改linux的⼀个安全机制
vi /etc/selinux/config
修改⾥⾯的 SELINUX=disabled
6、设置host映射
配置开始：
位置： /opt/installs/hadoop/etc/hadoop
以下圈住的都是重要的文件：
core-site.xml
fs.defaultFS
hdfs://bigdata01:9820
hadoop.tmp.dir
/opt/installs/hadoop/tmp
hdfs-site.xml
dfs.replication
1
dfs.namenode.secondary.http-address
bigdata01:9868
dfs.namenode.http-address
bigdata01:9870
hadoop-env.sh
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export JAVA_HOME=/opt/installs/jdk
对整个集群记性namenode格式化：
hdfs namenode -format
格式化其实就是创建了一系列的文件夹：
这个文件夹的名字是 logs tmp
假如你想格式化第二次，需要先删除这两个文件夹，然后再格式化启动集群：
start-dfs.sh
需要修改一个配置文件：workers
vi workers
修改里面的内容为： bigdata01 保存
重新启动hdfs
stop-dfs.sh
start-dfs.sh通过网址访问hdfs集群：
IP地址:9870
IP地址:9870
如果访问不到：检查防火墙是否关闭。
测试一下这个hdfs的文件系统：
目前搭建的这个到底是hdfs的伪分布还是hadoop伪分布？
答案是 hdfs的伪分布，但是hdfs 也是hadoop的一部分。
真正的hadoop伪分布还需要配置yarn 才算真正的伪分布。使用这个文件系统：
1、将要统计的内容上传至hdfs文件系统
hdfs dfs -put /home/wc.txt /
2、使用wordcount统计wc.txt
hadoop jar /opt/installs/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar wordcount /wc.txt /ouput
3、查看统计结果
hdfs dfs -cat /ouput/*此模式跟本地模式有何区别？
这两种方式，首选统计的代码都在本地，但是本地模式，数据和统计的结果都在本地
伪分布模式，它的数据来源在 hdfs 上，统计结果也放在 hdfs上。如果此时再执行以前的workcount就会报错，原因是以前是本地模式，现在是伪分布模式，伪分布模式，只会获取hdfs上的数据，将来的结果也放入到hdfs上，不会获取本地数据：
四、Hdfs中的shell命令
假如你想通过web界面查看一个文件的内容，点击报错：
Couldn't preview the file. NetworkError: Failed to execute 'send' on 'XMLHttpRequest': Failed to load 'http://bigdata01:9864/webhdfs/v1/output/part-r-00000?op=OPEN&namenoderpcaddress=bigdata01:9820&offset=0&_=1692068863115'.
默认是要报错的，因为这是一种安全机制，可以修改一下：
在hdfs-site.xml 中添加如下配置：
dfs.webhdfs.enabled
true
在windows本机，修改hosts映射关系。
C:\Windows\System32\drivers\etc\hosts
修改内容如下：
IP地址 主机名
关于hdfs文件系统，有三种操作方式：
1、图形化界面 比如 http://IP地址:9870
2、shell命令操作 比如 hdfs dfs -put 上传 -cat 查看
3、通过java代码操作shell命令操作：东西特别的多，只学其中一些。
hdfs dfs -put 本地文件 hdfs路径
hdfs dfs -mkdir /abc 创建文件夹
hdfs dfs -mkdir -p /abc/bcd/cde 创建多级文件夹使用-p
hdfs dfs -ls / 查看某个路径下的文件或者文件夹
hdfs dfs -ls -R / 不仅查看某个路径，还把嵌套的文件夹都展示出来，有一种递归的赶脚
hdfs dfs -cat /hdfs上的文件 查看某个文件
hdfs dfs -moveFromLocal 本地文件 hdfs的路径
跟put上传不一样的是，move结束后，本地文件会消失
hdfs dfs -get hdfs的路径 本地文件 此操作要谨慎
hdfs dfs -cp /log.txt /ouput 将hdfs上的一个文件拷贝到另一个文件夹
hdfs dfs -chmod 777 /wc.txt hdfs上的文件也可以赋权限。五、全分布搭建
全分布模式：必须至少有三台以上的Linux。
前期准备工作：
1、准备三台服务器
目前有两台，克隆第一台（因为第一台上安装了hadoop）, 克隆结束后，进行修复操作
1） 修改IP 2) 修改主机名 3）修改映射文件hosts
检查是否满足条件：
环境准备⼯作：
1、安装了jdk
2、设置host映射
192.168.32.128 bigdata01
192.168.32.129 bigdata02
192.168.32.130 bigdata03
远程拷贝：
scp -r /etc/hosts root@bigdata02:/etc/
scp -r /etc/hosts root@bigdata03:/etc/
3、免密登录
bigdata01 免密登录到bigdata01 bigdata02 bigdata03
ssh-copy-id bigdata03
4、第一台安装了hadoop
5、关闭了防⽕墙
systemctl status firewalld
6、修改linux的⼀个安全机制
vi /etc/selinux/config
修改⾥⾯的 SELINUX=disabled一定要确保三台电脑上的hosts文件都是：
192.168.32.128 bigdata01
192.168.32.129 bigdata02
192.168.32.130 bigdata03修改一台，长拷贝到其他两台：
scp -r /etc/hosts root@bigdata01:/etc
scp -r /etc/hosts root@bigdata02:/etc
2、检查各项内容是否到位
1） 防火墙是否都是关闭的
systemctl status firewalld
systemctl stop firewalld
systemctl disable firewalld
2） jdk是否都安装了
3） 三台电脑是否都安装了hadoop
首先如果你的hadoop已经格式化过namenode ,请删除 /opt/installs/hadoop/tmp文件夹
具体操作就是：确保bigdata01 和 bigdata03 下的 hadoop下的tmp文件夹是删除的状态
cd /opt/installs/hadoop/tmp/
rm -rf ./*
4) Linux的一个安全机制，是否都关闭了
vi /etc/selinux/config
修改此项内容：SELINUX=disabled
5） 三台的免密要做一下
bigdata01 --> bigdata01,bigdata02,bigdata03
ssh-copy-id bigdata02
ssh-copy-id bigdata03
验证一下：
ssh bigdata01 ssh bigdata02 ssh bigdata033、修改配置文件
路径：/opt/installs/hadoop/etc/hadoop
跟伪分布一样：不需要修改
core-site.xml
fs.defaultFS
hdfs://bigdata01:9820
hadoop.tmp.dir
/opt/installs/hadoop/tmp
hdfs-site.xml
dfs.replication
3
dfs.namenode.secondary.http-address
bigdata02:9868
dfs.namenode.http-address
bigdata01:9870
hadoop-env.sh
export JAVA_HOME=/opt/installs/jdk
# Hadoop3中，需要添加如下配置，设置启动集群⻆⾊的⽤户是谁
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root修改workers
bigdata01
bigdata02
bigdata03修改完了第一台的配置文件，开始分发到其他两台上去。
scp -r /opt/installs/hadoop root@bigdata02:/opt/installs/
scp -r /opt/installs/hadoop root@bigdata03:/opt/installs/因为第二台什么都没有，所以将整个文件夹都拷贝过去
scp -r /opt/installs/hadoop/ bigdata02:/opt/installs/
第三台： 只需要复制配置文件即可
scp -r /opt/installs/hadoop/etc/hadoop/ bigdata03:/opt/installs/hadoop/etc/
拷贝环境变量：
scp -r /etc/profile root@bigdata02:/etc/
scp -r /etc/profile root@bigdata03:/etc/
在02 和 03 上刷新环境变量 source /etc/profile4、格式化namenode
hdfs namenode -format5、启动hdfs
在第一台电脑上启动
start-dfs.sh启动后jps，看到
web访问：namenode 在哪一台，就访问哪一台。http://192.168.32.128:9870
总结：
1、start-dfs.sh 在第一台启动，不意味着只使用了第一台，而是启动了集群。
stop-dfs.sh 其实是关闭了集群
2、一台服务器关闭后再启动，上面的服务是需要重新启动的。
这个时候可以先停止集群，再启动即可。也可以使用单独的命令，启动某一个服务。hadoop-daemon.sh start namenode # 只开启NameNode
hadoop-daemon.sh start secondarynamenode # 只开启SecondaryNameNode
hadoop-daemon.sh start datanode # 只开启DataNode
hadoop-daemon.sh stop namenode # 只关闭NameNode
hadoop-daemon.sh stop secondarynamenode # 只关闭SecondaryNameNode
hadoop-daemon.sh stop datanode # 只关闭DataNode3、namenode 格式化有啥用
相当于在整个集群中，进行了初始化，初始化其实就是创建文件夹。创建了什么文件夹：
logs tmp
你的hadoop安装目录下。六、使用Java代码操作HDFS
上传文件，创建文件夹，删除文件，下载等等
1、环境准备
1)解压hadoop的安装包
2）配置环境变量
;%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;
如果你出现了如下错误：
他的意思是你的java_home ，需要修改一个地方：
在 /etc/hadoop 下的 hadoop-env.cmd 中大约25行
set JAVA_HOME=C:\PROGRA~1\Java\jdk1.8.0_144
一定确保你的jdk路径是正确的。
Program Files == PROGRA~1
黑窗口先关闭，再打开即可。最后一项：
粘贴一个补丁文件：
2、单元测试（Junit）
类似于Main方法。
首先需要导入Junit包：
Maven – Welcome to Apache Maven
junit
junit
4.12
test
第二步：写单元测试代码
最好写在test 文件夹下（专门写测试的文件夹）
单元测试方法：
1、方法上必须有@Test注解
2、方法必须是public void 开头
3、方法没有参数
4、不要将类名写成Test,后果自负
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
/**
* @Author laoyan
* @Description TODO
* @Date 2022/7/28 14:17
* @Version 1.0
*/
public class TestUnit {
@Before // 每次单元测试方法执行前都会执行该方法 该方法一般存放一些初始化的代码
public void init(){
System.out.println("我是开始代码");
}
@After// 每次单元测试方法执行后都会执行该方法 该方法一般都是存放一些连接关闭等收尾工作
public void destory(){
System.out.println("我是结束代码");
}
@Test // 该方法即一个单元测试方法，这个方法是一个独立的方法，类似于Main方法。
public void testA(){
System.out.println("Hello World!");
}
@Test
public void testB(){
System.out.println("Hello World!");
}
}以下是通过chatgpt帮我生成的代码：
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
public class MyUnitTest {
@Before
public void setUp() {
// 在每个测试方法之前执行的准备工作
System.out.println("setUp() method called");
}
@After
public void tearDown() {
// 在每个测试方法之后执行的清理工作
System.out.println("tearDown() method called");
}
@Test
public void testMethod1() {
// 测试方法1
System.out.println("testMethod1() called");
// 添加测试逻辑和断言
}
@Test
public void testMethod2() {
// 测试方法2
System.out.println("testMethod2() called");
// 添加测试逻辑和断言
}
}
第三步：使用java代码连接hdfs
获取hdfs连接的四种方法：
首先导入需要的jar包：
org.apache.hadoop
hadoop-common
3.3.1
org.apache.hadoop
hadoop-client
3.3.1
org.apache.hadoop
hadoop-hdfs
3.3.1
代码演示：
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.junit.Test;
import java.io.IOException;
import java.net.URI;
/**
* @Author laoyan
* @Description TODO
* @Date 2022/7/28 14:52
* @Version 1.0
*/
public class Demo01 {
@Test
public void test01() throws IOException {
// 配置的意思
Configuration configuration = new Configuration();
// hdfs的连接地址
configuration.set("fs.defaultFS","hdfs://192.168.32.128:9820");
FileSystem fileSystem = FileSystem.get(configuration);
System.out.println(fileSystem);
}
@Test
public void test02() throws Exception {
// URL 和 URI
// URL 和 URI
// URL = 中华人民共和国
// 指的是互联网上比较具体的第一个内容，地址
// URI = 共和国 员工的编号9527
// cookie session
FileSystem fileSystem = FileSystem.get(new URI("hdfs://192.168.32.128:9820"), new Configuration());
System.out.println(fileSystem);
}
@Test
public void test03() throws Exception {
// 配置的意思
Configuration configuration = new Configuration();
// hdfs的连接地址
configuration.set("fs.defaultFS","hdfs://192.168.32.128:9820");
FileSystem fileSystem = FileSystem.newInstance(configuration);
System.out.println(fileSystem);
}
@Test
public void test04() throws Exception {
// 配置的意思
Configuration configuration = new Configuration();
FileSystem fileSystem = FileSystem.newInstance(new URI("hdfs://192.168.32.128:9820"),configuration);
System.out.println(fileSystem);
}
}通过代码上传一个文件到hdfs上。
public class Demo02 {
@Test
public void testUpload() throws Exception {
System.setProperty("HADOOP_USER_NAME","root");
Configuration configuration = new Configuration();
configuration.set("fs.defaultFS","hdfs://192.168.32.128:9820");
FileSystem fileSystem = FileSystem.get(configuration);
Path localPath = new Path("D:\\a.txt");
Path hdfsPath = new Path("/");
fileSystem.copyFromLocalFile(localPath,hdfsPath);
System.out.println("上传成功！");
}
}
System.setProperty("HADOOP_USER_NAME","root");
package com.bigdata;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;
import java.io.IOException;
public class HdfsUtils {
private FileSystem fileSystem;
@Before
public void setUp() throws IOException {
System.setProperty("HADOOP_USER_NAME","root");
// 在每个测试方法之前执行的准备工作
Configuration conf = new Configuration();
conf.set("fs.defaultFS", "hdfs://bigdata01:9820"); // 设置 HDFS 地址
fileSystem = FileSystem.get(conf);
}
@After
public void tearDown() throws IOException {
// 在每个测试方法之后执行的清理工作
fileSystem.close();
}
@Test
public void testUploadFile() throws IOException {
String localFilePath = "C:\\Users\\admin\\Desktop\\edip";
String hdfsFilePath = "/";
fileSystem.copyFromLocalFile(new Path(localFilePath), new Path(hdfsFilePath));
}
@Test
public void testCreateFile() throws IOException {
String hdfsFilePath = "/newfile.txt";
fileSystem.createNewFile(new Path(hdfsFilePath));
}
@Test
public void testDownloadFile() throws IOException {
String hdfsFilePath = "/newfile.txt";
String localFilePath = "C:\\Users\\admin\\Desktop\\file.txt";
fileSystem.copyToLocalFile(new Path(hdfsFilePath), new Path(localFilePath));
}
@Test
public void testDeleteFile() throws IOException {
String hdfsFilePath = "/newfile.txt";
fileSystem.delete(new Path(hdfsFilePath), false);
}
@Test
public void testMkDir() throws IOException {
fileSystem.mkdirs(new Path("/input"));
System.out.println("创建文件夹成功");
}
@Test
public void testRename() throws IOException {
fileSystem.rename(new Path("/edip"),new Path("/aaa.txt"));
}
}下载中如果报错了：
需要将hadoop.dll 拷贝到 C:\windows\system32 这个文件夹下一份。
