大数据启动服务步骤(待更新)

hadoop

在3.2版本中 hdfs namenode -format 后，启动start-all.sh

[root@ hadoop01 ~]$jps
60498 SecondaryNameNode
60818 ResourceManager
61204 Jps
60093 NameNode

用jps 查看没有 datanode ,需要使用

hdfs 命令 hdfs datanode 启动

[root@ hadoop01 ~]$jps
60498 SecondaryNameNode
60818 ResourceManager
61348 Jps
60093 NameNode
61247 DataNode

用jps 查看没有 namenode ,需要使用

hdfs 命令 hdfs --daemon start namenode 启动 ,可能是hdfs文件没了，需要格式化hdfs namenode -format

• hadoop command

用 hdfs dfs -ls / | hadoop fs -ls / 查看目录文件信息 。

hdfs dfs -mkdir /test 创建文件

hdfs dfs -put history.txt /test 上传文件到test目录

• hadoop 安全模式

  hadoop dfsadmin -safemode leave 离开安全模式

  安全模式是hadoop的一种保护机制，在启动时，最好是等待集群自动退出，然后进行文件操作。

hive

前提

• 安装JDK-略过
• 安装Hadoop-略过
• 安装Mysql-略过 docker 安装的数据库，docker 启动

hive map reduce

yarn --daemon start nodemanager

• 在hive中可以查询hadoop文件目录

  dfs -ls -R /;
  

• hive 连接用户问题

  user: ** is not allowed to impersonate anonymous，这个通常是因为Hadoop的hdfs需要配置用户代理：
  
  
    hadoop.proxyuser.**.hosts
    *
  
  
    hadoop.proxyuser.**.groups
   hadoop
  
  

• hive启动服务端口，配置文件后 需要kill -9 ,在启动

  hive --service hiveserver2 >/dev/null  2>&1 & 
  

• beeline

  beeline -u jdbc:hive2://192.168.31.225:10000/
  

37开 - 原创文章(已经在多平台发表)，转载请标明出处

原文地址-99get81.com