bit1129
bit1129

【Hadoop十二】HDFS常用命令

1. 修改日志文件查看器

 

hdfs oev -i edits_0000000000000000081-0000000000000000089 -o edits.xml
cat edits.xml

 

修改日志文件转储为xml格式的edits.xml文件，其中每条RECORD就是一个操作事务日志

 

2. fsimage查看HDFS中的块信息等

 

[hadoop@hadoop current]$  hdfs oiv -i fsimage_0000000000000016539  -o fsimage.fd -p FileDistribution maxSize 1000 step 5
[hadoop@hadoop current]$ cat fsimage.fd
 结果：

 

 

Processed 0 inodes.
Size	NumFiles
0	137
2097152	198
4194304	8
6291456	2
8388608	4
10485760	2
totalFiles = 351
totalDirectories = 283
totalBlocks = 214
totalSpace = 196413302
maxFileSize = 8945561
 

 

3. 查看HDFS上的文件和目录详细信息

 

 

hdfs oiv -i fsimage_0000000000000016539 -p XML -o fsimage.xml
cat fsimage.xml
 

 

 

你可能感兴趣的:(hadoop)

  • Azkaban各种类型的Job编写 __元昊__
    一、概述原生的Azkaban支持的plugin类型有以下这些：command：Linuxshell命令行任务gobblin：通用数据采集工具hadoopJava：运行hadoopMR任务java：原生java任务hive：支持执行hiveSQLpig：pig脚本任务spark：spark任务hdfsToTeradata：把数据从hdfs导入TeradatateradataToHdfs：把数据从Te
  • Linux（centos7）部署hive 灯下夜无眠 Linuxlinuxhive运维dbeaverhive客户端
    前提环境：已部署完hadoop(HDFS、MapReduce、YARN)1、安装元数据服务MySQL切换root用户#更新密钥rpm--importhttps://repo.mysql.com/RPM-GPG-KEY-mysqL-2022#安装Mysqlyum库rpm-Uvhhttp://repo.mysql.com//mysql57-community-release-el7-7.noarch.
  • 关于HDP的20道高级运维面试题 编织幻境的妖 运维
    1.描述HDP的主要组件及其作用。HDP（HortonworksDataPlatform）的主要组件包括Hadoop框架、HDFS、MapReduce、YARN以及Hadoop生态系统中的其他关键工具，如Spark、Flink、Hive、HBase等。以下是对这些组件及其作用的具体描述：Hadoop框架:Hadoop是一个开源的分布式计算框架，用Java语言编写，用于存储和处理大规模数据集。它广义
  • 【Hadoop】使用Scala与Spark连接ClickHouse进行数据处理 音乐学家方大刚 ScalaHadoophadoopscalaspark
    风不懂不懂得叶的梦月不听不听闻窗里琴声意难穷水不见不曾见绿消红霜不知不知晓将别人怎道珍重落叶有风才敢做一个会飞的梦孤窗有月才敢登高在夜里从容桃花有水才怕身是客身是客此景不能久TieYann(铁阳)、薄彩生《不知晓》在大数据分析和处理领域，ApacheSpark是一个广泛使用的高性能、通用的计算框架，而ClickHouse作为一个高性能的列式数据库，特别适合在线分析处理（OLAP）。结合Scala语
  • hadoop配置免密登录 我干开发那十年 ssh服务器linux
    1.生成密钥ssh-keygen-trsa所有节点都要执行2.所有节点执行ssh-copy-id-i~/.ssh/id_rsa.pub用户名1@主机名1ssh-copy-id-i~/.ssh/id_rsa.pub用户名2@主机名2ssh-copy-id-i~/.ssh/id_rsa.pub用户名3@主机名33.目录授权chmod700~/.sshchmod600~/.ssh/authorized_
  • 【笔记】HDFS基础笔记 哇咔咔哇咔 Hadoophdfs笔记hadoop大数据ubuntu
    启动hadoop命令（未配环境变量）：进入hadoop安装目录输入./sbin/start-dfs.sh已配环境变量：start-dfs.sh关闭hadoop命令：stop-dfs.sh启动完成后，可以通过命令jps来判断是否成功启动，若成功启动则会列出如下进程:"NameNode"、"DataNode"和"SecondaryNameNode"三种Shell命令方式：1.hadoopfs2.had
  • 【笔记】Linux常用命令 哇咔咔哇咔 Linux笔记linux运维ubuntu
    命令含义cd/home/hadoop#把/home/hadoop设置为当前目录cd..#返回上一级目录cd~#进入到当前Linux系统登录用户的主目录（或主文件夹）。在Linux系统中，~代表的是用户的主文件夹，即“/home/用户名”这个目录，如果当前登录用户名为hadoop，则~就代表“/home/hadoop/”这个目录ls#查看当前目录中的文件ls-l#查看文件和目录的权限信息touch文
  • linux安装单机版spark3.5.0 爱上雪茄 大数据JAVA知识spark大数据分布式
    一、spark介绍是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce、Hive引擎，以及Storm流式实时计算引擎等.Spark主要用于大数据的计算二、spark下载spark3.5.0三、spark环境变量配置exportJAVA_HOME=/usr/local/jdk1.8.0_391exportJRE_HOME=/usr/local/jdk1.8.0_391/jr
  • Hadoop简介 程序员小郭同学 hadoop
    简介大数据简介概述大数据的说法从出现到现在，也经历了十多年时间的发展。而在这十几年的发展过程中，非常多的机构、组织都试图对大数据做出过定义，例如：研究机构Gartner给出了这样的定义："大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。再例如根据维基百科的定义，大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。
  • Hive中的NVL函数与COALESCE函数 独影月下酌酒 Hadoop大数据hivehadoop数据仓库
    1.NVL函数1.1函数语法--nvl(value,default_value)-ReturnsdefaultvalueifvalueisnullelsereturnsvalueExample:>SELECTnvl(null,'bla')FROMsrcLIMIT1;blaFunctionclass:org.apache.hadoop.hive.ql.udf.generic.GenericUDFNv
  • hive库表占用空间大小的命令 刀鋒偏冷 hivehadoop数据仓库
    1、查每个hive表占用的空间大小hdfsdfs-du-h/user/hive/warehouse2、按占用空间大小降序排列hdfsdfs-du/user/hive/warehouse/ipms.db|sort-nr3、查某一个分区占用空间大小（单位G)hadoopfs-ls/user/hive/warehouse/ipms.db/dw_ft_se_nt_u_gen_h/fp_rat=6/stat
  • 03hive数仓安装与基础使用 daydayup9527 hadoop_hive运维hadoop
    hiveHive概述Hive是基于Hadoop的一个数据仓库工具。可以将结构化的数据文件映射为一张表，并提供完整的sql查询功能，本质上还是一个文件底层是将sql语句转换为MapReduce任务进行运行本质上是一种大数据离线分析工具学习成本相当低，不用开发复杂的mapreduce应用，十分适合数据仓库的统计分析hive可以用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在hadoop
  • HDFS weixin_51987187 笔记大数据
    （一）HDFS简介及其基本概念  HDFS（HadoopDistributedFileSystem）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS中的数据。HDFS是一个分布式文件系统，以流式数据访问模式存储超大文件，将数据分块存储到一个商业硬件
  • 大数据开发（Hadoop面试真题-卷二） Key-Key 大数据hadoop面试
    大数据开发（Hadoop面试真题）1、在大规模数据处理过程中使用编写MapReduce程序存在什么缺点？如何解决这些问题？2、请解释一下HDFS架构中NameNode和DataNode之间是如何通信的？3、请解释一下Hadoop的工作原理及其组成部分？4、HDFS读写流程是什么样子？5、Hadoop中fsimage和edit的区别是什么？6、Spark为什么比MapReduce更快？7、详细描述一
  • zookeeper 使用 SkTj
    zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的论文来实现的，接下来我们首先来安装使用下这个软件，然后再来探索下其中比较重要一致性算法。zookeeper安装和使用zookeeper的安装基本上可以按照http://hadoop.apache.org/zookeeper/docs/current/z
  • Hive SQL 开发指南（三）优化及常见异常 大数据_苡~ 003-数据开发hiveHive优化数据倾斜Hive常见异常hivejoin
    在大数据领域，HiveSQL是一种常用的查询语言，用于在Hadoop上进行数据分析和处理。为了确保代码的可读性、维护性和性能，制定一套规范化的HiveSQL开发规范至关重要。本文将介绍HiveSQL的基础知识，并提供一些规范化的开发指南，帮助您高效地编写HiveSQL查询。本系列分为HiveSQL开发指南（一）数据类型及函数HiveSQL开发指南（二）使用（DDL、DML，DQL）HiveSQL开
  • 大数据开发（Hadoop面试真题-卷九） Key-Key 大数据hadoop面试
    大数据开发（Hadoop面试真题）1、Hivecount(distinct)有几个reduce，海量数据会有什么问题？2、既然HBase底层数据是存储在HDFS上，为什么不直接使用HDFS，而还要用HBase?3、Sparkmapjoin的实现原理？4、Spark的stage如何划分？在源码中是怎么判断属于ShuffleMapStage或ResultStage的？5、SparkreduceByKe
  • 大数据开源框架技术汇总 浪尖聊大数据-浪尖 数据仓库hiveflume分布式scipymakefilecrmlighttpd
    主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。目录系统平台（Hadoop、CDH、HDP）监控管理（CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）文件系统（HDFS、GPFS、Ceph、Gluster
  • 【Hadoop】在spark读取clickhouse中数据 方大刚233 HadoopScalahadoopsparkclickhouse
    读取clickhouse数据库数据importscala.collection.mutable.ArrayBufferimportjava.util.Propertiesimportorg.apache.spark.sql.SaveModeimportorg.apache.spark.sql.SparkSessiondefgetCKJdbcProperties(batchSize:String="
  • 【Hadoop】使用Metorikku框架读取hive数据统计分析写入mysql 方大刚233 HadoopScalahadoophivemysql
    一、定义作业文件作业文件该文件将包括输入源、输出目标和要执行的配置文件的位置，具体内容如下metrics:-/user/xrx/qdb.yaml#此位置为hdfs文件系统目录inputs:output:jdbc:connectionUrl:"jdbc:mysql://233.233.233.233:3306/sjjc"user:"root"password:"123456"driver:"com.
  • Spark-sql Adaptive Execution动态调整分区数量，调整输出文件数 不想起的昵称 hivesparkhive数据仓库
    背景：在数仓任务中，经常要解决小文件的问题。有时间为了解决小文件问题，我们把spark.sql.shuffle.partitions这个参数调整的很小，但是随着时间的推移，数据量越来越大，当初设置的参数就不合适了，那有没有一个可以自我伸缩的参数呢？看看这个参数如何运用：我们的spark-sql版本：[hadoop@666~]$spark-sql--versionWelcometo______/__
  • hadoop里需要的libhadoop.so版本不一致导致问题及解决办法 weixin_34304013 大数据操作系统嵌入式
    $HADOOP_HOME/lib/native/Linux-amd64-64(64位操作系统)$HADOOP_HOME/lib/native/Linux-i386-32（32位操作系统）文件夹中的libhadoop.so文件，就是hadoop的本地。问题如下如果本地库不存在，或者本地库与当前操作系统的版本不一致的时候，会报下面的错误：WARNorg.apache.hadoop.util.Nativ
  • hadoop启动报错处理 akuibpt23191 大数据操作系统
    1.hadoop启动报错1.1.问题1util.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable主要是依赖包版本过低的问题。首先要定位问题，出现该问题的原因主要是hadoopnative下面的hadoop静态库的问题：libhadoop
  • Spark整合hive（保姆级教程） 万家林 sparkhivesparkhadoop
    准备工作：1、需要安装配置好hive，如果不会安装可以跳转到Linux下编写脚本自动安装hive2、需要安装配置好spark，如果不会安装可以跳转到Spark安装与配置（单机版）3、需要安装配置好Hadoop，如果不会安装可以跳转到Linux安装配置Hadoop2.6操作步骤：1、将hive的conf目录下的hive-site.xml拷贝到spark的conf目录下（也可以建立软连接）cp/opt
  • Hadoop-Yarn-NodeManager是如何监控容器的 隔着天花板看星星 hadoop大数据yarn
    一、源码下载下面是hadoop官方源码下载地址，我下载的是hadoop-3.2.4，那就一起来看下吧Indexof/dist/hadoop/core二、上下文在我的博客中的ContainerLaunchprepareForLaunch()会触发ContainerEventType.CONTAINER_LAUNCHED事件，ContainerImpl会处理该事件，监控该容器的资源使用以及处理后续操作
  • Zookeeper实现分布式锁 正在绘制中 分布式zookeeper云原生
    Zookeeper实现分布式锁案例在分布式场景下，单机的锁已经无法实现对并发的控制，我们需要专门用分布式锁来在分布式环境下实现对多个进程能够有序的访问资源。首先需要确保有hadoop102，hadoop103，hadoop104三台虚拟机并且都安装成功且配置成功了zookeeper。原生Zookeeper实现分布式锁案例编写DistributedLock实现分布式锁的简易写法。上面配置zookee
  • docker搭建hadoop hdfs完全分布式集群 shangcunshanfu hadoopdockerbigdata
    1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分，固定IP及启动集群的部分应该跳过。这里注意，在做好的镜像里，要安装which工具，否则在执行hdfs命令时会报命令不存在异常。yuminstallwhich-y2启动容器dockerrun--namehmaster--hostnamehmaster--net
  • 基于docker安装HDFS core512 大数据虚拟机&容器dockerhdfs
    1.docker一键安装见docker一键安装2.拉取镜像sudodockerpullkiwenlau/hadoop:1.03.下载启动脚本gitclonehttps://github.com/kiwenlau/hadoop-cluster-docker4.创建网桥由于Hadoop的master节点需要与slave节点通信，需要在各个主机节点配置节点IP，为了不用每次启动都因为IP改变了而重新配置
  • hive 的map数和reduce如何确定 Super乐 hivehive
    一、控制hive任务中的map数:1.通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有：input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M,可在hive中通过setdfs.block.size;命令查看到，该参数不能自定义修改)；2.举例：a)假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块
  • (17)Hive ——MR任务的map与reduce个数由什么决定？ 爱吃辣条byte #Hivehive数据仓库
    一、MapTask的数量由什么决定？MapTask的数量由以下参数决定文件个数文件大小blocksize一般而言，对于每一个输入的文件会有一个mapsplit，每一个分片会开启一个map任务，很容易导致小文件问题（如果不进行小文件合并，极可能导致Hadoop集群资源雪崩）hive中小文件产生的原因及解决方案见文章：(14)Hive调优——合并小文件-CSDN博客文章浏览阅读779次，点赞10次，收
  • 多线程编程之join()方法 周凡杨 javaJOIN多线程编程线程
    现实生活中，有些工作是需要团队中成员依次完成的，这就涉及到了一个顺序问题。现在有T1、T2、T3三个工人，如何保证T2在T1执行完后执行，T3在T2执行完后执行？问题分析：首先问题中有三个实体，T1、T2、T3， 因为是多线程编程，所以都要设计成线程类。关键是怎么保证线程能依次执行完呢？   Java实现过程如下： public class T1 implements Runnabl
  • java中switch的使用 bingyingao javaenumbreakcontinue
    java中的switch仅支持case条件仅支持int、enum两种类型。 用enum的时候，不能直接写下列形式。 switch (timeType) { case ProdtransTimeTypeEnum.DAILY: break; default: br
  • hive having count 不能去重 daizj hive去重having count计数
    hive在使用having count()是，不支持去重计数   hive (default)> select imei from t_test_phonenum where ds=20150701 group by imei having count(distinct phone_num)>1 limit 10;  FAILED: SemanticExcep
  • WebSphere对JSP的缓存 周凡杨 WAS JSP 缓存
          对于线网上的工程，更新JSP到WebSphere后，有时会出现修改的jsp没有起作用，特别是改变了某jsp的样式后，在页面中没看到效果，这主要就是由于websphere中缓存的缘故，这就要清除WebSphere中jsp缓存。要清除WebSphere中JSP的缓存，就要找到WAS安装后的根目录。        现服务
  • 设计模式总结 朱辉辉33 java设计模式
    1.工厂模式   1.1 工厂方法模式 (由一个工厂类管理构造方法)      1.1.1普通工厂模式(一个工厂类中只有一个方法)      1.1.2多工厂模式(一个工厂类中有多个方法)      1.1.3静态工厂模式(将工厂类中的方法变成静态方法) &n
  • 实例：供应商管理报表需求调研报告 老A不折腾 finereport报表系统报表软件信息化选型
    引言 随着企业集团的生产规模扩张，为支撑全球供应链管理，对于供应商的管理和采购过程的监控已经不局限于简单的交付以及价格的管理，目前采购及供应商管理各个环节的操作分别在不同的系统下进行，而各个数据源都独立存在，无法提供统一的数据支持；因此，为了实现对于数据分析以提供采购决策，建立报表体系成为必须。 业务目标 1、通过报表为采购决策提供数据分析与支撑 2、对供应商进行综合评估以及管理，合理管理和
  • mysql 林鹤霄
    转载源：http://blog.sina.com.cn/s/blog_4f925fc30100rx5l.html mysql -uroot -p ERROR 1045 (28000): Access denied for user 'root'@'localhost' (using password: YES)   [root@centos var]# service mysql
  • Linux下多线程堆栈查看工具(pstree、ps、pstack) aigo linux
    原文：http://blog.csdn.net/yfkiss/article/details/6729364   1. pstree pstree以树结构显示进程$ pstree -p work | grep adsshd(22669)---bash(22670)---ad_preprocess(4551)-+-{ad_preprocess}(4552)  &n
  • html input与textarea 值改变事件 alxw4616 JavaScript
    // 文本输入框(input) 文本域(textarea)值改变事件 // onpropertychange(IE) oninput(w3c) $('input,textarea').on('propertychange input', function(event) {      console.log($(this).val()) });  
  • String类的基本用法 百合不是茶 String
      字符串的用法;     // 根据字节数组创建字符串 byte[] by = { 'a', 'b', 'c', 'd' }; String newByteString = new String(by);         1,length()  获取字符串的长度     &nbs
  • JDK1.5 Semaphore实例 bijian1013 javathreadjava多线程Semaphore
    Semaphore类        一个计数信号量。从概念上讲，信号量维护了一个许可集合。如有必要，在许可可用前会阻塞每一个 acquire()，然后再获取该许可。每个 release() 添加一个许可，从而可能释放一个正在阻塞的获取者。但是，不使用实际的许可对象，Semaphore 只对可用许可的号码进行计数，并采取相应的行动。 S
  • 使用GZip来压缩传输量 bijian1013 javaGZip
            启动GZip压缩要用到一个开源的Filter：PJL Compressing Filter。这个Filter自1.5.0开始该工程开始构建于JDK5.0，因此在JDK1.4环境下只能使用1.4.6。         PJL Compressi
  • 【Java范型三】Java范型详解之范型类型通配符 bit1129 java
        定义如下一个简单的范型类，   package com.tom.lang.generics; public class Generics<T> { private T value; public Generics(T value) { this.value = value; } }
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他