#HDFS

hadoop免密登录却提示输入密码的解决思路

hadoop免密登录却提示输入密码的解决思路状况描述在项目系统中上传文件后提示失败排查解决过程查看日志发现是hadoop服务没有启动，尝试过程如下1检查/home/hdfs/下的文件夹及文件权限，确认没有问题
行万路明于省·2023-09-09 19:12

Hadoop No FileSystem for scheme “hdfs“ 客户端环境变量配置

我当前的/etc/profile文件配置的环境变量exportJAVA_HOME=/opt/java/jdk1.8.0_131exportSPARK_HOME=/opt/spark-2.4.4-bin-hadoop2.7exportHIVE_HOME=/usr/hdp/current/hive-clientexportLIVY_HOME=/opt/livy/livy-0.5.0-incubatin
Cloud孙文波·2023-09-09 15:00

大数据面试总结《九》

上午去明略数据，面试官一直不到，有个临时的面试官先面了一次：1hdfsapi新特性2java7新特性3hive的默认分隔符4eclipse版本号之后正式面试官面试：1shell脚本sort，uniq-u
豆浆~油条·2023-09-09 15:14

大数据面试总结《八》

今天面了一家，上午两个小时技术面，下午两个小时hr面试问题如下：1jvm调优2redis工作原理LRU算法3hive原理，优化4线程同步5ha原理6mr数据倾斜解决办法7hive数据倾斜优化8远程通信技术9hdfs
豆浆~油条·2023-09-09 15:14

大数据面试总结

目录前言一、Hadoop1.简要概念2.组件&作用3.守护线程&作用4.安全模式5.HDFS优缺点6.HDFS读写流程7.HDFS脑裂8.HA&Federation9.Yarn的请求&调度10.MapReduce
起名到半夜·2023-09-09 15:44

通过Idea远程调试Hadoop集群

在resource目录中，添加core-site.xml、hdfs-site.xml、log4j.properties文件cor
东语~·2023-09-09 14:15

【HDFS】Hadoop-RPC：客户端侧通过Client.Connection#sendRpcRequest方法发送RPC序列化数据

org.apache.hadoop.ipc.Client.Connection#sendRpcRequest：这个方法是客户端侧向服务端发送RPC请求的地方。调用点是Client#call方法过来的。此方法代码注释里描述了一个细节：这个向服务端发送RPC请求数据的过程并不是由Connection线程发送的，而是其他的线程（sendParamsExecutor这个线程池）。sendRpcReques
叹了口丶气·2023-09-09 09:28

hadoop3.3.4集群安装部署

/hdfsnamenodeformat下载地址链接：https://pan.baidu.com/s/11vwGlR3I3lQuzVRqfuUFfg提取码：7oyc--来自百度网盘超级会员V
早退的程序员·2023-09-09 08:07

python 连接hbase的几种方式

它构建在HDFS之上，可以对大型数据进行高速的读写操作。HBase的开发语言是Java，因此提供了原生的Java语言客户端。
ajax_beijing_java·2023-09-09 07:39

Apache Spark：了解Apache Spark，Hadoop Distributed File System (HDFS)，Cassandra、HBase等

目录ApacheSparkHadoopDistributedFileSystem(HDFS)CassandraHBaseApacheSparkApacheSpark是由Apache软件基金会开发的一个快速
Solitary_孤影照惊鸿·2023-09-09 06:39

HDFS：Hadoop文件系统（HDFS）

Hadoop文件系统（HDFS）是一个分布式文件系统，主要用于存储和处理大规模的数据集。HDFS是ApacheHadoop的核心组件之一，能够支持上千个节点的集群，并能够处理PB级别的数据。
Solitary_孤影照惊鸿·2023-09-09 06:39

Hadoop集群搭建

Hadoop集群搭建Hadoop集群简介Hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群HDFS集群（分布式存储）主角色：NameNode
藤藤菜丶·2023-09-09 05:45

Hadoop概述

用java语言实现开源软件框架允许使用简单的编程模型跨计算机集群对大型数据集进行分布式处理Hadoop核心组件HadoopHDFS(分布式文件存储管理系统)：解决海量数据存储HadoopYARN(集群资源管理和任务调度框架
藤藤菜丶·2023-09-09 05:15

大数据技术之Hadoop：Yarn集群部署（七）

、部署说明二、集群规划三、开始配置3.1MapReduce配置文件3.2YARN配置文件3.3分发配置文件四、集群启停4.1命令介绍4.2演示4.3查看YARN的WEBUI页面一、部署说明HadoopHDFS
何苏三月·2023-09-09 04:19

大数据技术之Hadoop：MapReduce与Yarn概述（六）

即HDFS是分布式存储组件，MapReduce是分布式计算组件，Yarn则是资源调度组件。本章我们就分布式计算和资源调度进行简单讲解。一、分布式计算那么什么是分布式
何苏三月·2023-09-09 04:17

Spark 管理和更新Hadoop token 流程

HadoopToken管理AM通过kerberosauthenticationAM获取Yarn和HDFSTokenAMsendtokenstocontainersContainersloadtokensEnabledebugmessagelog4j.logger.org.apache.hadoop.security
wankunde·2023-09-09 04:33

Hadoop生态之hive

其本质是将SQL转换为MapReduce/Spark的任务进行运算，底层由HDFS来提供数据的存储，说白了hive可以理解为一个将SQL转换为MapReduce/Spark的任务的工具。二架构Hive
数据咩·2023-09-08 22:57

[译]HDFS的中心化缓存 (Centralized Cache Management in HDFS)

原文概览HDFS上的中心化缓存是一个显式的缓存机制,使得用户可以指定哪个路径被缓存.Namenode和拥有指定文件块的DataNode们通讯,并命令他们将文件块缓存到堆外缓存中.HDFS的中心化缓存管理有如下的明显优势
cfcodefans·2023-09-08 20:30

datax3.0在linux下配置并部署datax-web可视化工具教程

DataX致力于实现包括关系型数据库（MySQL、Oracle等）、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源（即不同的数据库）间稳定高效的数据
yuanzelin8·2023-09-08 14:25

HDFS 的元数据辅助管理-SecondaryNameNode

HDFS的元数据辅助管理当Hadoop的集群当中,NameNode的所有元数据信息都保存在了FsImage与Eidts文件当中,这两个文件就记录了所有的数据的元数据信息,元数据信息的保存目录配置在了hdfs-site.xml
你值得拥有更好的12138·2023-09-08 14:29

SecondaryNamenode工作机制

NameNode的作用：主要用来保存HDFS的元数据信息，比如命名空间信息、块信息等。为什么会产生SecondaryNamenode？
d84851fe3c42·2023-09-08 13:14

hdfs的命令行使用

语法：hdfsdfs参数hdfsdfs-ls/查看根路径下面的文件或文件夹hdfsdfs-mkdir[-p]/xx/xxx在hdfs上面[递归的]创建文件夹hdfsdfs-moveFromLocalsourceDir
EdwinGates·2023-09-08 12:39

一百七十一、Flume——Flume1.9.0单机版安装（亲测有效）

一、目的以防万一，为了避免kettle从Kafka同步数据到HDFS有问题，因此也测试了用Flume去采集Kafka中的数据然后同步到HDFS，算是一套备用方案二、安装包版本（一）Hadoop版本hadoop
天地风雷水火山泽·2023-09-08 12:47

一百七十三、Flume——Flume写入HDFS后的诸多小文件问题

一、目的在用Flume采集Kafka中的数据写入HDFS后，发现写入HDFS的不是每天一个文件，而是一个文件夹，里面有很多小文件，浪费namenode的宝贵资源二、Flume的配置文件优化（参考了其他博文
天地风雷水火山泽·2023-09-08 12:14

【FusionInsight 迁移】HBase从C50迁移到6.5.1（01）迁移概述

【FusionInsight迁移】HBase从C50迁移到6.5.1（01）迁移概述HBase从C50迁移到6.5.1（01）迁移概述迁移范围迁移前的准备HDFS文件检查确认HBase迁移目录确保数据落盘停止老集群
wux_labs·2023-09-08 06:37

一百七十二、Flume——Flume采集Kafka数据写入HDFS中（亲测有效、附截图）

一、目的作为日志采集工具Flume，它在项目中最常见的就是采集Kafka中的数据然后写入HDFS或者HBase中，这里就是用flume采集Kafka的数据导入HDFS中二、各工具版本（一）Kafkakafka
天地风雷水火山泽·2023-09-08 06:03

Hadoop：HDFS--分布式文件存储系统

目录HDFS的基础架构VMware虚拟机部署HDFS集群HDFS集群启停命令HDFSShell操作hadoop命令体系：创建文件夹-mkdir查看目录内容-ls上传文件到hdfs-put查看HDFS文件内容
独憩·2023-09-08 06:40

大数据技术之Hadoop：HDFS存储原理篇（五）

命令检查文件的副本数2.4block块大小的配置三、NameNode元数据3.1NameNode作用3.2edits文件3.3FSImage文件3.4元素据合并控制参数3.5SecondaryNameNode的作用四、HDFS
何苏三月·2023-09-08 06:39

hdfs滚动升级（rollingUpgrade ）

最近对hdfs的升级过程很感兴趣，所以准备研究下其升级的过程，本篇文章是依据官网文档进行的升级过程（地址：ApacheHadoop2.10.2–HDFSRollingUpgrade），该文章中还有关于降低的介绍
Interest1_wyt·2023-09-08 05:09

浅谈数据仓库工具——Hive

前言Hadoop分布式文件系统(HDFS)因其高容错性、高吞吐量的特点，且适合部署在廉价的机器上，使其非常适合大批量数据的存储，但是如何快速地对HDFS上的文件进行统计分析操作呢？
数新网络·2023-09-08 04:04

GaussDB(DWS)与Hive在功能上存在一定的差异

Hive的数据在HDFS中存储，GaussDB(DWS)的数据可以在本地存储，也可以通过外表的形式通过OBS进行存储。Hive不支持索引，GaussDB(DWS)支持索引，所以查询速度GaussD
燃烧的岁月_·2023-09-08 02:55

namenode-HA

Namenode在HDFS中是一个非常重要的组件，相当于hadoop集群系统的心脏，在显示分布式集群环境中，还是会有可能出现Namenode的崩溃或各种意外。所以，高可用模式就体现出作用了。
MOOJ·2023-09-08 00:29

Java调用linux指令工具类，直接执行cmd，执行grep指令返回结果，执行sed追加指令，hdfs下载指令，获取文件行数

问题背景有时候会操作linux指令读取或修改文件，封装一个常用的Linux工具类比较方便LinuxUtils工具类1LinuxUtils工具类packagecom.yg.util;importlombok.extern.slf4j.Slf4j;importjava.io.BufferedReader;importjava.io.IOException;importjava.io.InputStre
时间是一种毒药·2023-09-07 17:10

Yarn资源调度器

文章目录一、Yarn资源调度器1、架构2、Yarn工作机制3、HDFS、YARN、MR关系4、作业提交之HDFS&MapReduce二、Yarn调度器和调度算法1、先进先出调度器（FIFO）2、容量调度器
ha_lydms·2023-09-07 17:42

Hive概述

Hive处理的数据存储在HDFS,Hive分析数据底层实现是MapReduce，Hive执行程序是运行在yarn上Hive优点：1）操作接口采用类SQL语法，上手容易，避免写MapReduce，减少学习成本
诗云HSY·2023-09-07 14:11

启动hadoop并测试问题合集

/hdfsnamenode-format（显示这个就为成功，很长的，慢慢找）==========以上为前提，然后开始遇见问题===========问题1：输入jps的时候说找不到？
Aure_xl·2023-09-07 13:45

AccessControlException: Permission denied: user=root

Numberofreducetasksissetto0sincethere'snoreduceoperatororg.apache.hadoop.security.AccessControlException:Permissiondenied:user=root,access=WRITE,inode="/user":hdfs
arbalest1080·2023-09-07 10:41

Hadoop 集中式的缓存管理demo

参考文献：http://www.infoq.com/cn/articles/hdfs-centralized-cachehttps://blog.csdn.net/javastart/article/details
orisonchan·2023-09-07 09:52

Impala

交互式查询工具Imapala第1部分Impala概念1.1Impala是什么Impala是Cloudera提供的一款开源的针对HDFS和HBASE中的PB级别数据进行交互式实时查询(Impala速度快)
BoomLee·2023-09-07 07:52

大数据面试题

NameNode:在hadoop的主服务器,在内存中保存整个文件系统的名称空间和文件数据块的地址映射.整个HDFS可存储的文件数量受限于NameNode的内存大小.NameNode负责文件元数据的操作.
牛壹壹·2023-09-07 07:13

Hadoop的分布式文件存储系统HDFS组件的使用

Hadoop的第一个核心组件：HDFS（分布式文件存储系统）一、HDFS的组成1、NameNode2、DataNode3、SecondaryNameNode4、客户端：命令行/JavaAPI二、HDFS
Augenstern K·2023-09-07 06:56

大数据技术之Hadoop：使用命令操作HDFS（四）

目录一、创建文件夹二、查看指定目录下的内容三、上传文件到HDFS指定目录下四、查看HDFS文件内容五、下载HDFS文件六、拷贝HDFS文件七、HDFS数据移动操作八、HDFS数据删除操作九、HDFS的其他命令十
何苏三月·2023-09-07 05:58

Hadoop数据压缩

一、概述压缩技术能够有效减少底层存储系统（HDFS）读写字节数，提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。
南巷的旧猫·2023-09-07 05:09

（二十一）大数据实战——Flume数据采集之复制和多路复用案例实战

数据采集的一个多路复用案例，使用三台服务器，一台服务器负责采集本地日志数据，通过使用ReplicatingChannelSelector选择器，将采集到的数据分发到另外俩台服务器，一台服务器将数据存储到hdfs
北溟溟·2023-09-07 03:59

HDFS完全分布式集群搭建与配置

HDFS完全分布式集群搭建与配置介绍HDFS前言HDFS的概念和特性整体思路准备工作配置过程三台虚拟机都已经完成的步骤hadoop-env.shyarn-env.shcore-site.xmlhdfs-site.xmlmapred-site.xmlyarn-site.xmlslaves
stupid_gentleman·2023-09-07 00:53

大数据学习笔记-HDFS（三）——集群管理运维

1、HDFS数据迁移解决方案1.1迁移方案——数据迁移的使用场景和考量因素场景冷热集群数据同步、分类存储使用频率较高的数据随着时间发展频率变低而迁移集群数据整体搬迁：原A机房搬迁到B机房数据的准实时同步
天码村·2023-09-07 00:53

Hadoop生态圈（八）- HDFS动态节点管理

目录前言1.背景2.动态扩容、节点上线2.1新机器基础环境准备2.1.1主机名、IP2.1.2Hosts映射2.1.3防火墙2.1.4SSH免密登录2.1.5JDK环境配置2.2Hadoop配置2.2.1DataNode负载均衡服务3.动态缩容、节点下线3.1添加退役节点3.2刷新集群3.3手动关闭DataNode进程3.4DataNode负载均衡服务4.黑白名单机制4.1白名单4.2黑名单原文地
大Null·2023-09-07 00:22

查看HDFS集群状态

Hadoop集群正常启动后，它默认开放了两个端口9870和8088，分别用于监控HDFS集群和YARN集群。
摸摸小油头.·2023-09-07 00:22

HDFS集群启动后，DataNode节点没有挂载上

排错过程安装Impala后，删除掉Impala依赖的Hadoop、Hive等框架后，还是启动自己之前部署的Hadoop、Hive，没有报错，但是通过WEb界面查看，发现集群处于安全模式，然后所有的DataNode节点都没有挂载上（这时候没有注意到DataNode节点没有挂载上）。。。Securityisoff.SafemodeisON.Thereportedblocks0needsaddition
wufabao·2023-09-07 00:52

HDFS集群节点

HDFS集群有两类节点，并以管理者-工作者模式运行，即一个NameNode（管理者）和多个DataNode（工作者）。
橘子疼·2023-09-07 00:52
上一页 53 54 55 56 57 58 59 60 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他