#HDFS

Hadoop与MPP

1.Hadoop是分布式计算平台，以hive应用为例，它的存储结构是HDFS，计算框架是MapReduce；MPP代表大规模并行处理，一个优点是可扩展性，数据在节点（分片）之间分割，每个节点只处理其本地数据
盛装吾步·2023-08-19 03:37

hadoop 无法访问hdfs(50070,8088)的web界面

启动集群成功后，[[email protected]]#sbin/yarn-daemon.shstartresourcemanagerstartingresourcemanager,loggingto/opt/hadoop/module/hadoop-2.7.2/logs/yarn-MissZhou-resourcemanager-localhost.localdomain.ou
江湖侠客·2023-08-19 00:54

hadoop fs、hadoop dfs、hdfs fs、hdfs dfs区别

(1)fs是一个通用的文件系统可以指向任何的文件系统如local，HDFS等，而dfs是分布式文件系统，是针对hdfs的（经博主验证，hdfsdfs也能用于操作local）。
Code_LT·2023-08-18 22:04

spark 带文件上集群，获取外部文件，--files 使用说明

本文讨论yarnclient和cluster模式spark-submit提交任务时添加文件spark-submit--filesfile_paths其中file_paths可为多种方式：file:,hdfs
Code_LT·2023-08-18 22:33

解除HDFS的安全限制

报错的内容Causedby:org.apache.hadoop.hdfs.server.namenode.SafeModeException:Cannotcreatedirectory/tmp/hihdfsdfsadmin-safemodeleave
简单点了·2023-08-18 21:34

CDH遇到的坑

datanode报错，由于该主机之前安装过CDH，需要清空原有的datanode配置Failedtoaddstoragedirectory[DISK]file:/dfs/dnorg.apache.hadoop.hdfs.server.common.InconsistentFSStateException
行动家嘘嘘·2023-08-18 19:31

Golang使用MinIO

最近在使用Golang做了一个网盘项目（学习），文件存储一直保存在本地（各厂商提供的oss贵），所以就在思考怎么来处理这些文件，类似的方案很对hdfs、fastdfs，但这其中MinIO是最近几年比较火热的一个项目
HumbleSwage·2023-08-18 19:51

python读取hdfs上的parquet文件方式

在使用python做大数据和机器学习处理过程中，首先需要读取hdfs数据，对于常用格式数据一般比较容易读取，parquet略微特殊。
乐观的程序员·2023-08-18 14:06

【hive】hive修复分区或修复表 以及msck命令的使用

hive】hive修复分区或修复表以及msck命令的使用问题原因：解决方法：msck命令解析：例子:问题原因：之前hive里有数据，后面存储元数据信息的MySQL数据库坏了，导致hive元数据信息丢失，但是hdfs
kiraraLou·2023-08-18 11:25

Hadoop HA集群两个NameNode都是standby或者主NameNode是standby，从NameNode是active的情况集锦

文章目录背景架构HDFSHA配置错误原因解决方案方案一方案二方案三（首先查看自己各参数文件是否配置出错）后记补充failovertransitionToActive常用端口号及配置文件常用端口号hadoop3
想你依然心痛·2023-08-18 07:54

一百五十九、Kettle——Kettle9.2通过配置Hadoop clusters连接Hadoop3.1.3（踩坑亲测、附流程截图）

一、目的由于kettle的任务需要用到Hadoop（HDFS），所以就要连接Hadoop服务。
天地风雷水火山泽·2023-08-18 05:46

Hbase读写流程

Client获取数据写入的Region所在的RegionServer2.请求写Hlog3.请求写MemStoreHLog+MemStore都写入成功才能算作写成功MemStore中的数据后续会逐渐刷到HDFS
cllblogs·2023-08-18 00:43

Hbase的列式存储到底是什么意思？一篇文章让你彻底明白

一、HBase定义ApacheHBase™是以hdfs为数据存储的，一种分布式、可扩展的NoSQL数据库。
Appreciate(欣赏)·2023-08-17 20:56

hadoop.fs.FileSystem.get导致OOM的原因和解决方案

问题描述在调用HDFS获取文件系统的get接口时，指定用户可能会导致OOM问题，示例代码如下：FileSystemfileSystem=FileSystem.get(uri,conf,"hadoopuser
Miaodawang·2023-08-17 17:56

常用的分布式计算引擎

常用的分布式计算引擎多表关联的问题，由于NoSQL数据库主要用于海量存储和单表查询，一般都不支持join，需借助更上层的计算框架来实现多表关联，比如:计算框架支持数据源执行效率Hive本地文件、HDFS
天下无敌笨笨熊·2023-08-17 13:01

hdfs使用心得

基本概念namenode和SecondaryNameNodeNameNode主要是用来保存HDFS的元数据信息，比如命名空间信息，块信息等。当它运行的时候，这些信息是存在内存中的。
天下无敌笨笨熊·2023-08-17 13:31

Hadoop数据迁移工具DistCp

Distcp用法基本用法集群间复制#nn1是源集群，nn2是目标集群hadoopdistcphdfs://nn1:8020/foo/barhdfs://
snail_bing·2023-08-17 13:41

Hadoop数据迁移distcp

这里选择全量迁移迁移文件迁移test目录下的文件至目标目录下命令：hadoopdistcp-p-m并行度-bandwidth带宽源目录目标目录示例：hadoopdistcp-p-m5-bandwidth10hdfs
日复一日伐树的熊哥·2023-08-17 13:11

Hadoop 面试总结

Hadoop架构Hadoop组成部分HDFS管理者:namenode工作者:DataNode辅助管理者:secondaryNameNodeMapReduceYARN管理者:ResourceManage工作者
君子何为·2023-08-17 11:42

Hadoop3.0.3 提:hdfs 指令未找到

Hadoop安装完成后，想执行hadoop命令，结果报错：hadoop：未找到命令。原因是hadoop的安装路径没有加入到当前路径中。解决办法有两个：一．进入hadoop的安装目录，在执行hadoop命令时在前面加上：./bin./sbin二．在/etc/profile文件中添加hadoop的安装路径：sudovim/etc/profile加入：exportHADOOP_HOME=本机的hadoo
在奋斗的大道·2023-08-17 09:28

no resourcemanager to stop

问题描述：虚拟机环境下，使用stop-yarn.sh和stop-dfs.sh停止yarn和hdfs时出现noresourcemanagertostop、nonodemanagertostop、nonamenodetostop
Sx_Ren·2023-08-17 07:45

spark的standalone 分布式搭建

一、环境准备集群环境hadoop11，hadoop12，hadoop13安装zookeeper和HDFS1、启动zookeeper--启动zookeeper(11,12,13都需要启动)xcall.shzkServer.shstart
~提线木偶·2023-08-17 06:21

【hadoop】windows上hadoop环境的搭建步骤

文章目录前言基础环境下载hadoop安装包下载hadoop在windows中的依赖配置环境变量Hadoophdfs搭建创建hadfs数据目录修改JAVA依赖修改配置文件初始化hdfsnamenode启动
小沈同学呀·2023-08-17 03:01

【实用内容】Hadoop群起脚本

ficase$1in"start")echo"===================Startinghadoop==================="echo"---------------StartingHDFS
MomentNi·2023-08-17 02:40

docker安装hdfs

拉取Hadoop镜像（可以在dockerhub上找合适的镜像）：dockerpullsingularities/hadoop创建docker-compose.yml文件（可以在文本编辑器中写好后，复制），内容如下：version:"2"services:namenode:image:singularities/hadoopcommand:start-hadoopnamenodeenvironmen
老干妈炒饭·2023-08-17 01:15

大数据——Hive一文全知道

Hive是一款基于Hadoop的数据仓库工具，它将SQL语句转化为MapReduce任务运行，方便不熟悉MapReduce的用户也能够很好的利用HQL处理和计算HDFS上的数据。
AIGC人工智残·2023-08-17 00:06

HDFS原理剖析

一、概述HDFS是Hadoop的分布式文件系统（HadoopDistributedFileSystem），实现大规模数据可靠的分布式读写。
Hello.Reader·2023-08-16 21:21

ViewFs And Federation On HDFS

序言ViewFs是在Federation的基础上提出的,用于通过一个HDFS路径来访问多个NameSpace,同时与ViewFs搭配的技术是client-sidemounttable(这个就是具体的规则配置信息可以放置在
cuiyaonan2000·2023-08-16 21:50

hdfs开启回收站(废纸篓)

那么在hdfs中是否存在类似mac上的废纸篓这个功能呢？答案是存在的。
·2023-08-16 18:07

HDFS基本原理

Hadoop（HDFS）HadoopDistributedFileSystem，分布式文件系统hdfs-architecture.png架构中的基本概念block基本存储单位，一般64M，比数据库中的页要大很多基本的读写单位
流浪山人·2023-08-16 18:33

105_es生产集群备份恢复之基于snapshot+hdfs进行数据备份

105_es生产集群备份恢复之基于snapshot+hdfs进行数据备份1、es集群数据备份任何一个存储数据的软件，都需要定期的备份我们的数据。
小山居·2023-08-16 17:13

linux上的hadoop单机版的namenode无法启动问题

如果报错是无法加载fsimage的话hdfsnamenode-format这个命令初始化一次就可以了
bpqdwo·2023-08-16 16:59

`hadoop fs -mkdir ` 创建的目录位置

mkdir相对路径#相对路径都是相对当前工作路径，当前目录下`ll`查看一下也能很清晰看到mkdir-ptest4/test5llhadoop创建文件夹命令hadoopfs-mkdir绝对路径#hadoophdfs
·2023-08-16 13:28

Hive总结

文章目录1.概念2.Hive与Hadoop的关系3.Hive中的命令3.1创建数据库并指定hdfs存储位置3.2修改数据库3.3查看数据库信息3.4创建表并指定字段之间的分隔符4.Hive中的四种表结构
星是河的眼·2023-08-16 12:27

基于Hadoop的表级监管

现状大数据平台中，采用hadoop的方式存储数据，hdfs本质上是文件系统，而文件系统对数据的监管能力有限，但是数据安全领域问题日渐凸显，现目前，大数据平台一般以分层结构进行授权，但是对于一线开发人员而言
demo123567·2023-08-16 10:51

Spark学习笔记11:RDD算子

目录一、RDD算子二、准备工作（一）准备文件1、准备本地系统文件2、准备HDFS系统文件（二）启动SparkShell1、启动HDFS服务2、启动Spark服务3、启动SparkShell三、转化算子（
balabalalibala·2023-08-16 06:20

大数据面试(java)题库汇总

文章目录大数据面试1.HDFS读写流程？1.1HDFS写流程1.2HDFS读流程2HDFSHA架构3小文件给hadoop带来的瓶劲问题3.1造成问题3.2IO问题，性能问题如何解决？
老鼠扛刀满街找猫@·2023-08-16 04:15

报表服务器无法打开数据库连接 修改 web.config,修改服务器数据库连接配置

obs-connectorgeneric-jdbc-connectorftp-connector或sftp-connectorhbase-connector、hdfs-connector或hive-connectorOBS
皮友萍·2023-08-16 03:26

Apache Doris 入门教程26：资源管理

为了节省Doris集群内的计算、存储资源，Doris需要引入一些其他外部资源来完成相关的工作，如Spark/GPU用于查询，HDFS/S3用于外部存储，Spark/MapReduce用于ETL,通过ODBC
sunjian286·2023-08-15 19:13

大数据传输的定义与大数据传输解决方案的选择

常用的大数据传输技术有Hadoop分布式文件系统（HDFS）、基于TCP/IP协议的传输控制协议（TCP）、用户数据报协议（UDP）、文件传输协议（FTP）和远程复制协议（rsync）等。
镭速·2023-08-15 18:14

Hadoop组件

HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。
叱咤少帅（少帅）·2023-08-15 08:20

Kubernetes 部署DolphinScheduler 创建租户失败

后台日志如下源代码跟踪org.apache.dolphinscheduler.api.service.impl.TenantServiceImpl/ifhdfsstartupif(PropertyUtils.getResUploadStartupState
ATM006·2023-08-15 07:07

Clickhouse基于文件复制写入

背景目前clickhouse社区对于数据的写入主要基于文件本地表、分布式表方式为主，但缺乏大批量快速写入场景下的数据写入方式，本文提供了一种基于clickhouselocal客户端工具分布式处理hdfs
humanity11·2023-08-15 06:11

大数据面试题：说下Spark中的Transform和Action，为什么Spark要把操作分为Transform和Action？

输入：在Spark程序运行中，数据从外部数据空间（如分布式存储：textFile读取HDFS等，parallel
蓦然_·2023-08-15 01:37

大数据面试题全面总结（范围广超详细）

Hadoop面试题总结Hadoop面试题（一）Hadoop面试题总结（二）——HDFSHadoop面试题总结（三）——MapReduceHadoop面试题（四）——YARNHadoop面试题总结（五）—
蓦然_·2023-08-15 01:06

大数据面试题：介绍下Hadoop

2、说下Hadoop核心组件Hadoop自诞生以来，主要有Hadoop1.x、2.x、3.x三个系列多个版本；Hadoop1.x组成：HDFS（具有高可靠性、高吞吐量的分布式文件系统，用于数据存储），MapReduce
蓦然_·2023-08-15 01:06

大数据面试题：Hadoop中的几个进程和作用

面试题来源：《大数据面试题V4.0》大数据面试题V3.0，523道题，679页，46w字可回答：1）启动Hadoop，都会有什么进程参考答案：1）NameNode：Master，它是一个主管、管理者管理HDFS
蓦然_·2023-08-15 01:06

SparkStreaming优雅关闭

开启另外一个线程每5秒监听HDFS上一个文件是否存在。
Map_Reduce·2023-08-14 23:41

使用 Amazon MemoryDB for Redis 作为 JuiceFS 的元数据引擎

JuiceFS也提供如HDFS兼容的API、S3兼容的API等多种类型接口，适用于不同的数据使用场景。亚马逊云科技开发者社区为开发者们提供全球的开发技术资源。这里有技
亚马逊云开发者·2023-08-14 17:21

数据分析工具篇——MapReduce结构

公众号后台回复“图书“，了解更多号主新书内容作者：livan来源：数据python与算法前面我们介绍了HDFS，作为HDFS的第一代上层架构，我们必须讲解一下hadoop的MapReduce结构，可以说这一结构促进了大数据的兴起
IT农民工1·2023-08-14 14:39
上一页 60 61 62 63 64 65 66 67 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他