#HDFS

HADOOP之HDFS集群配置

前期准备：免密配置成功，jdk1.8.0_271环境变量配置成功的前提下(免密和jdk没有配置好的看前面的博客）将配置好的jdk1.8.0_271文件夹和hadoop-2.7.6下载解压后的文件夹上传到主节点解压下载的Hadoop压缩包tar-zxvfhadoop-2.7.6.tar.gz解压后得到两个文件在当前(主节点)上建立一个hadoop文件夹，在hadoop文件夹下建立NameNode和D
30+11·2023-09-07 00:52

HDFS删除节点

退役旧数据节点目标：掌握HDFS在集群中删除掉无效节点的步骤第一步：创建dfs.hosts.exclude配置文件在namenod的cd/export/servers/hadoop-2.6.0-cdh5.14.0
大数据面试指南·2023-09-07 00:51

HDFS 集群启动 管理界面缺少 DataNode 节点的解决方法

HDFS集群搭建并启动成功，1个NameNode节点和2个DataNode节点也运行正常，可以在各自的虚拟机中用jps命令查看正在运行的Java进程，但是通过http://master:50070/dfshealth.html
da2869237372·2023-09-07 00:51

HDFS 集群动态节点管理

1.2.5DataNode负载均衡服务二、动态缩容、节点下线2.1背景2.2缩容步骤2.2.1添加退役节点2.2.2刷新集群2.2.3手动关闭DataNode进程2.2.4DataNode负载均衡服务三、HDFS
Stars.Sky·2023-09-07 00:51

hive关联外部表的注意事项

event_day='{YESTERDAY}');ALTERTABLEXXXADDIFNOTEXISTSPARTITION(event_day='{YESTERDAY}')LOCATION'XXX';1.hdfs
攻城狮Kevin·2023-09-06 19:32

hive mysql 外部表_hive外部表

外部表对应的文件存储在location指定的目录下,向该目录添加新文件的同时，该表也会读取到该文件(当然文件格式必须跟表定义的一致)，删除外部表的同时并不会删除location指定目录下的文件.1.查看hdfs
Rosie Lau·2023-09-06 19:01

hive中内部表、外部表、分区表、桶表、拉链表

hive查询的基本原理hive的设计思想是通过元数据解析描述将HDFS上的文件映射成表基本的查询原理是当用户通过hql语句对hive中的表进行复杂数据处理和计算时候，默认将其准换为分布式计算mapReduce
李大寶·2023-09-06 19:30

spark on ack (ali EMR on ACK) 问题汇总

2、pyspark之前一直使用--archives参数，将hdfs上的python环境包下载到drive，execute端执行。
迷茫_小青年·2023-09-06 19:13

hdfs 离开安全模式

大家没有关闭hadoop服务就关机，有些时候某些设备再开启启动就会进入一种安全模式使用下面命令就能离开安全模式正常使用hdfsdfsadmin--safemodeleave
超爱慢·2023-09-06 15:59

Hadoop:Call From wish/192.168.11.1 to wish:9000 failed on connection exception:java.net.ConnectExcep

问题：今天用eclipse连接hadoophdfs时，配置Map/Reduce(V2)master,DFSmaster时出现以下报错信息：解决办法：1、打开Eclipse，依次点击“Window”→“Preferences
躺平的赶海人·2023-09-06 15:58

windows下hadoop-eclipse 开发环境搭建连接HDFS时报error: failure to login错误

在windows下部署hadoop集群，然后用eclipse部署开发环境搭建好后，连接HDFS系统时：在文件夹下提示：error:failuretologin错误，连接不上，多方查找下，本地安装的java
躺平的赶海人·2023-09-06 15:28

hadoop集群下各项配置文件部署，yarn-site.xml、hdfs-site.xml等详细版（待持续更新）

一、yarn-site.xml文件配置，下放resourcemanager简称RM参数默认值（default）备注yarn.resourcemanager.hostnameRM的hostnameyarn.resourcemanager.scheduler.address${yarn.resourcemanager.hostname}:8030RM对AM暴露的地址，AM通过地址想RM申请资源，释放资
躺平的赶海人·2023-09-06 15:28

Error: JAVA_HOME is incorrectly set.Please update E:\hadoop\hadoop-2.6.5\conf\hadoop-env.cmd解决探秘

在控制台输入hdfsnamenode-format后提示Error:JAVA_HOMEisincorrectlyset.PleaseupdateE:\hadoop\hadoop-2.6.5\conf\hadoop-env.cmd
躺平的赶海人·2023-09-06 15:28

CentOS6安装Hadoop后运行hdfs警告Unable to load native-hadoop library for your platform... using builtin-java

情景：安装hadoop后启动运行HDFS报错：WARNutil.NativeCodeLoader:Unabletoloadnative-hadooplibraryforyourplatform...usingbuiltin-javaclasseswhereapplicable
躺平的赶海人·2023-09-06 15:27

【大数据Hive】hive 加载数据常用方案使用详解

目录一、前言二、load命令使用2.1load概述2.1.1load语法规则2.1.2load语法规则重要参数说明2.2load数据加载操作演示2.2.1前置准备2.2.2加载本地数据2.2.3HDFS
逆风飞翔的小叔·2023-09-06 15:26

大数据组件系列-Hadoop每日小问

1、谈谈对HDFS的理解？HDFS这种存储适合哪些场景？HDFS即HadoopDistributedFileSystem，Hadoop分布式文件系统。
躺平的赶海人·2023-09-06 15:55

Hadoop之常用端口号

hadoop3.xHDFSNameNode内部通常端口：8020、9000、9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况的端口：8088历史服务器：19888HDFSNameNode
鼠鼠我呀2·2023-09-06 12:09

Hadoop 核心-HDFS

Hadoop核心-HDFS1:HDFS的API操作1.1配置Windows下Hadoop环境在windows系统需要配置hadoop运行环境，否则直接运行代码会出现以下问题:缺少winutils.exeCouldnotlocateexecutablenull
吾为天帝乎·2023-09-06 08:21

centos7 hadoop 单机模式安装配置

转载请务必注明原创地址为：https://dongkelun.com/2018/03/23/hadoopConf/前言由于现在要用spark,而学习spark会和hdfs和hive打交道，之前在公司服务器配的分布式集群
董可伦·2023-09-06 06:17

centos7上hive3.1.3安装及配置

1、安装背景；hive是基于hadoop的数据仓库软件，部署运行在linux系统之上，安装之前必须保证hadoop环境运行正常，hive本身不是分布式软件，它的分布式主要是借助hadoop实现，存储是hdfs
至尊宝♬·2023-09-06 05:13

Hadoop体系-2数据采集体系

image.pngHDFSAPIHDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。
teddrummer·2023-09-06 03:11

Java调用linux指令工具类，直接执行cmd，执行grep指令返回结果，执行sed追加指令，hdfs下载指令，获取文件行数

Java调用linux指令工具类，直接执行cmd，执行grep指令返回结果，执行sed追加指令，hdfs下载指令，获取文件行数问题背景LinuxUtils工具类Lyric：梦想挟带眼泪问题背景有时候会操作
时间是一种解药·2023-09-06 03:37

Hadoop安装教程

在大数据领域，hadoop是必须学习和掌握的一项技术，hadoop里面包含了三个最主要的组件：HDFS用于数据存储、YARN用于资源的管理、MapReduce用于分布式计算。
書香劍客·2023-09-06 01:54

3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件、删除文件及目录、获取文件及文件夹属性等）-java

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件
一瓢一瓢的饮 alanchan·2023-09-06 01:44

Hbase 基于HDFS分布式列存储Nosql数据库(三) 概念及原理介绍

Filter过滤器背景知识：在hbase中，所有数据在存储时按照rowkey的ASCII码表字典顺序进行排序的在hbase中，rowkey的查询都是前缀匹配rowkey是hbase中的唯一索引，所有数据的读写要么通过rowkey查询，要么就是全表扫描hbase底层没有数据类型，数据全部都是按照字节数组存储，按照keyvalue对格式存储每一列数据，key=ns+tb+cf+c+ts，value=v
章云邰·2023-09-05 21:19

HDFS HA 高可用集群搭建详细图文教程

1.2.2Active、Standby1.2.3高可用1.2.4集群可用性评判标准（x个9）1.3HA系统设计核心问题1.3.1脑裂问题1.3.2数据状态同步问题二、NAMENODE单点故障问题2.1概述2.2解决三、HDFSHA
Stars.Sky·2023-09-05 17:37

HDFS集群滚动升级和降级回滚

目录一、HDFS集群滚动升级1.1介绍1.2不停机滚动升级1.2.1非联邦HA集群1.2.1.1滚动升级准备1.2.1.2升级ActiveNN和StandbysNN1.2.1.3升级DN1.2.1.4完成滚动升级
Stars.Sky·2023-09-05 17:07

HDFS 架构剖析

目录一、HDFS架构整体概述二、HDFS集群角色介绍2.1整体概述2.2主角色：namenode2.3从角色：datanode2.4主角色辅助角色：secondarynamenode三、HDFS重要特性
Stars.Sky·2023-09-05 17:36

ClickHouse配置Hdfs存储数据

文章目录背景配置单机配置HA高可用Hdfs集群性能测试统计trait最多的10个traitterm统计性状xxxminValue>5000000的数量结论参考文档背景由于公司初始使用Hadoop这一套，
孙靖俊·2023-09-05 15:23

解读MapReduce程序实例

Hadoop的四大组件：（1）HDFS：分布式存储系统；（2）MapRedu
大禹编程扛把子·2023-09-05 14:03

关于hiveonSpark的错误问题

spark-env.sh.template/opt/module/spark/conf/spark-env.sh添加内容//有了SPARK_DIST_CLASSPATH配置信息以后，//Spark就可以把数据存储到Hadoop分布式文件系统HDFS
叫我莫言鸭·2023-09-05 14:49

20180521早课记录14-Hadoop

1.hadoop是什么狭义:Hadoop软件(HDFS、MapReduce、Yarn)广义:以hadoop为主的生态圈2.hadoop三大组件是什么?
K_un·2023-09-05 12:27

Hadoop的概述与安装

Hadoop的概述与安装一、Hadoop内部的三个核心组件1、HDFS：分布式文件存储系统2、YARN：分布式资源调度系统3、MapReduce：分布式离线计算框架4、HadoopCommon（了解即可
Augenstern K·2023-09-05 06:49

Hive 和 HDFS、MySQL 之间的关系

文章目录HiveHDFSMySQL三者的关系Hive、MySQL和HDFS是三个不同的数据存储和处理系统，它们在大数据生态系统中扮演不同的角色，但可以协同工作以支持数据管理和分析任务。
月亮给我抄代码·2023-09-05 05:42

FastDFS分布式文件系统介绍及单机版安装

常见的分布式文件系统有：FastDFS、GFS、HDFS、Lus
生出来，我养！·2023-09-05 04:27

【HDFS】Hadoop RPC是如何知道请求头和数据长度的？

org.apache.hadoop.ipc.Server.Connection#readAndProcess:下面这段代码读取出RPCHeader+RPC请求体的长度。读到一个int型整数dataLength里。if(data==null){//justread4bytes-lengthofRPCpacketdataLengthBuffer.flip();dataLength=dataLength
小北觅·2023-09-04 23:18

大数据-玩转数据-Hadoop+Storm与Spark架构方案比较

大数据-玩转数据-Hadoop+Storm与Spark架构方案比较Hadoop+Storm方案结构图Spark方案结构图Hadoop的数据处理工作在硬盘层面，借助HDFS(分布式文件系统)，可以将架构下每一台电脑中的硬盘资源聚集起来
web17886480312·2023-09-04 22:46

hadoop核心架构

通过对Hadoop分布式计算平台最核心的分布式文件系统HDFS、MapReduce处理过程，以及数据仓库工具Hive和分布式数据库Hbase的介绍，基本涵盖了Hadoop分布式平台的所有技术核心。
凉意先生·2023-09-04 06:38

python——spark入门

2003和2004年，两个来自Google的观点使Hadoop成为可能：一个分布式存储框架(Google文件系统)，在Hadoop中被实现为HDFS；一个
代码输入中...·2023-09-04 04:43

Cannot request memory (Xms 0 kb, Xmx 0 kb) from system for job HDFSjob, sleep for 60 secs and ret...

场景,执行azkaban时候,一个简单的hdfs查询,看任务日志卡主然后找到看azkaban界面找到日志然后查看报错github解决办法https://github.com/azkaban/azkaban
BABA_777·2023-09-03 23:37

MappReduce的第一个实例WordCount

三、将第一步的文件传到hdfs文件系统上，hadoopdfs-putwords/data/words命令(文件夹根据个人不同！)
记得_5d12·2023-09-03 18:35

大数据启动服务步骤(待更新)

hadoop在3.2版本中hdfsnamenode-format后，启动start-all.sh[root@hadoop01~]$jps60498SecondaryNameNode60818ResourceManager61204Jps60093NameNode
chia奇亚币·2023-09-03 16:54

HDFS文件的读写流程

HadoopHDFS的读写文件流程HDFS写文件流程客户端通过DistributedFileSystem模块向NameNode请求上传文件（hadoopfs-put文件名文件路径）判断该客户端是否有写入权限
aiYouWei啊·2023-09-03 12:00

【 OpenGauss源码学习 —— 列存储（analyze）(二)】

try_relation_open函数ConditionalLockRelationOid函数analyze_rel_internal函数BufferAccessStrategy结构体GBLSTAT_HDFS_SAMPLE_ROWS
J.Kuchiki·2023-09-03 04:46

MyCAT源码分析环境搭建

面向企业应用开发的“大数据库集群”支持事务、ACID、可以替代MySQL的加强版数据库一个可以视为“MySQL”集群的企业级数据库，用来替代昂贵的Oracle集群一个融合内存缓存技术、Nosql技术、HDFS
smallmartial·2023-09-03 01:06

springboot2.x,3.x打jar包在spark yarn 集群上部署运行

3.1.2/bin/spark-submit--classcnki.bdms.servicespark.BdcServiceSparkApplication\--confspark.yarn.jars="hdfs
动力暖暖·2023-09-02 22:52

hadoop初始化namenode失败，报错：org.apache.hadoop.hdfs.qjournal.client.Quorumexception

在搭建Hadoop集群的时候，初始化namenode出现如下报错：解决方案1.要仔细检查配置文件是否正确，我之前就是配置文件不正确2.检查1，2，3节点的zookeeper服务是否开启3.检查1，2，3节点的journalnode是否开启4.要在zookeeper和journalnode节点都开启的情况下才能够初始化成功5.如果以上都执行了，还不能成功重启三台虚拟机，再启动zookeeper、jo
kyrie_rlving·2023-09-02 18:12

一百七十、Linux——Crontab定时任务调度Kettle脚本

一、目的由于用海豚调度器调度从Kafka到HDFS的kettle任务时发现有点问题，如果不设置定时调度，这个kettle任务会一直跑，而如果设置定时调度，隔天后就会生成多个任务，而且每个任务都在跑，不会停下
天地风雷水火山泽·2023-09-02 18:35

大数据组件-Flume集群环境搭建

【大数据学习记录篇】-持续更新中~个人主页：beixi@本文章收录于专栏（点击传送）：【大数据学习】持续更新中，感谢各位前辈朋友们支持学习~文章目录1.Flume集群环境介绍2.搭建环境介绍3.启动HDFS
beixi@·2023-09-02 12:24

Failed to rollback to checkpoint/savepoint hdfs://mycluster:8020/ck/sapgateway

Failedtorollbacktocheckpoint/savepointhdfs://mycluster:8020/ck/sapgatewayjobfailedduringinitializationofJobManagerorg.apache.flink.runtime.client.JobInitializationException
m0_37759590·2023-09-02 11:18
上一页 54 55 56 57 58 59 60 61 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他