#HDFS

大数据地阶斗技--HDFS java API编程

目录一.获取文件系统二.列出所有DataNode的名字信息三.创建文件目录四.删除文件或文件目录五.查看文件是否存在六.文件上传至HDFS七.从HDFS下载文件八.文件重命名九.遍历目录和文件十.获取数据块所在的位置十一
马骁尧·2023-09-23 11:25

HDFS常用命令

HDFS常用fs命令：hadoopfs-ls显示指定的文件的详细信息hadoopfs-ls-Rls命令的递归版本hadoopfs-cat将指定的文件输出到标准输出hadoopfs-chgrp[-R]group
马骁尧·2023-09-23 11:55

云原生,分布式与微服务

目前比较常用的分布式系统的设计，HDFS或者GFS（分布式文件系统）、Kafka和Pulsar（分布式消息队列），RedisCluster和Codis（分布式缓存），MySQL的分库分表（传统关系型数据库的分布式方案
宋song一·2023-09-23 11:15

Java大数据之路--HDFS详解（3）--基本命令

HDFS(分布式文件存储系统)--基本命令目录HDFS(分布式文件存储系统)--基本命令一、常见命令二、其他命令一、常见命令命令说明hadoopfs-mkdir/park在hdfs的根目录下，创建park
Normcorer·2023-09-23 08:20

如何学习大数据：spark发布程序

所以不需要启动hdfs
卿卿老祖·2023-09-23 08:23

大数据分布式处理框架Hadoop

Hadoop核心组件HDFS（HadoopDistributedFileSystem分布式文件系统）：是Hadoop的存储层，将数据分布存储在多个节点上，提供高可用性和高容错性。MapReduc
真空零点能·2023-09-23 07:08

【大数据】HDFS 的常用命令

HDFS的常用命令1.操作命令1.1创建文件夹1.2列出指定的文件和目录1.3新建文件1.4上传文件1.5将本地文件移动到HDFS1.6下载文件1.7查看文件1.8追写文件1.9删除目录或者文件1.10
G皮T·2023-09-23 06:31

hive mysql初始_hive mysql 初始化

我们可以把Hive中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在HDFS中的。Hive经过对语句进行解析和转换，最终生成一系列基于had
戴舜·2023-09-23 04:14

hive初始化元数据库乱码

hive使用元数据库来记录相关hdfs数据文件和数据库表之间的映射关系，当创建的数据库是使用中文注释的时候，那么就会碰到乱码问题。
运维Linux和python·2023-09-23 04:37

Java大数据学习~Hadoop初识二读取与写入流程

昨天的文章我们简单的说了下Hadoop中HDFS的内容，今天我们来了解下HDFS的都写入流程。当然该流程也是一个经常面试遇到的一个问题。
胖琪的升级之路·2023-09-23 00:04

spark Structured报错解决

Users/Administrator/AppData/Local/Temp/1/temporary-611514af-8dc5-4b20-9237-e5f2d21fdf88/metadatafromhdfs
谷新龙001·2023-09-22 23:37

sql连接系统数据库服务器,sql连接系统数据库服务器

Loader支持如下数据导入方式：从关系型数据库导入数据到HDFS/OBS从关系型数据库导入数据到HBase从关系型数据“数据导出”章节适用于
程医生·2023-09-22 18:14

【大数据开发技术】实验05-HDFS目录与文件的创建删除与查询操作

文章目录一、实验目标二、实验要求三、实验内容四、实验步骤一、实验目标熟练掌握hadoop操作指令及HDFS命令行接口掌握HDFS目录与文件的创建方法和文件写入到HDFS文件的方法掌握HDFS目录与文件的删除方法掌握查询文件状态信息和目录下所有文件的元数据信息的方法二
Want595·2023-09-22 15:02

大数据初学者的福利——Hadoop快速入门教程

是一个由Apache基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点Hadoop的核心是YARN,HDFS
丨程序之道丨·2023-09-22 15:36

小米云原生文件存储平台化实践：支撑 AI 训练、大模型、容器平台多项业务

在训练平台的存储方案中，小米曾尝试了多种不同的存储方式，包括Ceph+NFS、HDFS和对象存储挂载等。然而，这些不同的存储方式导致了数据冗余和维护管理成本的增加，同时也带来了扩展性和性能方面的问题。
·2023-09-22 15:12

Hadoop-HDFS

whatHadoopHDFS(HadoopDistributedFileSystem)是ApacheHadoop中的分布式文件系统。它是一个流行的分布式文件系统,适合运行在的集群上。
密斯特.张先生·2023-09-22 12:47

大数据-hadoop

Apache、Cloudera、HortonworksApache版本最原始的版本Cloudera在大型互联网企业中用的较多Hortonworks文档较好1.4架构hadoop由三个模块组成分布式存储HDFS
highly2009·2023-09-22 10:59

大数据快速入门开发环境篇：CentOS 7安装配置Hadoop大数据框架开发环境

目录一、下载与配置Hadoop框架：1.1、下载与环境变量设置1.2、XML配置文件Hadoop设置1.3、格式化HDFS二、Hadoop3.x版本中hdfs命令的问题解决与配置方法2.1、问题描述与解决方法
源代码杀手·2023-09-22 07:36

Hadoop集群之HDFS

HDFS简介HDFS全称HadoopDistributedFileSystem，是一个分布式文件系统，基于Google三大论文之一的GoogleFileSystem开发。
风起云端·2023-09-22 03:33

hadoop抽象文件系统filesystem框架介绍

通过Hadoop抽象文件系统，MapReduce目前可以运行在基于HDFS的集群上，也可以运行在基于AmazonS3的云计算环境里。Hadoop文件系统APIjava.
souy_c·2023-09-21 23:10

【Hadoop】HDFS API 操作大全

博主"开着拖拉机回家"带您GotoNewWorld.✨个人主页——开着拖拉机回家_Linux,大数据运维-CSDN博客✨希望本文能够给您带来一定的帮助文章粗浅，敬请批评指正！感谢点赞和关注，每天进步一点点！加油！目录博主"开着拖拉机回家"带您GotoNewWorld.✨一、FileSystem文件抽象类1.1文件读取API1.2文件操作API1.3抽象FileSystem类的具体实现子类1.4Fi
开着拖拉机回家·2023-09-21 23:38

智能运维-从0搭建大规模分布式AIOps系统

文章目录智能运维开源数据采集技术数据采集工具对比轻量级采集工具Filebeat日志采集解析工具分布式消息队列大数据存储技术传统架构基于HDFS的分布式存储分层存储大规模数据离线计算分析经典的离线计算分布式离线计算时序数据分析框架
iwtbs_kevin·2023-09-21 22:28

大数据存储与处理

以下是关于大数据存储与处理的一些关键概念和技术：1.数据存储：大数据通常需要高效的存储解决方案，包括分布式文件系统（如HadoopHDFS）和分布式数据库系统（如ApacheCassandra、HBase
猫一样的女子245·2023-09-21 19:39

数据导入hudi报错，错将字段写到hdfs路径上

报错信息Errortryingtosavepartitionmetadata(thisisokay,aslongasatleast1ofthesesuccced),file:/qiche/hudi_table/冬天续航要打个八折的样子，能接受。高速相对市区还要耗电一些。不过这个车最主要是也就是在市区里面跑，而且最多会跑一下绕城高速。我第一次跑高速，行驶到120码的时候，就发现那个电掉得很快。而且冬
何处是归途、·2023-09-21 15:17

SQOOP2 使用报错分析与解决

项目场景：Hadoop版本：3.1.2SQOOP2版本：1.99.7关系型数据库：Mariadb10.3.15项目目的：使用sqoop2进行从关系型数据库导入HDFS中。
lostar01·2023-09-21 10:42

修炼离线：（三）sqoop插入hbase 报错权限问题

切换hadoop用户：exportHADOOP_USER_NAME=hdfshadoopfs-chown-Rroot:root/方法二：修改权限切换hadoop用户：exportHADOOP_USER_NAME
宇智波云·2023-09-21 10:10

(二)presto集成Hive

一、集成之前在presto集成Hive之前，要先启动Hive;由于Hive依赖HDFS,并且这里环境其元数据存储在mysql中，故在启动Hive之前要先启动HDFS和Mysql;1、主节点启动hdfs[
郝少·2023-09-21 09:20

Hadoop-3.3.6完全分布式集群安装

Step1：需要准备至少三台配置好的虚拟机（core-site、hdfs-site、mapred-site和yarn-site文件），可以选择克隆已完成配置的伪分布安装的虚拟机IP地址主机名192.168.10.101master192.128.10.102worker1192.168.10.103worker2Step2
m0_63480823·2023-09-21 08:32

HDFS的一些高级特性

一、HDFS的回收站1、默认HBase是禁用回收站2、开启回收站：1）修改配置core-site.xml:fs.trash.interval=0.
陈超Terry的技术屋·2023-09-21 07:53

大数据学习之Hadoop

一、基础概念Hadoop包含HDFS和MapReduce，HDFS实现分布式存储，MapReduce实现数据分布式计算。HDFS：HDFS是由Namenode和Datanode组成。
我问你瓜保熟吗·2023-09-21 04:40

Hadoop源码阅读（三）：HDFS上传

说明：1.Hadoop版本：3.1.32.阅读工具：IDEA2023.1.23.源码获取：Indexof/dist/hadoop/core/hadoop-3.1.3(apache.org)4.工程导入：下载源码之后得到hadoop-3.1.3-src.tar.gz压缩包，在当前目录打开PowerShell，使用tar-zxvf指令解压即可，然后使用IDEA打开hadoop-3.1.3-src文件夹
THE WHY·2023-09-21 02:46

Hadoop集群--(2)启动&初体验

1.启动方式要启动Hadoop集群，需要启动HDFS和YARN两个集群注意：首次启动HDFS时，必须对其进行格式化操作。
周凡_07b2·2023-09-21 02:06

java api操作HDFS

如果是使用maven的话，导入如下依赖即可，否则需要在解压好的hadoop文件夹下找到common文件夹和hdfs文件夹下的jar包org.apache.hadoophadoop-client2.8.3
一条IT·2023-09-20 23:27

carbondata表中出现beeline连接问题

carbondata表中出现beeline连接问题简析：【借助问题分析】这个和起的的beeline问题有不同，主要这是链接carbondata的不是连接hive的Q1:[hdfs@ps-device-id-ydsc
不吃饭的猪·2023-09-20 22:07

2023_Spark_实验十一：RDD高级算子操作

//checkpoint ：sc.setCheckpointDir("hdfs://Master:9000/ck") // 设置检查点val rdd=sc.textFile("hdfs://Master
pblh123·2023-09-20 20:34

从非kerberos认证的hadoop集群复制数据到kerberos化集群

kerberos化主机上，先使用kinit命令初始化kerberossessionhadoopdistcp-Dipc.client.fallback-to-simple-auth-allowed=truehdfs
长名字可以让你朋友更容易记住你·2023-09-20 20:02

2023年大数据面试通关文牒系列篇

区别：内部表数据由Hive自身管理，外部表数据由HDFS管理；内部表数据存储的位置是hive.metastore.warehouse.dir（默认：/user/hive/warehouse），外部表数据的存储位置
AuZn666·2023-09-20 19:42

hive表内部表和外部表的区别

内部表与外部表的区别未被external修饰的是内部表（managedtable），被external修饰的为外部表（externaltable）；区别：内部表数据由Hive自身管理，外部表数据由HDFS
进击的小恶魔·2023-09-20 17:19

开源分布式存储系统（HDFS、Ceph）架构分析

文章目录中间控制节点架构-HDFSNameNode节点分析DataNode节点分析SecondNameNode节点分析Client分析完全无中心架构-CephCephMonitor分析CephOSD分析
gengduc·2023-09-20 05:25

ERROR tool.ImportTool: Import failed: org.apache.hadoop.mapred.FileAlreadyExistsException: Output...

50ERRORtool.ImportTool:Importfailed:org.apache.hadoop.mapred.FileAlreadyExistsException:Outputdirectoryhdfs
我住永安当·2023-09-20 05:16

大数据常用组件总结

Hadoop的核心是YARN,HDFS和MapRe
Mei_ZS·2023-09-20 01:04

基于Storm构建分布式实时处理应用初探

Storm对比Hadoop，前者更擅长的是实时流式数据处理，后者更擅长的是基于HDFS，通过MapReduce方式的离线数据分析计算。对于Hadoop，本身不擅长实时的数据分析处理。
丨程序之道丨·2023-09-20 01:58

分布式文件存储系统hdfs

hdfs基础知识hadoop当中的文件系统是一个抽象类，里面有很多的子实现类，例如hdfs，file:///,ftp等文件系统。
康俊1024·2023-09-19 21:36

Hadoop的HDFS高可用方案

一、Hadoop高可用简介Hadoop高可用(HighAvailability)分为HDFS高可用和YARN高可用，两者的实现基本类似，但HDFSNameNode对数据存储及其一致性的要求比YARNResourceManger
万里长江横渡·2023-09-19 20:55

Hadoop的YARN高可用

一、YARN简介Hadoop2.0即第二代Hadoop，由分布式存储系统HDFS、并行计算框架MapReduce和分布式资源管理系统YARN三个系统组成，其中YARN是一个资源管理系统，负责集群资源管理和调度
万里长江横渡·2023-09-19 20:23

Flink Checkpoint机制

可以保存在hdfs，磁盘等。为什么需要checkpoint当flink的任务或者机器挂掉了，重新启动任务时需要将任务恢复到原来的状态。
浮zai梦里·2023-09-19 18:49

Loki 日志系统分布式部署实践四 minio

Spark、TensorFlow都可以使用对象存储，它也可以作为HDFS的代替者。minio出品自一个有着多年网络文件系统开发经验的团队
kong62·2023-09-19 18:49

hadoop重要配置文件

该配置文件位于下面JAR文件中:Hadoop-common-2.2.0.jarhdfs-default.xml:默认的HDFS属性配置文件，文件位于下面的JAR文件中：hadoop-hdfs-2.2.0
xby18772963985·2023-09-19 11:59

分布式文件系统ceph安装

当然在开源界已经有好几款比较成熟的产品，比如Ceph，GlusterFS,TFS,HDFS等。GlusterFS，ceph在最近几年发展火热。
jerry的技术与思维·2023-09-19 10:22

Hadoop2.0 HDFS高可用架构

上图是一个典型的HA集群，NameNode会被配置在两台独立的机器上，在任何时间上，一个NameNode处于活动状态，而另一个NameNode处于备份状态，活动状态的NameNode会响应集群中所有的客户端，备份状态的NameNode只是作为一个副本，保证在必要的时候提供一个快速的转移。为了让StandbyNode与ActiveNode保持同步，这两个Node都与一组称为JNS的互相独立的进程保持
truezqx·2023-09-19 09:35
上一页 50 51 52 53 54 55 56 57 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他