#HDFS

使用Java API操作HDFS

目录一、导入新课二、新课讲解（一）了解HDFSJavaAPI1、HDFS常见类与接口2、FileSystem的常用方法（二）编写Java程序访问HDFS1、创建Maven项目2、添加相关依赖3、创建日志属性文件
小白不懂程序·2023-11-11 11:20

利用Hadoop API使用Java开发程序学习-HDFS上传下载文件

CSDN话题挑战赛第2期参赛话题：大数据学习成长记录参考：利用HadoopAPI使用Java开发程序学习-文件夹操作前言/背景提示：Hadoop学习时，通常大家使用的都是shell命令操作hdfs系统，
pblh123·2023-11-11 11:49

大数据-使用Java API操作HDFS

一、编写Java程序访问HDFS1、创建Maven项目创建Maven项目-HDFSDemo2、添加相关依赖在pom.xml文件里添加hadoop和junit依赖org.apache.hadoophadoop-client3.3.4junitjunit4.13.23
没123456·2023-11-11 11:48

Java API 操作HDFS文件

使用JavaAPI操作hdfs文件的常用操作代码1.创建目录​@Testpublicvoidmkdir()throwsException{fileSystem.mkdir(newPath("/hdfsapi
一个努力进步的小白·2023-11-11 11:48

大数据学习：使用Java API操作HDFS

文章目录一、创建Maven项目二、添加依赖三、创建日志属性文件四、在HDFS上创建文件五、写入HDFS文件1、将数据直接写入HDFS文件2、将本地文件写入HDFS文件六、读取HDFS文件1、读取HDFS
X_Serendipity·2023-11-11 11:15

大数据上课笔记之使用Java API操作HDFS

目录一、HDFSJavaAPI的了解1、HDFS常见类与接口二、编写Java程序访问HDFS1、在IEDA上创建Maven项目2、添加相关依赖3、创建日志属性文件4、启动集群HDFS服务5、在HDFS上创建文件
Cisyamr·2023-11-11 11:14

使用java API 操作HDFS

HDFSShell本质上就是对JavaAPI的应用，通过编程的形式操作HDFS，其核心是使用HDFS提供的JavaAPI构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、
慕雪、·2023-11-11 11:14

Hadoop学习总结（使用Java API操作HDFS）

使用JavaAPI操作HDFS，是在安装和配置Maven、IDEA中配置Maven成功情况下进行的，如果Maven安装和配置不完全将不能进行JavaAPI操作HDFS。
Qinqin.J·2023-11-11 11:11

hadoop生态圈-- 个人笔记学习05 HDFS优化

DFSClient和DN在一个节点——localreads，远程阅读Remotereads。处理方式是一样的DN读数据通过RPC(TCP协议）把数据给DFSClient。DN在中间会做中转，处理简单但是性能收影响（Localread的情况下，会希望绕过DN直接读取Data，这就是短路短路本地读取DFSClient自行打开文件读取数据，需要配置白名单定义可读取数据的User——安全漏洞，不建议使用两
JamSlade·2023-11-11 06:40

Hive 知识点八股文记录 ——（一）特性

Hive通俗的特性结构化数据文件变为数据库表sql查询功能sql语句转化为MR运行建立在hadoop的数据仓库基础架构使用hadoop的HDFS存储文件实时性较差（应用于海量数据）存储、计算能力容易拓展
JamSlade·2023-11-11 06:37

数据仓库-业务数据采集（基于物流数仓）

0、物流数仓架构这里的数据采集的架构就是：在业务数据进入MySQL之后，部分表通过DataX全量同步到HDFS，部分表通过Flink-CDC的增量同步方式同步到Kafka，再通过Flume将数据从Kafka
小鱼干换酒钱·2023-11-11 01:40

数据仓库数据同步策略

2.离线数仓同步数据2.1用户行为数据同步2.1.1数据通道用户行为数据由Flume从Kafka直接同步到HDFS，由于离线数仓采用Hive的分区表按天统计，所以目标路径要包含一层日期。
DB架构·2023-11-11 01:09

2023.11.10 hadoop,hive框架概念,基础组件

目录分布式和集群的概念:hadoop架构的三大组件:Hdfs,MapReduce,Yarn1.hdfs分布式文件存储系统HadoopDistributedFileSystem2.MapReduce分布式计算框架
白白的wj·2023-11-11 01:08

2023.11-9 hive数据仓库,概念,架构

目录一.HDFS、HBase、Hive的区别二.大数据相关软件三.Hive的优缺点1）优点2）缺点四.Hive和数据库比较1）查询语言2）数据更新3）执行延迟4）数据规模五.hive架构流程六.MetaStore
白白的wj·2023-11-11 01:36

spark on yarn实战 +HA

1启用namenodeHA选择hdfs-serviceactions-enablenamenodeHA,提前关闭hbase，nameserviceID:BFDcluster;如图所示：2选择主机3开始启动
人生匆匆·2023-11-10 22:59

Hadoop入门指南之分组实战

Hadoop系列文章索引Hadoop入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs
我辈岂是蓬蒿人225·2023-11-10 20:24

Hadoop入门指南之统计库存实战

Hadoop系列文章索引：Hadoop入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs
我辈岂是蓬蒿人225·2023-11-10 20:54

Hadoop入门指南之分区、规约实战

Hadoop系列文章索引Hadoop入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs
我辈岂是蓬蒿人225·2023-11-10 20:54

Hadoop入门指南之排序实战

Hadoop系列文章索引Hadoop入门指南之HDFS介绍Hadoop入门指南之Linux环境搭建Hadoop入门指南之Linux软件安装Hadoop入门指南之Hadoop安装Hadoop入门指南之hdfs
我辈岂是蓬蒿人225·2023-11-10 20:54

Hadoop之实战WordCount

大致流程如下：第一步：开发Map阶段代码第二步：开发Reduce阶段代码第三步：组装Job在idea中创建WordCountJob类添加注释，梳理一下需求：需求：读取hdfs上的hello.txt文件，
hhhecker·2023-11-10 20:23

HDFS✧MapReduce具体流程

HDFS✧MapReduce具体流程HDFS✧MapReduce具体流程一、HDFS读写流程1、宏观写流程2、微观写流程3、读数据流程二、MapReduce计算流程一、HDFS读写流程1、宏观写流程①客户端提交数据
每日小新·2023-11-10 16:15

18、MapReduce的计数器与通过MapReduce读取/写入数据库示例

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件
一瓢一瓢的饮 alanchan·2023-11-10 16:11

20、MapReduce 工作流介绍

Hadoop系列文章目录1、hadoop3.1.4简单介绍及部署、简单验证2、HDFS操作-shell客户端3、HDFS的使用（读写、上传、下载、遍历、查找文件、整个目录拷贝、只拷贝文件、列出文件夹下文件
一瓢一瓢的饮 alanchan·2023-11-10 16:41

大数据Hadoop之——Spark on Hive 和 Hive on Spark的区别与实现

SparkonHive2）HiveonSpark（本章实现）二、HiveonSpark实现1）先下载hive源码包查看spark版本2）下载spark3）解压编译4）解压5）把sparkjar包上传到HDFS6
大数据老司机·2023-11-10 15:22

Hadoop YARN的伪分布式安装

//core-site.xmlfs.defaultFShdfs://localhost:9000//hdfs-site.xmldfs.replication1//mapred-site.xmlmapreduce.framework.nameyarn
zmx2029·2023-11-10 15:19

2023.11.8 hadoop学习-概述,hdfs dfs的shell命令

目录1.分布式和集群2.Hadoop框架3.版本更新4.hadoop架构详解5.页面访问端口6.Hadoop-HDFSHDFS架构HDFS副本7.SHELL命令8.启动hive服务1.分布式和集群分布式
白白的wj·2023-11-10 12:54

K8S集群创建用户并赋权访问特定namespace

文章目录环境集群搭建创建HDFS集群目的创建用户赋权切换用户验证环境软件版本centos7.4-1708docker18.03.0-cekubernetes1.17.0集群搭建https://blog.csdn.net
再看我把你吃掉·2023-11-10 10:57

数据湖浅析(以hudi为例)

hive的痛点：hive主要特性是提供了sql解析和元数据管理的功能，统一管理了存储在hdfs上数据的shcmea信息。
weixin_45626756·2023-11-10 06:44

hadoop、zookeeper、mysql等pid文件权限不对无法启动问题

在学习大数据的阶段，难免会遇到没有一步步关闭hdfs、yarn之类就直接关电脑的情况，下次来的时候就会发现，咦，怎么打不开了，一看报错是xxx.pid拒绝访问什么的，这时候就是pid的问题，这里对PID
努力改掉拖延症的小白·2023-11-10 05:05

大数据开发笔记（十）：Hbase实践

✨大数据开发笔记推荐：大数据开发面试知识点总结_GoAI的博客-CSDN博客_大数据开发面试本文详细介绍大数据hadoop生态圈各部分知识，包括不限于hdfs、yarn、mapreduce、hive、sqoop
GoAI·2023-11-10 02:56

HBase学习笔记（1）—— 知识点总结

目录HBase概述HBase基本架构HBase安装部署启动HBaseShellHBase数据读写流程HBase优化HBase概述HBase是以hdfs为数据存储的，一种分布式、非关系型的、可扩展的NoSQL
THE WHY·2023-11-10 02:21

Hadoop原理，HDFS架构，MapReduce原理

Hadoop原理，HDFS架构，MapReduce原理2022找工作是学历、能力和运气的超强结合体，遇到寒冬，大厂不招人，可能很多算法学生都得去找开发，测开测开的话，你就得学数据库，sql，oracle
冰露可乐·2023-11-10 00:27

Hadoop相关

hdfsgetconf-confKeydfs.namenode.http-address查看Hadoop工作端口的信息hdfsgetconf-confKeydfs.datanode.http.address
小美美大白蛋·2023-11-09 23:56

spark on yarn idea错误: 找不到或无法加载主类org.apache.spark.deploy.yarn.ExecutorLauncher

依赖的jar包目录.set("spark.yarn.jars","C:\\Users\\han\\Desktop\\test\\dns_project\\target\\dns_project.jar,hdfs
一位不愿透露姓名的肥宅·2023-11-09 20:17

java spark读写hdfs文件_Spark读取HDFS中的Zip文件

1.任务背景近日有个项目任务，要求读取压缩在Zip中的百科HTML文件，经分析发现，提供的Zip文件有如下特点(=>指代对应解决方案)：(1)压缩为分卷文件=>只需将解压缩在同一目录中的一个分卷zip即可解压缩出整个文件(2)压缩文件中又包含不同的两个文件夹，且各包含n个小zip文件，小zip文件中包含目录及对应的HTML文本文件采用第一方案：依次解压缩各小zip文件，存放在一个目录中，然后上传到
中国青年郑国成·2023-11-09 14:58

Spark—文件的读取与保存

文件格式分为：text文件、csv文件、sequence文件以及Object文件；文件系统分为：本地文件系统、HDFS、HBASE以及数据库。1、text文件//读取输入文件valinputRDD
Jerry Hong·2023-11-09 14:58

Spark--RDD文件读取与保存

文件格式分为：text文件、csv文件、sequence文件以及Object文件文件系统分为：本地文件系统、HDFS、HBASE以及数据库objectSpark_rdd_01{defmain(args:
小陈菜奈-·2023-11-09 14:55

SparkCore和SparkSql读取与保存hdfs文件的方法

/IP地址:7077”)//这里你可以写local，我这样写是可以看做是在用spark-on-yarnvalsc=newSparkContext(conf);valdata=sc.textFile(“hdfs
尘世壹俗人·2023-11-09 14:24

【Hadoop】Hadoop体系知识点梳理（目录）

Hadoop体系知识点梳理（目录）核心点第一章：Hadoop背景知识与起源第二章：搭建Hadoop环境第三章：HDFS体系架构第四章：HDFS第五章：MapReduce第六章：Hbase第七章：Hive
lys_828·2023-11-09 11:49

2. Spark报错，Task is Failed,errorMsg: FileNotFoundException xxxx

完整报错信息21304,TaskisFailed,errorMsg:FileNotFoundException:Filedoesnotexist:hdfs://xxxx-bigdata-nameservice
helloooi·2023-11-09 10:27

Hadoop学习笔记（持续更新中）

文章目录HadoopHadoop的组成HDFS特点NameNode和DataNode文件系统命名空间数据块块缓存MapReducejob、task、inputsplitcombiner其他示例HadoopHadoop
东河西·2023-11-09 09:19

SpringBoot整合 MinIO 分布式对象存储

对象存储可以充当主存储层，以处理Spark、Presto、TensorFlow、H2O.ai等各种复杂工作负载以及成为HadoopHDFS的替代品。可扩展性：
码小呆~·2023-11-09 09:36

hbase2.5.5安装 hadoop3.3.5

true"exportHBASE_MANAGES_ZK=false2.hbase-site.shhbase.tmp.dir/opt/module/hbase-2.5.5/tmphbase.rootdirhdfs
weixin_54735428·2023-11-09 08:16

java.lang.IllegalArgumentException: Wrong FS://expected: file:///

有错误提示file:///的提示信息是想需要本地文件系统（file:///为本地文件系统标识）,代码无法识别HDFS文件系统，需要在Configuration中配置相应的参数。
ZL小屁孩·2023-11-09 05:16

6、NIFI综合应用场景-离线同步Mysql数据到HDFS中

NIFI处理器介绍、FlowFlie常见属性、模板介绍和运行情况信息查看4、集群部署及验证、监控及节点管理5、NiFiFileFlow示例和NIFI模板示例6、NIFI应用场景-离线同步Mysql数据到HDFS
一瓢一瓢的饮 alanchan·2023-11-09 04:22

数仓面经大框架

1.计算机及编程基础：操作系统：进程、线程等数据结构：算法题计算机网络：分层等Linux：常用的指令MySQL（重点）Java/Python基础排序算法（快排、归并等）2.大数据组件Hadoop:HDFS
Young_IT·2023-11-09 02:03

启动hive时报: Call From hadoop /192.168.1.128 to hadoop :9000 failed on connection

core-site.xml文件配置时，目录写错，导致无法正确找到namenode相关信息，修改后保存解决办法：格式化namenode进入hadoop/bin输入命令格式化hadoopnamenode-format(hdfsnamenode-format
M_y_y·2023-11-08 23:58

yarn+MapReduce入门

yarn+MapReduce入门yarn主要模块MapReduceonyarnSchedulerMapReduce入门hdfs存储yarn资源调度分配MapReduce计算yarn主要模块ResourceManger
zhangyujie12138·2023-11-08 20:49

Flink -- 状态与容错

2、CheckPoint：1、CheckPoint：定时将Flink的计算的状态持久化到Hdfs上，如果Flink的任务
新手小农·2023-11-08 17:37

Automatic failover is enabled for NameNode at PS-DEVICE-ID-YDGZ-112012/10.198.112.12:8020 Refusing t

/bin/hdfshaadmin-transitionToActivenn1--forceactive执行报错：AutomaticfailoverisenabledforNameNodeatPS-DEVICE-ID-YDGZ
不吃饭的猪·2023-11-08 16:20
上一页 34 35 36 37 38 39 40 41 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他