#HDFS

HDFS操作方法和基础编程

（一）完成相关的HDFS的基本shell命令0.命令基础①执行命令启动Hadoop（版本是Hadoop3.1.3）。
半濠春水·2023-10-05 05:14

HDFS 常见基础操作命令

文章目录1.HDFS文件系统基本信息2.HDFS基础命令2.1HDFS上创建文件夹2.2查看HDFS指定目录下的内容2.3本地上传文件到HDFS指定目录下2.4查看HDFS文件内容2.5下载HDFS文件
不忘初欣丶·2023-10-05 05:14

HDFS理论基础

1.存储模型2.架构设计3.角色功能PS：角色对应的就是一个或者多个进程4.元数据持久化5.安全模式HDFS合并EditLog与FsImage的过程：HDFS启动前会进行格式化，生成一个空的FsImage
sun_lm·2023-10-05 05:13

HDFS基础文件操作实验

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、HDFS的基本操作二、完整代码一、HDFS的基本操作基于已经学习到的HadoopAPI编程知识，自己动手实现一个简单的HDFSShell
太帅无法显示·2023-10-05 05:13

HDFS搭建及使用一《基础设施》

HDFS搭建及使用一《基础设施》环境：CentOS7Xjdk1.8Hadoop2.6.5第一部分：基础设施基础设施是架构搭建的基础，很多中间件架构都有着类似的操作，所以这些也很重要。
程崇越·2023-10-05 05:42

1.HDFS基础知识

1.HDFS基础知识1.HDFS基础知识2.HDFS操作3.HDFS读写流程1.1传统文件、存储文件系统：存储数据和管理数据的一种方式传统存储方式：程序是程序，数据是数据，处理时将数据转移到程序中1.2
敲代码的羊·2023-10-05 05:41

大数据学习之HDFS基础

一、HDFS介绍基本介绍HDFS的全称是HadoopDistributedFileSystem，Hadoop的分布式文件系统是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间
不是毛毛虫cl·2023-10-05 05:41

Hadoop之HDFS的使用

目录HDFS介绍HDFS基础操作Java操作HDFSHDFS介绍HDFS是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的多个用户分享文件和存储空间。
帅帅的猪头·2023-10-05 05:10

使用JAVA-api读取HDFS下文件内容，出现报错信息

Exceptioninthread"main"java.net.ConnectException:CallFromqiangzi-virtual-machine/127.0.1.1to192.168.159.128:9000failedonconnectionexception:java.net.ConnectException:Connectionrefused;Formoredetailsse
马龙强_·2023-10-05 05:36

配置hadoop集群常见报错汇总

配置hadoop集群常见报错汇总1、使用hdfsnamenode-format格式化报错找不到JAVAHOME该问题只需在对应的窗口导入JAVAHOME即可，注意，此处为对应环境安装的JDK路径，笔者为
m0_67402341·2023-10-05 04:18

大数据面试题

章核心技术1.1Linux&Shell1.1.1Shell常用工具及写过的脚本1）awk、sed、cut、sort1.2Hadoop1.2.1Hadoop常用端口号hadoop2.xhadoop3.x访问HDFS
_画一方禁地·2023-10-04 20:48

【译】Apache Hadoop 系列之三（用户指南）

目的该文档是用户使用Hadpoop分布式文件系统(HDFS)的起点，不管是作为hadoop集群的一部分来使用还是独立的通用分布式文件系统。
Kooola大数据·2023-10-04 16:02

HDFS最基础使用

文章目录一、简介1、定义2、HDFS优缺点3、HDFS组成架构4、HDFS文件块大小二、HDFS的读写流程1、HDFS写数据流程2、HDFS读数据流程3、网络拓扑-节点距离计算4、机架感知（副本存储节点选择
ha_lydms·2023-10-04 16:24

BigData导论

MapReduce、NoSQL数据库系统BigTable2006年，DougCutting（lucene的作者）根据论文原理初步实现了类似GFS和MapReduce的功能，开发出了Hadoop,包括分布式文件系统HDFS
Youth_C&B·2023-10-04 14:41

Hadoop介绍——HDFS

•Hadoop简介：hadoop官网–分布式存储系统HDFS（HadoopDistributedFileSystem）POSIX•分布式存储系统•提供了高可靠性、高扩展性和高吞吐率的数据存储服务–分布式计算框架
南宫萧言·2023-10-04 01:15

spark 算子使用类变量_《Spark 官方文档》Spark编程指南

RDD通常是通过，HDFS(或者其他Hadoop支持
Muses Station·2023-10-04 00:58

hadoop 小文件处理方案

hadoophdfs被设计用作海量数据存储，适合存储大文件，文件在hdfs中是以block的形式存储的，在hadoop1.x中，hdfsblock的默认大小为64m，而在hadoop2.x中，block
Ivan_030c·2023-10-03 23:49

Ubuntu中启动HDFS后没有NameNode解决办法

关闭进程：stop-dfs.sh格式化：hadoopnamenode-format出现报错信息：23/10/0322:27:04WARNfs.FileUtil:Failedtodeletefileordir[/usr/data/hadoop/tmp/dfs/name/current/fsimage_0000000000000000000.md5]:itstillexists.23/10/0322:
马龙强_·2023-10-03 23:13

简历项目描述过程详解

第一个Flume1.3.1.1碰到的问题1.3.2kafka1.3.2.1框架介绍1.3.2.2碰到的问题1.3.2.3优化1.3.3第二个flume1.3.3.1框架1.3.3.2遇到的问题1.3.4hdfs1.3.4.1
明月清风，良宵美酒·2023-10-03 21:48

hadoop wordcount示例运行

0.安装hadoop集群前提是hadoop集群已经安装好1.在本地建立1.txt文件txt中内容.png2.将文件拷贝至hdfs创建文件夹hdfsdfs-mkdir文件夹名拷贝文件hdfsdfs-put
五百一十七XX·2023-10-03 20:38

hadoop面试题！这6个！经常问！

简而言之，Hadoop由以下部分组成：HDFS（Hadoop分布式文件系统）：HDFS允许您以分布式和冗余的方式存储大量数据。
yoku酱·2023-10-03 17:41

Spark SQL 与 Hive 的小文件调优

文章目录小文件危害表的缓存shuffle分区数调整SparkSQL客户端设置合并Hive客户端处理小文件合并动态分区调优小文件归档小文件危害小文件会造成nn处理压力变大，大大降低了读取性能，整个HDFS
月亮给我抄代码·2023-10-03 03:51

Spark on Yarn资源调优

背景一般公司的大数据项目基础设施都是建立在hdfs之上，所以在大部分的公司里，Spark都是跑在Yarn之上，yarn作为一
chimchim66·2023-10-03 02:50

Spark思维导图

简介SparkSpark是分布式计算框架Spark可以和多种存储系统结合使用，如Kafka、HBase、Hive、HDFS以及关系型数据库。
亼珏·2023-10-02 14:14

Flink动态添加依赖Jar包提交到Yarn

此外这种模式提交任务的时候会把本地flink的所有jar包先上传到hdfs上相应的临时目录，这个也会带来大量的网络的开销
javastart·2023-10-02 12:55

NiFi 实战

Demo1localtoHDFS1场景：文件批量上传HDFS2数据源local文件系统中,/opt/nifiData/raw下批量文件：root@machine001:/opt/nifiData/raw
JokerRun·2023-10-02 06:47

Hbase 基础面试题

(1)Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。
Tim在路上·2023-10-02 03:33

HDFS真死和假死

HDFS真死和假死，其实就是processinformationunavailable状态的真假判断。一、真死我们先在/opt/software/hadoop-2.8.1/sbin目录下使用命令.
怀夕·2023-10-01 18:28

java大数据之hive

(1)建立在HadoopHDFS上的数据仓库基础架构(2)可以用来进行ETL(3)定义了类似于SQL,成为HQL(4)允许MapReduce自定义1.2Hive官网http://hive.apache.org
这一刻_776b·2023-10-01 18:12

【备忘】 HADOOP技术内幕 PDF 下载

内容简介“hadoop技术内幕”共两册，分别从源代码的角度对“common＋hdfs”和“mapreduce的架构设计和实现原理”进行了极为详细的分析。
javaxuexize·2023-10-01 17:10

hadoop hdfs 命令行

创建hdfs目录\子目录hadoopfs-mkdir/userhadoopfs-mkdir/user/hduser查看目录hadoopfs-ls/hadoopfs-ls/user一次性查看所有目录hadoopfs-ls-R
竞媒体·2023-10-01 16:20

Hadoop 系列（一）—— 分布式文件系统 HDFS

一、介绍HDFS（HadoopDistributedFileSystem）是Hadoop下的分布式文件系统，具有高容错、高吞吐量等特性，可以部署在低成本的硬件上。
heibaiying·2023-10-01 13:27

StarRocks调优 - Broker Load导入

BrokerLoad是StarRocks离线导入方式，用于将存储在HDFS、S3、OSS等外部存储的数据导入到StarRocks，支持CSV、ORCFile、Parquet等文件格式，适用于几十GB到上百
Asware·2023-10-01 12:39

Hadoop3.x组件HDFS入门

一、HDFS是什么？HDFS，全称HadoopDistributedFileSystem，即Hadoop分布式文件存储系统，是Hadoop核心组件之一，是大数据生态最底层的分布式存储服务。
文景大大·2023-09-30 21:06

基于ECLIPSE的HADOOP开发-----HDFS API学习

详细见本人另一个博客，http://www.cnblogs.com/wly603/archive/2012/04/19/2457297.html谢谢
wly603·2023-09-30 19:52

HDFS的java API操作（基于Windows平台的Eclipse）

hdfs在生产应用中主要是针对客户端的开发，从hdfs提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件。
weixin_30291791·2023-09-30 19:22

HDFS的shell和API操作

1.HDFS的shell操作hadoopversion//查看版本hadoopfs-appendToFilesrc(Linux中的文件)dest(hdfs目录下的文件)//追加hadoopfs-catfile
爱学习的小明同学·2023-09-30 19:22

hdfs java接口_HDFS的Java接口及常用API

1.HDFS的核心类简介Configuration类：处理HDFS配置的核心类。
li jason·2023-09-30 19:51

hdfs 拷贝文件 java_使用java API操作hdfs--拷贝部分文件到hdfs

要求如下：自行在本地文件系统生成一个大约一百多字节的文本文件，写一段程序(可以利用JavaAPI或CAPI)，读入这个文件，并将其第101-120字节的内容写入HDFS成为一个新文件。
数据小人·2023-09-30 19:51

（超详细）HDFS常用命令及HDFS API基础编程

HDFS常用命令及基础编程JunLeon——gobigorgohome目录HDFS常用命令及基础编程一、HDFS概述1、什么是HDFS？
IT路上的军哥·2023-09-30 19:50

Eclipse环境基于HDFS的API进行开发

文章目录IOUtils方式读取文件1.文件准备2.下载安装Eclipse3.打开eclipse，新建java项目，添加关于hadoop的一些包4.包内新建类进行开发5.利用打包的方式生成javajar包6.验证代码正确性其它问题：Exceptioninthread“main“java.lang.UnsupportedClassVersionErrorIOUtils方式读取文件1.文件准备上传REA
陈七.·2023-09-30 19:19

群起脚本

最近学习大数据每次到要启动很多东西每次一个个启动特别费劲于是写了一个脚本一起启动脚本如下脚本的原理是检测是否参数包含要启动类目realtime-0317.shhdfshbase包含hdfshbase于是就去启动
百年叔叔·2023-09-30 16:02

20211005

运行了hdfs，看了hdfs的页面管理。
Sophie12138·2023-09-30 16:22

Flume入门（sink配置kafka）

环境分析：上一节我们的服务日志最终用logger打印，这个只是一个测试，生成环境不能这样使用，那么生产环境一般会把日志保存在hdfs中或通过kafka传送给实时计算框架比如sparkstreaming进行实时计算
南山小和尚·2023-09-30 15:49

-bash: start-dfs.sh: command not found

启动hdfs的时候报：-bash:start-dfs.sh:commandnotfound主要原因是start-dfs.sh的命令在hadoop安装目录的sbin目录下，如果在etc/profile里面只配置了
如饥似渴的rocky·2023-09-30 07:33

【Spark】Job触发流程原理

1.通过例子分析下：vallines=sc.textFile()首先，hadoopFile()方法的调用，会创建一个HadoopRDD，其中的元素是（key，value）pair，key是HDFS或文本文件的每一行的
果果小姚·2023-09-30 01:22

hive

1.内部表和外部表未被external修饰的是内部表（managedtable），被external修饰的为外部表（externaltable）；区别：内部表数据由Hive自身管理，外部表数据由HDFS
一个彩笔程序猿·2023-09-29 23:31

6个人如何维护上千规模的大数据集群？

其中6人的离线团队需要维护大数据集群规模如下：Hadoop集群规模1300+HDFS存量数据40+PB，Read3.5PB+/天，Write500TB+/天14WMRJob/天，10WSparkJob/
Alukar·2023-09-29 22:41

Hadoop、Spark、Storm、Flink区别及选择

上述四个组件的实时性高低顺序如下：hadoophdfs
墨痕诉清风·2023-09-29 19:52

pyspark 检测任务输出目录是否空，避免读取报错

文件时，如果不判断目录是否为空，在输出为空时会报错，所以需要check一下，此外Hadoop通常在写入数据时会在目录中生成一个名为_SUCCESS的文件来表示写入操作已成功完成，我们在检测时要排除这个文件HDFSAPI
三劫散仙·2023-09-29 16:49
上一页 47 48 49 50 51 52 53 54 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他