#HDFS

HDFS集群NameNode高可用改造

文章目录背景高可用改造方案实施环境准备配置文件修改应用配置集群状态验证高可用验证背景假定目前有3台zookeeper服务器，分别为zk-01/02/03，DataNode服务器若干；目前HDFS集群的Namenode
qq184861643·2023-10-26 07:25

Hadoop3.0大数据处理学习2（HDFS）

一、简介HDFS：HadoopDistributedFileSystem。Hadoop分布式存储系统一种允许文件通过网络在多台主机上分享的文件系统，可以让多机器上的用户分享文件和存储空间。
Huathy-雨落江南，浮生若梦·2023-10-26 07:25

大数据测试v 1.0

本次测试从6-12到7-12号整整历时1个月，除去休息，真正大约20个工作日，在这20个工作日里面，中途周末加过几次班，满打满算应该20多天，接触并经历了大数据功能测试、一体机性能测试、大数据HadoopHDFS
武晓兵·2023-10-26 06:17

第五课 Hbase存储详解

是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间，仅能通过主键(rowkey)和主键的range来检索数据，仅支持单行事务。
Arroganter·2023-10-26 05:38

大数据系列之Spark集群环境部署

Spark作为一种大数据分布式计算框架，已经构建SparkStreaming、SparkSQL、SparkML等组件，与文件系统HDFS、资源调度YARN一起，构建了Spark生态体系，如下图所示：以下部分将主要介绍
solihawk·2023-10-26 04:51

HBase 压缩策略DateTieredCompactionPolicy

HBase是采用Log-StructuredMergeTree的架构，随着Flush阶段的不断触发，生成许多的HFile（默认128M），而不管是对于HDFS还是现有的HDD磁盘，大量的文件都会产生许多的问题
凡尔Issac·2023-10-26 03:44

linux查询日志命令加过滤,Linux记录-筛选日志sed、find、tail，du，awk命令

1.查看某一段时间的日志#cathdfs-audit.log|sed-n'/2018-04-1110:00:00/,/2018-04-1110:01:00/p'|more---直接使用时间段#cathdfs-audit.log
长亮不灭·2023-10-26 02:44

hadoop集群搭建

hadoop有三种部署方式1、Local(Standalone)Mode（单机模式）数据存储在本地2、Pseudo-DistributedMode（伪集群模式）数据存储在HDFS3、Fully-DistributedMode
有人看我吗·2023-10-25 16:51

MR——worldcount案例

junitjunitRELEASEorg.apache.logging.log4jlog4j-core2.8.2org.apache.hadoophadoop-common2.6.0org.apache.hadoophadoop-client2.6.0org.apache.hadoophadoop-hdfs2.6.02
尘缘未了-·2023-10-25 13:57

Spark-Core

依赖关系2.1查看血缘关系2.2查看依赖关系2.3窄依赖2.4宽依赖2.5Stage任务划分3、RDD持久化3.1Cache缓存3.2CheckPoint检查点3.3缓存和检查点区别3.4检查点存储到HDFS
ha_lydms·2023-10-25 09:56

Hadoop核心机制详细解析

Hadoop核心机制详细解析Hadoop的核心机制是通过HDFS文件系统和MapReduce算法进行存储资源、内存和程序的有效利用与管理。
Amao_come_on·2023-10-25 09:18

【大数据】Hadoop

文章目录概述Hadoop组成HDFSMapReduce写MapReduce程序（Hadoopstreaming）YARNHadoop启动工作方式Hadoop的主从工作方式Hadoop的守护进程运行模式本地运行模式伪分布式运行模式完全分布式运行模式
软泡芙·2023-10-25 06:22

大数据 - （六-2）- HBase

2）⽀持好多列HBase的特点海量存储：底层基于HDFS存储海量数据列式存储：HBase表的数据是基于列族进⾏存储的，⼀个列族包含若⼲列极易扩展：底层依赖HDFS，当磁盘空间不⾜的时候，只需要动态增加DataNode
啦啦啦喽啰·2023-10-25 04:38

未找到 ‘hdfs‘ 命令，您要输入的是否是： 命令 ‘hfs‘ 来自于包 ‘hfsutils-tcltk‘ (universe) 命令 ‘hdfls‘ 来自于包 ‘hdf4-tools‘ ....

在学习中碰到这个问题，问了老师，老师说是要配置bin的路径，找到了方法：Firstofall，在这之前，一定要做好备份！！！：直接复制你的虚拟机，粘贴在D盘里，然后打开粘贴后的虚拟机来修改，如果后面出错可以打开你那个原来的虚拟机。then，你需要：vim~/.bashrc你需要在开头加入【但，先将你这里面原先的内容复制一份txt到桌面，以防万一。并且记住你修改的这个文件的位置在哪里。】：expor
ZYT＿庄彦涛·2023-10-25 03:31

你想了解的分布式文件系统HDFS，看这一篇就够了

1、分布式文件系统计算机集群结构分布式文件系统把文件分布存储到多个节点（计算机）上，成千上万的计算机节点构成计算机集群。分布式文件系统使用的计算机集群，其配置都是由普通硬件构成的，与用多个处理器和专用高级硬件的并行化处理装置相比，前者大大降低了硬件上的开销。分布式文件系统的结构分布式文件系统在物理结构上是由众多阶段及节点构成的，而这些节点中分为两类。一类是主节点（MasterNode），又被称为名
与李_han·2023-10-25 01:48

hive知识点总结

Hive一、Hive简介什么是HiveHive由FaceBook实现并开源基于Hadoop的数据仓库工具可以将结构化的数据映射为一张数据库表并提供HQL（HiveSql）查询功能底层数据是存储在HDFS
看着天上飞的猪·2023-10-25 01:53

Hadoop+Hive+Spark+Hbase开发环境练习

1.练习一1.数据准备在hdfs上创建文件夹，上传csv文件[root@kb129~]#hdfsdfs-mkdir-p/app/data/exam查看csv文件行数[root@kb129~]#hdfsdfs-cat
不吃香菜lw·2023-10-24 23:45

HDFS分布式文件系统设计原理

Hadoop分布式文件系统(HDFS)是一种被设计成适合运行在通用硬件上的分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。
zhaohong_bo·2023-10-24 19:34

<官网学大数据>Hive

Hive简介Hive是简历在HadoopHDFS上的数据仓库基础架构Hive可以用来进行数据提取转化加载(ETL),通过sqoop加载数据Hive定义了简单的sql查询语言HqlHive是SQL解析引擎
kangapp·2023-10-24 16:48

2021年 全网最细大数据学习笔记（二）：Hadoop 伪分布式安装

伪分布式安装1、Ubuntu20.04.2.0安装jdk2、配置SSH无密码登录3、Hadoop的下载与安装4、Hadoop环境配置5、启动与关闭Hadoop6、查看Hadoop的基本信息6.1、查看HDFSWeb
Amo Xiang·2023-10-24 16:17

hadoop 伪分布式模式学习笔记

我采用的是hadoop-2.8.0,它主要包含3大块：hdfs:分布式存储系统HDFS(HadoopDistributedFileSystem)分布式存储层map
金曜软件工程师·2023-10-24 16:44

day_01小笔记----本地运行Hadoop 案例、伪分布式运行Hadoop 案例

0、hadoop1.x和hadoop2.x区别Hadoop1.x的核心组件与Hadoop2.x核心组件不一样Hadoop1.x：hdfs、common、mapreduce（mapreduce同时处理业务逻辑运算和资源调度
web15285868498·2023-10-24 16:12

Hadoop伪分布式集群笔记

1、基本介绍以下是从其他地方抄过来了,目的是对即将要学的东西做一个基本的了解HDFS(分布式文件系统):解决海量数据存储YARN(作业调度和集群资源管理框架):解决资源任务调度MAPREDUCE(分布式运算变成框架
爆炒八酱·2023-10-24 16:40

分布式集群上安装hive及问题解决

因为hive是数据仓库，它主要就是将执行的sql语句转化为mapreduce任务，存储结构化数据，其实数据还是存储在hdfs上的，所以依赖hadoop集群，在此我们将hive安装到master节点。
技多不压身·2023-10-24 15:10

【hadoop——HDFS操作常用的Shell命令】

1.Hadoop分布式文件系统（HadoopDistributedFileSystem,HDFS）是Hadoop核心组件之一，我们已经安装好了Hadoop2.7.1，其中已经包含了HDFS组件，不需要另外安装最基本的
所 爱·2023-10-24 14:34

Hadoop单点安装FAQ

安装源：yuminstallepel-release-yQ1:Startingnamenodeson[localhost]ERROR:AttemptingtolaunchhdfsnamenodeasrootERROR
DoNotStop·2023-10-24 11:08

hadoop启动报错：Attempting to operate on hdfs namenode as root

解决方案1：在环境变量中添加如下几个配置：vim/etc/profile添加exportHDFS_NAMENODE_USER=rootexportHDFS_DATANODE_USER=rootexportHDFS_SECONDARYNAMENODE_USER
hzp666·2023-10-24 11:36

大数据技术学习笔记（三）—— Hadoop 的运行模式

执行分发操作3.3集群配置3.3.1集群部署规划3.3.2配置文件说明3.3.3修改配置文件3.3.4分发配置信息3.4SSH无密登录配置3.4.1配置ssh3.4.2无密钥配置3.5单点启动集群3.5.1启动HDFS
夏木夕·2023-10-24 09:06

Hadoop3教程（三十五）：（生产调优篇）HDFS小文件优化与MR集群简单压测

文章目录（168）HDFS小文件优化方法（169）MapReduce集群压测参考文献（168）HDFS小文件优化方法小文件的弊端，之前也讲过，一是大量占用NameNode的空间，二是会使得寻址速度变慢。
经年藏殊·2023-10-24 08:30

Greenplum Hadoop视频教程_Hadoop应用案例剖析

基于GreenplumHadoop分布式平台的大数据解决方案及商业应用案例剖析适合人群：高级课时数量：96课时用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop涉及项目：
xiarilove·2023-10-24 08:30

大数据技术——Hadoop3.X入门搭建+安装调优（2.HDFS）

文章目录一、HDFS概述1.1HDFS产出背景及定义1.2HDFS优缺点1.3HDFS组成架构1.4HDFS文件块大小（面试重点）二、HDFS的Shell操作（开发重点）2.1基本语法2.2命令大全2.3
虚神公子·2023-10-24 08:56

Hadoop3教程（三十六）：（生产调优篇）企业开发场景中的参数调优案例概述

文章目录（170）企业开发场景案例HDFS参数调优MapReduce参数调优YARN参数调优执行程序参考文献（170）企业开发场景案例这章仅做兴趣了解即可。需求：从1G数据中，统计每个单词出现次数。
经年藏殊·2023-10-24 08:54

三台跨机群学生机云服务器搭建Hadoop分布式的性能测试

在配置了一个master两个slave，hdfs副本数设置为2的情况下，测试文件大小为400M左右，做一个简单的wordcount分析，文件从maste
xiaocxyczh·2023-10-24 04:17

【Hadoop】在云服务器上部署Hadoop2.7.1伪分布式集群

查看是否安装成功2、将hadoop添加到环境变量（1）在文件末尾添加以下内容（2）保存文件，刷新配置二、伪分布式配置文件设置1、修改`hadoop-env.sh`2、修改`core-site.xml`3、修改`hdfs-site.xml
櫆溟·2023-10-24 04:47

手把手带你搭建Hadoop分布式集群

地址映射三台机子--时钟同步三台机子--添加普通用户三台机子--定义同一目录三台机子hadoop用户免登三台机子--关机重启安装jdk环境Hadoop下载安装服务部署规划修改core-site.xmlhdfs-site
J1ay·2023-10-24 04:46

大数据中的分布式文件系统HDFS的选择题

一.单选题（共10题，50分）(单选题)分布式文件系统指的是什么?A.把文件分布存储到多个计算机节点上,成千上万的计算机节点构成计算机集群B.用于在Hadoop与传统数据库之间进行数据传递C.一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统D.一种高吞吐量的分布式发布订阅消息系统,可以处理消费者规模的网站中的所有动作流数据我的答案:A:把文件分布存储到多个计算机节点上,成千上万的计算
不想做程序猿的员·2023-10-24 02:39

HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）

文章目录前言一、HDFS的相关命令1、在HDFS创建目录2、查看当前目录3、查看目录与子目录4、查看文件的内容5、创建文件6、上传和拷贝文件7、追加数据到HDFS文件中8、下载文件到Linux本地系统9
歪~懒羊羊·2023-10-24 01:41

在mac上进行hadoop集群搭建

环境说明软件版本环境&软件版本操作系统&macOs11.2.1虚拟机&VMwareFusion12.1服务器&CentOS7.8jdk1.8hadoop2.9.2集群规划框架linux01linux02linux03HDFSNameNode
大鱼1995·2023-10-24 01:40

怎样在hdfs上创建多级目录文件夹_【Hadoop】如何在hdfs根目录下创建文件夹

shell命令创建文件夹启动hdfs,终端输入：start-dfs.sh在hdfs中创建一个input文件夹：hadoopfs-mkdir/input/1使用参数-p创建多级目录：hadoopfs-mkdir-p
林小摸·2023-10-24 01:09

利用Java api实现hdfs的上传、下载、创建目录

利用Javaapi实现hdfs的上传、下载、创建目录下载：download.javapackagecom.company;importorg.apache.hadoop.conf.Configuration
木易臣已灬·2023-10-24 01:37

hadoop HDFS的文件夹创建、文件上传、文件下载、文件夹删除，文件更名、文件详细信息、文件类型判断（文件夹或者文件）

摘要：本篇文章主要介绍的是hadoophdfs的基础api的使用。包括Windows端依赖配置，Maven依赖配置。
小雏菊的成长·2023-10-24 01:35

Hdfs 常用命令

hdfs常用命令HDFS操作命令也可用：hdfsdfs[-command]命令名称命令格式作用-cathadoopfs-cat查看HDFS文件系统里的文件内容-lshadoopfs-ls查看HDFS文件系统的目录
JACK-JIE·2023-10-24 01:04

《Hbase原理与实践》读书笔记——1.HBase概述

1.1HBase前世今生Google当年风靡一时的“三篇论文”：GFS->HDFS,Mapreduce->hadoopmapreduce,bigTable->HBase。
凯哥多帅哦·2023-10-24 01:33

hadoop用HDFS java api在HDFS上创建文件

/myhdfs”前面的“./”无法执行问题5.总结1.在IDER中创建
db_qxx_2026·2023-10-24 01:01

HDFS API编程：第一个应用程序的开发：创建一个目录

使用javaapi操作HDFS文件系统创建一个目录:1）创建Configuration2）获取FileSystem3）一系列HDFSAPI操作packagecom.haglife.bigdata.hadoop.hdfs
糯米君_·2023-10-24 01:29

HDFS基本命令

目录1.上传文件到HDFS文件系统2.
雷神乐乐·2023-10-24 01:57

HDFS常用命令汇总

HDFS常用命令汇总一、前言信息二、帮助信息查看1、查看帮助信息2、帮助文档（附带命令的详细说明）三、常用命令1、创建目录2、查看目录下的内容3、上传文件4、上传并删除源文件5、查看文件内容6、查看文件开头内容
GreaterBuilder·2023-10-24 01:55

hadoop调用HDFS java api实现在HDFS上创建文件夹

目录一、前期准备1、Hadoop集群已配置完毕2、Linux系统安装jdk3、安装并破解IntelliJIDEA二、通过JAVAAPI操纵HDFS1.在IDEA中创建项目2.在hdfs项目的src->main
db-冯春香-2064·2023-10-24 01:55

Apache Doris 入门教程09：数据导入之导入场景

按场景划分数据源导入方式对象存储（s3）,HDFS使用Broker导入数据本地文件导入本地数据Kafka订阅Kafka数据Mysql、PostgreSQL，Oracle，SQLServer通过外部表同步数据通过
sunjian286·2023-10-23 22:23

hadoopCDHStart

/bin/bashforiinhadoop101hadoop102doif[$i="hadoop101"]thenecho------------$iisstartinghdfs------------
白纸糊·2023-10-23 21:23
上一页 39 40 41 42 43 44 45 46 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他