#HDFS

kettle mysql hdfs_kettle 将mysql 导入到hive（借助Hadoop File Output组件）

所以想了一个其他的办法，通过kettle提供的HadoopFileOutput组件将数据以数据文件的方式导入到hadoop的hdfs。
hzzonline·2025-05-31 19:50

GreenPlum+PostGIS实现海量空间数据存储

使用分布式集群数据库Greenplum结合PostGIS空间扩展，可存储结构化的海量地图数据，同时，使用分布式文件存储系统HDFS存储相关文件资源，可实现海量栅格数据的存储和读取，基于大数据技术架构的云平台
从地图看世界·2025-05-31 19:19

Hadoop 端口号及常用配置文件

一、常用端口号hadoop3.x：HDFSNameNode内部通常端口：8020/9000/9820HDFSNameNode对用户的查询端口：9870Yarn查看任务运行情况的端口：8088历史服务器：
m0_63648117·2025-05-31 01:07

Hadoop常用端口及配置文件

Hadoop常用端口号Hadoop常用端口号Hadoop2.XHadoop3.XHDFSNameNode内部通信端口8020/90008020/9000/9820HDFSNameNodeweb端口500709870HDFSDataNodeweb
耐码·2025-05-31 01:07

Hadoop常用端口号和配置文件

常用端口号有：hadoop2.xHadoop3.x访问HDFS端口500709870访问MR执行情况端口80888088历史服务器1988819888客户端访问集群端口90008020常用配置文件hadoop2
jiedaodezhuti·2025-05-31 00:05

4.8.2 利用Spark SQL计算总分与平均分

首先，我们准备了包含学生成绩的数据文件，并将其上传至HDFS。接着，通过Spark的交互式编程环境，我们读取了成绩文件并将其转换为结构化的DataFrame。
酒城译痴无心剑·2025-05-30 02:12

Spark基础学习笔记06：搭建Spark On YARN集群

client提交方式（二）cluster提交方式二、搭建SparkOnYARN集群（一）搭建SparkStandalone集群（二）修改Spark环境配置文件三、提交Spark应用到集群运行（一）启动HDFS
酒城译痴无心剑·2025-05-29 08:48

大数据处理框架：从 Hadoop 到 Spark 的深度对比与实战

二、架构对比（一）Hadoop架构Hadoop采用主从架构，核心组件为HDFS（分布式文件系统）和MapReduce计算模型。HDFS负责数据存储，将大文件分割成多个数据块存储在不同节点上
数字魔方操控师·2025-05-29 05:51

hive运行报错Error during job, obtaining debugging information..FAILED: Execution Error, return code 2

ExecutionError,returncode2fromorg.apache,hadoop.hive.ql.exec.mr.MapRedTaskMapReduceJobsLaunched:Stage-Stage-l:HDFSRead
lina_999·2025-05-28 17:53

HDFS 数据压缩技术：节省存储空间与提升性能

HDFS数据压缩技术：节省存储空间与提升性能关键词：HDFS、数据压缩技术、存储空间、性能提升、压缩算法摘要：本文深入探讨了HDFS数据压缩技术，旨在阐述其在节省存储空间和提升性能方面的重要作用。
AI天才研究院·2025-05-28 03:10

导入本地数据到 HBase和导入hdfs数据到hbase

导入本地数据到HBase假设有一个名为user_data.csv的CSV文件，位于本地文件系统的file://home/user/data目录中，我们希望将其导入到HBase中的user_table表中。准备数据：确保你的本地数据文件user_data.csv的格式正确，并且包含了你想要导入到user_table表中的数据。创建HBase表：在HBase中创建一个表，其结构应该与user_data
Elik-hb·2025-05-28 03:40

HADOOP+HBASE存储Azure中storage

Hdfs+hbase持久化到azurestorageHbase版本：hbase-2.5.10-hadoop3-bin.tar.gz Hadoop版本：hadoop-3.3.6.tar.gz环境变量配置：
CaHi·2025-05-28 03:39

HDFS存储原理与MapReduce计算模型

HDFS存储原理1.架构设计主从架构：包含一个NameNode（主节点）和多个DataNode（从节点）。NameNode：管理元数据（文件目录结构、文件块映射、块位置信息），不存储实际数据。
长勺·2025-05-28 03:08

大数据技术全景解析：HDFS、HBase、MapReduce 与 Chukwa

大数据技术全景解析：HDFS、HBase、MapReduce与Chukwa在当今这个信息爆炸的时代，大数据已经成为企业竞争力的重要组成部分。
coding随想·2025-05-27 08:04

Hive实战讲解-1

Hive是基于Hadoop的一个数据仓库工具，它构建在HDFS（Hadoop分布式文件系统）之上，提供了类SQL的查询语言HiveQL，允许用户以类似操作关系型数据库的方式处理和分析大规模数据集，将结构化的数据文件映射为一张数据库表
数字化与智能化·2025-05-26 11:04

使用MapReduce统计TopN数据

二、实验内容使用Hadoop生态组件（文件系统HDFS，处理引擎MapReduce），基于机票销售记录数据集，完成特定数据分析任务。
PhoneMeWhenNecessary·2025-05-26 09:20

3.8.1 利用RDD实现词频统计

首先，准备了包含单词的文件并上传至HDFS。接着，采用交互式方式逐步完成词频统计，包括创建RDD、单词拆分、映射为二元组、按键归约以及排序等操作。
酒城译痴无心剑·2025-05-25 16:30

HDFS&Hive介绍

HDFSHDFS：Hadoop分布式文件存储系统HDFS架构包含Client、NameNode和DataNode。可以简单的认为有一个NameNode和多个DataNode。
正则化·2025-05-24 17:32

Hadoop中HDFS、Hive 和 HBase三者之间的关系

HDFS（HadoopDistributedFileSystem）、Hive和HBase是Hadoop生态系统中三个重要的组件，它们各自解决了大数据存储和处理的不同层面的问题。
[听得时光枕水眠]·2025-05-24 17:02

电商数仓项目(八) Flume(3) 生产者和消费者配置

目录一、生产数据写到kafka二、消费kafka数据写到hdfs本节讲解Flume生产者和消费者配置。
涛2021·2025-05-24 02:19

Doris数据导入方式与Broker Load操作指南

BrokerLoad作为其中最常用的异步批量导入方式，特别适合从HDFS、S3等远程存储系统导入TB级大数据量，具有高吞吐、易管理、支持多种文件格式等优势。本文将全面解析Doris支持的数
晚夜微雨问海棠呀·2025-05-23 15:59

深入理解 Hadoop 核心组件 Yarn：架构、配置与实战

一、Hadoop三大件概述Hadoop作为大数据领域的基石，其核心由三大组件构成：HDFS（分布式文件系统）：负责海量数据的分布式存储，通过数据分块和副本机制保障可靠性，是大数据存储的基础设施。
线条1·2025-05-23 11:36

68道Hbase高频题整理(附答案背诵版)

Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它利用HBase技术在HDFS上提供了类似于Bigtable的能力。
编程大全·2025-05-23 10:51

Spark和Hadoop的区别与联系

核心组件：HDFS（分布式文件系统）：负责数据存储，提供高吞吐量的海量数据存储能力。MapReduce：分布式计算框架，将任务拆解为Map（映射）和Reduce（归约）两个阶段，适合离线批量处理。
Freedom℡·2025-05-23 03:36

Hadoop高可用 ------ 介绍及部署搭建

NameNode高可用NameNode是HDFS的核心配置，HDFS又是Hadoop的核心组件，NameNode在Hadoop集群中至关重要namenode机器宕机，将导致集群不可用，如果namenode
受益于开源 回馈于开源·2025-05-22 12:39

3.8.2 利用RDD计算总分与平均分

首先，准备了包含学生成绩的文件并上传至HDFS。接着，通过交互式方式逐步实现了成绩的读取、解析、总分计算与平均分计算，并最终输出结果。
酒城译痴无心剑·2025-05-22 12:08

HDFS NameNode 联邦机制与高可用方案解析

一、HDFS单节点NameNode的瓶颈困境在Hadoop分布式文件系统（HDFS）中，NameNode作为核心元数据管理者，承担着文件系统命名空间管理、文件与块映射关系维护等关键任务。
线条1·2025-05-22 07:03

开源离线同步工具DataX3.0

、hdfs、hive、odps、hbase等各种异构数据源之间稳定高效的数据同步功能。二、DataX3.0框架设计DataX作为离线数据同步框架，采用Framework+plugin架构构建。
Act-F·2025-05-21 22:59

大数据环境下高效备份链断裂恢复策略

以下从大数据视角解读解决方案，并附代码示例：一、大数据视角下的问题分析分布式备份特性在大数据场景下，增量备份通常依赖分布式存储（如HDFS）实现冗余，但若备份链断裂，可能导致数据恢复时无法完整覆盖时间窗口
百态老人·2025-05-21 10:10

HDFS分布式文件系统

HDFS（HadoopDistributedFileSystem）是ApacheHadoop框架的核心组件之一，是一种分布式文件系统，专为处理大规模数据集在廉价硬件上运行而设计。
Wlq0415·2025-05-20 00:03

hive：DDL 之数据库

4.1创建数据库CREATEDATABASE[IFNOTEXISTS]database_name[COMMENTdatabase_comment][LOCATIONhdfs_path][WITHDBPROPERTIES
吱吱不倦小子·2025-05-19 22:21

Hive表DDL操作（一）

数据库创建数据库的语法为：DATABASE|SCHEMA：用于限定创建数据库或数据库模式IFNOTEXISTS：目标对象不存在时才执行创建操作（可选）COMMENT：起注释说明作用LOCATION：指定数据库位于HDFS
峰芒毕露438·2025-05-19 22:50

【人工智能】Hadoop和Spark使用教程

目录一、Hadoop使用教程1.1安装Hadoop1.2启动Hadoop服务1.3使用HDFS1.4编写MapReduce程序二、Spark使用教程2.1安装Spark2.2启动Spark服务2.3使用
大雨淅淅·2025-05-19 06:29

HDFS与MapReduce

HDFS（HadoopDistributedFileSystem）和MapReduce是ApacheHadoop生态系统中的两个核心组件，它们共同支持大规模数据处理和存储。
CoderIsArt·2025-05-18 22:09

Hive组成架构和工作原理

它将SQL查询转换为MapReduce任务，使得用户可以通过熟悉的SQL语法来操作Hadoop分布式文件系统（HDFS）中的数据。
Cynthiaaaaalxy·2025-05-18 19:18

HBASE默认端口

节点端口号协议使用说明zookeeper2181zkCli.sh-serverzookeeper1:2181客户端接入2888,3888N/A集群内部通讯HDFSNamenode9000HDFShdfsdfs-lshdfs
lansye·2025-05-18 14:46

Hadoop的组成，HDFS架构，YARN架构概述

一共有四个组成部分：MapReduce计算，Yarn资源调度，HDFS数据存储，Common辅助工具。HDFS架构HadoopDistri
计算机人哪有不疯的·2025-05-17 05:50

Hive Transactional Tables 事务表

因为Hive的核心目标时将已经存在的结构化数据文件映射成为表，然后提供基于表的SQL分析处理，是一款面向分析的工具，且映射的数据通常存储于HDFS上，而HDFS是不支持随机修改文件数据的。
跑调却靠谱·2025-05-17 04:10

hadoop

1.Hadoop的三大结构及各自的作用•HDFS（HadoopDistributedFileSystem，Hadoop分布式文件系统）◦作用：提供高可靠、高吞吐量的海量数据存储服务。
薇晶晶·2025-05-16 07:12

【大数据技术-HBase-关于Hmaster、RegionServer、Region等组件功能和读写流程总结】

Hmaster的作用负责命名空间、表的创建和删除等一些DDL操作、region分配和负载均衡，并不参与数据读写，相比与其他大数据组件，如hdfs的namenode，在hbase中，Hmaster的作用是比较弱化的
guoyongzhuang·2025-05-15 14:09

HDFS安全模式深度解析：为什么你的大数据集群“罢工“了？

引言：当HDFS突然变成"只读"时作为一名大数据工程师，你是否曾经遇到过这样的场景：凌晨3点，你被紧急电话吵醒，监控系统显示HDFS集群突然变成了"只读"状态，所有写入操作都失败了？
※尘·2025-05-15 08:04

Spark小文件合并

危害：hdfs有最大文件数限制浪费磁盘资源（可能存在空文件）；hive中进行统计,计算的时候,会产生很多个map,影响计算的速度。
weixin_lss·2025-05-15 06:15

hadoop的三大结构及各自的作用

1.HDFS（HadoopDistributedFileSystem）结构：NameNode：是HDFS的主节点，负责管理文件系统的元数据（如文件和目录的结构、文件块的存储位置等）。
只因只因爆·2025-05-15 05:10

spark数据压缩

---####1.压缩的重要性与挑战在Spark中，数据压缩主要用于以下几个方面：-减少HDFS上存储的数据量。-缩短Shuffle阶段中的数据写
yyywoaini～·2025-05-15 05:10

Mapreduce运行HBase错误

运行Mapreduce程序报错我在idea上运行mapreduce程序，实现HDFS数据存储到HBASE，控制台报错如下Applicationapplication_1573201815446_0001failed2timesduetoAMContainerforappattempt
weixin_42534356·2025-05-14 23:32

Apache Hadoop--集群部署

HadoopHDFS：分布式文件系统。解决了海量数据存储问题。HadoopDistributedFileSystem(HDFS™)HadoopMapReduce：分布式计算框架。解决海量数据计算问题。
狂野虎蛋·2025-05-14 19:02

spark读文件忽略第一行_Spark 核心概念与操作

它的优势有三个方面：通用计算引擎能够运行MapReduce、数据挖掘、图运算、流式计算、SQL等多种框架；基于内存数据可缓存在内存中，特别适用于需要迭代多次运算的场景；与Hadoop集成能够直接读写HDFS
weixin_39569894·2025-05-14 16:14

大数据技术之Hadoop(十)——Sqoop数据迁移

Sqoop认识2、Sqoop原理（1）导入原理（2）导出原理二、Sqoop安装配置1、下载安装2、MySQL配置启动3、配置Sqoop环境4、Sqoop效果测试三、Sqoop数据导入1、MySQL表数据导入HDFS2
雨诺风·2025-05-14 08:20

搭建Hadoop平台（六）（实时更新，随时有新内容，注意多多查看）

目录/*在打开虚拟机之后，要先在master和slave1分别上输入:start-dfs.sh和start-yarn.sh来分别启动hdfs平台和yarn平台*/在mapreduce上运行内置程序1.配置环境变量
Patrick_kafka·2025-05-13 20:32

Hadoop初始化不成功，Start-all报错

/usr/bin/envbashHDFS_DATANODE_USER=rootHADOOP_SECURE_DN_USER=hdfsHDFS_NAMENODE_USER=rootHDFS_SECONDARY
Swingzzz·2025-05-13 04:14
上一页 1 2 3 4 5 6 7 8 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他