dfs

Hadoop常用端口号和配置文件

常用端口号有：hadoop2.xHadoop3.x访问HDFS端口500709870访问MR执行情况端口80888088历史服务器1988819888客户端访问集群端口90008020常用配置文件hadoop2
jiedaodezhuti·2025-05-31 00:05

从零搭建云点播系统（一）：开源组件选型、安全加密与成本优化

需要内网搭建在线视频系统，于是做了相关调研分析了领课在线教育、酷瓜云等，其中主要用的技术是云点播，云点播系统的实现依赖于多项关键技术：流媒体协议（如HLS、DASH）通过自适应码率技术保障流畅播放；分布式存储（如FastDFS
Ai财富密码·2025-05-30 23:59

ASP.Net Core中JWT基本使用

JWT授权1.配置文件添加属性 "Jwt":{  "SecretKey":"SDMC-CJAS1-SAD-DFSFA-SADHJVF-VFAAAAAAA",  "Issuer":"http://localhost
我转的头好晕·2025-05-30 22:23

FastDFS集群部署与性能优化实战

目录一、介绍二、FastDFS原理三、FastDFS部署1.资源清单2.修改主机名3.安装libfastcommon（tracker01、tracker02、storage1、storage2）4.安装编译
YJQ9967·2025-05-30 02:48

4.8.2 利用Spark SQL计算总分与平均分

首先，我们准备了包含学生成绩的数据文件，并将其上传至HDFS。接着，通过Spark的交互式编程环境，我们读取了成绩文件并将其转换为结构化的DataFrame。
酒城译痴无心剑·2025-05-30 02:12

leetcode hot100：十三、解题思路大全：多维动态规划（不同路径、最小路径和、最长回文子串、 最长公共子序列、编辑距离）

提示：1<=m,n<=100题目数据保证答案小于等于2*109思路为什么会考虑用纯dp做，而不是回溯或者dfs或者bfs。因为如果用回溯/DFS/BFS来做的话，每次移动有2种选择（右/下），
shanshandeisu·2025-05-29 20:35

Spark基础学习笔记06：搭建Spark On YARN集群

client提交方式（二）cluster提交方式二、搭建SparkOnYARN集群（一）搭建SparkStandalone集群（二）修改Spark环境配置文件三、提交Spark应用到集群运行（一）启动HDFS
酒城译痴无心剑·2025-05-29 08:48

大数据处理框架：从 Hadoop 到 Spark 的深度对比与实战

二、架构对比（一）Hadoop架构Hadoop采用主从架构，核心组件为HDFS（分布式文件系统）和MapReduce计算模型。HDFS负责数据存储，将大文件分割成多个数据块存储在不同节点上
数字魔方操控师·2025-05-29 05:51

fastdfs集群搭建

fastdfs集群搭建需要的软件关闭防火墙安装运行环境启动tracker配置安装FastDFS安装设置tracker设置storage安装nginx下载地址安装fastdfs-nginx-module编辑
Q-晓阳·2025-05-28 20:47

matlab生成随机粗糙表面_生成三维随机粗糙表面问题

dat_as98_johnson_per(x)%ImplementsCarnegie-MellonSTATLIB/AppliedStatisticsas99%forfittingJohnsoncurvepdfsanddevelopedby
weixin_39945523·2025-05-28 20:14

hive运行报错Error during job, obtaining debugging information..FAILED: Execution Error, return code 2

ExecutionError,returncode2fromorg.apache,hadoop.hive.ql.exec.mr.MapRedTaskMapReduceJobsLaunched:Stage-Stage-l:HDFSRead
lina_999·2025-05-28 17:53

七段码--dfs+set去重/状压

1.dfs遍历i相连的边，从亮1个到7个遍历，然后最后答案用·二进制装进set里，set自动去重2.c表示现在亮的个数，d表示要求亮的个数，pos表现在是哪个点蓝桥账户中心#includeusingnamespacestd
泛舟起晶浪·2025-05-28 15:10

蓝桥杯：全球变暖

目录题目描述输入描述输入输出样例：题目分析：（DFS）AC代码（Java）:题目描述你有一张某海域NxN像素的照片，"."
尐镇做题家·2025-05-28 15:06

蓝桥杯-DFS day2

DFS基本思路DFS模型：DFS是回溯法的具体应用的一种，中文名称为深度优先搜索。
BEIHLT·2025-05-28 15:36

HDFS 数据压缩技术：节省存储空间与提升性能

HDFS数据压缩技术：节省存储空间与提升性能关键词：HDFS、数据压缩技术、存储空间、性能提升、压缩算法摘要：本文深入探讨了HDFS数据压缩技术，旨在阐述其在节省存储空间和提升性能方面的重要作用。
AI天才研究院·2025-05-28 03:10

导入本地数据到 HBase和导入hdfs数据到hbase

导入本地数据到HBase假设有一个名为user_data.csv的CSV文件，位于本地文件系统的file://home/user/data目录中，我们希望将其导入到HBase中的user_table表中。准备数据：确保你的本地数据文件user_data.csv的格式正确，并且包含了你想要导入到user_table表中的数据。创建HBase表：在HBase中创建一个表，其结构应该与user_data
Elik-hb·2025-05-28 03:40

HADOOP+HBASE存储Azure中storage

Hdfs+hbase持久化到azurestorageHbase版本：hbase-2.5.10-hadoop3-bin.tar.gz Hadoop版本：hadoop-3.3.6.tar.gz环境变量配置：
CaHi·2025-05-28 03:39

HDFS存储原理与MapReduce计算模型

HDFS存储原理1.架构设计主从架构：包含一个NameNode（主节点）和多个DataNode（从节点）。NameNode：管理元数据（文件目录结构、文件块映射、块位置信息），不存储实际数据。
长勺·2025-05-28 03:08

入门组算法模板题目

高精度加减乘除质数筛同余定理二分查找/二分答案哈希结构体排序/贪心前缀和/差分STL-map/stack/queue树和图的遍历选择排序/归并排序dfs/全排列_泛洪算法bfs/一维/二维/记录
信奥李拜天·2025-05-28 01:53

dfs 第一次加训 详解 下

目录P1706全排列问题思路B3618寻找团伙思路B3621枚举元组思路B3622枚举子集（递归实现指数型枚举）思路B3623枚举排列（递归实现排列型枚举）B3625迷宫寻路思路P6183[USACO10MAR]TheRockGameS总结P10448组合型枚举思路P10483小猫爬山思路P8604[蓝桥杯2013国C]危险系数思路P9011[USACO23JAN]AirCownditioning
拼好饭和她皆失·2025-05-27 23:15

[LeetCode] All questions numbers conclusion 所有题目题号

Note:后面数字n表明刷的第n+1遍,如果题目有**,表明有待总结Conclusionquestions:[LeetCode]questionsconclustion_BFS,DFSLeetCodequestionsconclustion_PathinTree
weixin_30555125·2025-05-27 22:58

图论：深度优先遍历（DFS）与广度优先遍历（BFS）

今天来死磕DFS和BFS（学DFS和BFS的那节课我都没上，死磕起来比别人难一点）DFS：题目描述请定一个无向图，顶点编号从0∼n−1用深度优先搜索(DFS)从0开始遍历并输出遍历时，先遍历节点编号小的输入格式输入第一行是两个整数
Oh，AC！·2025-05-27 20:46

图论基础：广度优先搜索与深度优先搜索

本文将重点探讨两种基础的图遍历算法——广度优先搜索（BFS）和深度优先搜索（DFS），以及最小生成树（MST）的相关算法。
夏曦安·2025-05-27 19:45

每日一问：深度优先搜索和广度优先搜索

每日一问：深度优先搜索和广度优先搜索在计算机科学与图论领域，深度优先搜索（DFS）和广度优先搜索（BFS）是两种常见的图遍历算法。它们在处理树或图的搜索、遍历和路径查找等问题中广泛应用。
DR. BULL ELECTRONICS·2025-05-27 19:14

图论：DFS与BFS

目录1.DFS（图论）1.1.DFS过程1.2.应用2.BFS（图论）2.1.BFS过程2.2.应用2.3.双端队列BFS实现2.4.优先队列BFS（堆优化Dijkstra算法）1.DFS（图论）DFS
JayNe61·2025-05-27 19:12

动态规划经典三题_完全平方数

示例1：输入：n=12输出：3解释：12=4+4+4示例2：输入：n=13输出：2解释：13=4+9方法一、记忆化搜索@cache#缓存装饰器，避免重复计算dfs的结果（记忆化）defdfs(i
chao_789·2025-05-27 16:21

题解：luogu.P1330 封锁阳光大学（图论配套精选专练）

我们给出前者的CODE如下：参考程序//luogu.P1330.DFS实现#i
枯骨崖烟·2025-05-27 13:03

大数据技术全景解析：HDFS、HBase、MapReduce 与 Chukwa

大数据技术全景解析：HDFS、HBase、MapReduce与Chukwa在当今这个信息爆炸的时代，大数据已经成为企业竞争力的重要组成部分。
coding随想·2025-05-27 08:04

Leetcode刷题笔记——二叉树篇

Leetcode刷题笔记——二叉树篇一、前言DFS是可一个方向去搜，不到黄河不回头，直到遇到绝境了，搜不下去了，再换方向（换方向的过程就涉及到了回溯，本文没有涉及太多和回溯相关的案例，对回溯相关的可以参考博主的另一篇文章
code_lover_forever·2025-05-26 20:24

Hive实战讲解-1

Hive是基于Hadoop的一个数据仓库工具，它构建在HDFS（Hadoop分布式文件系统）之上，提供了类SQL的查询语言HiveQL，允许用户以类似操作关系型数据库的方式处理和分析大规模数据集，将结构化的数据文件映射为一张数据库表
数字化与智能化·2025-05-26 11:04

使用MapReduce统计TopN数据

二、实验内容使用Hadoop生态组件（文件系统HDFS，处理引擎MapReduce），基于机票销售记录数据集，完成特定数据分析任务。
PhoneMeWhenNecessary·2025-05-26 09:20

3.8.1 利用RDD实现词频统计

首先，准备了包含单词的文件并上传至HDFS。接着，采用交互式方式逐步完成词频统计，包括创建RDD、单词拆分、映射为二元组、按键归约以及排序等操作。
酒城译痴无心剑·2025-05-25 16:30

HDFS&Hive介绍

HDFSHDFS：Hadoop分布式文件存储系统HDFS架构包含Client、NameNode和DataNode。可以简单的认为有一个NameNode和多个DataNode。
正则化·2025-05-24 17:32

Hadoop中HDFS、Hive 和 HBase三者之间的关系

HDFS（HadoopDistributedFileSystem）、Hive和HBase是Hadoop生态系统中三个重要的组件，它们各自解决了大数据存储和处理的不同层面的问题。
[听得时光枕水眠]·2025-05-24 17:02

#6 百日计划第六天 java全栈学习

今天学的啥上午算法byd图论图遍历dfsbfs没学懂呵呵找到两个良心up图码labuladong看算法还好尚硅谷讲的太浅了那你问我下午呢下午java看了会廖雪峰的教程回顾基础小林codingJava基础八股文还有集合的八股文有的不是很懂今天把
好学且牛逼的马·2025-05-24 16:28

如何在 Windows 11 上安装 dfsutil 命令行工具

dfsutil是用于管理Windows11和Windows服务器系统中分布式文件系统（DFS）的命令行工具。
山岚的运维笔记·2025-05-24 09:39

回溯 力扣hot100热门面试算法题 面试基础 核心思路 背题 括号生成 单词搜索 分割回文串 N皇后 全排列 子集 电话号码的字母组合 组合总和

回溯括号生成https://leetcode.cn/problems/generate-parentheses/核心思路深度优先搜索（DFS）：DFS是探索所有可能路径的方法，这里用于生成括号组合。
尘土哥·2025-05-24 06:40

电商数仓项目(八) Flume(3) 生产者和消费者配置

目录一、生产数据写到kafka二、消费kafka数据写到hdfs本节讲解Flume生产者和消费者配置。
涛2021·2025-05-24 02:19

Doris数据导入方式与Broker Load操作指南

BrokerLoad作为其中最常用的异步批量导入方式，特别适合从HDFS、S3等远程存储系统导入TB级大数据量，具有高吞吐、易管理、支持多种文件格式等优势。本文将全面解析Doris支持的数
晚夜微雨问海棠呀·2025-05-23 15:59

力扣HOT100之图论：200. 岛屿数量

我们需要定义一个方向数组，对应着4个移动方向，另外，我们还需要定义dfs函数来探索岛屿，在地图上移动的过程中，当我们遇到一块从未遇到的陆地时，我们就调用dfs函数来探索这块陆地，dfs函数的作用就是将当前陆地所在的岛屿全部探索出来
编程绿豆侠·2025-05-23 12:40

深入理解 Hadoop 核心组件 Yarn：架构、配置与实战

一、Hadoop三大件概述Hadoop作为大数据领域的基石，其核心由三大组件构成：HDFS（分布式文件系统）：负责海量数据的分布式存储，通过数据分块和副本机制保障可靠性，是大数据存储的基础设施。
线条1·2025-05-23 11:36

LeetCode 129. 求根节点到叶节点数字之和 java题解

problems/sum-root-to-leaf-numbers/description/classSolution{intres=0;publicintsumNumbers(TreeNoderoot){dfs
奔跑的废柴·2025-05-23 10:27

68道Hbase高频题整理(附答案背诵版)

Hbase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，它利用HBase技术在HDFS上提供了类似于Bigtable的能力。
编程大全·2025-05-23 10:51

Spark和Hadoop的区别与联系

核心组件：HDFS（分布式文件系统）：负责数据存储，提供高吞吐量的海量数据存储能力。MapReduce：分布式计算框架，将任务拆解为Map（映射）和Reduce（归约）两个阶段，适合离线批量处理。
Freedom℡·2025-05-23 03:36

【代码随想录day51】【C++复健】 101. 孤岛的总面积；102. 沉没孤岛； 103. 水流问题； 104. 建造最大岛屿

所以我尝试开始用dfs去写，结果理解错了意思，我还以为孤岛就是周围没有其他陆地的岛呢，但其实并非如此，而是没有与边界接壤的才叫做孤岛。
薔薇十字·2025-05-22 21:02

代码随想录第五十二天| 101.孤岛的总面积 102.沉没孤岛 103.水流问题 104.建造最大岛屿

解题思路标记边缘岛屿：首先遍历矩阵的边缘，如果发现陆地（1），则使用深度优先搜索（DFS）标记整个岛屿，这些岛屿不是孤岛。计算孤岛
kill bert·2025-05-22 20:29

Hadoop高可用 ------ 介绍及部署搭建

NameNode高可用NameNode是HDFS的核心配置，HDFS又是Hadoop的核心组件，NameNode在Hadoop集群中至关重要namenode机器宕机，将导致集群不可用，如果namenode
受益于开源 回馈于开源·2025-05-22 12:39

3.8.2 利用RDD计算总分与平均分

首先，准备了包含学生成绩的文件并上传至HDFS。接着，通过交互式方式逐步实现了成绩的读取、解析、总分计算与平均分计算，并最终输出结果。
酒城译痴无心剑·2025-05-22 12:08

【Redis】AOF日志的三种写回机制

目录1、背景2、appendfsyncalways（同步写回）【1】工作机制【2】特点【3】实现原理3、appendfsynceverysec（每秒写回，默认配置）【1】工作机制【2】特点【3】实现原理
在成都搬砖的鸭鸭·2025-05-22 10:24

ABC 356

通过dfs搜出所有状态，再去遍历m种已知条件，一旦出现不符合的直接返回。看了数据范围就会发现这道题不需要什么算法以及结论，直接暴力就可以了。一个小技巧是用一个01字符串来表示每把钥匙的真假。
空雲.·2025-05-22 08:39
上一页 2 3 4 5 6 7 8 9 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他