DFS

四、hdfs文件系统基础操作-保姆级教程

1、启动Hadoop集群想要使用hdfs文件系统，就先要启动Hadoop集群。
弦之森·2023-11-20 12:20

五、hdfs常见权限问题

1、常见问题2、案例（1）问题（2）hdfs的超级管理员（3）原因没有使用Hadoop用户对hdfs文件系统进行操作。
弦之森·2023-11-20 12:48

HDFS 命令操作

常用命令一、hadoopfs（hdfsdfs）文件操作1)ls显示目录下的所有文件或者文件夹使用方法：hadoopfs-ls[uri形式目录]示例:hadoopfs–ls/显示根目录下的所有文件和目录显示目录下的所有文件可以加
ly稻草·2023-11-20 12:55

浅谈交互式查询⼯工具Impala(一)

一、Impala概述（Impala是什什么，优势，劣势，与Hive对⽐）Impala是什什么Impala是Cloudera提供的⼀一款开源的针对HDFS和HBASE中的PB级别数据进⾏行行交互式实时查询
顾子豪·2023-11-20 11:14

【python Excel操作】1-批量读取统一文件夹下Excel中固定行列值，并合并到一张Excel中

-参考这位博主的代码原文链接批量读取了统一文件夹下所有Excel的固定行列值，并合并写入一张Excel中defto_one_excel(dir):dfs=[]#for循环，遍历文件夹下所有Excel文件
小灵陶·2023-11-20 11:17

【专题】最长不下降序列(LIS)

所以，对于这道题，我们仍然可以先用dfsdfsdfs写出来。代码较为暴力好懂，就不做解释。
WillHou·2023-11-20 09:20

fdfs_client.exceptions.DataError: [-] Error: 2, No such file or directory报错问题

做项目前，先试着向docker上传图片时报错，如图：Traceback(mostrecentcalllast):File"",line1,inFile"d:\software\python\Lib\fdfs_client
Song F·2023-11-20 08:28

记录使用fastdfs搭建一个文件服务器（二）

4.配置storage①进入/etc/fdfs目录，复制FastDFS存储器样例配置文件storage.conf.sample，并重命名为storage.conf#cd/etc/fdfs#cpstorage.conf.samplestorage.conf
橙子橘啦·2023-11-20 08:24

【WSL/WSL2-Ubuntu】突破界限：不使用服务器在一台Windows搭建Nginx+FastDFS

打造超级开发环境：Nginx和FastDFS在WSL中的完美结合前言随着软件开发领域的快速发展，跨平台的开发环境变得日益重要。
friklogff·2023-11-20 08:51

代码随想录训练营Day39 动态规划part02● 62.不同路径 ● 63. 不同路径 II

我的第一想法是dfs深搜，直接全部递归遍历过去，但很可惜leetcode上超时了。那就试试动态规划能否解决这道题。动规五部曲：（1）确定dp数组和下标含义这道
搁浅~~·2023-11-20 07:12

【蓝桥杯 第十五届模拟赛 Java B组】训练题（A - I）

G、信号覆盖-bfs（1）bfs（60%）（2）暴力H、清理水域-暴力（弱智版）可以差分I、滑行-dfs+dp（1）dfs（30%）（2）dp+dfs（100%）A、求全是字母的最小十六进制数请找到一个大于
Roye_ack·2023-11-20 06:52

Lintcode 1115 · Average of Levels in Binary Tree (BFS/DFS 经典题)

1115·AverageofLevelsinBinaryTreeAlgorithmsDescriptionGivenanon-emptybinarytree,returntheaveragevalueofthenodesoneachlevelintheformofanarray.Therangeofnode’svalueisintherangeof32-bitsignedinteger.Examp
纸上得来终觉浅 绝知此事要躬行·2023-11-20 06:51

HDFS、MapReduce原理--学习笔记

（2）狭义解释从狭义上来说，Hadoop是指Hadoop这个开源框架，它的核心组件有：a）HDFS（分布式文件系统）：解决海量数据存储；b）MapReduce（分布式计算）：解决海
祈愿lucky·2023-11-20 06:33

[USACO Training] Section 1.4

TEXTSearchTechniques搜索时间空间何时使用DFSO(c^k)O(k)必须搜索整棵树，知道解所在的层数，或者不需要层次最浅的解BFSO(c^d)O(c^d)知道解所在的层次很浅，或者需要最浅的解
chrt·2023-11-20 06:00

代码随想录算法训练营第二十七天|39 组合总和 40 组合总和II 131分割回文串

组合总和classSolution{List>res=newArrayListnewList=newLinkedList>combinationSum(int[]candidates,inttarget){dfs
魔法恐龙: )·2023-11-20 05:01

代码随想录算法训练营第二十八天| 78 子集 90 子集|| 93 复原IP地址

78子集由题意可知数组中的元素互不相同，所以在dfs中我们可以将当前的path直接加入到res中。
魔法恐龙: )·2023-11-20 05:26

hadoop关于hdfs详细解答

HDFS内容大数据的概念及其特征Hadoop简介及其生态圈HDFS的内部组件介绍HDFS的安装模式介绍独立模式伪分布式模式完全分布式的搭建HDFS的常用命令HDFS的设计思想HDFS的体系结构HDFS的工作机制
一个人的小样·2023-11-20 04:58

Hive 剖析

Hive分区表分区为HDFS上表目录的子目录，数据按照分区存储在子目录中。
zhixingheyi_tian·2023-11-20 03:33

Hive效率优化记录

Hive是工作中常用的数据仓库工具，提供存储在HDFS文件系统，将结构化数据映射为一张张表以及提供查询和分析功能。
Forge_ahead·2023-11-20 03:26

二叉树的最大深度（java，DFS，BFS解法）

Problem:104.二叉树的最大深度文章目录思路和解法复杂度Code思路和解法DFS递归处理，退出条件为节点为空，归的过程每次取出当前节点左右子树的最大深度加一BFS经典的借助一个队列实现的BFS，
LNsupermali·2023-11-20 03:11

java中的深度复制和浅复制的BUG

刷题刷到LeetCode回溯DFS的算法题39题的时候,碰见一个Arraylist里面的bug,其中dfs函数里面的第一个if判断里面的语句paths.add(path);path.clear();其中
阿维的博客日记·2023-11-20 02:53

78.子集--77.组合

object):defsubsets(self,nums):""":typenums:List[int]:rtype:List[List[int]]"""#结果ans=[]#临时结果dp_=[]defdfs
芝士小熊饼干·2023-11-20 02:46

Leetcode题库——46.全排列

示例:输入:[1,2,3]输出:[[1,2,3],[1,3,2],[2,1,3],[2,3,1],[3,1,2],[3,2,1]]importcopy"""思路一：DFS，去掉不满足条件的排列"""classSo
aisansheng9248·2023-11-20 02:34

LeetCode-46.全排列

解题思路这是一个回溯问题，我们可以采用dfs构建排列树来求解。
没事我就爱吃肉包·2023-11-20 02:33

46.全排列-py

typenums:List[int]:rtype:List[List[int]]"""#结果数组0ans=[]n=len(nums)#判断是否使用state_=[False]*n#临时状态数组dp_=[]defdfs
芝士小熊饼干·2023-11-20 02:31

汇集天下武学——Python面试宝典

流量+python爬虫工程师一、FastDFS的工作原理和配置1.什么是FastDFSFastDFS是用c语言编写的一款开源的分布式文件系统。
小陈工·2023-11-20 02:31

大数据基础——HDFS（分布式文件系统）

分布式文件系统——HDFS文章目录分布式文件系统——HDFSHDFS概述HDFS发展历史HDFS的设计目标HDSF应用场景适合的应用场景不适合的应用场景HDFS架构HDFS的基本原理NameNode概念
我菜的要死·2023-11-20 02:49

大数据研发工程师面试

9.HDFS的理解?10.hadoop对put一个文件
ChlinRei·2023-11-20 01:43

大数据开发面试（一）

适用于需要将大量数据发送到HDFS、HBase等存储系统的场景。具有较强的可靠性、可扩
ChlinRei·2023-11-20 01:41

【LeetCode刷题-树】--1367.二叉树中的链表

1367.二叉树中的链表方法：枚举枚举二叉树中的每个节点为起点往下的路径是否与链表相匹配的路径，为了判断是否匹配设计了一个递归函数dfs(root,head),其中root表示当前匹配到的二叉树节点，head
小d<>·2023-11-20 01:52

蓝桥杯每日一题2023.11.19

题目描述“蓝桥杯”练习系统(lanqiao.cn)题目分析首先想到的方法为dfs去寻找每一个数，但发现会有超时#includeusingnamespacestd;constintN=2e5+10;intn
Akct·2023-11-20 00:11

Python算法——树的直径

在本文中，我们将深入讨论树的直径问题以及如何通过深度优先搜索（DFS）算法来解决。我们将提供Python代码实现，并详细说明算法的原理和步骤。树的直径树的直径定义为树中任意两个节点之间最长路径的长度。
Echo_Wish·2023-11-20 00:08

9 HDFS架构剖析

HDFS集群有两类节点：一个namenode(管理节点)和多个datanode(工作节点）。namenode管理文件系统的命名空间。它维
水无痕simon·2023-11-19 23:41

redis学习入门

.key基本操作2.db基本操作3.服务器运行过程中重启三、高级部分一、linux安装redis二、redis数据持久化RDB持久化->快照备份AOP持久化->文件记录AOF写数据三种策略(appendfsync
程序员不是狗·2023-11-19 23:03

大数据安全 测试

测试1、用户hive/[email protected]和nn/1.common2.hadoop.fql.com分别对Hive进行查询（1）HDFS配置vim/usr/
bigdata-余建新·2023-11-19 22:50

Python大数据之linux学习总结——day10_hive调优

hive调优hive调优hive命令和参数配置1.hive数据压缩压缩对比开启压缩2.hive数据存储[练习]行列存储原理存储压缩比拓展dfs-du-h3.fetch抓取4.本地模式5.join的优化操作
笨小孩124·2023-11-19 20:50

Python大数据之linux学习总结——day10_hadoop原理

Hadoop原理Hadoop基础分布式和集群Hadoop框架概述生态圈版本更新hadoop架构[重点]官方示例圆周率练习词频统计[重点]需求:步骤:Hadoop-HDFS特点hdfs架构块和副本shell
笨小孩124·2023-11-19 20:38

ClickHouse基础知识(个人总结)

,并非那种从零基础开始普及知识内容详细全面,言辞官方的文章2.由于是个人总结,所以用最精简的话语来写文章3.若有错误不当之处,请指出特点:列式存储,使用LSMTree结构,OLAP分析引擎,不依赖于HDFS
hellosrc | forward·2023-11-19 18:28

Spark数据倾斜解决思路

1.避免数据源倾斜-HDFSSpark通过textFile(path,minPartitions)方法读取文件时，使用TextInputFormat。
小小大数据·2023-11-19 17:13

4️⃣Hive

（Hive没有存储数据的能力，只有使用数据的能力）2.Hive本质将HQL转化成MapReduce程序Hive处理的数据存储在HDFSHive分析数据底层的实现是MapReduce执行程序运行在Yarn
WovJf·2023-11-19 17:39

Acwing视频课学习笔记——树和图的DFS/BFS

树与图的存储两种存储方式，树始终特殊的图，树是无环连通图图分为有向图和无向图，而无向图属于一种特殊的有向图——所以实际上就是研究有向图有向图分为两类：邻接矩阵、邻接表//树和图的存储主要就是邻接矩阵或者邻接表//采用邻接表的更多,邻接表可以看作一个一位数据上每个点接着一条单链表，插入方式和单链表一致#includeusingnamespacestd;constintN=1000010,M=N*2;
kumu的Java奇幻冒险·2023-11-19 17:30

Acwing算法基础课学习笔记(七)--搜索与图论之DFS&&BFS&&树与图的深度优先遍历&&树与图的广度优先遍历&&拓扑排序

includeusingnamespacestd;intn;//需要搜索的个数constintN=10;intpath[N];//path[]用于保存路径boolst[N];//用于记录该步是否已经走过，true则表示被用过voiddfs
nullwh·2023-11-19 17:29

acwing自我学习笔记--图中点的层次 847

[]表示邻接多重表,有向图intn,m;intd[N];voidlink(inta,intb){e[idx]=b;ne[idx]=h[a];h[a]=idx++;//将b结点插入到a的链表头下}intdfs
幼儿源卩扛把子·2023-11-19 17:25

Hadoop词频统计

这里写自定义目录标题前提制作JAR包启动Hadoop将wordfile1.txt上传到HDFS重新上传文件进行词频统计和注意事项HDFS常用命令前提1.安装了Linux系统，并且安装了Hadoop下的两个组件
weixin_49670340·2023-11-19 16:29

HDFS 使用Hadoop 中自带的词频统计程序，对数据集进行词频统计

实验题目：词频统计假设HDFS上有两个文件wordfile1.txt和wordfile2.txt(其他文件也行），运行Hadoop中自带的词频统计程序，对数据集进行词频统计。
码猿小菜鸡·2023-11-19 16:28

初级查找算法

3.哈希查找（Hashing）：方案1模拟hash底层方案2hash算法章节：4.广度优先搜索（Breadth-FirstSearch，BFS）：5.深度优先搜索（Depth-FirstSearch，DFS
白夜的月亮·2023-11-19 16:20

Hadoop调用MapReduce进行词频统计

前置准备1.传输文本文件2.环境搭建(1)使用VirtualBox虚拟机软件安装Ubuntu(2)在Ubuntu中安装Hadoop和Eclipse三.具体步骤1.下载保存文本文件2.将文本文件传输至HDFS3
MidnightFancy·2023-11-19 16:17

HIVE与HDFS映射关系

问题1：Hive一条Select语句，底层是如何读取HDFS文件的？
Eqo·2023-11-19 15:40

复杂类型，查询--学习笔记

namestring,city_arrayarray)rowformatdelimitedfieldsterminatedby"\t"collectionitemsterminatedby",";--2.上传数据到hdfs
祈愿lucky·2023-11-19 15:29

Python大数据之linux学习总结——day06_hive02

:示例:查看/修改表示例:默认分隔符示例:快速映射表[练习]知识点:示例:数据导入和导出文件数据加载导入1.直接上传文件window页面上传linux本地put上传2.load加载文件:load移动HDFS
笨小孩124·2023-11-19 15:58
上一页 74 75 76 77 78 79 80 81 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他