--DFS

Leecode 面试题 08.12. 八皇后

原题链接：Leecode面试题08.12.八皇后classSolution{public:vector>res;boolv[9];intcol[9];voiddfs(intn,intnow){if
自信的小螺丝钉·2023-10-14 14:34

leetcode 面试题08.12 八皇后（回溯dfs）

思路：要求不同行、不同列，也不在对角线上，首先定义一个索引数组，表示每行上是皇后的位置（不同行的条件就满足啦）然后通过DFS找到所有满足条件的集合代码如下：classSolution{public:vector
peachzy·2023-10-14 14:01

hadoop文件存储位置_hadoop文件存储目录

执行shbin/stop-all.sh1、查看指定目录下内容hadoopdfs–ls[文件目录]eg:hadoopdfs–ls/...文章hohooo2016-10-25590浏览量Hadoop框架：HDFS
weixin_39624774·2023-10-14 13:35

HDFS 配置本地客户端

之前，一直通过Linux命令操作HDFS。接下来，在本地配置HDFS客户端，通过编写代码操作HDFS。
Manfestain·2023-10-14 13:21

Spark入门

目录Spark入门:概述+历史+概述SparkCore：RDDSparkSQL:SparkStreamingSpark内核调优Spark概述回顾：Hadoop=HDFS存储+MR分析计算+YARN调度Hadoop
十七✧ᐦ̤·2023-10-14 12:21

kafka简述

另外企业中离线业务场景实时业务场景都需要使用到kafka，Kafka具备数据的计算能力和存储能力，但是两个能力相对（MR/SPARK，HDFS）较弱，Kafka角色的角色与hbase
静看º一季花开花落·2023-10-14 10:10

Hadoop生态圈：Hadoop的发展及其模块架构解析

它由MapReduce、HDFS、YARN组成，是Hadoop体系结构的基石之一。
禅与计算机程序设计艺术·2023-10-14 09:24

大数据发展史

Lucene框架进行优化升级,索引引擎;2001年底Lucence成为Apache基金会的一个子项目,当时为了解决存储海量数据困难,检索海量速度慢,可以说Google是hadoop的思想之源;GFS--->HDFSMapReduce
jiedaodezhuti·2023-10-14 08:23

获取ftp服务器的系统编码,ftp服务器编码格式

Loader是在开源Sqoop组件的基础上进行了一些扩展，除了包含Sqoop开源组件本身已有的功能外，还开发了如下的增强特性：提供数据转化功能支持图形化配置转换步骤支持从SFTP/FTP服务器导入数据到HDFS
我自来去·2023-10-14 08:51

ftp服务器文件编码类型,ftp服务器编码格式

Loader是在开源Sqoop组件的基础上进行了一些扩展，除了包含Sqoop开源组件本身已有的功能外，还开发了如下的增强特性：提供数据转化功能支持图形化配置转换步骤支持从SFTP/FTP服务器导入数据到HDFS
达欣欣·2023-10-14 08:50

【大数据】HDFS概述（学习笔记）

一、文件系统、分布式文件系统1、传统文件系统文件系统是一种存储和组织数据的方法，实现了数据的存储、分级组织、访问和获取等操作。文件系统使用树形目录的抽象逻辑概念代替了硬盘等物理设备使用数据块的概念。数据：指存储的内容本身。这些数据底层是存储在存储介质上的，用户只需要基于目录树进行增删改查即可，实际针对数据的操作由文件系统完成。元数据（解释性数据）：记录数据的数据。文件系统元数据：指文件大小、最后修
rexhao_wmh·2023-10-14 08:45

【大数据】HDFS的使用与集群角色（学习笔记）

一、HDFSShell1、介绍命令行界面（CLI）是指用户通过键盘输入指令，计算机接收到指令后，予以执行一种人际交互方式。
rexhao_wmh·2023-10-14 08:45

【大数据】hadoop安装部署（学习笔记）

一、集群组成概述Hadoop集群包括两个集群：HDFS集群、YARN集群两个集群逻辑上分离、通常物理上在一起两个集群都是标准的主从架构集群HDFS集群（分布式存储）：主角色：NameNode从角色：DataNode
rexhao_wmh·2023-10-14 08:44

大数据技术组件选型对比

例如FlinkCDC的数据⼊湖或者⼊仓的时候，下游通常是分布式的系统，如Hive、HDFS、Iceberg、Hudi等。
公众号:肉眼品世界·2023-10-14 07:07

高阶数据结构学习之图

这里写自定义目录标题引入图的存储结构邻接矩阵邻接表概念代码实现邻接矩阵邻接表图的遍历广度优先遍历bfs进行测试深度优先遍历dfs进行测试最小生成树概念回顾概念Kruskal算法--克鲁斯卡尔算法Prim
sakeww·2023-10-14 06:49

代码随想录算法训练营第52天 | 300. 最长递增子序列、674. 最长连续递增序列、718. 最长重复子数组

300.最长递增子序列记忆化搜索classSolution:deflengthOfLIS(self,nums:List[int]):@cachedefdfs(i):res=0forjinrange(i)
zh_luo2023·2023-10-14 06:12

大数据Hadoop集群搭建-04安装配置HDFS

Hadoop集群搭建-03编译安装hadoopHadoop集群搭建-02安装配置ZookeeperHadoop集群搭建-01前期准备HDFS是配合Hadoop使用的分布式文件系统，分为namenode:
叫我懒猫·2023-10-14 04:32

Java使用FastDFS

一、加载FastDFS的jar包com.github.tobatofastdfs-client1.26.7二、编写配置文件fdfs:connect-timeout:30#连接的超时时间so-timeout
默默行路·2023-10-14 03:30

Big Data Tools完整攻略，一键连接Hadoop

BigDataTools完整攻略安装BigDataTools连HDFS连Hadoop连Spark写HDFS程序安装BigDataTools打开idea选择插件在Marketplace里面输入BigDataTools
轻夏·2023-10-14 02:50

Hadoop-HA-Hive-on-Spark 4台虚拟机安装配置文件

Hadoop-HA-Hive-on-Spark4台虚拟机安装配置文件版本号步骤hadoopcore-site.xmlhdfs-site.xmlmapred-site.xmlslavesworkersyarn-site.xmlhivehive-site.xmlspark-defaults.confsparkhdfs-site.xmlhive-site.xmlslavesyarn-site.xmlsp
轻夏·2023-10-14 02:13

Hadoop3教程（二）：HDFS的定义及概述

文章目录（40）HDFS产生的背景和定义（41）HDFS的优缺点（42）HDFS组成架构（43）HDFS文件块大小（面试重点）参考文献（40）HDFS产生的背景和定义随着实际生产环境中的数据越来越大，在一台服务器上无法存储下所有的数据
经年藏殊·2023-10-14 01:01

hadoop dfs、hadoop fs和hdfs dfs的区别

结论hadoopfs命令的官方解释为“ThiscommandisdocumentedintheFileSystemShellGuide.Itisasynonymfor`hdfsdfs`whenHDFSisinuse
SunnyZ-L·2023-10-14 01:01

Hadoop3教程（三）：HDFS文件系统常用命令一览

文章目录语法格式（44）HDFS的文件系统命令（开发重点）参考文献语法格式hdfs命令的完整形式：hdfs[options]subcommand[subcommandoptions]其中subcommand
经年藏殊·2023-10-14 01:00

走进Spark

什么是Spark是一个基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎，因为是基于内存的所以可以更快的完成任务离线计算:离线计算一般存储在HDFS中使用MapReduce
、小H·2023-10-14 01:52

hadoop （五）操作HDFS

hadoop（五）操作HDFS环境搭建参考《hadoop（四）开发环境及WordCount》。
cnliu·2023-10-14 00:23

Flink运行架构

整体架构任务提交流程（yarn模式）任务调度原理各角色作用：ClientJobManagerTaskManagerSlot划分Flink整体架构任务提交流程（yarn模式）Flink任务提交后，Client向HDFS
Fenggms·2023-10-14 00:18

Acwing算法基础课学习笔记

Acwing学习笔记第一章基础算法快速排序归并排序二分查找前缀和与差分差分位运算离散化第二章数据结构单链表双链表栈队列单调栈单调队列KMP算法Trie并查集堆哈希表第三章搜索与图论DFSBFS树与图的深度优先遍历树与图的广度优先遍历拓扑排序图论朴素
togph·2023-10-14 00:40

大数据技术之HBase

第1章HBase简介1.1、HBase定义ApacheHBase™是以hdfs为数据存储的，一种分布式、可扩展的NoSQL数据库。
骚戴·2023-10-13 23:22

HBase分布式数据库（NoSQL）

就像Bigtable利用了Google文件系统（FileSystem）所提供的分布式数据存储一样，HBase在Hadoop的HDFS之上提供了类似于Bigtable的能力。
敲代码的彭于晏·2023-10-13 23:21

分布式NoSQL数据库HBase实践与原理剖析（一）

建立在HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的
落叶飘雪2014·2023-10-13 23:51

HBase NoSQL数据库详解

一、HBase简介HBase是Hadoop的生态系统，是建立在Hadoop文件系统（HDFS）之上的分布式、面向列的数据库，通过利用Hadoop的文件系统提供容错能力。
wespten·2023-10-13 23:51

Hbase集群部署

HBASE介绍–HBase–HadoopDatabase，是一个高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库–利用HadoopHDFS作为其文件存储系统,利用HadoopMapReduce来处理
Best_Liu~·2023-10-13 23:49

NoSQL数据库Hbase之Phoenix与Sqoop

springboot+mybatis方式来调用phoenix代码仓库Sqoop简介SqoopImportSqoopExport搭建部署版本问题部署下载mysqljar操作mysql数据库将mysql数据导入HDFS
江南云朵·2023-10-13 23:49

大数据NoSQL数据库HBase集群部署

目录1.简介2.安装1.HBase依赖Zookeeper、JDK、Hadoop（HDFS），请确保已经完成前面2.【node1执行】下载HBase安装包3.
时光の尘·2023-10-13 23:17

Ceph初步了解和ceph集群搭建测试

Ceph初步了解和ceph集群搭建测试常用分布式文件系统HadoopFastDFSCephGlusterFSLustre(太老了)Ceph概述Ceph是一个分布式文件系统具有高扩展、高可用(默认3副本存储数据一个挂了还有两个
icnvd·2023-10-13 22:32

hadoop之Sqoop

主要用于hadoop（hive）与关系型数据库之间的数据传递，可以将关系型数据库中的数据导入HDFS中，也可以将HDFS的数据导入关系型数据库中。sqoop导入：从RDBMS到H
USTC_IT·2023-10-13 19:11

AcWing 170. 加成序列（搜索）

题型基本框架数据的存储状态path[]剪枝--枚举对象的顺序--判重intmaxd;//限定的深度for(maxd=1;;maxd++)if(dfs(1,maxd))break;本题思路
良木lins·2023-10-13 17:36

flink1.15 savepoint 超时报错 java.util.concurrent.TimeoutException

savepoint命令flinksavepointe04813d4e7480c526912eb4d32bba510hdfs://flink/flink/migration/savepoint56650-
Thomas2143·2023-10-13 16:26

Hadoop3教程（一）：Hadoop的定义、组成及全生态概览

文章目录（1）定义1.1发展历史1.2三大发行版本1.3Hadoop的优势1.4Hadoop的组成（13）HDFS概述（14）Yarn架构（15）MapReduce概述（16）HDFS、YARN、MapReduce
经年藏殊·2023-10-13 16:05

Hadoop生态概览

Hadoop生态概览：#hadoop＃HDFS两种文件格式（基于文件的数据结构）：1，SequenceFile,2,MapFileSequenceFile特性：SequenceFile文件是Hadoop
「已注销」·2023-10-13 16:05

All for PAT秋考 | 1132 - 1135

涉及知识1132sscanf()，浮点错误1133链表重排（cmp函数、假装重排==）1134图的点覆盖（stlset应用）1135红黑树，二叉树建树，DFS1132CutInteger(20分)喜提新的错误种类
电车上那个cll呀·2023-10-13 15:20

【学习笔记】minIO分布式文件服务系统

（早前流行的还有FastDFS）据官方介绍，单个对象最大可存储5T，非常适合存储海量图片、视频、日志文件、备份数据和容器、虚拟镜像等。
Xcong_Zhu·2023-10-13 13:14

LeetCode 104. 二叉树的最大深度（C++实现）

二、思路一般来说，树的遍历分为两种策略：DFS（深度优先搜索）在这个策略中，我们采用深度作为优先级，以便从跟开始一直到达某个确定的叶子，然后再返回根到达另一个
潇湘夜雨~·2023-10-13 12:24

java生成PDF的几种方法

问题场景总结一下用java生成PDF的方法：A、itext-PdfStamperpdfStamper（俗称抠模板）B、itext-Documentdocument（正常代码撰写）C、wkhtmltopdf
曹元_·2023-10-13 11:36

ubuntu 20.04 sealos 私有化部署

sealos/releases"|jq-r'.[].tag_name'Command'jq'notfound,butcanbeinstalledwith:snapinstalljq#version1.5+dfsg
linux修理工·2023-10-13 11:39

【Kylin】【Hive】【hive-testbench】tpch 数据集生成失败，提示报错class org.apache.hadoop.hdfs.web.HftpFileSystem ...

描述在个人的apachehadoop3.2.1版本的集群下，为了验证kylin的构建和查询性能，找到了对应的Kylin官方推荐使用的hive-testbench数据集生成仓库。在执行了相关命令，如下。gitclonehttps://github.com/hortonworks/hive-testbench.gitcdhive-testbench/./tpch-build.sh./tpch-setu
JustinXTT·2023-10-13 09:24

hive小文件合并机制_转：Hive小文件合并

Hive的后端存储是HDFS，它对大文件的处理是非常高效的，如果合理配置文件系统的块大小，NameNode可以支持很大的数据量。但是在数据仓库中，越是上层的表其汇总程度就越高，数据量也就越小。
亿码数码·2023-10-13 08:56

hive小文件合并机制_hive小文件合并

hive仓库表数据最终是存储在HDFS上，由于Hadoop的特性，对大文件的处理非常高效。而且大文件可以减少文件元数据信息，减轻NameNode的存储压力。
大Victor·2023-10-13 08:56

HBase表更改压缩方式后的数据大合并

业务上可能会遇到这种情况，在最初创建hbase表时候，未指定压缩方式，当数据导入之后，由rowkey带来的数据膨胀导致hdfs上的数据大小远远大于原始数据大小。
SparkSql·2023-10-13 08:56

Spark Hive 小文件合并

背景小文件带来的问题对于HDFS从NNRPC请求角度，文件数越多，读写文件时，对于NN的RPC请求就越多，增大NN压力。从NN元数据存储角度，文件数越多，NN存储的元数据就越大。
longlovefilm·2023-10-13 08:26
上一页 101 102 103 104 105 106 107 108 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他