DFS

HCIA-Big Data华为认证大数据工程师 习题册 含答案

查看课堂笔记（含习题册）目录1.大数据发展趋势与鲲鹏大数据2.HDFS分布式文件管理系统和ZooKeeper3.Hive分布式数据仓库4.HBase技术原理5.MapReduce和Yarn技术原理6.Spark
k Chivalrous man·2023-11-29 08:16

SparkStreaming基本数据源

SparkStreaming基本数据源案例1.文件流案例SparkStreaming支持各种文件系统中的文件流，如：HDFS、本地文件系统创建文件流的方式：读取HDFS上面的文件：streamingConte
简丶致·2023-11-29 07:06

Spark Streaming提取数据

它支持的流资包括HDFS、Kafka、Flume以及自定义流等。SparkStreaming操作可以从故障中自动恢复，这对于在线数据处理十分重要。
简单不过l·2023-11-29 07:29

Spark Streaming的基本数据流

在大数据环境中，尤其是使用Hadoop分布式文件系统（HDFS）时，数据通常被认为是静态的，这是因为HDFS被设计成适合一次写入和多次读取的场景
俺会hello我的·2023-11-29 07:55

MapReduce计算任务的步骤

MapReduce计算任务的步骤第1步：InputFormatInputFormat到hdfs上读取数据将数据传给Split第2步：Split//设置读取数据的路径TextInputFormat.addInputPath
未烬丶·2023-11-29 06:47

阿里云服务器搭建Hadoop报错“Incompatible clusterIDs”“Excluding datanode”“Cannot assign requested address”

hadoophome下logs文件夹的内容，看具体报错原因1.IncompatibleclusterIDs大致意思是说namenode和datanode的clusterIDs不一致，出现这个的原因应该是多次的hdfsnamenode-format
暮月七·2023-11-29 06:40

hadoop启动datanode报错：Incompatible clusterIDs in

例如我datanode数据目录为/home/hadoop/hdfs/data/，将这/home/hadoop/hdfs/data里面的文件都删掉即可。
兔帮大人·2023-11-29 06:09

解决Hadoop DataNode ‘Incompatible clusterIDs‘报错

06,840WARNcommon.Storage:Failedtoaddstoragedirectory[DISK]file:xxxjava.io.IOException:IncompatibleclusterIDsinxxx/dfs
gcygeeker·2023-11-29 06:03

修炼k8s+flink+hdfs+dlink（七：flinkcdc）

一：flinkcdc官网链接。https://ververica.github.io/flink-cdc-connectors/release-2.1/content/about.html二：在flink中添加jar包。在flinklib目录下增加你所需要的包。https://kdocs.cn/join/gv467qi?f=101邀请你加入共享群「工作使用重要工具」一起进行文档协作三：申请资源。c
宇智波云·2023-11-29 05:34

面试篇spark（spark core，spark sql，spark 优化）

spark执行框架示意图spark的执行中间结果是存储在内存当中的，而hdfs的执行中间结果是存储在hdfs中的。所以在运算的时候，spark的执行效率是reduce的3-5倍。二：spark是什么？
宇智波云·2023-11-29 05:21

hadoop集群环境搭建和常用命令

echo$JAVA_HOME3.解压安装包tar-zxvf4.修改配置文件cd$HADOOP_HOME/etc/hadoop/下面是需要修改的配置文件hadoop-env.shyarn-env.shhdfs-site.xmlcore-site.xmlmapred-site.xmlyarn-site.xm
Logan_addoil·2023-11-29 05:04

Hive数据库与表操作

）Hive数据存储（二）创建数据库（三）查看数据库（四）修改数据库信息一、准备工作二、Hive数据库操作（一）Hive数据存储（二）创建数据库（三）查看数据库注意，我们创建的hive数据库，对应的是HDFS
howard2005·2023-11-29 05:59

dfs背包贪心

include#include#includeusingnamespacestd;constintmaxn=22;intn,v;intw[maxn];intc[maxn];intmaxc=0;voiddfs
alicca·2023-11-29 04:46

第十四届蓝桥杯大赛题解

A题(填空)日期统计dfs+剪枝#include#definelllonglong#defineINF0x7f7f7f7fusingnamespacestd;constintN=3e8+10;intn,
曼切斯特的流氓·2023-11-29 03:51

蓝桥杯题单day3【题目】

[2022年数据结构期末笔试-附加题]得到要求路径的最小带权子图树与图的DFS和BFS[模板]LongestpathinatreeTwoPaths最小生成树及其应用MakeItConnectedRoadReform
Hytidel·2023-11-29 03:38

PAT-1076. Forwards on Weibo (30)

今天主要是一道DFS的题。思路如下：1，邻接表存储图；2，应用深度优先搜索，但是有深度的限定。
xiaoqiangsun·2023-11-29 03:02

PAT A 1076 Forwards on Weibo (30 分)

注意：不能使用DFS，DFS深度优先访问，若两顶点间路径有多条，可能会出现由较远的一条路径访问，因距离限制不可达同时阻断了其他较短路的情况。
Siumai·2023-11-29 03:00

a1076 Forwards on Weibo （DFS、BFS）

1076ForwardsonWeibo(30分)WeiboisknownastheChineseversionofTwitter.OneuseronWeibomayhavemanyfollowers,andmayfollowmanyotherusersaswell.Henceasocialnetworkisformedwithfollowersrelations.Whenausermakesapo
二脸·2023-11-29 03:54

KerberOS Hadoop 认证安装配置

server端4.配置krb5.conf文件5.配置kdc.conf6.配置kadm5.acl文件7.初始化kerberos库8.Kerberos客户端9.hadoopkerberos认证配置1)配置HDFS1
夜古诚·2023-11-28 23:54

解决Spark SQL读数据库时不支持某些数据类型的问题

在大数据平台中，经常需要做数据的ETL，从传统关系型数据库RDBMS中抽取数据到HDFS中。
alexlee666·2023-11-28 20:49

蓝桥杯历届试题-九宫重排

解题思路：题目给了我们2个字符串，因为是求最小值所以我们首先想到的应该是用BFS来做这道题（我这个憨憨一开始竟然是用DFS做的，我是真服了自己了），首先我们先要把题目给我们的起始字符串转化成二维数组，连带着把空格的坐标
࿐ཉི༗࿆一鲸落，万物生 ༗࿆ཉི࿐·2023-11-28 20:30

2020年蓝桥杯暑假第2次练习赛 历届真题（C++组）

地址难度：低题目类型：数学-进制转换B试题历届试题九宫幻方难度：低题目类型：基本算法-枚举C试题历届试题拉马车难度：中等题目类型：基本算法-模拟D试题历届试题图形排版难度：高题目类型：基本算法-模拟/dfsA
Salmone·2023-11-28 19:24

蓝桥杯第100 题 九宫幻方 DFS 全排列 C++ 解题思维

page=1&first_category_id=1&name=%E4%B9%9D思路和解题方法一（DFS)首先，定义了一些全局变量和数组。
冷yan~·2023-11-28 19:20

【刷题】LC-79：单词搜索（Word Search ）

题目描述：DFS，标准的回溯搜索。
叹了口丶气·2023-11-28 19:16

hive总结

Hive是基于Hadoop的数据仓库工具，提供了类似SQL的查询功能，可查询存储在HDFS中的数据。Hive的架构和组件包括用户接口、驱动、元数据存储和存储处理层。Hive将HQL转
墨苏玩电脑·2023-11-28 18:26

和gpt聊天，学一手hdfs

目录文章目录目录@[toc]计划学习**主题**:1.1HDFS概述**问题**:他和mysql有什么区别**主题**:1.1HDFS概述HDFS的设计和工作原理选择最佳的DataNode策略配置项**
墨苏玩电脑·2023-11-28 18:52

面试刷题自备中

面试刷题自备中JavaSE基础线程redisMQkafkaspringspringmvcspringbootspringcloud设计模式数据库FastDFS垃圾回收机制项目部署dockerlinuxJavaSE
鼠爷ねずみ·2023-11-28 18:35

递归实现全排列

示例:123113221322313123321树状图:代码:#includeusingnamespacestd;//深度优先搜索函数，用于生成排列voiddfs(
暗隐之光·2023-11-28 18:09

Doris-Broker Load（二十四）

适用场景源数据在Broker可以访问的存储系统中，如HDFS。数据量在几十到百GB级别。
玖玖1704·2023-11-28 16:18

大数据实训05--网站离线日志分析实战

要分析的KPI：浏览量PV、注册用户数、IP数、跳出用户数、访问页面详细统计运行流程数据源----数据采集（存到HDFS）-----数据
faaarii·2023-11-28 16:45

大数据技术基础实验四：HDFS实验——读写HDFS文件

大数据技术基础实验四：HDFS实验——读写HDFS文件文章目录大数据技术基础实验四：HDFS实验——读写HDFS文件一、前言二、实验目的三、实验原理1、JavaClasspath2、EclipseHadoop
-北天-·2023-11-28 16:13

大数据编程技术基础实验八：Flume实验——文件数据Flume至HDFS

大数据编程技术基础实验八：Flume实验——文件数据Flume至HDFS文章目录大数据编程技术基础实验八：Flume实验——文件数据Flume至HDFS一、前言二、实验目的三、实验要求四、实验原理1、flume
-北天-·2023-11-28 16:13

大数据处理实验（三）HDFS基本操作实验

HDFS基本操作实验1、Hadoop配置环境变量2、列出当前目录下的文件3、级联创建一个文件夹，类似这样一个目录：/mybook/input4、上传文件至HDFS5、从HDFS上下载文件6、查看HDFS
吱唔朱_·2023-11-28 16:43

大数据从入门到实战 - 第2章 分布式文件系统HDFS

大数据从入门到实战-第2章分布式文件系统HDFS一、关于此次实践1、实战简介2、全部任务二、实践详解1、第1关：HDFS的基本操作2、第2关：HDFS-JAVA接口之读取文件3、实验三HDFS-JAVA
发芽ing的小啊呜·2023-11-28 16:42

HDFS-实验指导书 -更新

Hadoop02核心介绍1.HDFSHDFS（HadoopDistributedFileSystem）是一个ApacheSoftwareFoundation项目,是ApacheHadoop项目的一个子项目
撒娇的猫·2023-11-28 16:42

HDFS与Hive实战 + 滴滴出行数据分析

HDFS与Hive实战+滴滴出行数据分析1.HDFS1.1分布式文件系统1.2HDFS的Shell命令行1.3启动Hadoop集群1.4大数据环境清单2.数据仓库2.1数据仓库与数据库区别3.Hive3.1
jialun0116·2023-11-28 16:41

hadoop的HDFS的shell命令大全（一篇文章就够了）

文章目录HDFS的shell命令1、安全模式1.查看安全模式状态2.手工开启安全模式状态3.手工关闭安全模式状态2、文件操作指令1.查看文件目录2.查看文件夹情况3.文件操作4.上传文件5、获取文件6.
绝域时空·2023-11-28 16:39

大数据平台/大数据技术与原理-实验报告--实战HDFS

实验名称实战HDFS实验性质（必修、选修）必修实验类型（验证、设计、创新、综合）综合实验课时2实验日期2023.10.23-2023.10.27实验仪器设备以及实验软硬件要求专业实验室（配有centos7.5
jakeonil·2023-11-28 16:25

java使用idea操作HDFS

本文参照这位博主的文章https://blog.csdn.net/weixin_45754552/article/details/121019053，并亲自实操做的笔记。一、前言关于在IDEA中使用JavaAPI对Hadoop进行操作。Hadoop中关于文件操作类基本上全部是在“org.apache.hadoop.fs”包中，这些API能够支持的操作包含：打开文件，读写文件，删除文件等。1、文件在
梦痕长情·2023-11-28 14:14

linux 通配符 正则表达式 区别,linux 正则表达式和通配符

代表任意一个字符[]代表中括号中的一个字符正则表达式(正则是包含匹配,只要包含就可以匹配上,比如[0-9]可以匹配"7dfssf")*a*表示0到n个a,这个表达没有任何含义,和.
Mn孟·2023-11-28 13:33

【数据结构与算法】图

目录一、图的基本概念二、图的存储结构1、邻接矩阵2、邻接表三、图的遍历1、DFS2、BFS四、最小生成树1、Kruskal算法2、Prim算法五、最短路径问题1、Dijkstra2、Bellman-Ford3
真的王·2023-11-28 12:36

FastDFS单机及集群环境搭建

Java组件总目录FastDFS单机集群环境搭建Java组件总目录一、Docker基本命令二、单机FastDfs安装1文件下载2软件安装1libfastcommon安装2fastdfs安装3完成安装测试上传图片测试其他命令三
偶入编程深似海·2023-11-28 12:51

FastDFS集群同步合并压缩机制介绍

Java组件总目录FastDFS整合Nginx与集群Java组件总目录问题说明一、FastDFS的Nginx模块原理分析1.1模块介绍二、集群下的文件同步2.112.1何时开启同步线程2.2同步规则2.3
偶入编程深似海·2023-11-28 12:51

第4.4章：StarRocks备份还原--Backup&Restore

Backup操作也需要Broker组件，通过Broker将数据备份到远端存储系统中，例如HDFS、OSS、COS或S3等。
流木d·2023-11-28 11:35

Hive基本操作

目录一、Hive创建数据库与数据表1.1.数据库相关操作1.1.1.创建数据库1.1.2.创建数据库并指定HDFS存储路径1.1.3.修改数据库1.1.4.查看数据库详情信息1.1.5.删除数据库1.2
进阶的橙汁糖·2023-11-28 10:10

记忆化搜索，dp——路径问题，最长递增子序列

示例1：输入：m=3,n=7输出：28dfsclassSolution{publicintuniquePaths(intm,intn){returndfs(m,n);}publicintdfs
sqyaa.·2023-11-28 10:39

力扣100. 相同的树

递归（DFS、深度优先遍历）思路：两棵树相同，则左子树相同、右子树也相同；递归终止条件：两棵树都为nullptr，则两棵树相同；如果一棵树为nullptr，另外一棵树不为nullptr，则不是同一棵树；
slowfastflow·2023-11-28 09:56

阿里云OSS服务

需要有存储的支持，那么我们的解决方案将以下几种：直接将图片保存到服务的硬盘优点：开发便捷，成本低缺点：扩容困难使用分布式文件系统进行存储优点：容易实现扩容缺点：开发复杂度稍大（有成熟的产品可以使用，比如：FastDFS
方生方死·2023-11-28 07:28

力扣 965. 单值二叉树 C++

C++classSolution{public:mapmp;voiddfs
ganlanA·2023-11-28 06:25

阿里云服务器搭建fastdfs

fastdfs安装介绍环境准备本人的阿里云服务器CentOSLinuxrelease7.9.2009(Core)版本（通过命令cat/etc/redhat-release查看自己的Linux版本信息）过程中使用的软件包都是从
贝bei～·2023-11-28 05:24
上一页 66 67 68 69 70 71 72 73 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他