--DFS

多次重新初始化hadoop namenode -format后，DataNode或NameNode没有启动

多次重新初始化hadoopnamenode-format后，DataNode或NameNode没有启动在搭建完hadoop集群后，需要对主节点进行初始化（格式化）其本质是清理和做一些准备工作，因为此时的HDFS
Oraer_·2023-10-19 04:47

hadoop启动后无namenode

一般都是由于两次或两次以上格式化NameNode造成的，有两种方法可以解决：1.删除DataNode的所有资料2.修改每个DataNode的namespaceID(位于/home/hdfs/data/current
congsha3684·2023-10-19 04:14

Hadoop的MapReduce详解

一、MapReduce数据处理流程关于上图，可以做出以下逐步分析：输入数据（待处理）首先会被切割分片，每一个分片都会复制多份到HDFS中。上图默认的是分片已经存在于HDFS中。
jhdyy·2023-10-19 04:44

大规模数据处理中心：构建高效的数据处理架构

以下是一个示例的Python代码，用于演示如何使用Hadoop分布式文件系统（HDFS）进行数据存储和管理。
抱紧大佬大腿不松开·2023-10-19 02:57

hadoop和hive、spark、presto、tez是什么关系

它由许多组件组成，包括HDFS(分布式文件系统)和MapReduce(分布式计算引擎)。Hive是一个基于Hadoop的数据仓库系统，它允许用户使用SQL语言来查询和分析大型数据集。
草履虫稽亚娜·2023-10-19 02:55

Hive安装 Tez 引擎

看下图  用Hive直接编写MR程序，假设有四个有依赖关系的MR作业，上图中，绿色是ReduceTask，云状表示写屏蔽，需要将中间结果持久化写到HDFS。
扛麻袋的少年·2023-10-19 02:24

搭建伪分布式hadoop集群操作步骤

搭建hadoop的伪分布式（hdfs，mapreduce，yarn配置在同一服务器上）（1）配置hdsf（a）配置：hadoop-env.sh修改JAVA_HOME路径：exportJAVA_HOME=
一棵小小柏·2023-10-19 01:27

Linux搭建伪分布式Hadoop

hadoop配置文件目录下进行配置4.下载vimyuminstall-yvim5.配置hadoop启动时环境脚本进入之后进行编辑找到此处改成java路径：6.继续修改核心配置文件进入之后添加红框内容：7.配置hdfs8
kyle01589·2023-10-19 01:20

Hive跨集群数据迁移过程

文章目录环境数据迁移需求迁移过程记录环境Hive集群AHive集群B跳转机一台数据迁移需求本次迁移数据100G，15亿条，数据流转方向从集群A经过跳转机到集群B，通过HDFS拉取和重新建表导入的方式完成数据库迁移
程序终结者·2023-10-19 00:57

2018-06-07

哪些sql会触发mrjob聚合，某些insert2.createtabletasselect...这样的SQL会不会创建mrjob会3.hive的数据分为哪两块分别存储哪里元数据,mysql真实数据hdfs4
CrUelAnGElPG·2023-10-18 23:17

Ubuntu20.04解决安装synergy失败问题

Ubuntu20.04解决安装synergy失败问题1.安装synergy报错如下安装命令:sudodpkg-isynergy_1.8.8-stable+dfsg.1-1build1_amd64.debdell
smile梦月浪·2023-10-18 23:20

java监控目录实时上传HDFS

背景描述：为了满足linux服务器上特定目录的非结构化文件的实时监控，并上传HDFS使用的方法Apache的Commons-IO，来实现文件的监控功能所需要的pomorg.apache.hadoophadoop-client3.0.0org.apache.hadoophadoop-common3.0.0commons-iocommons-io2.6org.apache.commonscommons
TUBER727·2023-10-18 21:28

停车场车位检测思路梳理

输入列表图像，在工具台中输出图像defshow_images(self,images,cmap=None):输入的是某一张图片和给图片的name，make_write表示是否需要yyyyafafaffadfsfgf10
杂七杂八的·2023-10-18 21:48

基于hive的日志数据统计实战

我们可以把hive中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在HDFS中的。Hive经过对语句进行解
ych0108·2023-10-18 20:56

hive读取mysql日志_基于hive的日志分析系统

我们可以把hive中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在HDFS中的。Hive经过对语句进行解析和转换，最终生成一系列基于had
Aviationbamboo·2023-10-18 20:25

Hive简介

我们可以把Hive中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在HDFS中的。Hive经过对语句进行解析和转换，最终生成一系列基于h
needle2·2023-10-18 20:51

基于 hive 的日志数据统计实战

我们可以把hive中海量结构化数据看成一个个的表，而实际上这些数据是分布式存储在HDFS中的。Hive经过对语句进行解
jiangkai_nju·2023-10-18 20:20

3、oracle相关同步-oracle通过datax同步到hdfs

DataX3.0系列文章1、datax3.0部署与验证2、mysql相关同步-mysql同步到mysql、mysql和hdfs相互同步3、oracle相关同步-oracle到hdfs4、sybase相关同步
一瓢一瓢的饮 alanchan·2023-10-18 19:29

azure web应用部署_Java Web应用程序中的Azure AD SSO，ADFS SSO配置

azureweb应用部署AzureAD单点登录(AzureADSSO)TheSingleSign-OnfeatureisgettingpopularamongdeveloperstohandleApplicationAccessManagementwhiledevelopingmulti-facedapplicationsduetoitsremarkableadvantages.AzureActi
cunchi4221·2023-10-18 19:46

LeetCode之Restore IP Addresses（Kotlin）

问题：方法：主要思路是DFS，穷举所有可能的情况，递归所有组合，然后根据IP的规则进行过滤，即每小段只能为3位，且不大于255，小段数只能为4，最后输出符合规则的所有结果。
糕冷羊·2023-10-18 19:19

hue实现对hiveserver2 的负载均衡

如果你使用的是CDH集群那就很是方便的在ClouderaManager中，进入HDFSService进入Instances标签页面，点击AddRoleInstances按钮，如下图所示点击Continue
墨卿风竹·2023-10-18 19:12

【Leetcode热题】打卡 day11——20（更新至14）

目录1、合并两个有序链表-链表+暴力/递归（1）暴力（2）递归2、括号生成-dfs+剪枝3、合并K个升序链表-暴力合并两个链表升级版/最小堆（优先队列）（1）暴力-合并两链表升级版（2）最小堆（优先队列
Roye_ack·2023-10-18 18:06

算法基础复习（数据结构+蓝桥杯备战）(二)

文章目录2.简单算法递归：递归什么题用到递归举个例子深度优先搜索（DFS）和广度优先搜索(BFS)摘要状态位运算：1.什么是位运算2.位运算有哪些3.常用的位运算操作二分查找摘要二分查找二分查找一个大于等于
南一道街丶·2023-10-18 18:40

Flink1.14学习测试:将数据写入到Hive&Hdfs(二)

Flink1.14学习测试:将数据写入到Hive&Hdfs(二)参考KafkaSQL连接器:https://nightlies.apache.org/flink/flink-docs-master/zh
lyanjun·2023-10-18 17:37

20210924 python 技术点

-name‘hdfs*’查看hdfs文件：hdfsdfs-l
AI-lala·2023-10-18 16:43

LeetCode 200.岛屿数量（求矩阵中连通区域的个数）

思路：dfs扫描整个网格，如果一个位置是1，则以其起始点开始进行深度优先搜索。在这个过程中，每个搜索到的1都会被重新标记为0。
渔舟舟·2023-10-18 15:48

大数据 | 实验一：大数据系统基本实验 | MapReduce 初级编程

实验平台1）操作系统：Linux；2）Hadoop版本：3.2.2；实验内容编程实现文件的合并和去重packagehdfs;importjava.
啦啦右一·2023-10-18 14:28

: 依赖: qtbase5-dev (= 5.12.8+dfsg-0ubuntu2.1) 但是它将不会被安装 或

有一些软件包无法被安装。如果您用的是unstable发行版，这也许是因为系统无法达到您要求的状态造成的。E:无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。_unstable发行版-CSDN博客E:无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。_鉴于它的文件扩展名无效e:无法修正错误,因为您要求某些软件包保持现状,就是它们_ShyHG的
sun007700·2023-10-18 13:41

求二叉树的最大宽度

记录这道题难点：（1）DFS求解：难点：如何对一层中的null节点进行遍历处理计算每层宽度方法难点分析：使用层序遍历二叉树（DFS）来
L-KKKKK·2023-10-18 13:06

常见的八种分布式文件系统介绍

常见的分布式文件系统有，GFS、HDFS、Lustre、Ceph、GridFS、mogileFS、TFS、FastDFS等。各自适用于不同的领域。
小小哭包·2023-10-18 13:32

Docker 部署django项目（前后端分离，这是后端）

Docker部署django项目（前后端分离，这是后端）1，将django项目从本地上传到github/gitee，修改其配置：fdfs的配置文件创建prod.py文件：在manage.py同级目录下：
甜不辣-酱·2023-10-18 13:21

开源大数据OLAP引擎对比

直接从HDFS读取数据，在使用前不需要大量的ETL操作。查询原理：完全基于内存的并行计算流水线本地化计算
fat32jin·2023-10-18 11:21

基于内存的分布式NoSQL数据库Redis(五)数据存储与RDB设计

HDFS的数据怎么保证安全性？HDFS的元数据怎么保证安全性？Spark的RDD数据怎么保证安全性？解决磁盘存储：数据存储在硬盘上特点：容量大、安全性高、读写速度上相对不如内存解决：副本备份内存存储
大模型Maynor·2023-10-18 10:24

hadoop详解

HDFS:1.HDFS文件系统:HDFS是大数据开源框架hadoop的组件之一，全称（HadoopDistributedFileSystem），它是一个分布式文件系统，由多台服务器联合起来实现文件存储功能
不吃饭的猪·2023-10-18 10:49

修炼k8s+flink+hdfs+dlink（五：安装dockers，cri-docker，harbor仓库）

一：安装docker。（所有服务器都要安装）安装必要的一些系统工具sudoyuminstall-yyum-utilsdevice-mapper-persistent-datalvm2添加软件源信息sudoyum-config-manager--add-repohttps://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.reposudose
宇智波云·2023-10-18 08:40

pyspark读取hdfs文件并导入到hive中

SparkSession.builder.config("spark.driver.host","192.168.1.10")\.config("spark.ui.showConsoleProgress","false")\.appName("hdfs_hive
Gadaite·2023-10-18 07:31

java 从 HDFS 读取数据到本地文件

场景描述算法模型是java代码使用spark-submityarncluster运行的，输出结果存储在了HDFS上，可能因为数据结构比较复杂吧，所以没有选择将结果存储在hive表中。
骑着蜗牛向前跑·2023-10-18 07:31

Spark SQL连接获取MySQL、Hive、HDFS上的数据

本篇所有操作在Idea上完成SparkToMySQL首先要在pom.xml中添加依赖包(根据的自己的使用的版本修改，不清楚的可以去maven官网查找自己对应版本的代码)，对项目创建不清楚的可以：点击这里mysqlmysql-connector-java5.1.36操作代码objectSparkToMysql{defmain(args:Array[String]):Unit={//获取SparkSe
菜鸟也学大数据·2023-10-18 07:58

hadoop java 读写入文件_Hadoop文件系统操作之读取写入数据

一.从hadoop文件系统hdfs读取文件读取hdfs文件有两种方法：1.使用java.net.URL对象打开数据流，从中读取代码importjava.io.IOException;importjava.io.InputStream
weixin_34921609·2023-10-18 07:58

Flink 自定义Sink 之 写入HDFS

scala.binary.version}${flink.version}org.apache.hadoophadoop-common${hadoop.version}providedorg.apache.hadoophadoop-hdfs
magic_kid_2010·2023-10-18 07:56

Hive读取Flume正在写入的HDFS

Hive的表创建为外部分区表，例如：USEmydb;CREATEEXTERNALTABLEmytable(c1String,c2INT,c3INT,create_timeString)PARTITIONEDBY(dtSTRING)ROWFORMATDELIMITEDFIELDSTERMINATEDBY'|||';然后创建分区，如：ALTERTABLEmytableADDPARTITION(dt='
liyonghui123·2023-10-18 07:26

springboot和flink 大数据实时写入hdfs

一：flink官网API:https://nightlies.apache.org/flink/flink-docs-release-1.13/zh/docs/connectors/datastream/streamfile_sink///文件滚动策略RollingPolicyrollingPolicy=DefaultRollingPolicy.builder().withMaxPartSize(
bigdata_czq·2023-10-18 07:25

2.2 如何使用FlinkSQL读取&写入到文件系统(HDFS\Local\Hive)

5.2滚动策略、文件合并、分区提交5.3指定SinkParallelism6、示例_通过FlinkSQL读取kafka在写入hive表6.1、创建kafkasource表用于读取kafka6.2、创建hdfssink
广阔天地大有可为·2023-10-18 07:54

栈实现深度优先搜索

引言之前刚学DFS的时候并不完全理解为什么递归可以一直往下做，后来直到了递归的本质是栈，就想着能不能手写栈来代替递归呢。
想七想八不如11408·2023-10-18 04:11

Hive 系列 - DML数据操作

overwrite]intotablestudent[partition(partcol1=val1,…)];（1）loaddata:表示加载数据（2）local:表示从本地加载数据到hive表；否则从HDFS
Rex_2013·2023-10-18 03:16

P3067 Balanced Cow Subsets G(折半搜索

vector;usingll=longlong;usingPII=pair;constintmod=998244353;unordered_mapmp;intn;inta[30];VIres;voiddfs1
stay fool·2023-10-18 02:01

【LeetCode刷题笔记】46.全排列

示例：输入：nums=[1,2,3]输出：[[1,2,3],[1,3,2],[2,1,3],[2,3,1],[3,1,2],[3,2,1]]回溯+DFS依旧是一道经典的回溯题目，具体过程就不在这里详解了
C-Liueasymoney·2023-10-18 02:47

一百九十、Hive——Hive刷新分区MSCK REPAIR TABLE

原因很简单，就是Hive表缺乏分区的元数据二、实施步骤（一）问题——在Flume采集Kafka中的数据写入HDFS后，如果不刷新表，则没有分区和表数据（二）解决方法——Hive刷新分区MSCKhive&
天地风雷水火山泽·2023-10-18 01:46

全排列的代码

#include#includeusingnamespacestd;constintN=15;inta[N],n;bitsetbis;voiddfs(intstep){if(step==n+1){for
路栖法504·2023-10-18 00:15

回溯算法 一个公式就够了

子集II3.组合4.组合总和5.组合总和II6.全排列7.全排列II8.字符串的全排列9.字母大小写全排列两个万能模板方法一相对顺序不变从左往右走start控制层数vector>vv;vectorv;dfs
着逝者为涵·2023-10-18 00:12
上一页 97 98 99 100 101 102 103 104 下一页
按字母分类： ABCDEFGHIJKLMNOPQRSTUVWXYZ其他