E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式集群
Hadoop伪
分布式集群
搭建
一、切换到root用户su-root二、关闭selinux:vim/etc/selinux/configSELINUX=disabled三、切换到hadoop用户,配置免密登陆。cd进入hadoop用户的家目录ssh-keygen-trsa[输入完后连按4个回车]sshnode100[yes,输入hadoop用户的密码]ssh-copy-idnode100[输入hadoop用户的密码]四、解压安装
皮卡丘要进化
·
2023-11-21 02:13
redission的缺点
Redission锁可设置等待获取锁时间,redission具有看门狗机制Redisson基于redis实现了Lock接口的
分布式集群
锁,是可重入锁,功能强大,源码复杂,比redis单机模式分布式锁可靠
小甄笔记
·
2023-11-20 23:45
redis
hive01--hive的安装及配置
如果hadoop没有安装的请参考:hadoop01--Hadoop伪
分布式集群
搭建_码到成龚的博客-CSDN博客hive不像hadoop,Kafka,zookeeper那样需要搭建集群,我们只需要在两个安装即可
码到成龚
·
2023-11-20 20:58
Hadoop
hive
hadoop
大数据
mysql
docker-compose一键实现本机minio
分布式集群
部署,并实现traekfix的代理
docker-compose快速实现本机minio
分布式集群
部署,并使用traefik代理暴露统一api端口条件安装Docker:在使用DockerCompose之前,需要先安装Docker。
Xian-dayandnight
·
2023-11-20 15:22
docker
分布式
容器
HDFS完全
分布式集群
搭建与配置及常见问题总结
思路:1.准备3台虚拟机(静态IP,IP映射,主机名称,防火墙关闭,普通用户创建等等)2.安装JDK,配置环境变量3.安装Hadoop,配置环境变量4.配置免密登录5.编写同步脚本,配置集群(前三步已完成)搭建集群步骤1.首先要关闭防火墙systemctlstopfirewalldsystemctldisablefirewalldsystemctlstatusfirewalld2.还要关闭SELi
HUNG4050
·
2023-11-20 12:03
分布式
hdfs
java
hadoop
*HDFS完全
分布式集群
搭建与配置及常见问题总结*
小组介绍:哈喽大家好!我们是---哈了个Doop小组,接下来为大家做一下小组介绍。一共有六个成员。主要特点是由一名男生和五名女生组成,又称为“一汉娘子组”,由无所不能且帅气的文组长带领。成员有:优秀的诺同学和芝同学、有创意的灵同学、两位颜值担当的杰同学和张同学。组员介绍已完毕。使用电脑时很多朋友会发现一台计算机虽然可以安装多个操作系统,但是对电脑的硬件有着极大的要求,而虚拟机的出现则完美的解决了这
哈了个Doop
·
2023-11-20 12:26
hadoop
hdfs
大数据
三十分钟学会zookeeper
zookeeper一、前提知识集群与
分布式集群
:将一个任务部署在多个服务器,每个服务器都能独立完成该任务。
地球魔
·
2023-11-20 07:59
zookeeper
分布式
云原生
zookeeper基础教程
一、关于zookeeperZookeeper作为一个分布式的服务框架,主要用来解决
分布式集群
中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储,Zookeeper作用主要是用来维护和监控存储的数据的状态变化
weixin_30475039
·
2023-11-20 03:10
大数据
java
Python大数据之linux学习总结——day11_ZooKeeper
本质上是一个分布式的小文件存储系统ZooKeeper作用:主要用来解决
分布式集群
中应用系统的一致性问题。ZooKeeper结构:采用树形层次结构,ZooKeeper树中的每个节点被称为—Znode。
笨小孩124
·
2023-11-19 20:50
ZooKeeper
学习总结
python
大数据
linux
大数据基础设施Apache Hadoop简介
一、项目起源在数据量很大的情况下,单机的处理能力无法胜任,必须采用
分布式集群
的方式进行处理,而用
分布式集群
的方式处理数据,实现的复杂度呈级数增加。
chenhjia
·
2023-11-19 10:10
大数据
mapreduce
hadoop
hdfs
yarn
2023.11.18 - hadoop之zookeeper分布式协调服务
本质上是一个分布式的小文件存储系统ZooKeeper作用:主要用来解决
分布式集群
中应用系统的一致性问题。
白白的wj
·
2023-11-19 08:41
hadoop
zookeeper
大数据
分布式
sql
数据仓库
hive
服务搭建篇(六) 搭建基于Kafka + Zookeeper的集群
一.Zookeeper1.什么是ZookeeperZooKeeper是一个开源的分布式协调框架,是ApacheHadoop的一个子项目,主要用来解决
分布式集群
中应用系统的一致性问题。
lingering fear
·
2023-11-18 20:32
kafka
java-zookeeper
zookeeper
springcloud netty-webSocket
分布式集群
方案
1.启动多个netty-websocket服务,端口不一样,通过gateway或nginx做负载均衡配置权重,经测试客户端连接一个节点后,会固定锁定在一个节点,后续操作不会再负载均衡到其他节点上2.消息通过MQ发布订阅模式发送到每个节点,然后推送给客户端3.每个节点的session不能通过redis共享,这个思路不可行4.要改大linux的最大文件打开数上限,默认是10245.因为是根据ip加端口
lqz1993
·
2023-11-17 14:31
websocket
spring
cloud
分布式
Ray 分布式简单教程(1)
Ray主要作用就是提供一个调度平台,能够将各个
分布式集群
以及远程云端的服务器资源调度管理,只需稍加改动,就能将单机运行的代码部署到大规模集群上。
求则得之,舍则失之
·
2023-11-17 06:06
分布式
分布式
大数据
分布式集群
搭建(5)
下面我们来操作大数据中的重头戏Hadoop1.HADOOP背景介绍1.1什么是HADOOP1.HADOOP是apache旗下的一套开源软件平台2.HADOOP提供的功能:利用服务器集群,根据用户的自定义业务逻辑,对海量数据进行分布式处理3.HADOOP的核心组件有A.HDFS(分布式文件系统)B.YARN(运算资源调度系统)C.MAPREDUCE(分布式运算编程框架)4.广义上来说,HADOOP通
KongX_B
·
2023-11-17 03:25
大数据
大数据
hadoop
分布式
集群
Linux学习_006_JavaEE 程序员常用 linux 命令整理
JavaEE:后台应用都会涉及到linux系统、应用程序的部署、运维、
分布式集群
、大数据、云计算、…虚拟机:虚拟出来的计算机(Linux、Windows、MacOS)虚拟机软件:用来产生虚拟机的一个软件
黑泽君
·
2023-11-16 21:25
Linux
JavaEE
Redis分布式锁实现及其Redis性能优化
在
分布式集群
环境下,我们就需要使用分布式锁来解决数据一致性问题。分布式锁可以用Redis或zookeeper。本节我们介绍的Redis的分布式锁实现。
秋忆侬sonny
·
2023-11-16 04:02
分布式
redis
分布式
性能优化
Zookeeper安装部署
主要用来解决
分布式集群
中应用系统的一致性问题。ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。
一个天蝎座 白勺 程序猿
·
2023-11-15 21:32
zookeeper
腾讯云部署docker-compose minio
分布式集群
部署
先看效果图腾讯云部署先开放端口:190001900190009001大概的目录是这样:先创建好目录docker-compose.yam:#指定的docker-compos的版本,这个需要和docker版本相适配,对应关系参考https://docs.docker.com/compose/compose-file/compose-file-v3/version:‘3.8’Settingsandcon
qq_32617639
·
2023-11-15 17:36
java
docker
搭建Hadoop伪
分布式集群
【实验内容】1.构建Linux系统环境,在Windows系统上安装Linux虚拟机,建议电脑比较新或者配置内存8G以上的电脑可以选择虚拟机安装。2.在Linux环境下完成伪分布式环境的搭建,并运行Hadoop自带的WordCount实例检测是否运行正常。【实验目的】1.掌握Linux虚拟机安装方法。Hadoop在Linux操作系统上运行可以发挥最佳性能,鉴于目前很多学生可能正在使用Windows操
m0_58540923
·
2023-11-15 05:13
分布式
hadoop
大数据
大数据技术栈-Hadoop3.3.4-完全
分布式集群
搭建部署-centos7(完全超详细-小白注释版)虚拟机安装+平台部署
目录环境条件:1、安装虚拟机(已安装好虚拟机的可跳转至二、安装JDK与Hadoop)(1)直接新建一台虚拟机(2)首次启用虚拟机,进行安装一、集群前置环境搭建(三台机器分别设置hostname、网卡(ip)配置、ssh免密登录)1、查看一下本机与虚拟机的网卡和ip信息(1)首先,查看本机的网卡配置,使用cmd查看ipconfg,找到VMware的虚拟网卡,查看ip(2)查看虚拟机的网卡配置和网络信
Hao.715
·
2023-11-15 05:43
大数据技术栈
大数据
分布式
java
hadoop
运维
Hadoop完全分布式安装
Hadoop完全分布式安装前言之前有搭建过一次Hadoop完全
分布式集群
但是没有记录,最近开始着手自己搭个模拟数仓需要搭建集群,趁此机会记录一下搭建的过程。
薇安娜
·
2023-11-15 05:43
Hadoop
hadoop
大数据
Centos7搭建hadoop3.3.4
分布式集群
1、背景最近在学习hadoop,本文记录一下,怎样在Centos7系统上搭建一个3个节点的hadoop集群。2、集群规划hadoop集群是由2个集群构成的,分别是hdfs集群和yarn集群。2个集群都是主从结构。2.1hdfs集群规划ip地址主机名部署服务192.168.121.140hadoop01NameNode,DataNode,JobHistoryServer192.168.121.141
JAVA序码
·
2023-11-15 04:10
java
k8s实践
k8s作为
分布式集群
部署方案,是一个主流的部署方案。
shlhhy
·
2023-11-14 13:31
kubernetes
容器
云原生
【redis一】基础入门知识
Redis应用场景:缓存任务队列网站访问统计数据过期处理应用排行榜
分布式集群
架构中的session分离二、Redis安装网上教程很多,我手里正好有一个树莓派,
阿提艾斯
·
2023-11-14 08:55
数据库
redis
ceph
分布式集群
节点下线
环境node110.0.40.133master节点&&ceph节点node210.0.40.134ceph节点node310.0.40.135ceph节点node410.0.40.136下线节点在这里插入图片描述一、在master节点停止node4进程,并卸载node4的ceph[root@node1ceph]#ceph-deploypurgenode4[root@node1ceph]#ceph
人生匆匆
·
2023-11-14 05:36
ceph
hadoop完全
分布式集群
搭建(超详细)-大数据集群搭建
hadoop完全
分布式集群
搭建本次搭建完全
分布式集群
用到的环境有:jdk1.8.0hadoop-2.7.7本次搭建集群所需环境也给大家准备了,下载链接地址:https://share.weiyun.com
beixi@
·
2023-11-12 21:56
大数据技术学习
hadoop
大数据
分布式
hdfs
关于微服务下的负载均衡
1.什么是负载均衡在高并发的访问下,单一服务器性能不足以满足正常需求,我们往往会引入
分布式集群
服务器来提高服务质量,提高网站整体性能。那么,这时一个请求到这个服务,就需要确定访问哪一个服务器。
Leon_coding
·
2023-11-11 12:27
springcloud
负载均衡
数据库
服务器
Zookeeper经典应用场景实战(二)
在
分布式集群
工作的开发场景中,就需要一种更加高级的锁机制来处理跨机器的进程之间的数据同步问题,这种跨机器的锁就是分布式锁。目前分布式锁,比较成熟、主流的方案:(1)基于数据库的分布式锁。这种方案使用数
will.tsang
·
2023-11-11 05:31
zookeeper
分布式
云原生
LiveMedia视频监控汇聚管理平台方案(三)
图1流媒体转发框架平台流媒体转发框架如图1流媒体转发框架所示,流媒体也采用
分布式集群
服务模式,用户观看视频和上级平台获取视频的连接会根据会动态分配至负载压力最小的流媒体服务上,确保在同样的服务资源情
hzhouhangkeji
·
2023-11-10 12:52
视频中间件
音视频
中间件
Zookeeper特性与节点数据类型详解
1.Zookeeper介绍ZooKeeper是一个开源的分布式协调框架,是ApacheHadoop的一个子项目,主要用来解决
分布式集群
中应用系统的一致性问题。
will.tsang
·
2023-11-09 09:50
zookeeper
分布式
云原生
Elasticsearch集群,java操作es
Elasticsearch客户端java代码取操作ES有三种方式1、es提供的原生的操作方式在es8.0后会移除2、es提供的rest风格的操作方式3、SpringDataElasticSearch的方式第一章集群和
分布式集群
和分布式的概念有联系也有区别
Mr.YHL
·
2023-11-08 23:40
分布式
大数据
数据库
elasticsearch
java
分布式集群
下WebSocket Session共享解决方案
接上一篇SpringBoot集成WebSocket进行消息主动推送
分布式集群
下WebSocketSession共享解决方案在实现中需要解决的类变量有两个privatestaticAtomicIntegeronline
bug–0/1
·
2023-11-07 21:01
分布式
websocket
网络协议
Hadoop-3.3.6完全
分布式集群
搭建
目录1.克隆两台虚拟机,作为从机使用2.从机ip设置3.Xshell连接5.配置环境变量6.配置hadoop-env.sh文件及其他重要文件7.分发文件8.启动hadoop集群并测试9.访问web界面10.运行官方案例1.克隆两台虚拟机,作为从机使用右击创建好的虚拟机hadoopbase,选择管理-克隆-点击下一步-虚拟机中的当前状态-下一步-创建完整克隆-下一步-设置克隆机名称,安装位置-完成。
-ikL1122
·
2023-11-07 11:04
分布式
hadoop
大数据
5 使用 RocketMQ Binder 完成 Spring Cloud 应用消息的订阅和发布。
RocketMQ是一款开源的分布式消息系统,基于高可用
分布式集群
技术,提供低延时的,高可靠的消息发布与订阅服务。
滔滔逐浪
·
2023-11-07 09:29
SpringBoot整合Redis实现分布式缓存及锁的实战分享
在当前流行的微服务以及
分布式集群
环境下,Redis的使用场景可以说非常的广泛,能解决集群环境下系统中遇到的不少技术问题,在此列举几个使用redis经常用到的功能!
Linux小百科
·
2023-11-07 02:01
spring
boot
redis
缓存
spark课程大纲
Spark环境搭建CentosSpark单机版伪分布式模式Spark单机版intelij开发(maven)Spark完全
分布式集群
搭建Sparkhistoryserver配置使用二种方法实现Spark计算
张明洋_4b13
·
2023-11-06 15:41
hadoop集群安装_已搭建好_可直接使用
已经搭建好的三台hadoop集群,下载可直接使用的hadoop完全
分布式集群
,环境搭建、集群配置已完成。
hys_guff
·
2023-11-06 05:15
大数据开发学习
hadoop
java
linux
大数据
分布式
python
hdfs
mysql哨兵模式,Redis集群之主从集群模式(哨兵模式Sentinel)
前言Redis集群模式主要有2种:主从集群
分布式集群
。前者主要是为了高可用或是读写分离,后者为了更好的存储数据,负载均衡。本文主要讲解主从集群。
KdbReboot
·
2023-11-05 23:29
mysql哨兵模式
高并发系统设计
高并发系统通用设计方法Scala-out横向扩展,分散流量,
分布式集群
部署缺点:引入复杂度,节点之间状态维护,节点扩展(上下线)Scala-up提升单机性能,比如增加内存,增加CPU核数缺点:有上限,不能无限扩展缓存略异步同步调用代表调用方要阻塞等待被调用方法中的逻辑执行完成
麻烦把可乐递给我
·
2023-11-05 23:50
高并发
系统设计
三高架构
hadoop完全
分布式集群
搭建步骤
观看此文档的基础为已经在VMWareWorkStationPro里面安装好了一台centOS7.最好是最小安装版本的.(最好在磁盘预留30G左右空间用于安装三台虚拟机)在这里插入图片描述先确认虚拟机是否可以联网pingwww.baidu.com(正常安装后可以联网)如图所示可以联网,然后可以ctrl+c停掉安装网络工具:yuminstallnet-tools(会出现y/n的选项输入yes即可)输入
xxxyyyttt!
·
2023-11-05 23:09
CentOS下Hadoop伪
分布式集群
的搭建(超详细)
1、环境准备jdk1.8下载地址:https://www.oracle.com/java/technologies/downloads/#java8进入官网如下图所示,选择自己合适的安装包下载即可hadoop安装包下载地址:https://hadoop.apache.org/releases.html进入官网如下图所示,选择自己合适的版本下载即可安装ssh服务进入服务器中,输入如下命令,查看是否已
m0_49405757
·
2023-11-05 23:09
hadoop
hadoop
hdfs
big
data
大数据
Lamport Clock算法
假设P0进程是
分布式集群
中心节点中的监控者,用于统一管理分布式系统中事件的顺序。其他进程在发送消息之前和接受事件消息之后都需要告知P0进程,告知的过程是异步的。如图上图,P1需要发生消息给P2。
我要出家当道士
·
2023-11-05 21:32
知识卡片
算法
分布式存储系统
一致性
使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地)
Eclipse中使用Hadoop伪分布模式开发配置及简单程序示例(Linux下)2、使用Hadoop命令行执行jar包详解(生成jar、将文件上传到dfs、执行命令、下载dfs文件至本地)3、Hadoop完全
分布式集群
安装及配置
nana-li
·
2023-11-05 20:20
Hadoop
hadoop
jar包执行
dfs文件上传
dfs文件下载
Kubernetes08-安全认证和DashBoard的部署
1.Kubernetes访问控制1.1访问控制概述Kubernetes作为一个
分布式集群
的管理工具,保证集群的安全性是其一个重要的任务。
华子哥、
·
2023-11-05 08:44
k8s
安全
kubernetes
docker
漫谈
分布式集群
的负载均衡—口水篇
1什么是
分布式集群
为了理解
分布式集群
这个概念,我们先说说这两个概念:“集群”和“分布式”。艺术来源于生活,计算机科学亦是如此。我们先通过例子,来了解一下现实生活中的“集群”和“分布式”。
DemonHunter211
·
2023-11-05 03:48
云计算
漫谈
分布式集群
的负载均衡
1什么是
分布式集群
为了理解
分布式集群
这个概念,我们先说说这两个概念:“集群”和“分布式”。艺术来源于生活,计算机科学亦是如此。我们先通过例子,来了解一下现实生活中的“集群”和“分布式”。
deep_feel
·
2023-11-05 03:46
redis
Tag
java
MINIO
分布式集群
的详细搭建
一、基础环境操作系统:CentOS7.3Minio下载将下载好的minio移动到/opt/minio/文件夹下或者进入到/opt/minio/文件夹下使用下面的命令下载:wgethttps://dl.minio.io/server/minio/release/linux-amd64/minio二、准备工作2.1、机器资源192.168.129.133挂载磁盘路径:/data/minio_data1
lxw1005192401
·
2023-11-04 21:53
大数据
minio集群
吐血整理的Hadoop最全开发指南【完全
分布式集群
部署篇】(开发重点)
个人主页:个人主页推荐专栏:大数据开发成神之路作者简介:一个在读研中创业、工作中学习,能搞全栈、也搞算法、目前在搞大数据的大厂打工人。⭐️关注我,持续分享干货!用实打实的经验来帮你少走弯路⭐️文章目录一、完全分布式运行模式搭建1.1虚拟机集群准备1.2编写集群分发脚本xsync1.3SSH无密登录配置1.4集群配置1.5群起集群1.6配置历史服务器1.7常用端口号说明1.8集群时间同步一、完全分布
陶人超有料
·
2023-11-04 11:26
大数据成神之路
hadoop
分布式
大数据
Redis基础-安装 数据结构 常用命令
更多精彩内容请关注微信公众号:LifeSmile个人网站:www.lifesmile.cnRedis应用场景内存数据库(登录信息、购物车信息、用户浏览记录等)缓存服务器(商品数据、广告数据等等)(最多使用)解决
分布式集群
架构中的
文艺青年学编程
·
2023-11-03 08:43
Redis
Redis
Redis安装
Redis数据结构
Redis命令
Redis入门
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他