E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式集群
Spark高并发写Redis方案
需求利用Spark
分布式集群
强悍能力,实现高QPS写入Redis能力,QPS在一定范围内支持线性扩展。注意解决RedisPool不能序列化问题。
Only you, only you!
·
2024-01-01 21:54
大数据基础知识
redis
spark
Zookeeper-Zookeeper应用场景实战(二)
在
分布式集群
工作的开发场景中,就需要一种更加高级的锁机制来处理跨机器的进程之间的数据同步问题,这种跨机器的锁就是分布式锁。目前分布式锁,比较成熟、主流的方案:(1)基于数据库的分布式锁。这种方案使用数
长情知热爱
·
2024-01-01 10:33
zookeeper
分布式
云原生
Java中利用Redis,ZooKeeper,数据库等实现分布式锁(遥遥领先)
但是当我们的应用是在
分布式集群
工作的情况下,那么就需要一种更加高级的锁机制,来处理种跨机器的进程之间的数据同步问题,这就是分布式锁。分布式锁,是控制分布式系统之间同步访问共享资源的一种方式。
岛森年
·
2024-01-01 06:45
JAVA
分布式
java-zookeeper
java
redis
redis安装部署启动
(最多使用)
分布式集群
架构中的session分离。聊天室的在线好友列
Guff_hys
·
2023-12-31 18:18
redis
数据库
缓存
大数据
spark
后端
分布式
TimescaleDB
分布式集群
搭建
Multi-nodeTimescaleDBallowsyoutotieseveraldatabasestogetherintoalogicaldistributeddatabasetocombinetheprocessingpowerofmanyphysicalPostgreSQLinstances.Oneofthedatabasesexistsonanaccessnodeandstoresmet
pigcoffee
·
2023-12-31 09:15
分布式
postgresql
consul知识梳理与环境搭建
在没有服务治理的
分布式集群
中,各个服务之间通过手工或者配置的方式进行服务关系管理,遇到服务关系变化或者增加服务的时候,人肉配置极其麻烦且容易出错。
weixin_38325846
·
2023-12-31 05:13
微服务注册中心
consul知识梳理与环境搭建
分布式集群
MinIo搭建
关于
分布式集群
MinIo单机Minio服务存在单点故障,如果是一个有N块硬盘的分布式Minio,只要有N/2硬盘在线,数据就是安全的、可读的。不过需要至少有N/2+1个硬盘在线,才能创建新的对象。
屌丝的程序员
·
2023-12-30 21:37
minio
minio集群
minio集群搭建
Spark在不同集群中的运行架构
部署在单台机器上时,既可以用本地(Local)模式运行,也可以使用伪分布式模式来运行;当以
分布式集群
部署的时候,可以根据自己集群的实际情况选择Standalone模式(Spark自带的模式)、YARN-Client
姚兴泉
·
2023-12-30 13:54
K8s-安全机制
Authentication)3、鉴权(Authorization)4、准入控制(AdmissionControl)5、实践:创建一个用户只能管理指定的命名空间1、//机制说明Kubernetes作为一个
分布式集群
的管理工具
曦雨天梦
·
2023-12-30 11:38
安全
云原生|对象存储|minio
分布式集群
的搭建和初步使用(可用于生产)
前言:minio作为轻量级的对象存储服务安装还是比较简单的,但
分布式集群
可以大大提高存储的安全性,可靠性。
晚风_END
·
2023-12-30 09:28
云原生
分布式
全文检索
大数据
linux
wpf
Hadoop开发环境搭建
文章目录第1关:配置开发环境-JavaJDK的配置第2关:配置开发环境-Hadoop安装与伪
分布式集群
搭建hadoop-env.sh配置yarn-env.sh配置core-site.xml配置hdfs-site.xml
柔雾
·
2023-12-30 09:42
hadoop
大数据
分布式
Hadoop
分布式集群
搭建(三台虚拟机)
一.准备工作搭建好VMwareWorkstationPro(我这里装的版本是16)二.新建虚拟机hadoop01搭建hadoop集群需要三台虚拟机1.新建虚拟机——>自定义(高级)2.不用改动,点击下一步3.映像文件稍后再加入4.选择Linux——>CentOS764位5.可以在存放虚拟机的文件内新建一个文件夹,专门放hadoop集群需要的虚拟机(有三个)6.处理器数量设置一个就好7.内存不够的选
# Ling
·
2023-12-30 07:00
hadoop
大数据
分布式
CentOS系统部署Hadoop完全
分布式集群
查看当前使用的CentOS版本及JDK、Hadoop版本,结果如下截图:Hadoop全分布部署与伪分布的单机部分完全相同,唯有hadoop的文件配置略有不同,本文建立在伪分布部署的基础上重新修改配置文件,伪分布部署可见文档博文CentOS系统部署Hadoop伪分布模一、配置主节点master前提:有已建好的单机环境,或伪分布环境也可1、修改主机名[root@cMasterhadoop]#vim/e
ScriptFlying
·
2023-12-30 07:28
Hadoop平台
基于vmware workstations 10 、centos6.4和hadoop-2.7.1的hadoop完全
分布式集群
的开发环境搭建
1.准备安装包环境:win1064位Vmware10Centos6.4jdk-7u80-linux-x64.rpmHadoop-2.7.1.tar.gzEclipse-java-neon-R-linux-gtk-x86_64.tar.gzHadoop-eclipse-plugin-2.7.1.jar2.安装vmwareworkstations,新建虚拟机master,一路enter3.安装jdk3
ronaldo4511
·
2023-12-30 07:57
大数据
hadoop集群配置
三台CentOS7.6虚拟机搭建Hadoop完全
分布式集群
(三)
这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全
分布式集群
的案例,已成功搭建完全
分布式集群
,并测试跑实例。
666-LBJ-666
·
2023-12-30 07:56
大数据
分布式
hadoop
大数据
CentOS 7.6搭建Hadoop2.9.2完全
分布式集群
,狠详细!
一、概述本文基于宿主机Win10笔记本(8G+256固态,连接无线wifi)+三台虚拟机进行搭建。以下为搭建的详细过程,接近于现场直播Live。二、软件环境准备使用到具体软件及版本如下:虚拟机VMwareVMware-workstation-full-12.5.7-5813279.exe下载地址https://my.vmware.com/web/vmware/details?productId=5
cichu1740
·
2023-12-30 07:26
大数据
java
运维
三台CentOS7.6虚拟机搭建Hadoop完全
分布式集群
(二)
这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全
分布式集群
的案例,已成功搭建完全
分布式集群
,并测试跑实例。
666-LBJ-666
·
2023-12-30 07:54
大数据
分布式
hadoop
大数据
Zookeeper-Zookeeper特性与节点数据类型详解
1.Zookeeper介绍ZooKeeper是一个开源的分布式协调框架,是ApacheHadoop的一个子项目,主要用来解决
分布式集群
中应用系统的一致性问题。
长情知热爱
·
2023-12-29 03:57
zookeeper
分布式
云原生
三台CentOS7.6虚拟机搭建Hadoop完全
分布式集群
(一)
这个是笔者大学时期的大数据课程使用三台CentOS7.6虚拟机搭建完全
分布式集群
的案例,已成功搭建完全
分布式集群
,并测试跑实例。
666-LBJ-666
·
2023-12-28 18:55
大数据
分布式
hadoop
大数据
腾讯大佬:分享百亿级请求高可用Redis
分布式集群
实践
腾讯大佬:分享百亿级请求高可用Redis
分布式集群
实践一、Redis有哪些常用的应用场景腾讯大佬:分享百亿级请求高可用Redis
分布式集群
实践二、Redis选型思考时延时延=后端发起请求db(用户态拷贝请求到内核态
勤奋的码农
·
2023-12-28 07:23
2020重新出发,NOSQL,MongoDB是什么?
MongoDB是最流行的NoSQL数据库之一,原生支持
分布式集群
架构,特别适合处理大数据,阿里巴巴、腾讯、头条、Twitter、Google、Facebook等一线互联网公司都在使用MongoDB数据库
夜雨流云
·
2023-12-28 03:54
【头歌实训】Spark 完全分布式的安装和部署
文章目录第1关:Standalone
分布式集群
搭建任务描述相关知识课程视频Spark分布式安装模式示例集群信息配置免密登录准备Spark安装包配置环境变量修改spark-env.sh配置文件修改slaves
撕得失败的标签
·
2023-12-27 20:56
【头歌实训】
分布式
spark
大数据
头歌实训
【头歌实训】Spark 完全分布式的安装和部署(新)
文章目录第1关:Standalone
分布式集群
搭建任务描述相关知识课程视频Spark分布式安装模式主机映射免密登录准备Spark安装包配置环境变量修改spark-env.sh配置文件修改slaves文件分发安装包启动
撕得失败的标签
·
2023-12-27 20:56
【头歌实训】
分布式
spark
wpf
头歌实训
数据结构与算法面试分享(二十二):一致性Hash算法
目录一致性Hash算法引入一致性Hash算法简介一致性Hash算法Hash环删除节点增加节点不平衡的问题虚拟节点一致性Hash算法引入在
分布式集群
中,对机器的添加删除,或者机器故障后自动脱离集群这些操作是
分布式集群
管理最基本的功能
之乎者也·
·
2023-12-27 11:32
数据结构与算法
算法
面试
哈希算法
Zookeeper特性与节点数据类型详解
Zookeeper数据结构3.1节点分类3.2监听机制3.3节点特性3.4应用场景1.初识ZookeeperZooKeeper是一个开源的分布式协调框架,是ApacheHadoop的一个子项目,主要用来解决
分布式集群
中应用系统的一致性问题
瑜伽娃娃
·
2023-12-27 07:01
Zookeeper
zookeeper
linux
分布式
docker学习:docker部署dolphinscheduler1.3.9伪
分布式集群
环境准备二、构建镜像(一)、dolphinscheduler镜像(二)、mysql镜像(直接拉取)(三)、zookeeper镜像(直接拉取)三、容器编排一、环境准备dolphinscheduler1.3.9伪
分布式集群
我爱夜来香A
·
2023-12-25 22:13
docker
docker
学习
分布式
微服务(五)——分布式链路追踪(Sleuth(跟踪原理、实践))、SpringCloudAlibaba(Nacos (注册 / 配置中心))、Sentinel (限流工具(配置文件手动配置流控规则))
配置中心))、SpringCloudSentinel(限流工具(通过配置文件手动配置流控规则))分布式链路追踪一、SpringCloudSleuth1、引言和介绍当代的互联网的服务,通常都是用复杂的、大规模
分布式集群
来实现的
sp_snowflake
·
2023-12-24 14:39
SpringCloud
微服务
Java
微服务
Alibaba
Sleuth
Nacos
Sentinel
利用 log-pilot + elasticsearch + kibana 搭建 kubernetes 日志解决方案
开发者在面对kubernetes
分布式集群
下的日志需求时,常常会感到头疼,既有容器自身特性的原因,也有现有日志采集工具的桎梏,主要包括:容器本身特性:采集目标多:容器本身的特性导致采集目标多,需要采集容器内日志
weixin_30725467
·
2023-12-24 09:19
大数据
java
运维
安全认证【八】
文章目录8.安全认证8.1访问控制概述8.2认证管理8.3授权管理8.4准入控制8.安全认证8.1访问控制概述Kubernetes作为一个
分布式集群
的管理工具,保证集群的安全性是其一个重要的任务。
阿干tkl
·
2023-12-24 08:32
kubernetes
kubernetes
【zookeeper特点】
文章目录1.Zookeeper介绍2、ZooKeeper数据结构1.Zookeeper介绍ZooKeeper是一个开源的分布式协调框架,是ApacheHadoop的一个子项目,主要用来解决
分布式集群
中应用系统的一致性问题
向前再向前
·
2023-12-24 06:33
zookeeper
【kafka】在linux中安装并简单部署使用
文章目录简介优势消息模型JMS规范AMQP模型基本概念Topic主题Partition分区偏移量Record消息记录副本Broker消息代理下载本地伪分布式安装配置启动伪
分布式集群
创建主题消费者生产者简介分布式流处理平台
古枫桐
·
2023-12-24 05:35
linux
kafka
linux
Kubectl 部署无状态应用
如果K8S停止
分布式集群
中任一实例pod,就
云原生实战指南
·
2023-12-23 11:30
运维
kubernetes
云原生
kubernetes
MongoDB中的
分布式集群
架构
MongoDB中的
分布式集群
架构前言前面我们了解了MongoDB中的索引,事务,锁等知识点。
液态不合群
·
2023-12-21 06:49
mongodb
分布式
架构
spark课程大纲
Spark环境搭建CentosSpark单机版伪分布式模式Spark单机版intelij开发(maven)Spark完全
分布式集群
搭建Sparkhistoryserver配置使用二种方法实现Spark计算
数据萌新
·
2023-12-20 22:26
Kafka为什么能高效读写数据
1)Kafka本身是
分布式集群
,可以采用分区技术,并行度高(生产消费方并行度高);2)读数据采用稀疏索引,可以快速定位要消费的数据;3)顺序写磁盘;Kafka的producer生产数据,要写入到log文件中
zmx_messi
·
2023-12-20 22:12
kafka
分布式
8. 安全认证
8.安全认证文章目录8.安全认证8.1访问控制概述8.2认证管理8.3授权管理8.4准入控制8.1访问控制概述Kubernetes作为一个
分布式集群
的管理工具,保证集群的安全性是其一个重要的任务。
王酒懵子
·
2023-12-20 12:17
安全
k8s
Zookeeper-快速开始
Zookeeper介绍简介:ZooKeeper是一个开源的分布式协调框架,是ApacheHadoop的一个子项目,主要用来解决
分布式集群
中应用系统的一致性问题。
有梦想的年轻人6174
·
2023-12-20 09:04
zookeeper
java
Hadoop伪
分布式集群
安装
最小的环境,至少要具有一台Linux服务器吧,部署一个最简单的单节点环境,我们可以来部署一个伪
分布式集群
。1.软硬件系统准备所谓伪
分布式集群
,就是在一台Linux服务器上部署一个Hadoop集群,
鬓戈
·
2023-12-19 22:28
大数据
分布式
hadoop
大数据
《密集环境下编队飞行的
分布式集群
轨迹优化》论文解读一
1.摘要本文的主要创新点在于提出了一个可微度量,可用于量化编队队形之间的相似性,该度量公式可以被引入决策规划的经典范式(优化框架),并利用多项式进行时空联合规划。同时这个框架能够平衡好避障与编队队形保持两个重要问题。英文中文aerialswarms空中机器人集群prescribedformation规定队形however,theassociateXXXlackthecapabilityof然而相关
无意2121
·
2023-12-19 01:04
无人系统群体智能论文解读
算法
机器人
自动驾驶
无人机
《密集环境下编队飞行的
分布式集群
轨迹优化》论文解读二
目录1.时空轨迹表示2.OptimizationProblemFormulation2.1controleffort2.2totaltime2.3obstacleavoidance2.4swarmformationsimilarity2.5swarmreciprocalavoidance本文解析的论文为高飞老师的DistributedSwarmTrajectoryOptimizationforFo
无意2121
·
2023-12-19 01:29
无人系统群体智能论文解读
分布式
算法
机器人
ceph的整体架构
1.ceph集群简介1.集群简介ceph是
分布式集群
:1>软件定义存储(sds)sds是减少存储基础设施的tcd(总体成本)所需要的。
TomNewChao
·
2023-12-18 15:42
ceph
ceph
架构
服务器
Spark课程大纲
Spark环境搭建CentosSpark单机版伪分布式模式Spark单机版intelij开发(maven)Spark完全
分布式集群
搭建Sparkhistoryserver配置使用二种方法实现Spark计算
小猪Harry
·
2023-12-17 19:11
Spark 的“血液” --Spark RPC(一)简述
SparkRPC可以说是Spark
分布式集群
的基础,若是将Spark类比为一个人的话,SparkRPC就是这个人的血液部分。有
大数据_zzzzMing
·
2023-12-16 18:46
lnmp mysql主从_LNMP
分布式集群
(三):MySQL主从数据库服务器的搭建
前言LNMP
分布式集群
的部署实践系列文章:回顾一下基本的架构:这一篇我们部署7、8号机,MySQL数据库服务器。
Rainfall若
·
2023-12-16 17:22
lnmp
mysql主从
linux lnmp
分布式集群
,LNMP
分布式集群
(六):keepalived 高可用方案
前言LNMP
分布式集群
的部署实践系列文章:衡量一个集群的高可用性在于没有单点故障,即其中任何一台服务器宕机都不会造成整个服务中断。
Cristalsil苏
·
2023-12-16 17:22
linux
lnmp分布式集群
zookeeper伪
分布式集群
环境搭建
伪
分布式集群
就是在一台机器部署多个zk应用,部署之前服务器需要有jdk环境java-version可以显示相关java信息才可以进行zookeeper搭建,本文是基于macOs搭建,原文地址下载下载之后解压
ajajaj
·
2023-12-16 00:19
elk7.10.2安装(vm版)
elk7.10.2
分布式集群
安装(centos7)ELK安装主机规划192.168.31.101cancer01esmaster/esdatanode/logstash192.168.31.102cancer02esmaster
leveretz
·
2023-12-14 22:46
大数据
elk7
Zookeeper系统性学习-应用场景以及单机、集群安装
在解决分布式数据一致性方面,ZooKeeper并没有直接采用Paxos算法,而是采用了名为ZAB的一致性协议ZooKeeper主要用来解决
分布式集群
中应用系统的一致性问题,它能提供基于类似于文件系统的目录节点树方式的数据存储
无敌少年小旋风
·
2023-12-14 12:05
Zookeeper
zookeeper
学习
分布式
Mysql
分布式集群
部署---MySQL集群Cluster将数据分成多个片段,每个片段存储在不同的服务器上
1.1目的部署MysqlCluster集群环境1.2MySQL集群Cluster原理1数据分片MySQL集群Cluster将数据分成多个片段,每个片段存储在不同的服务器上。这样可以将数据负载分散到多个服务器上,提高系统的性能和可扩展性。2.数据同步MySQL集群Cluster使用多个服务器来存储数据,因此需要确保数据在不同的服务器之间同步。MySQL集群Cluster使用多种同步机制,如异步复制、
qq_14910065
·
2023-12-06 09:41
linux
mysql
服务器
数据库
Kubernetes(K8s)安全认证-10
安全认证访问控制概述Kubernetes作为一个
分布式集群
的管理工具,保证集群的安全性是其一个重要的任务。所谓的安全性其实就是保证对Kubernetes的各种客户端进行认证和鉴权操作。
渣渣龙_拽得很
·
2023-12-06 09:53
Kubernetes(K8s)
kubernetes
安全
容器
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他