E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式集群
基于ElasticSearch存储海量AIS数据-架构设计篇
面向海量AIS数据,提出了一种基于
分布式集群
的AIS数据存储方法。该方法对AIS数据存储索引结构进行了设计,通过对时间维按月切分,以及对空间范围聚类切分,构造了索引时空立方体,
iOS逆向
·
2024-03-15 23:58
数据库技能
elasticsearch
大数据
搜索引擎
docker搭建hadoop hdfs完全
分布式集群
1制作hadoop镜像参见https://www.cnblogs.com/rmxd/p/12051866.html该博客中只参考制作镜像部分,固定IP及启动集群的部分应该跳过。这里注意,在做好的镜像里,要安装which工具,否则在执行hdfs命令时会报命令不存在异常。yuminstallwhich-y2启动容器dockerrun--namehmaster--hostnamehmaster--net
shangcunshanfu
·
2024-02-20 22:08
hadoop
docker
big
data
【9】知识存储
单节点的服务器可承载上亿级的节点和关系,单节点性能不够时也可进行
分布式集群
部署。Neo4j有自己的后端存储,不必如同JanusGraph等一样还要依赖另外的数据库存储。
铁盒薄荷糖
·
2024-02-19 22:06
知识图谱实战6+3天
知识图谱
FastDFS
分布式集群
搭建详解
文章目录前言1、整体架构2、安装配置FastDFS集群2.1配置tracker2.2配置storage3、启动集群4、查看集群情况5、nginx配置5.1配置storage的四台机器的nginx5.2配置tracker的两台机器的nginx5.3配置统一入口前言阅读本文章之前请先看上一篇单机版FastDFS安装配置详解,所以本文有些内容我就一笔带过,传送门:《FastDFS环境搭建及使用详解》1、
程序员大佬超
·
2024-02-19 16:39
FastDFS
分布式
FastDFS
fdfs
文件上传-第三方服务阿里云OSS
也可以建立
分布式集群
,专门的微服务来存储文件常见的技术比如Minio。对于中小型公司,并且上传文件私密性不高的话可以使用第三方的存储服务,比如阿里云、华为云等。
sunyunfei1994
·
2024-02-19 16:54
阿里云
java
阿里云计算平台大数据基础工程技术团队直聘!!!
通过软件工程,数据智能化的方法论,围绕数据系统化建设运维智能工具链,打造飞天大数据&AI运维管控平台ABM,解决超大规模
分布式集群
运维管理问题,提升产品的稳定性
·
2024-02-19 11:20
大数据
分布式缓存上—浅谈缓存的理解
2.2反向代理缓存应用场景2.3本地应用缓存应用场景缓存介质实现1.通过编程实现2.Ehcahe缓存数据过期策略3.分布式缓存3.1Memcached基本介绍特点基本架构缓存数据过期策略数据淘汰内部实现
分布式集群
实现数据存储步骤
ZNineSun
·
2024-02-15 09:39
分布式
缓存
CDN
设计原则
反向代理
过期策略
Hadoop手把手逐级搭建 第二阶段: Hadoop完全分布式(full)
前置步骤:1).第一阶段:Hadoop单机伪分布(single)0.步骤概述1).克隆4台虚拟机2).为完全分布式配置ssh免密3).将hadoop配置修改为完全分布式4).启动完全
分布式集群
5).在完全
分布式集群
上测试
郑大能
·
2024-02-15 04:07
hadoop
分布式集群
安装与原理
对很多人来说,学习大数据都止步于集群搭建,即使是那些工作过很多年的JAVA程序员也不例外,我们分享一套能让您轻松完成集群搭建的方法,包括Hadoop的源码编译、企业级环境安装与配置和常用大数据组件的基本原理,请点击下面连接按笔记顺序进行学习服务器基础环境批量操作多台服务器zookeeper编译hadoop源码高可用(HA)HDFS安装HDFS原理以及常用命令yarn原理以及日常使用
海牛大数据_青牛老师
·
2024-02-13 12:44
如何搭建glusterfs分布式存储系统
目录前言什么是分布式存储分布式存储的优点本章重点glusterfs相关术语glusterfs的逻辑卷类型准备6台测试服务器storage服务器安装glusterfs软件并启动
分布式集群
的结构配置可信池pool
MssGuo
·
2024-02-12 14:55
存储篇
分布式
运维
glusterfs
2018-11-16 hadoop3.1完全分布式部署
Hadoop3.1.0完全
分布式集群
部署,三台服务器部署结构如下github配置文件源码地址Pdsh使用方法http://kumu-linux.github.io/blog/2013/06/19/pdsh
Albert陈凯
·
2024-02-12 08:20
Kubernetes 实战 (二) -- 面向资源的
分布式集群
- 运维舵手
本文所涉及的脚本均来自仓库k-kubernetes-public闻名不如见面--HPAHorizontalPodAutoscaling,水平部署自动化弹性伸缩,即K8s支持根据CPU/内存利用率自动伸缩Pod数量,从而动态调整负载。Yaml配置#无状态服务部署DeploymentapiVersion:apps/v1kind:Deploymentmetadata:name:nginx-hpaspec
coder_kkx
·
2024-02-09 08:00
Kubernetes
实战
kubernetes
运维
分布式
Zookeeper的详细介绍及使用场景
ApacheHadoop的一个子项目,它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等Zookeeper作为一个分布式的服务框架,主要用来解决
分布式集群
中应用系统的一致性问题
Zal哥哥
·
2024-02-08 15:11
Hadoop系统应用之Zookeeper
分布式集群
部署
一、Zoopkeeper安装包下载安装【Zookeeper版本型号为3.4.10】1.下载Zookeeper安装包(地址)https://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/2.上传安装包(SecureCRT&FX)通过软件FX将安装包上传到linux系统的/export/software/目录下3.解压Zookeeper安装包执行
-牧心-
·
2024-02-07 22:31
分布式
hadoop
java-zookeeper
Hadoop | 集群配置(一)使用Shell脚本解决完全
分布式集群
节点之间的文件传输问题 | scp命令 | rsync命令
文章目录参考资料一、前言二、rsync远程同步工具三、使用shell编写分发脚本四、总结参考资料视频链接Linuxscp命令一、前言在Hadoop完全
分布式集群
环境下,里面的各个节点都是通过SSH免密登陆连接的
「已注销」
·
2024-02-07 21:20
#
大数据原理与应用
hadoop
分布式
linux
Flink面试准备
Standlone模式Standlone是Flink自带的一个
分布式集群
,它不依赖其他的资源调度框架、不依赖yarn等。充当Master角色的是JobManager。
大数据左右手
·
2024-02-06 07:25
大数据
面试
Flink
大数据
MongoDB 中的
分布式集群
架构
前言前面我们了解了MongoDB中的索引,事务,锁等知识点。线上使用的MongoDB大部分的场景我们都会考虑使用分布式结构,这里我们来了解一下MongoDB中的分布式架构。粉丝福利,免费领取C/C++开发学习资料包、技术视频/项目代码,1000道大厂面试题,内容包括(C++基础,网络编程,数据库,中间件,后端开发/音视频开发/Qt开发/游戏开发/Linuxn内核等进阶学习资料和最佳学习路线)↓↓↓
程序员老舅
·
2024-02-05 19:22
C++Linux后端
mongodb
分布式
架构
C++服务器开发
C++后端开发
linux
c++
Hadoop3.x单机安装教程
以最小化的成本学习和测试Hadoop;搭建基于Hadoop的上层应用,比如单机Spark环境需要先拥有单机的Hadoop;如果需要搭建
分布式集群
环境的Hadoop环境,请参考另外一篇:Hadoop3.x
文景大大
·
2024-02-05 10:06
Flink1.18.0集成Yarn-session模式部署
上次部署了Hadoop集群Hadoop3.3.6(HDFS、YARN、MapReduce)完全
分布式集群
安装搭建这次集成下flinkYARN上部署的过程是:客户端把Flink应用提交给Yarn的ResourceManager
china-zhz
·
2024-02-04 21:34
flink
yarn
hadoop
大数据
Hadoop3.3.6(HDFS、YARN、MapReduce)完全
分布式集群
安装搭建
目录一、节点部署角色目录二、下载软件三、基础设施1、安装必要插件2、设置IP及主机名3、时间同步4、jdk安装5、ssh免密登录四、Hadoop部署1、目录及环境变量准备2、安装3、修改配置文件4、分发文件5、启动hadoop集群6、集群部署验证一、节点部署角色目录节点ipNNSNNDNRMNMHSnode1192.168.88.11√√node2192.168.88.12√√√√node3192
china-zhz
·
2024-02-04 21:33
hdfs
mapreduce
hadoop
yarn
Docker安装RocketMQ 笔记
RocketMQ架构上主要分为四部分:Producer:消息发布的角色,支持
分布式集群
方式部署。
KEEPMA
·
2024-02-04 04:24
skywalking
笔记
思腾合力受邀参加2023超聚变合作伙伴大会并作主题演讲
思腾合力作为人工智能基础架构解决方案商,面对大规模集群系统的算力需求挑战,推出统一管理的
分布式集群
基础架
STGPU
·
2024-02-03 03:12
深度学习
机器学习
人工智能
自然语言处理
神经网络
Ceph
分布式集群
部署01
Ceph
分布式集群
部署011.Ceph环境准备主机名ip地址及磁盘部署组件node01192.168.1.181(三块硬盘)Mon、mgr、rgs、osdnode02192.168.1.182(三块硬盘
superman超哥
·
2024-02-02 09:02
2020重新出发,NOSQL,MongoDB
分布式集群
架构
MongoDB
分布式集群
架构看到这里相信你已经掌握了MongoDB的大部分基本知识,现在在单机环境下操作MongoDB已经不存在问题,但是单机环境只适合学习和开发测试,在实际的生产环境中,MongoDB
夜雨流云
·
2024-02-01 22:05
RocketMQ架构
文章目录技术架构部署架构技术架构RocketMQ架构上主要分为四部分,如上图所示:Producer:消息发布的角色,支持
分布式集群
方式部署。
倜傥村的少年
·
2024-02-01 20:15
RocketMQ
rocketmq
架构
关于Redis分布式锁这一篇应该是讲的最好的了,先收藏起来再看!
而在
分布式集群
环境,这个时候我们就需要使用到分布式锁。
前程有光
·
2024-02-01 16:57
Zookeeper分布式锁实战
在
分布式集群
工作的开发场景中,就需要一种更加高级的
山鸟与鱼!
·
2024-02-01 13:45
分布式中间件
分布式
zookeeper
后端
spring
Java基础-多线程(3)
如hadoop
分布式集群
。所以并发编程的目标是充分的利用处理器的每一个核,以达到最高的处理性能。36.线程和进程的区别?简而言之,进程是程序运行和资源分配的基本
C乖
·
2024-01-31 16:51
分布式集群
如何保证线程安全
串行化通过串行化可能产生并发问题操作,牺牲性能和扩展性,来满足对数据一致性的要求。比如分布式消息系统就没法保证消息的有序性,但可以通过变分布式消息为单一系统就可以保证消息的有序性了。另外,当接收方没法处理调用有序性,可以通过一个队列先把调用信息缓存起来,然后再串行的处理这些调用。分布式锁需要满足互斥性,在任意时刻,只有一个客户端能持有锁,不会发生死锁。即使有一个客户端在持有锁的期间崩溃而没有主动解
李黎明
·
2024-01-31 14:58
多线程
分布式
Netty zookeeper 集群 实战 (CrazyIM)
疯狂创客圈Java分布式聊天室【亿级流量】实战【博客园总入口】1.NettyZookeeper集群的实战的意义完成一个NettyZookeeper
分布式集群
的肉搏实战,有以下几个方面的最重要作用:增加一次高并发的程序的亲身体验
40岁资深老架构师尼恩
·
2024-01-31 09:20
java
超融合基础架构
可灵活扩展的
分布式集群
超融合基础架构一般以集群方式部署,在通用服务器硬件上安装超融合软件,多台通用服务器之间通过以太网互联,构成
shanyuncs
·
2024-01-31 04:47
超融合
系统架构
mongodb java spring_MongoDB和Java(4):Spring Data整合MongoDB(XML配置)
最近花了一些时间学习了下MongoDB数据库,感觉还是比较全面系统的,涉及了软件安装、客户端操作、安全认证、副本集和
分布式集群
搭建,以及使用SpringData连接MongoDB进行数据操作,收获很大。
務酒者
·
2024-01-31 02:03
mongodb
java
spring
MySQL安装部署-集群版
同步binarylog中的数据到从数据库SlaveA以及从数据库SlaveB,主数据库Master可提供写服务以及部分读服务、从数据库SlaveA以及从数据库SlaveB仅提供读服务,从而,实现数据库的
分布式集群
以及读写性能的提升
wangys2006
·
2024-01-28 18:08
应用软件系统技术与架构
MySQL技术与架构
mysql
数据库
k8s的安全机制
分布式集群
管理工具,就是容器编排安全机制的核心:APIserver作为整个内部通信的中介,也是外部控制的入口,所有的安全机制都是围绕APIserver来进行设计请求API资源:1、认证2、鉴权3、准入机制只有三个条件都通过
俊俏美男子章鱼哥
·
2024-01-28 02:56
kubernetes
安全
容器
用户行为数据采集
Flume——Hadoop——VMVM环境准备安装JDK安装HadoopHadoop运行模式本地模式伪分布式完全
分布式集群
启动组件逐一启动。模块启动
日月交辉
·
2024-01-27 23:18
数仓DW
hive
大数据
K8S的安全机制
安全机制:K8S的安全机制,
分布式集群
管理工具,就是容器编排安全机制的核心:APISERVER作为整个集群内部通信的中介,也是外部控制的入口。
91888888
·
2024-01-27 21:59
kubernetes
安全
容器
一文解锁人大金仓2023产品技术干货
技术创新方面持续加大投入取得了诸多突破与进展为各行各业数字化转型升级提供了更强大的支撑和保障跟着小编解锁更多“干货”吧2023KINGBASE重磅新品2023年,人大金仓推出KESPlus快速开发与运维平台、KESSharding
分布式集群
软件和
金仓数据库
·
2024-01-27 13:50
k8s 安全机制
k8s的安全机制:核心:
分布式集群
管理工具,就是容器编排,安全机制的核心:APIserver作为整个集群内部通信的中介,也是外控控制的入口。
成先生cc
·
2024-01-27 12:27
kubernetes
安全
容器
K8s--安全认证
一、访问控制概述Kubernetes作为一个
分布式集群
的管理工具,保证集群的安全性是其一个重要的任务。所谓的安全性其实就是保证对Kubernetes的各种客户端进行认证和鉴权操作。
‘秋歌:
·
2024-01-27 04:17
K8s学习笔记
docker
容器
运维
k8s---安全机制
k8s的安全机制,
分布式集群
管理工具,就是容器编排。安全机制的核心:APIserver。为整个集群内部通信的中介,也是外控控制的入口。
Lad1129
·
2024-01-27 04:45
安全
kubernetes
容器
云原生
k8s的安全机制
前言Kubernetes作为一个
分布式集群
的管理工具,保证集群的安全性是其一个重要的任务。APIServer是集群内部各个组件通信的中介,也是外部控制的入口。
yucfkyu
·
2024-01-27 02:12
K8s
kubernetes
安全
容器
k8s安全机制
分布式集群
管理工具,就是容器编排安全机制的核心:APIserver作为整个内部通信的中介,也是外部控制的入口,所有的安全机制都是围绕APIserver来进行设计请求API资源1、认证2、鉴权3、准入控制只有三个条件都通过
小布爱吃糖.
·
2024-01-26 22:15
kubernetes
安全
容器
k8s的安全机制
k8s是
分布式集群
管理工具,k8s作用是容器编排1、安全机制核心:APIserver。
咩咩230
·
2024-01-26 22:44
kubernetes
安全
容器
k8s安全机制
安全机制:k8s的安全机制,
分布式集群
管理工具,就是容器编排。安全机制的核心:APISERVER作为整个集群内部通信的中介,也是外控控制的入口。
相遇蟹堡王,尽享蟹黄堡
·
2024-01-26 15:16
kubernetes
安全
容器
Kubernetes/k8s之安全机制:
k8s当中的安全机制核心是
分布式集群
管理工具,容器编排,安全机制核心是:APISERVER作为整个集群内部通信的中介,也是外部控制的入口,所有的安全机制都是围绕apiserver开设计的。
m0_52416577
·
2024-01-26 14:43
kubernetes
安全
容器
Redis在生产环境中可能遇到的问题与解决方案(五)
解决方案使用RedisCluster:Redis提供了官方支持的RedisCluster模式,用于构建大规模的
分布式集群
。分片策略:使用合适的分片策略,确保数据均匀分布在各个节点上。
QFN-齐
·
2024-01-26 13:37
redis
数据库
缓存
TIDB7.5LTS集群安装配置手册
在评估使用什么架构时,和开发同仁沟通需求,了解到该应用为OLTP但是数据量很集中,会有几张超大的表,如果要保证事务效率,使用mysql集群难免会要做分库分表,对后期的运维带来很大的挑战;而TIDB属于
分布式集群
xiaofan23z
·
2024-01-26 11:02
TIDB
tidb
数据库
k8s的安全机制
1、k8s:
分布式集群
管理工具,就是容器编排2、安全机制的核心:api-service(1)api-server作为整个集群内部通信的中介,也是外部控制的入口,所有的安全机制都是围绕api-server
海德Hyde
·
2024-01-26 10:42
kubernetes
安全
容器
K8S安全机制
安全机制k8s的安全机制,
分布式集群
管理工具,就是容器编排,安全机制的核心就是围绕APISERVER,作为整个集群内部通信的中介,也是外部控制的入口,所有的安全机制都是围绕apiserver来进行设计请求
2301_79410672
·
2024-01-26 07:52
安全
Java-HashMap如何找落点
顾名思义,HashMap采用的是哈希方式来找落点,通过数据的某些特征,计算出一个哈希值,然后用哈希值与节点建立映射关系,从而确定这个数据应该在哪个节点上,下图是一个具有16个节点的
分布式集群
,本文后续所有示例均以下图为前提假设有一个对象
文天大人
·
2024-01-25 17:46
Java
java
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他