E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分布式集群
HBase 伪
分布式集群
模式安装md
HBase伪
分布式集群
模式安装(Pseudo-Distributed)1.解压hadoop到/usr/local/src路径下,改名为hbasetar-zxvf/opt/soft/hbase…tar.gz-C
会java的怪蜀黍
·
2023-12-06 07:52
分布式
hbase
debian
Java零基础——RocketMQ篇
RocketMQ简介官网:http://rocketmq.apache.org/RocketMQ是阿里巴巴2016年MQ中间件,使用Java语言开发,RocketMQ是一款开源的分布式消息系统,基于高可用
分布式集群
技术
动力节点IT教育
·
2023-12-05 17:03
Java零基础教学文档
java-rocketmq
java
rocketmq
集群调度LSF及bsub相关命令在芯片验证中的应用
1.前言:LSF(LoadSharingFacility)是IBM旗下的一款
分布式集群
管理系统软件,负责计算资源的管理和批处理作业的调度。
Bug_Killer_Master
·
2023-12-05 16:50
技术百科
服务器
集成学习
fpga开发
经验分享
艺术~安全至上(SQL注入、CSRF攻击、DDoS攻击)
文章目录前言SQL注入防御方式CSRF攻击CSRF的特点防御方式同源检测附加本域DDoS攻击防御方式IP限流
分布式集群
防御IP轮询技术SYNFlood攻击解决思路暴力破解防御方式信息泄露前言处于现在这个互联网时代
Listen-Y(学习&踩坑笔记本)
·
2023-12-05 14:54
艺术
安全
Ubuntu下搭建Hadoop
分布式集群
应课程要求,这学期学习到了云计算与大数据,这次实验就是让我们在ubuntu中配置好hadoop
分布式集群
,这两天就从网上一边搜寻教程并结合课本(课本上是使用的centos,而且版本较老,不太适用)一边自己动手做
夜雨声烦ikkk
·
2023-12-05 08:19
教程
Linux
hadoop
ubuntu
一文解析ZooKeeper —ZooKeeper特性及ZooKeeper到底解决了什么问题
是用于简化分布式应用开发的,对开发者屏蔽一些分布式应用开发过程中的底层细节ZooKeeper对外暴露简单的API,用于支持分布式应用开发ZooKeeper在提供上述功能的同时,其还是一个高性能、高可用、高可靠的
分布式集群
上面
Java柚子
·
2023-12-05 06:56
分布式集群
架构方案
写在前面:本文写作前景为在b站上看到的一个三高(高可用、高并发、高性能)的
分布式集群
架构方案,并对其中的pxc集群以及haproxy负载均衡进行了试验。如若文中出现错误,欢迎广大网友提出。
樵夫有桥
·
2023-12-04 16:33
一、Zookeeper基本知识
主要用来解决
分布式集群
中应用系统的一致性问题。ZooKeeper本质上是一个分布式的小文件存储系统。提供基于类似于文件系统的目录树方式的数据存储,并且可以对树中的节点进行有效管理。
geek@z
·
2023-12-03 06:29
zookeeper
分布式
云原生
linux集群
关于你对 Zookeeper 的理解
普通人Zookeeper是一种开放源码的分布式应用程序协调服务是一个分布式的小文件存储系统一般对开发者屏蔽分布式应用开发过过程种的底层细节用来解决
分布式集群
中应用系统的一致性问题高手对于Zookeeper
武昌库里写JAVA
·
2023-12-03 05:56
高手面试
zookeeper
分布式
云原生
Zookeeper入门
本质上是一个分布式的小文件存储系统ZooKeeper作用:主要用来解决
分布式集群
中应用系统的一致性问题。ZooKeeper结构:采用树形层次结构,ZooKeeper树中的每个节点被称为—Znode。
Yan_bigdata
·
2023-12-02 19:30
zookeeper
分布式
云原生
学习
hadoop
Redis高可用集群架构
高可用集群架构哨兵模式缺点主从切换阶段,redis服务不可用,高可用不太友好只有单个主节点对外服务,不能支持高并发单节点如果设置内存过大,导致持久化文件很大,影响数据恢复,主从同步性能高可用集群由多个主从节点群组成的
分布式集群
kk_0910
·
2023-12-02 06:27
redis
三、架构设计
架构设计1技术架构图1RocketMQ架构上主要分为四部分,如上图所示:Producer:消息发布的角色,支持
分布式集群
方式部署。
放开那个BUG
·
2023-12-02 01:06
思腾云计算
思腾合力作为人工智能基础架构解决方案商,面对大规模集群系统的算力需求挑战,推出统一管理的
分布式集群
基础架构解决方案。
STGPU
·
2023-12-01 06:05
深度学习
神经网络
机器学习
人工智能
自然语言处理
Apache Airflow (十四) :Airflow
分布式集群
搭建及测试
个人主页:IT贫道_大数据OLAP体系技术栈,ApacheDoris,Clickhouse技术-CSDN博客私聊博主:加入大数据技术讨论群聊,获取更多大数据资料。博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.节点规划2.airflow集群搭建步骤3.初始化Airflow4.创建管理员用户信息5.配置SchedulerHA6.启动Airflow集群7.访问A
IT贫道
·
2023-11-30 11:01
任务流调度工具
Airflow
Hadoop-HDFS详解与HA,完全
分布式集群
搭建(细到令人发指的教程)
前言本篇篇幅较长,有许多集群搭建干货,和枯燥乏味但是面试可能问到的理论知识。思来想去不知道怎样才能鼓励自己加油学习,想想要面对的生活还是假吧意思打开学习视频吧。目录一、引入hdfs是什么hdfs的由来hdfs架构体系hdfs的优缺点优点缺点二、HDFS_block简介和注意事项Block拆分标准三、HDFS_block安全与管理Block数据安全Block的管理效率四、HDFS_Hadoop3完全
毫无感情的dj
·
2023-11-30 10:06
hadoop
hdfs
大数据
分布式
zookeeper
Spark3 on Yarn
分布式集群
安装部署(YARN模式)
Spark3onYarn
分布式集群
安装部署一、配置spark-defaults.conf二、配置spark-env.sh三、配置yarn-site.xml四、启动Hadoop和Spark集群五、基于YARN
最笨的羊羊
·
2023-11-30 03:57
大数据
Spark3.0.1
分布式集群搭建
Hadoop大数据开发__Spark on YARN模式
分布式集群
安装部署
1、下载解压sparkcd/home/hadoop/apptar-zxvfspark-3.3.0-bin-hadoop3.tgzrmspark-3.3.0-bin-hadoop3.tgzln-sspark-3.3.0-bin-hadoop3spark2、修改spark-env.shcd/home/hadoop/app/spark/confvispark-env.sh#追加下面的路径HADOOP_C
姚华军
·
2023-11-30 02:32
大数据
大数据
hadoop
spark
Spark
on
YARN
YARN
Spark3
分布式集群
安装部署(YARN模式)
Spark3
分布式集群
安装部署(YARN模式)一、解压Spark3二、重命名三、配置Spark3环境变量四、修改spark-defaults.conf五、配置yarn-site.xml六、从节点配置七、
最笨的羊羊
·
2023-11-30 02:32
大数据
大数据平台二次开发
Spark3
分布式集群
安装部署(YARN模式)
大数据开源框架环境搭建(七)——Spark完全
分布式集群
的安装部署
前言:七八九用于Spark的编程实验大数据开源框架之基于Spark的气象数据处理与分析_木子一个Lee的博客-CSDN博客_spark舆情分析目录实验环境:实验步骤:一、解压二、配置环境变量:三、修改配置文件1.修改spark-env.sh配置文件:2.修改配置文件slaves:3.分发配置文件:四、测试:五、网页测试:六、解决能启动SparkShell但是报错:七、安装python3.6八、Ju
木子一个Lee
·
2023-11-30 02:31
大数据开源
教程分享
大数据
spark
分布式
Spark完全分布式搭建(On Yarn)
文件四、启动集群1.先起动Hadoop的HDFS和Yarn2.启动Spark五、Web查看集群启动情况六、测试例子七、集群配置介绍必读引言:本文是基于Hadoop完全分布式搭建的SparkOnYarn
分布式集群
Congee小周
·
2023-11-30 02:00
大数据
hadoop
spark
完全分布式
spark-env.sh
slaves
创建一个spring cloud
分布式集群
过程
1.先创建一个maven父工程普通maven项目,删除其中得src等文件,只保留pom文件,然后在父项目中添加子项目模块,这里添加了一个eureka注册中心,以及连个普通业务模块(具体如何添加,后面说明)父maven项目基本目录2.创建一个子项目,先从eureka开始,选中父项目创建项目,然后选择springboot项目,创建得时候选择web依赖,创建好了之后,在pom文件添加springclou
PunkP
·
2023-11-30 01:49
谨慎Apache-Zookeeper-3.5.5以后在CentOS7.X安装的坑
目录前言一、现场还原二、问题诊断三、问题原因总结前言最近由于项目需要,在服务器上需要搭建Hbase完全
分布式集群
环境。开发环境,采用的是最小节点的方式进行搭建(即3个节点的模式)。
夜郎king
·
2023-11-30 00:25
数据库技术
zookeeper
分布式
云原生
保姆级LLM训练教程:阿里云平台使用accelerate,deepspeed多机多卡训练Chatglm2-6B
如果之前做过
分布式集群
搭建的,这肯定是难不倒他们的,但是对于一个普通的小白,如何从0到1去搭建多机多卡训练是个很大的难题,我也走了不少的坑,如果对大家有帮助请给一个小小的关注。
小鸡不简单
·
2023-11-28 09:13
人工智能
语言模型
nlp
深度学习
AIGC
Go语言开发环境安装
由于Go语言的并发特性,非常适用于Web服务器、
分布式集群
计算、云计算、游戏服务端等的开发。在区块链(如以太坊,Ethereum)、容器(如Kubernetes)领域都有广泛的应用。本文介绍Go语言开
测试开发小记
·
2023-11-28 04:42
#
Golang
go
单机搭建zookeeper伪
分布式集群
最近在研究Hbase的时候,说要依赖zookeeper集群,于是又花时间来研究了下zookeeper集群的搭建,希望能帮到一些童鞋.首先将zookeeper解压之后,创建了个zookeepercluser的文件夹将解压的zookeeper复制三份到zookeepercluser下现在以zookeeper0这个的配置为例子,其余两台照此配置就行1.给data文件下面添加一个myid的文件并赋值
zhangvivid
·
2023-11-27 04:30
zookeeper集群
zookeeper单机模式和伪
分布式集群
的搭建
选择版本下载并解压apache-zookeeper-3.5.7-bin.tar.gz单机模式tar-zxvfapache-zookeeper-3.5.7-bin.tar.gz-C/usr/local/zookeeper创建data目录,将conf下的zoo_sample.cfg改名为zoo.cfgmkdir/usr/local/zookeeper/datacp/usr/local/zookeepe
生气要吃糖吖
·
2023-11-27 04:55
zookeeper
java-ee
[Hbase]Hbase2.2.6的
分布式集群
搭建(使用自带的zookeeper)
1.Hbase2.2.6
分布式集群
搭建1.1.前提本次示例默认你已经完成了了如下操作:JDK的配置节点间的免密登录hadoop集群的搭建集群的时间同步1.2.Hbase
分布式集群
的架构图首先,本次示例需要三个节点
_balabala_
·
2023-11-26 19:53
项目十八-Hadoop+Hbase
分布式集群
架构“完全篇”
本文收录在Linux运维企业架构实战系列前言:本篇博客是博主踩过无数坑,反复查阅资料,一步步搭建,操作完成后整理的个人心得,分享给大家~~~1、认识Hadoop和Hbase1.1hadoop简单介绍Hadoop是一个使用java编写的Apache开放源代码框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境
weixin_33724059
·
2023-11-26 19:52
大数据
java
开发工具
Hadoop+Hbase
分布式集群
架构“完全篇”
1.认识Hadoop和Hbase1.1Hadoop简单介绍Hadoop是一个使用Java编写的Apache开放源代码框架,它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。Hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。Hadoop旨在从单一服务器扩展到数千台机器,每台机器都提供本地计算和存储。1.2Hadoop架构Hadoop框架包括以下四个模块:
架构文摘
·
2023-11-26 19:22
Java工程师架构学习—互联网公司
分布式集群
架构
一、小型公司网络架构狗子是某大学计算机专业本科应届毕业生,由于自己的技术不错,再加上互联网产业的巨大利润的驱使,狗子决定走上创业这条路,于是,狗子联合了同学二黑,鸡子,狗蛋等人花费了几个月的时间写出了一套网站,是关于足球资讯的pc端网站加上手机APP客户端。现在产品测试成功了,准备发布了,狗子想到了两个问题:1.网站需要服务器狗子之前所有的代码测试都是在本地服务器或者局域网上进行的,现在需要把产品
程序人生a
·
2023-11-26 18:59
常见分布式锁实现原理与使用方法
而在
分布式集群
工作的开发场景中,就需要一种更加高级的锁机制来处理跨机器的进程之间的数据同步问题,这种跨机器的锁就是分布式锁。大致分为两种,一种是数据库层面的锁,在一段读写期间,无其他线程侵入。
bulingbuling^_^
·
2023-11-26 16:13
分布式
数据库
java
1、分布式锁实现原理与最佳实践(一)
而在
分布式集群
工作的开发场景中,就需要一种更加高级的锁机制来处理跨机器的进程之间的数据同步问题,这种跨机器的锁就是分布式锁。接下来本文将为大家分享分布式锁的最佳实践。
myprince003
·
2023-11-26 16:05
springcloud
分布式
k8s-8:Volumes(2)StatefulSet,Mysql主从集群配置
StatefulSet原理及实现2.项目:使用statefullset部署mysql主从集群1.StatefulSet原理及实现StatefulSet通过HeadlessService维持Pod的拓扑状态对于
分布式集群
或主从集群
LeeHoo0
·
2023-11-26 06:46
Linux
k8s
17 redis集群方案
1、RedisCluster
分布式集群
解决方案为了解决单机内存,并发等瓶颈,可使用此方案解决问题.Redis-cluster是一种服务器Sharding技术,Redis3.0以后版本正式提供支持。
水无痕simon
·
2023-11-26 04:46
redis
redis
数据库
缓存
Docker swarm 集群
Swarm默认内置有加密的
分布式集群
存储(encrypteddistributedclusterstore)、加密网络(En
我就是我,不一样的烟火
·
2023-11-25 21:13
Docker
docker
kubernetes
容器
kafka系列-入门篇之基础概念
特性可扩展性,kafka搭建在
分布式集群
服务器上,支持水平无限扩展。容错性,kafka将数据副本存放在多台服务器上,避免服务器故障影响运行。高吞吐量,使用6块7200转SATA的
马各马它
·
2023-11-25 17:33
kafka
大数据
kafka
大数据
基于CentOS7的CDH6.3.2完全
分布式集群
搭建【上】
主要参考:【CDH实战01】基于CentOS7的CDH6.3.2完全
分布式集群
搭建【上】【CDH实战02】基于CentOS7的CDH6.3.2完全
分布式集群
搭建【下】如何从0开始学习大数据技术2020年
HansBigData
·
2023-11-25 14:18
分布式
linux
hadoop
面试题大全1.5-微服务部分
微服务部分三.微服务部分相关概念什么是集群8-23什么是负载均衡8-23什么是分布式8-23
分布式集群
举例集群和分布式的区别,分别解决什么问题8-24说一下你理解的微服务8-24什么是CAP理论,哪些技术用到
LlRr
·
2023-11-25 08:52
java面试题
微服务
java
服务器
Hadoop原生态版安装
最近在学厦门大学的《大数据技术原理与应用》公开课,参考学习内容自己部署了一个Hadoop平台,整个
分布式集群
分一个Master服务器和两个Slave服务器,方便后面学习。
SMILE_NO_09
·
2023-11-24 09:27
伪分布式系列 - 第一篇 - hadoop-3.2.0环境搭建
目录Hadoop的三种运行模式单机模式伪分布式模式全
分布式集群
模式环境准备系统环境ssh免密码连接防火墙关闭jdk安装配置相关环境变量配置安装包下载Hadoop配置解压hadoop文件配置linux环境配置启动服务格式化
rolin-刘瑞
·
2023-11-23 15:21
hadoop
大数据生态搭建系列
hadoop
hadoop搭建全
分布式集群
-虚拟机
hadoop搭建全
分布式集群
-虚拟机一、本次搭建环境说明VMwareFusionmaster:ubuntu16.0464位ip:172.16.29.11slave1:ubuntu16.0464位ip:172.16.29.12slave1
皓阳当空
·
2023-11-23 14:46
环境搭建
大数据
hadoop
部署SeaTunnel
分布式集群
部署SeaTunnel
分布式集群
一、部署SeaTunnel引擎二、配置环境变量三、配置SeaTunnelEngineJVM四、配置SeaTunnel1.备份2.Slots3.检查点五、配置SeaTunnel
最笨的羊羊
·
2023-11-23 14:19
日常分享专栏
部署SeaTunnel
分布式集群
Hadoop学习笔记:运行wordcount对文件字符串进行统计案例
文/朱季谦我最近使用四台Centos虚拟机搭建了一套分布式hadoop环境,简单模拟了线上上的hadoop真实
分布式集群
,主要用于业余学习大数据相关体系。
朱季谦
·
2023-11-23 13:38
大数据
hadoop
学习
笔记
怎么用feign远程调用别人的接口_Feign - HTTP接口调用- 单独使用 - 实战
在
分布式集群
的环境下,用户首先通过短连接登录Web服务器。Web服务器在
weixin_39582569
·
2023-11-22 19:05
hadoop3.x系列完全
分布式集群
部署(集群各节点设置与端口号的设置)
(三台虚拟机必须在同一网段)详细配置信息请看hadoop3.x系列完全
分布式集群
部署(虚拟机网络连接、jdk安装、hadoop安装)_杂乱无章的我的博客-CSDN博客一:集群部署规划NameNode与SecondaryNameNode
杂乱无章的我
·
2023-11-22 09:10
分布式
大数据
hadoop
Apache Airflow (十三) :Airflow
分布式集群
搭建及使用-原因及
博主个人B栈地址:豹哥教你大数据的个人空间-豹哥教你大数据个人主页-哔哩哔哩视频目录1.Airflow
分布式集群
搭建原因2.Airflow
分布式集群
其他扩展2.1扩展Worker节点2.2扩展Master
IT贫道
·
2023-11-22 06:42
任务流调度工具
airflow
【生产级实践】Docker部署配置Hadoop3.x + HBase2.x实现真正
分布式集群
环境
网上找了很多资料,但能够实现Docker安装Hadoop3.X和Hbase2.X真正
分布式集群
的教程很零散,坑很多,把经验做了整理,避免趟坑。
麦神-mirson
·
2023-11-22 04:56
生产级实践
大数据
分布式存储
docker
分布式
运维
集群-ntp时间同步服务
本不想做运维的奈何现在项目缺人手,不仅需求多,而且还需要教学弟,这篇文章主要是记录在
分布式集群
中出现的hive或者hbase时间同步错误。
yunpiao
·
2023-11-21 19:46
基于Redis组件之分布式RateLimiter限流
上文我们介绍了RateLimiter文章路径针对IP来限流的方式,上文的限流方案,只针对单应用情况,
分布式集群
下就不能使用上文的方式,分布式下的限流方案有很多种,这边展示的是Redis的封装redission
BugRoot
·
2023-11-21 15:41
Java
优化
java
分布式
redisson
阿里云企业级互联网架构实践系列-RocketMQ的商业版本MQ
AliwareMQ(MessageQueue)是RocketMQ的商业版本,是阿里云商用的专业消息中间件,是企业级互联网架构的核心产品,基于高可用
分布式集群
技术,搭建了包括发布订阅、消息轨迹、资源统计、
技术与健康
·
2023-11-21 13:47
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他