E-COM-NET
首页
在线工具
Layui镜像站
SUI文档
联系我们
推荐频道
Java
PHP
C++
C
C#
Python
Ruby
go语言
Scala
Servlet
Vue
MySQL
NoSQL
Redis
CSS
Oracle
SQL Server
DB2
HBase
Http
HTML5
Spring
Ajax
Jquery
JavaScript
Json
XML
NodeJs
mybatis
Hibernate
算法
设计模式
shell
数据结构
大数据
JS
消息中间件
正则表达式
Tomcat
SQL
Nginx
Shiro
Maven
Linux
分库分表
新书速览|像程序员一样使用MySQL(免费送书)
MySQL实战干货分享,架构师教你正确用好MySQL,数据库设计、
分库分表
、性能优化等。本书内容熟练使用MySQL数据库,是研发工程师和数据库工程师的必备技能之一。
全栈开发圈
·
2024-02-02 12:17
mysql
数据库
『互联网架构』软件架构-mysql终级解决方案
分库分表
(65)
原文链接地址:『互联网架构』软件架构-mysql终级解决方案
分库分表
(65)今天一起说说sharding-Sphere,跟数据库有关的,
分库分表
的初体验,了解为什么要
分库分表
,
分库分表
有哪些方案,
分库分表
如何做到永远都不需要做扩容的方案
IT人故事会
·
2024-01-31 14:31
难题来了:
分库分表
后,查询太慢了,如何优化?
前段时间,有小伙伴反馈,在面试中遇到了这个问题
分库分表
后,分页查询太慢了,如何优化?尼恩提示:
分库分表
的知识,既是面试的核心知识,又是开发的核心知识。
40岁资深老架构师尼恩
·
2024-01-31 09:11
面试
面试
java
架构
后端
数据库
mysql
sql
美团太狠:100亿级
分库分表
,不停机迁移,如何处理?
说在前面在40岁老架构师尼恩的读者交流群(50+)中,最近有小伙伴拿到了一线互联网企业如腾讯、美团、阿里、拼多多、极兔、有赞、希音的面试资格,遇到一几个很重要的面试题:数据库如何不停机迁移?100亿级库表,如何不停机迁移?等等等等…其实,答案不是一成不变的。参考答案其实千千万万,在这里,尼恩一直结合行业案例,梳理一个最为全面、最为系统化的答案,这里有一个新的行业案例《菜鸟积分系统稳定性建设-分库分
40岁资深老架构师尼恩
·
2024-01-31 09:38
面试
java
面试
后端
数据库
mysql
架构
分库分表
Sharding-JDBC (详解 3/6)
SpringCloud、Nginx高并发核心编程》大厂必备+大厂必备+大厂必备【博客园总入口】入大厂+涨工资必备:高并发【亿级流量IM实战】实战系列【SpringCloudNginx秒杀】实战系列【博客园总入口】目录:
分库分表
40岁资深老架构师尼恩
·
2024-01-31 09:55
java
关于
分库分表
儒猿购买过一个视频课程:基于ShardingSphere的
分库分表
实战课(9.9专享)(xiaoe-tech.com)如何演进到
分库分表
的?
薛薛哦
·
2024-01-30 21:25
java
mybatis-plus团队新作:mybatis-mate 轻松搞定数据权限
0、简介mybatis-mate为mp企业级模块,支持
分库分表
,数据审计、数据敏感词过滤(AC算法),字段加密,字典回写(数据绑定),数据权限,表结构自动生成SQL维护等,旨在更敏捷优雅处理数据。
Fightover
·
2024-01-30 19:46
分布式场景怎么Join
考虑到我的领域是在处理
分库分表
或者其他的分区模式,这让我开始不由得联想我们怎么在分布式场景应用这个Join逻辑,对于两个不同库里面的不同表我们是没有办法直接进行Join操作的。
若呓
·
2024-01-30 18:04
工作笔记
数据库
分布式
雪花算法(PHP)
简介现在的服务基本是分布式、微服务形式的,而且大数据量也导致
分库分表
的产生,对于水平分表就需要保证表中id的全局唯一性。
陈卿诺语
·
2024-01-30 03:36
php
数据库
开发语言
MySQL数据库之
分库分表
方案
数据库之互联网常用
分库分表
方案一、数据库瓶颈1、IO瓶颈2、CPU瓶颈二、
分库分表
1、水平分库2、水平分表3、垂直分库4、垂直分表三、
分库分表
工具四、
分库分表
步骤五、
分库分表
问题1、非partitionkey
java小浩
·
2024-01-29 15:24
面试
java
程序人生
数据库分表分库 小记
什么是分表分库
分库分表
是指将原本存储在单一数据库中的数据,拆分到多个数据库或者多个数据表中,通过这样的方式来提高数据库的性能。
annolim
·
2024-01-29 15:53
数据库
深入理解MySQL——
分库分表
种类与原则
分库分表
的种类首先说明,这里所说的
分库分表
是指把数据库中数据物理地拆分到多个实例或多台机器上去,而不是MySQL原生的Partitioning。
三月微风
·
2024-01-29 15:52
深入理解MySQL
mysql
数据库
MySQL分库分表
分库分表原则
分库分表种类
数据库分表分库的原则
什么是数据库
分库分表
数据库分表(TableSharding)数据库分表是将一个大表按照某种规则拆分成多个小表存储在不同的物理表中的技术。
Homeless Knight
·
2024-01-29 15:52
数据库
oracle
ShardingSphere之ShardingJDBC客户端
分库分表
下
目录ShardingJDBC实战STANDARD标准分片策略COMPLEX_INLINE复杂分片策略CLASS_BASED自定义分片策略HINT_INLINE强制分片策略ShardingJDBC实战上篇已经将需要用到的类、数据库表都准备好了,本篇主要介绍分片配置文件。STANDARD标准分片策略如果按照上篇文章所讲,使用INLINE分片算法是不能支持Between查找的,如果使用会报错。@Test
山鸟与鱼!
·
2024-01-29 12:56
分布式中间件
数据库
后端
java
spring
boot
ShardingSphere之ShardingJDBC客户端
分库分表
上
客户端
分库分表
与服务端
分库分表
ShardingJDBC客户端
分库分表
ShardingProxy服务端
分库分表
ShardingSphere实现
分库分表
的核心概念ShardingJDBC实战什么是ShardingSphere
山鸟与鱼!
·
2024-01-29 12:55
分布式中间件
数据库
java
后端
spring
boot
SpringBoot+ShardinggJDBC(5.2.0)实现
分库分表
前言本文提供了在SpringBoot环境下使用ShardingJDBC,可以参考ShardingJDBC的使用手册我们其实都在使用垂直分库和垂直分表,垂直分库就是我们微服务中每个微服务都有自己的库,一般就是根据业务来拆分库;垂直分表也就是我们平时通过外键关联起来的表,比如商品表和商品详情表;所以本文介绍的是水平分库和水平分表,水平分库和水平分表都是将一个大的库或者一个大的表按照水平方向分成多个库和
fortune_often_in
·
2024-01-29 07:20
spring
boot
后端
java
mysql
【滴滴】Java开发工程师(J240118002)
熟悉互联网常用技术和中间件:
分库分表
技术、
探小虎
·
2024-01-29 00:49
大厂工作机会
java
开发语言
MySQL架构演进-从主从复制到
分库分表
背景业务飞速发展导致数据规模急速膨胀,单机的数据库已经无法满足互联网业务的发展。传统的将数据集中存储单一数据结节的方案,在容量、性能、可用性和可维护性方面已经难以满足互联网海量数据的场景。从容量方面考虑,单机数据库容量有限,难以扩容。从性能方面来说,由于关系型数据库大多数采用B+树类型索引,在数据量超过一定的阈值后,索引的深度增加导致对磁盘的随机IO次数增加,进而导致性能问题。从可用性方面来说,服
架构文摘
·
2024-01-28 11:50
数据库
中间件
大数据
分布式
mysql
聊聊MySQL架构演进:从主从复制到
分库分表
背景业务飞速发展导致数据规模急速膨胀,单机的数据库已经无法满足互联网业务的发展。传统的将数据集中存储单一数据结节的方案,在容量、性能、可用性和可维护性方面已经难以满足互联网海量数据的场景。从容量方面考虑,单机数据库容量有限,难以扩容。从性能方面来说,由于关系型数据库大多数采用B+树类型索引,在数据量超过一定的阈值后,索引的深度增加导致对磁盘的随机IO次数增加,进而导致性能问题。从可用性方面来说,服
写代码的珏秒秒
·
2024-01-28 11:18
程序员
Java
编程
mysql
架构
数据库
分库分表
:如何实现高可扩展性架构
1.背景介绍
分库分表
是一种高性能数据库设计方法,它可以帮助我们实现高可扩展性架构。在现代互联网应用中,数据量越来越大,传统的数据库设计已经无法满足业务需求。因此,
分库分表
技术成为了一种必须掌握的技能。
OpenChat
·
2024-01-28 11:17
架构
彻底搞清
分库分表
(垂直分库,垂直分表,水平分库,水平分表)
分库分表
是什么下边以电商系统中的例子来说明,下图是电商系统卖家模块的表结构:在这里插入图片描述通过以下SQL能够获取到商品相关的店铺信息、地理区域信息:SELECTp.*,r.[地理区域名称],s.
美雨知春
·
2024-01-27 15:44
分库分表
与分布式数据库技术选项分析
最近经常被问到
分库分表
与分布式数据库如何选择,网上也有很多关于中间件+传统关系数据库(
分库分表
)与NewSQL分布式数据库的文章,但有些观点与判断是我觉得是偏激的,脱离环境去评价方案好坏其实有失公允。
zl1zl2zl3
·
2024-01-27 07:04
数据库
分布式
分库分表
数据库
分库分表
分布式
基于本地缓存制作一个
分库分表
的分布式ID生成器
背景介绍项目整体架构是基于springboot3.0开发rpc调用采用dubbo注册配置中心使用nacos采用sharding-jdbc来实现
分库分表
。基于以上情况我想生成分布式id。
忧郁的双鱼座程序猿
·
2024-01-27 07:20
JAVA成神之路
缓存
分布式
分布式id
springboot
java
来聊聊大厂常用的分布式ID生成方案
写在文章开头随着数据日益增加,项目需要进行
分库分表
来分摊压力,为了保证数据ID唯一,必须有一套适配当前
分库分表
的分布式ID生成方案,而这套方案必须具备以下条件:全局唯一:分布式ID必须全局唯一,确保数据可以被唯一确定
shark-chili
·
2024-01-27 03:35
场景设计
分布式
大厂面试
java
MySQL
MySQL数据库设计规范
目录规范背景与目的设计规范2.1数据库设计2.1.1库名2.1.2表结构2.1.3列数据类型优化2.1.4索引设计2.1.5
分库分表
、分区表2.1.6字符集2.1.7程序DAO层设计建议2.1.8一个规范的建表语句示例
小强聊it
·
2024-01-26 23:17
数据库
大厂咋做多系统数据同步方案的?
当前互联网业务系统大多MySQL数据存储与处理方案:随信息时代爆炸,大数据量场景下慢慢凸显短板,如:需对大量数据全文检索,对大量数据组合查询,
分库分表
后的数据聚合查询自然想到如何使用其他更适合处理该类问题的数据组件
JavaEdge.
·
2024-01-26 21:59
java
Apache ShardingSphere分表的简单使用和常见问题
分库分表
的背景使用pom配置1,application.properties配置文件2,创建配置类分表验证分表常见问题自定义分表规则未生效使用sum函数无法获取值合并或共用数据源问题简介官网:ApacheShardingSphere
瑶山
·
2024-01-26 12:58
java技术
数据库
java
ShardingSphere
ShardingJDBC
springboot
TIDB7.5LTS集群安装配置手册
简介因近期有一个项目需要上线,在评估使用什么架构时,和开发同仁沟通需求,了解到该应用为OLTP但是数据量很集中,会有几张超大的表,如果要保证事务效率,使用mysql集群难免会要做
分库分表
,对后期的运维带来很大的挑战
xiaofan23z
·
2024-01-26 11:02
TIDB
tidb
数据库
水平
分库分表
的关键问题及解决思路
在之前的文章中,我介绍了
分库分表
的几种表现形式和玩法,也重点介绍了垂直分库所带来的问题和解决方法。本篇中,我们将聊聊水平
分库分表
的一些技巧。
程序员BUG
·
2024-01-26 11:08
mysql高可用设计,主库挂了怎么办
mysql
分库分表
不同服务器能提供的查询服务是不一样的,因为存的东西不一样。数据库的高可用设计是比较难的,其实最重要的就是冗余。主
結城
·
2024-01-26 06:07
mysql
mysql
数据库
MySQL笔记(
分库分表
)
摘自https://zhuanlan.zhihu.com/p/50650224参考https://tech.meituan.com/2016/11/18/dianping-order-db-sharding.htmlhttps://crossoverjie.top/2019/07/24/framework-design/sharding-db-03/https://zhuanlan.zhihu.c
圆方的鱼
·
2024-01-26 00:33
Springboot,使用sharedingjdbc
分库分表
,最佳实践。
一、简介ApacheShardingSphere是一套开源的分布式数据库解决方案组成的生态圈,它由JDBC、Proxy和Sidecar(规划中)这3款既能够独立部署,又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平扩展、分布式事务和分布式治理等功能,可适用于如Java同构、异构语言、云原生等各种多样化的应用场景。ApacheShardingSphere5.x版本开始致力于可插拔架构,项
可乐cc呀
·
2024-01-25 17:56
SpringBoot
spring
boot
后端
java
分布式架构知识体系整理
2.关键词节点,时间,一致性,CAP,ACID,BASE,P2P,机器伸缩,网络变更,负载均衡,限流,鉴权,服务发现,服务编排,降级,熔断,幂等,
分库分表
,分片分区,自动运维,容错处理,全栈监控,故障恢复
weixin_34304013
·
2024-01-25 16:00
运维
设计模式
数据结构与算法
数据库
分库分表
,何时分?怎样分?
一.数据切分关系型数据库本身比较容易成为系统瓶颈,单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后,由于查询维度较多,即使添加从库、优化索引,做很多操作时性能仍下降严重。此时就要考虑对其进行切分了,切分的目的就在于减少数据库的负担,缩短查询时间。数据库分布式核心内容无非就是数据切分(Sharding),以及切分后对数据的定位、整合。数据切分就是将数据分散存储到多个数
烟雨木子
·
2024-01-25 15:28
mysql
数据库
MySQL基于多实例构建主从复制及常见故障排查
文章目录主从复制介绍搭建主从复制的前提主从复制工作过程主从复制的作用主从复制搭建构建MySQL多实例主从复制故障主从延时监控主要原因主从复制对事物的影响
分库分表
面临的问题主从复制介绍主从复制基于binlog
玫瑰花的葬礼。
·
2024-01-25 05:59
MySQL
mysql
数据库
linux
centos
服务器
架构篇14:高性能数据库集群-读写分离
文章目录读写分离原理复制延迟分配机制小结高性能数据库集群的第一种方式是“读写分离”,其本质是将访问压力分散到集群中的多个节点,但是没有分散存储压力;第二种方式是“
分库分表
”,既可以分散访问压力,又可以分散存储压力
星猿杂谈
·
2024-01-24 22:05
软件架构
架构
数据库
分库分表
之sharingjdbc
分库分表
的技术有哪些
分库分表
是一种常用的数据库水平扩展技术,用于处理大规模数据存储和负载均衡。
你曾经是少年
·
2024-01-24 21:31
数据库
MySQL集群架构(三):
分库分表
分库分表
前言拆分方式垂直拆分垂直拆分优点垂直拆分缺点水平拆分水平拆分优点水平拆分缺点主键策略UUIDCOMB(UUID变种)SNOWFLAKE数据库ID表Redis生成ID分片分片概念分片策略基于范围分片哈希取模分片一致性哈希分片扩容方案停机扩容平滑扩容总结前言之前介绍了
一白丁
·
2024-01-24 18:09
Mysql
分布式专题-数据库
分库分表
之Mycat01-数据库性能优化方案
目录导航前言为什么要
分库分表
数据库性能瓶颈主要原因数据性能优化方案SQL与索引表与存储引擎架构配置操作系统与硬件架构演进与
分库分表
单应用单数据库多应用单数据库多应用独立数据库什么时候分表?
✎ℳ๓₯㎕...雲淡風輕
·
2024-01-24 18:08
分布式专题
分布式
mycat
mysql优化
分库分表
binlog
高性能数据库集群-读写分离和
分库分表
声明:学习完李运华《从0开始学架构》,有一种醍醐灌顶,豁然开朗的感觉。为了能够对其概念有一个深入的理解,并且掌握其总结的方法论。特意对本课程做一个提炼,形成自己的知识体系。毕竟能给别人讲清楚了,才能说明自己真的掌握了。本文的引用仅限自我学习如有侵权,请联系作者删除。读写分离的应用场景是什么?读写分离适用单机并发无法支撑并且读的请求更多的情形。在单机数据库情况下,表上加索引一般对查询有优化作用却影响
快乐的一只程序猿
·
2024-01-24 18:08
系统架构
数据库
中间件
读写分离
分库分表
高性能数据库集群
性能优化之数据库篇5-
分库分表
与数据迁移
一、数据库拆分夏菡小说网https://www.2912.info1.为什么要做数据库拆分单机数据库存在的问题?从容量、性能、可用性和运维成本上难以满足海量数据的场景。性能方面,数据量超过一定阈值,B+树索引慎独增加导致磁盘访问的IO次数增加,进而导致查询性能的下降。容量方面,单机能存储的数据量有限可用性方面,大量的查询落到单一的数据库节点或者简单的主从架构上,数据库很难承担。运维方面,数据量达到
Leonardo●da●Vinci
·
2024-01-24 18:07
浅谈高性能数据库集群 ——
分库分表
点击上方“芋道源码”,选择“置顶公众号”技术文章第一时间送达!源码精品专栏精尽Dubbo原理与源码69篇精尽Netty原理与源码61篇中文详细注释的开源项目Java并发源码合集RocketMQ源码合集Sharding-JDBC源码解析合集SpringMVC和Security源码合集MyCAT源码解析合集来源:https://www.jianshu.com/p/9eadfba9cdaf最近学习了阿里
芋道源码
·
2024-01-24 18:35
分布式数据库架构--分库、分表、排序、分页、分组、实现
MySQL
分库分表
总结:单库单表:单库单表是最常见的数据库设计,例如,有一张用户(user)表放在数据库db中,所有的用户都可以在db库中的user表中查到。
Lionel_Medoo
·
2024-01-24 18:35
数据库
分表
分库
架构篇15:高性能数据库集群-
分库分表
文章目录业务
分库分表
实现方法小结上篇我们讲了“读写分离”,读写分离分散了数据库读写操作的压力,但没有分散存储压力,当数据量达到千万甚至上亿条的时候,单台数据库服务器的存储能力会成为系统的瓶颈,主要体现在这几个方面
星猿杂谈
·
2024-01-24 18:01
软件架构
数据库
架构
oracle
分库分表
、主从、读写分离
首先,我认为初期规划不该太复杂或者庞大,无论项目的中长期可能会发展地如何如何,前期都应该以灵活为优先,像
分库分表
等操作不应该在开始的时候就考虑进去。
爱斯基摩白
·
2024-01-24 14:59
MySQL的主从复制+读写分离+
分库分表
,看这一篇文章就够了
文章目录1、为什么需要主从复制2、MySQL主从复制概念3、主从复制主要用途4、MySQL主从形式5、主从复制原理6、主从复制-实战6.1、环境如下6.2、主库配置6.3、从库配置6.4、测试7、中间件框架7.1、Sharding-JDBC介绍7.2、ShardingSphere8、读写分离1、表准备2、新建项目3、启动类4、yml配置5、实体类6、mapper7、controller8、测试9、
小学生波波
·
2024-01-24 11:03
Mysql
面试宝典
数据库
mysql
服务器
linux安装mycat2 搭建主从复制 读写分离
分库分表
linux安装mycat2搭建读写分离
分库分表
一、安装mycat21.下载mycat2压缩包2.解压3.修改权限4.配置物理地址5.启动mycat6.连接mycat二、主从复制1.环境说明2.配置主从复制三
理塘丁甄
·
2024-01-24 11:03
mysql
运维
数据库
MySQL主从复制、读写分离、
分库分表
MySQL主从复制、读写分离、
分库分表
目录MySQL主从复制、读写分离、
分库分表
一、主从复制1.1为什么使用主从复制?1.2什么是mysql的主从复制?
java白中白.
·
2024-01-24 11:32
java
mysql
数据库
服务器
Mysql的主从复制、读写分离、
分库分表
学习
主从复制的原理:基于主服务器的二进制日志(binlog)跟踪所有的对数据库的完整更改实现。当主数据库中所有操作都会以“事件”的方式记录在二进制日志中,其他数据库作为slave通过一个I/O线程与主服务器保持通信,如果master的二进制日志一旦发生改变,slave就会把变化复制到自己的日志当中,随后做出相应的操作,以此实现从数据库和主数据库的一致性。实现步骤:要实现MySQL的主从复制,首先必须打
xiehert
·
2024-01-24 11:32
学习心得
Mysql数据库主从复制和
分库分表
浅析
内容提供:李智慧,前阿里巴巴技术专家,《大型网站技术架构》作者分布式数据库和分布式存储是分布式系统中难度最大、挑战最大,也是最容易出问题的地方。互联网公司只有解决分布式数据存储的问题,才能支撑更多次亿级用户的涌入。接下来,你将花费十分钟掌握以下三方面内容:1、MySQL复制:包括主从复制和主主复制;2、数据分片:数据分片的原理、分片的方案、分片数据库的扩容;3、数据库分布式部署的几种方案。一、My
一颗向上的草莓
·
2024-01-24 11:30
数据库—Mysql
上一页
1
2
3
4
5
6
7
8
下一页
按字母分类:
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
其他