缺点:无论采用上面哪一种方案 , 如果主库的写操作频繁不断 , 那么从库的值永远跟不上主库的值 , 那么读流量永远是打在了主库上 。
针对这个问题 , 有什么解决方案?这个问题跟 MQ消息队列 既要求高吞吐量又要保证顺序是一样的 , 从全局来看确实无解 , 但是缩小范围就容易多了 , 我们可以保证一个分区内的消息有序 。
回到 主从库 之间的数据同步问题 , 从库查询哪条记录 , 我们只要保证之前对应的写binglog已经同步完数据即可 , 可以不用管主从库的所有的事务binlog 是否同步 。
问题是不是一下简单多了
四、从库节点判断主库位点在从库执行下面命令 , 返回是一个正整数 M , 表示从库从参数节点开始执行了多少个事务
select master_pos_wait(file pos[ timeout
);
- file 和 pos 表示主库上的文件名和位置
- timeout 可选 ,表示这个函数最多等待 N 秒
五、比较 GTID执行下面查询命令
- 阻塞等待 , 直到从库执行的事务中包含 gtid_set , 返回 0
- 超时 , 返回 1
MySQL 5.7.6 版本开始 , 允许在执行完更新类事务后 , 把这个事务的 GTID 返回给客户端 。 具体操作 , 将参数 session_track_gtids 设置为 OWN_GTID , 调用 API 接口
mysql_session_track_get_first 返回结果解析出 GTID
处理流程:
- 发起 写 SQL 操作 , 在主库成功执行后 , 返回这个事务的 GTID
- 发起 读 SQL 操作时 , 先在从库执行 select wait_for_executed_gtid_set (gtid_set 1)
- 如果返回 0 , 表示已经从库已经同步了数据 , 可以在从库执行 查询 操作
- 否则 , 在主库执行 查询 操作
六、引入缓存中间件
高并发系统 , 缓存作为性能优化利器 , 应用广泛 。 我们可以考虑引入缓存作为缓冲介质
处理过程:
- 客户端写SQL, 操作主库
- 同步将缓存中的数据删除
- 当客户端读数据时 , 优先从缓存加载
- 如果 缓存中没有 , 会强制查询主库预热数据
七、数据分片
参考 Redis Cluster 模式 ,集群网络拓扑通常是 3主 3从 , 主节点既负责写 , 也负责读 。
通过水平分片 , 支持数据的横向扩展 。 由于每个节点都是独立的服务器 , 可以提高整体集群的吞吐量 。
转换到数据库方面
常见的解决方式 , 是分库分表 , 每次读写都是操作主库的一个分表 , 从库只用来做数据备份 。 当主库发生故障时 , 主从切换 , 保证集群的高可用性 。
- 赤峰|京东物流与内蒙古赤峰商会开展线下交流合作
- 小米科技|200块加急修电脑显卡
- Java|影驰RTX 3090 Ti星曜OC显卡评测:闪耀旗舰,由你创作
- 显卡|骁龙8Gen1旗舰直降1000元,2K高刷直屏+256GB,终于等到了
- tiktok|217亿晶体管!Intel Arc独立显卡远超RTX 3070 Ti
- 联想|喜欢的赶紧买!联想Y9000P 2022京东自营现货
- 显卡|红米Note 12 Pro:6000mAh+天玑8000,仅1799元起
- 创业|继阿里腾讯之后,京东也挺不住了,裁员比例达15%!
- 裁员|京东:说好的“不开除任何一个兄弟”,如今全面开火大面积裁员
- 显卡|如何有效将私域流量沉淀?