|
一、先总结一下以前的经验
本人前公司项目开发基本算是CQRS的,但是有些繁琐
后台和数据接口用.net(后大部分转java),前台nodejs
数据统计用hive,hive每天凌晨同步数据
但是涉及列表含模糊搜索基本都是交给站内搜索团队,他们用Lucene,搜索每天抓取全量数据,定时(比如5分钟)抓取增量数据
碰到的问题主要有两个:
1. 数据库负载问题
很多系统需要相同数据库的数据,导致死锁、io高负载
DBA弄很多从库,有时又出现数据同步延时和数据不一致问题
2. 数据不一致不及时问题
后台、接口、搜索、统计、中转接口的数据有时出现不一致
有些数据还是T+1或者T+2的统计数据
其中极少数是多从库数据不一致和多个“相同功能”逻辑不一致
大部分还是多级缓存的问题
每个程序为了保证可用性,或多或少都自己做了缓存处理
打接口查问题，清缓存都是家常便饭
二、现在也有很多.net开源的DDD和CQRS框架
原理也很简单,把已经发生的事情包装为事件(一般用MQ),其他关联系统订阅事件
关联系统需要什么数据就要联系对方提供对应的事件,可能需要开发排期,需要更高层次的领导协调,有时也是苦不堪言
订阅事件写数据同步逻辑大部分都没有啥技术含量,程序员写起来很不爽,觉得数据同步的事情交给DBA就可以了
三、为此本人有个设想使用ShadowSql来简化这个过程
比如用mysql存储业务原始数据、es用来做前端展示、hive做数据挖掘
ShadowSql做添加、修改、删除都继承IExecuteSql接口
业务系统执行sql成功后把IExecuteSql对方发送到队列,相当于是mysql的binlog(ShadowSql支持多种数据库,这里只是拿mysql举例,其他数据库也是可以的)
由于ShadowSql支持多种数据库,也可以扩展来支持es和hive等
其他关联系统订阅队列,就可以直接执行sql了
当然这最好有个前提,主键、Id等最好不要用数据库的自增列，否则可能导致不一致
业务要用的字段最好也别用数据库默认值规则产生(比如添加、修改时间等)或触发器修改
当然也是有少部分逻辑不能通过简单数据同步来实现,特例只能程序员写代码了
我相信通过IExecuteSql对象来同步数据库可以解决80%+的问题
以上只是设想,ShadowSql暂时还不支持es和hive,为了方便消息处理IExecuteSql对象ShadowSql逻辑可能还需要调整
来源：https://www.cnblogs.com/xiangji/p/18923431 |
發表於 2025-6-11 10:56:00