.net 实现 CQRS 的一个设想
<p>一、先总结一下以前的经验</p><p>本人前公司项目开发基本算是CQRS的,但是有些繁琐</p>
<p>后台和数据接口用.net(后大部分转java),前台nodejs</p>
<p>数据统计用hive,hive每天凌晨同步数据</p>
<p>但是涉及列表含模糊搜索基本都是交给站内搜索团队,他们用Lucene,搜索每天抓取全量数据,定时(比如5分钟)抓取增量数据</p>
<p>碰到的问题主要有两个:</p>
<p>1. 数据库负载问题</p>
<p>很多系统需要相同数据库的数据,导致死锁、io高负载</p>
<p>DBA弄很多从库,有时又出现数据同步延时和数据不一致问题</p>
<p>2. 数据不一致不及时问题</p>
<p>后台、接口、搜索、统计、中转接口的数据有时出现不一致</p>
<p>有些数据还是T+1或者T+2的统计数据</p>
<p>其中极少数是多从库数据不一致和多个“相同功能”逻辑不一致</p>
<p>大部分还是多级缓存的问题</p>
<p>每个程序为了保证可用性,或多或少都自己做了缓存处理</p>
<p>打接口查问题，清缓存都是家常便饭</p>
<p> </p>
<p>二、现在也有很多.net开源的DDD和CQRS框架</p>
<p>原理也很简单,把已经发生的事情包装为事件(一般用MQ),其他关联系统订阅事件</p>
<p>关联系统需要什么数据就要联系对方提供对应的事件,可能需要开发排期,需要更高层次的领导协调,有时也是苦不堪言</p>
<p>订阅事件写数据同步逻辑大部分都没有啥技术含量,程序员写起来很不爽,觉得数据同步的事情交给DBA就可以了</p>
<p> </p>
<p>三、为此本人有个设想使用ShadowSql来简化这个过程</p>
<p>比如用mysql存储业务原始数据、es用来做前端展示、hive做数据挖掘</p>
<p>ShadowSql做添加、修改、删除都继承IExecuteSql接口</p>
<p>业务系统执行sql成功后把IExecuteSql对方发送到队列,相当于是mysql的binlog(ShadowSql支持多种数据库,这里只是拿mysql举例,其他数据库也是可以的)</p>
<p>由于ShadowSql支持多种数据库,也可以扩展来支持es和hive等</p>
<p>其他关联系统订阅队列,就可以直接执行sql了</p>
<p>当然这最好有个前提,主键、Id等最好不要用数据库的自增列，否则可能导致不一致</p>
<p>业务要用的字段最好也别用数据库默认值规则产生(比如添加、修改时间等)或触发器修改</p>
<p>当然也是有少部分逻辑不能通过简单数据同步来实现,特例只能程序员写代码了</p>
<p>我相信通过IExecuteSql对象来同步数据库可以解决80%+的问题</p>
<p> </p>
<p>以上只是设想,ShadowSql暂时还不支持es和hive,为了方便消息处理IExecuteSql对象ShadowSql逻辑可能还需要调整</p>
<p> </p><br><br>
来源：https://www.cnblogs.com/xiangji/p/18923431
頁:
[1]