一 分布式事务问题的理论模型1 1CAP三进二CAP的定义Consistency(一致性
06月28日 07:25
“all nodes see the same data at the same time”,即更新操作成功并返回客户端后,所有节点在同一时间的数据完全一致,这就是分布式的一致性。一致性的问题在并发系统中不可避免,对于客户端来说,一致性指的是并发访问时更新过的数据如何获取的问题。从服务端来看,则是更新如何复制分布到整个系统,以保证数据最终一致。
(资料图片)
Availability (可用性):可用性指“Reads and writes always succeed”,即服务一直可用,而且是正常响应时间。好的可用性主要是指系统能够很好的为用户服务,不出现用户操作失败或者访问超时等用户体验不好的情况。
Partition Tolerance (分区容错性):即分布式系统在遇到某节点或网络分区故障的时候,仍然能够对外提供满足一致性或可用性的服务。比如现在的分布式系统中有某一个或者几个机器宕掉了,其他剩下的机器还能够正常运转满足系统需求,对于用户而言并没有什么体验上的影响。
CAP三进二的含义CAP理论就是说在分布式存储系统中,最多只能实现上面的两点。而由于当前的网络硬件肯定会出现延迟丢包等问题,所以分区容忍性是我们必须需要实现的。所以我们只能在一致性和可用性之间进行权衡,没有NoSQL系统能同时保证这三点。
CA:传统Oracle数据库 || AP:大多数网站架构的选择 || CP:Redis、Mongodb
注意:分布式架构的时候必须做出取舍。一致性和可用性之间取一个平衡。多余大多数web应用,其实并不需要强一致性。因此牺牲C换取P,这是目前分布式数据库产品的方向。
CAP的核心理论是:就是一个分布式体统不可能同时满足一致性、可用性、分区容错性三个需求,最多只能较好的同时满足两个。
CA without P:放弃P的同时也就意味着放弃了系统的扩展性,也就是分布式节点受限,没办法部署子节点,这是违背分布式系统设计的初衷的。CP without A:如果不要求A(可用),相当于每个请求都需要在服务器之间保持强一致,而P(分区)会导致同步时间无限延长(也就是等待数据同步完才能正常访问服务),一旦发生网络故障或者消息丢失等情况,就要牺牲用户的体验,等待所有数据全部一致了之后再让用户访问系统。设计成CP的系统其实不少,最典型的就是分布式数据库,如Redis、HBase等。对于这些分布式数据库来说,数据的一致性是最基本的要求,因为如果连这个标准都达不到,那么直接采用关系型数据库就好,没必要再浪费资源来部署分布式数据库。AP wihtout C:高可用并允许分区,放弃一致性。一旦分区发生,节点之间可能会失去联系,为了高可用,每个节点只能用本地数据提供服务,而这样会导致全局数据的不一致性。典型的应用就如某米的抢购手机场景,可能前几秒你浏览商品的时候页面提示是有库存的,当你选择完商品准备下单的时候,系统提示你下单失败,商品已售完。这其实就是先在 A(可用性)方面保证系统可以正常的服务,然后在数据的一致性方面做了些牺牲,虽然多少会影响一些用户体验,但也不至于造成用户购物流程的严重阻塞。1.2 BASE定理在上边,我们谈到,因为P总是存在的,放弃不了。另外,可用性、一致性也是我们一般系统必须要满足的,如何在可用性和一致性进行权衡,所以就出现了各种一致性的理论与算法。
BASE理论是:BASE是指基本可用(Basically Available)、软状态( Soft State)、最终一致性( Eventual Consistency)。BASE是对CAP中一致性和可用性权衡的结果,其来源于对大规模互联网系统分布式实践的总结,是基于CAP定理逐步演化而来的,其核心思想是即使无法做到强一致性(Strong consistency),但每个应用都可以根据自身的业务特点,采用适当的方式来使系统达到最终一致性(Eventual consistency)。
基本可用:基本可用是指分布式系统在出现不可预知故障的时候,允许损失部分可用性,以下两个就是“基本可用”的典型例子。
1. 响应时间上的损失:正常情况下,一个在线搜索引擎需要在0.5秒之内返回给用户相应的查询结果,但由于出现故障(比如系统部分机房发生断电或断网故障),查询结果的响应时间增加到了1~2秒。
2. 功能上的损失:正常情况下,在一个电子商务网站上进行购物,消费者几乎能够顺利地完成每一笔订单,但是在一些节日大促购物高峰的时候,由于消费者的购物行为激增,为了保护购物系统的稳定性,部分消费者可能会被引导到一个降级页面。
弱状态弱状态也称为软状态,和硬状态相对,是指允许系统中的数据存在中间状态,并认为该中间状态的存在不会影响系统的整体可用性,即允许系统在不同节点的数据副本之间进行数据同步的过程存在延时。
最终一致性最终一致性强调的是系统中所有的数据副本,在经过一段时间的同步后,最终能够达到一个一致的状态。因此,最终一致性的本质是需要系统保证最终数据能够达到一致,而不需要实时保证系统数据的强一致性。
1.3 二阶段提交协议二阶段提交(Two-phase Commit)被称为是一种协议(Protocol)。在分布式系统中,每个节点虽然可以知晓自己的操作时成功或者失败,却无法知道其他节点的操作的成功或失败。当一个事务跨越多个节点时,为了保持事务的ACID特性,需要引入一个作为协调者的组件来统一掌控所有节点(称作参与者)的操作结果并最终指示这些节点是否要把操作结果进行真正的提交(比如将更新后的数据写入磁盘等等)。
二阶段提交分为两阶段:
二阶段提交优点:
尽量保证了数据的强一致,但不是100%一致。缺点:
单点故障,由于协调者的重要性,一旦协调者发生故障,参与者会一直阻塞,尤其时在第二阶段,协调者发生故障,那么所有的参与者都处于锁定事务资源的状态中,而无法继续完成事务操作同步阻塞,由于所有节点在执行操作时都是同步阻塞的,当参与者占有公共资源时,其他第三方节点访问公共资源不得不处于阻塞状态数据不一致,在第二阶段中,当协调者向参与者发送提交事务请求之后,发生了局部网络异常或者在发送提交事务请求过程中协调者发生了故障,这会导致只有一部分参与者接收到了提交事务请求。这部分参与者接到提交事务请求之后就会执行提交事务操作。但是其他部分未接收到提交事务请求的参与者则无法提交事务。从而导致分布式系统中的数据不一致1.4 三阶段提交协议三阶段提交(Three-phase commit),三阶段提交是为解决两阶段提交协议的缺点而设计的。与两阶段提交不同的是,三阶段提交是“非阻塞”协议。三阶段提交在两阶段提交的第一阶段与第二阶段之间插入了一个准备阶段,使得原先在两阶段提交中,参与者在投票之后,由于协调者发生崩溃或错误,而导致参与者处于无法知晓是否提交或者中止的“不确定状态”所产生的可能相当长的延时的问题得以解决。
三阶段提交的三个阶段:
询问阶段 CanCommit
协调者向参与者发送CanCommit请求,参与者如果可以提交就返回Yes响应,否则返回No响应。
准备阶段 PreCommit
协调者根据参与者在询问阶段的响应判断是否执行事务还是中断事务:
如果所有参与者都返回Yes,则执行事务如果参与者有一个或多个参与者返回No或者超时,则中断事务参与者执行完操作之后返回ACK响应,同时开始等待最终指令
提交阶段 DoCommit
协调者根据参与者在准备阶段的响应判断是否执行事务还是中断事务:
如果所有参与者都返回正确的ACK响应,则提交事务如果参与者有一个或多个参与者收到错误的ACK响应或者超时,则中断事务如果参与者无法及时接收到来自协调者的提交或者中断事务请求时,会在等待超时之后,会继续进行事务提交协调者收到所有参与者的ACK响应,完成事务。
解决二阶段提交时的问题
相比二阶段提交,三阶段提交降低了阻塞范围,在等待超时后协调者或参与者会中断事务。避免了协调者单点问题。阶段 3 中协调者出现问题时,参与者会继续提交事务。
三阶段提交的问题
数据不一致问题依然存在,当在参与者收到 preCommit 请求后等待 do commite 指令时,此时如果协调者请求中断事务,而协调者无法与参与者正常通信,会导致参与者继续提交事务,造成数据不一致。
所以无论是2PC还是3PC都不能保证分布式系统中的数据100%一致。
二. 解决方式2.1 补偿事务(TCC)TCC 是基于二阶段提交协议的服务化编程模型,是把一个完整的业务拆分为三个步骤
TCC分为三个阶段:
1. Try 阶段是做业务检查(一致性)及资源预留(隔离),此阶段仅是一个初步操作,它和后续的Confirm 一起才能
真正构成一个完整的业务逻辑。
2. Confirm 阶段是做确认提交,Try阶段所有分支事务执行成功后开始执行 Confirm。通常情况下,采用TCC则
认为 Confirm阶段是不会出错的。即:只要Try成功,Confirm一定成功。若Confirm阶段真的出错了,需引
入重试机制或人工处理。
3. Cancel 阶段是在业务执行错误需要回滚的状态下执行分支事务的业务取消,预留资源释放。通常情况下,采
用TCC则认为Cancel阶段也是一定成功的。若Cancel阶段真的出错了,需引入重试机制或人工处理。
优点:
性能提升:具体业务来实现控制资源锁的粒度变小,不会锁定整个资源。
数据最终一致性:基于 Confirm 和 Cancel 的幂等性,保证事务最终完成确认或者取消,保证数据的一致性。
可靠性:解决了 XA 协议的协调者单点故障问题,由主业务方发起并控制整个业务活动,业务活动管理器也变成多点,引入集群。
缺点:TCC 的 Try、Confirm 和 Cancel 操作功能要按具体业务来实现,业务耦合度较高,提高了开发成本。
举例说明:
2.2 本地消息表本地消息表的核心思想是将分布式事务拆分成本地事务进行处理。
在订单系统新增一条消息表,将新增订单和新增消息放到一个事务里完成,然后通过轮询的方式去查询消息表,将消息推送到MQ,库存系统去消费MQ。
执行流程:
订单系统,添加一条订单和一条消息,在一个事务里提交订单系统,使用定时任务轮询查询状态为未同步的消息表,发送到MQ,如果发送失败,就重试发送库存系统,接收MQ消息,修改库存表,需要保证幂等操作如果修改成功,调用rpc接口修改订单系统消息表的状态为已完成或者直接删除这条消息如果修改失败,可以不做处理,等待重试订单系统中的消息有可能由于业务问题会一直重复发送,所以为了避免这种情况可以记录一下发送次数,当达到次数限制之后报警,人工接入处理;库存系统需要保证幂等,避免同一条消息被多次消费造成数据一致。
本地消息表这种方案实现了最终一致性,需要在业务系统里增加消息表,业务逻辑中多一次插入的DB操作,所以性能会有损耗,而且最终一致性的间隔主要有定时任务的间隔时间决定。
2.3 MQ消息事务消息事务的原理是将两个事务通过消息中间件进行异步解耦。
订单系统执行自己的本地事务,并发送MQ消息,库存系统接收消息,执行自己的本地事务,乍一看,好像跟本地消息表的实现方案类似,只是省去了对本地消息表的操作和轮询发送MQ的操作,但实际上两种方案的实现是不一样的。
消息事务一定要保证业务操作与消息发送的一致性,如果业务操作成功,这条消息也一定投递成功。
消息事务依赖于消息中间件的事务消息,基于消息中间件的二阶段提交实现的,RocketMQ就支持事务消息。
执行流程:
发送prepare消息到消息中间件发送成功后,执行本地事务如果事务执行成功,则commit,消息中间件将消息下发至消费端如果事务执行失败,则回滚,消息中间件将这条prepare消息删除消费端接收到消息进行消费,如果消费失败,则不断重试这种方案也是实现了最终一致性,对比本地消息表实现方案,不需要再建消息表,不再依赖本地数据库事务了,所以这种方案更适用于高并发的场景。
三. 总结在实际生产中我们要尽量避免使用分布式事务,能转化为本地事务就用本地事务,如果必须使用分布式事务,还需要从业务角度多思考使用哪种方案更适合。
关键词:
一 分布式事务问题的理论模型1 1CAP三进二CAP的定义Consistency(一致性
06月28日 07:25
通讯员王君强报道5月29日,省委机要处处长李汝江到长智镇调研机要文件
06月28日 07:26
记者宗兆洋通讯员郑砚为深化“放管服”改革,完善政务服务机制,持续推
06月28日 07:33
6月26日,中国石化部署在重庆武隆地区的风险探井坪地1HF井,自投产以来
06月28日 07:22
央视网消息(新闻联播):今天(6月26日),世界互联网大会数字文明尼
06月28日 07:13
5月29日,威海市高区教育分局党委副书记王波带队到山东省地矿局第六地
06月28日 07:28
北京时间6月28日,降入意乙的桑普多利亚官方宣布,现年44岁的皮尔洛成
06月28日 07:31
津云新闻讯:6月26日,天津市政府新闻办召开发挥优势做优做强数字产业
06月28日 07:18
人民币兑新加坡元汇率(2023年6月26日)
06月28日 07:33
2023年06月26日10:19:22来源:东南网夜色降临,位于厦门市同安区祥平街
06月28日 07:16
日前,上海市公布第六批通过“上海品牌”认证名单,长宁企业上海万宏养
06月28日 07:23
“张北的风点亮北京的灯”背后的一组“公式”张北草原深处,风光“捕手
06月28日 07:32
摘要:2023年06月26日安恒信息(688023)股价大幅跳水7 04%,该股报182
06月28日 07:32
端午假期,皇岗、福田口岸持续迎来出入境客流双向高峰,皇岗边检民警增
06月28日 07:26
央视网消息:据商务部网站消息,商务部美大司负责人就美方以涉芬太尼问
06月28日 07:30
爱国主义教育法草案6月26日首次提请全国人大常委会会议审议。制定
06月28日 07:12
6月26日,记者从南宁水文中心了解到,截至26日8时:过去24小时,南宁市
06月28日 07:14
中工网讯连日来,天气持续高温炎热,天津市红桥区各级工会积极行动,走
06月28日 07:16
(周建琳)今年6月是第22个全国“安全生产月”,主题是“人人讲安全,个
06月28日 07:27
2023年4月24日,温岭联络线项目泽国2号桥82-85 墩悬臂现浇连续箱梁施工
06月28日 07:23
编者按:技能人才青春绽放,广东制造未来可期。6月26日,由广东省人力
06月28日 07:22
图为活动现场图为活动现场(温志平韩猛)端午节期间,内蒙古消防救援总队
06月28日 07:14
宁夏回族自治区气象台2023年06月26日16时10分发布大风蓝色预警信号:预
06月28日 07:25
据环球网报道,布林肯访华中美两国举行会谈期间,在台湾问题上出现分歧
06月28日 07:31
道天录叶凡技能搭配最新道天录叶凡技能搭配一览,
06月28日 07:12
海绵宝宝宇宙摇摆史前海藻森林的金铲子获取流程是很多人想要了解的,海
06月28日 07:20
《党风政风热线》是一档日播舆论监督类节目,节目采取广播、电视、新媒
06月28日 07:30
据6月13日山西省政府新闻办新闻发布会消息2023年山西省第九次旅游发展
06月28日 07:31
(潘琦)“开渔喽!”23日,随着鱼把头洪亮的吆喝声,新疆博斯腾湖湖面
06月28日 07:24
该基金紧密跟踪上证科创板芯片指数,该指数现下跌0 7%,报1366 18点,
06月28日 07:27