关于缓存数据的一致性探讨

缓存的意义

数据的保存,离不开磁盘或者内存的操作。为了永久性的保存,数据最终还是会同步到磁盘上,小流量小并发的系统,直接使用 mysql 进行数据的操作即可满足需求。但面对高并发大流量时,又应该怎么去更新保存读取数据呢?使用内存作为缓冲区,即缓存。CPU 操作内存空间的速度是比磁盘快一个大级别的,内存操作就是在公路上开汽车,磁盘读写则在小道上骑自行车

  • 基于内存去做缓存,有两种方案:一是基于本地内存实现,如简单使用 HashMap,guava 的 LoadCache,Caffeine;二是依赖局域网中的其他中间件,如 redis,Memcache,SQLite。这些内存数据库广泛地被当做分布式缓存中间件使用
  • 把数据拦截在内存上去操作,确实是提高了系统的性能。但是内存上的数据容易丢失,万一停电,机器宕机,数据全就没了,而且内存的硬件贵,容量小,并不是一个保存数据永久之地。因为我们最终还是要把数据同步到磁盘DB上,而同步就会出现一致性的问题

缓存的不一致性

  • 读一致性:先读取缓存数据,有数据则直接返回;如果读取不到,则读取DB上的数据,然后给缓存的数据设置过期时间,避免数据永久停留在内存上。读一致性问题不大
  • 写一致性:这里的写是专指新增的操作。和读操作差不多,直接写入数据库即可,如果后续有读操作,则使用读一致性的操作步骤即可保证一致性
  • 更新一致性:更新操作则有点麻烦,有两个问题:一是先更新缓存呢,还是删除缓存?二是先操作缓存还是 DB ? 两个问题组合起来就有四种方案了,各位带着问题往下看

先更新缓存后更新DB

这个方案基本不可能会被采用的,因为出了问题是不可挽回的。想一想在多线程操作的情况下


为啥说这个方案不会被采用呢?设想用户下单的场景。第一步:更新缓存里下单状态为成功(假设此时会预定库存);第二步读取到下单成功状态,然后准备去支付(此时第三步更新DB失败了)

  • 假设支付阶段,读取到缓存里的下单状态为成功,最终支付完成。因为下单阶段会预定库存,但实际 DB 更新失败,这将导致超卖。收了钱却没货发,等着被起诉吧,或者赔偿用户
  • 假设支付阶段,刚好缓存失效,读取到 DB 里的真实下单状态,支付失败。给用户的感觉就是垃圾产品

先更新DB后更新缓存

先更新数据库后更新缓存同样会存在数据不一致性,请看以下场景


网络问题可能会导致线程B更新缓存比线程A更快,而在第四步完成之后,缓存失效之前,缓存和数据库就会存在不一致性问题

  • 将更新DB和更新缓存操作封装在同一个事务?虽然可以做到强一致性,但这导致数据库事务的延长,会导致服务性能下降,本来引入缓存是为加大性能,怎么反向操作了
  • 可能你会认为不一致只是短暂的,可以接受,数据最终还是会达成一致性的。但是下面还有更好的方案为啥要选这个呢?
  • 还有如果写操作多,读操作少,这种方案就会导致,数据压根还没读到,缓存就被频繁的更新,浪费系统资源
  • 还有些场景,数据是要经过复杂的计算才写入缓存的,而并非写入数据库的那个数据。在读少写多的业务,这多出的计算操作也是浪费系统资源的

先删缓存后更新DB

看一下先删缓存后更新DB方案


  • 这个方案比更新DB后更新缓存好的地方在于,不用事先计算缓存,更新缓存
  • 但在第四步操作后,先删缓存后更新DB一样存在短暂的不一致性,怎么办?可以采用 延迟双删方案

延迟双删方案


可以看到延迟双删方案增加了一步骤,在更新完数据之后,延迟一段时间再删除缓存。至于这几毫秒怎么确定,则需要同学们自己根据相应服务数据的读操作耗时时间确定。延迟删除时间 = 读操作耗时时间 + 浮动时间(大概几十毫秒就行)

  • 延迟双删方案不能完美做到杜绝 缓存和DB不一致现象发生,只是极大概率减少数据不一致

先更新DB后删缓存


该方案也是不能完美解决不了数据的不一致性,但同样可以延迟删除的策略来降低数据不一致性的发生概率

  • 对比先删缓存后更新DB方案,优化的点在于少了一次删除操作

延迟删除


延迟删除,会不会存在删除失败的情况呢,这时怎么办。可以采用下面两种策略来补救

  • 删除缓存重试机制

  • 读取biglog异步删除缓存

  • 删除缓存重试机制有一个缺点,对业务线代码造成大量的侵入

  • 读取biglog异步删除缓存方案:专门启动一个更新缓存程序去订阅数据库的binlog,获得需要操作的数据,然后在进行更新缓存操作


#java核心技术#
全部评论
现代好点儿硬盘顺序读的速度甚至要比随机读内存还快,之前在哪里看到过一个测试数据
点赞 回复 分享
发布于 2022-08-02 09:39

相关推荐

找到工作就狠狠玩CSGO:恭喜大佬,但是有一个小问题:谁问你了?我的意思是,谁在意你是不是?我告诉你,根本没人问你,在我们之中0人问了你,我把所有问你的人都请来party了,到场人数是0个人,谁问你了?WHO ASKED?誰が聞いた?누가 물어봤어?谁问汝矣?(羡慕+玩梗,鹅是我的梦中情厂啊啊啊啊)
投递腾讯等公司10个岗位
点赞 评论 收藏
分享
不愿透露姓名的神秘牛友
10-05 23:58
西电本菜菜,秋招拿了几个后端的录用意向书,问下各位佬下面几个offer哪个前景更好一点1.美团到家研发平台    java开发具体业务是做拼好饭的导购,交易后端开发 base未知2.蚂蚁大安全技术部    具体业务是做安全相关的风控以及安全大模型数据支持 base杭州3.字节跳动国际电商      是做tiktok国际电商的电商平台治理 base珠海4.华为计算产品线  业务未知 应该是做计算产品线的鲲鹏或昇腾的算力啥的
含泪找工作:美团吧,拼好饭业务上升期,且属于集团核心业务。美团核心业务比字节非toc业务好多了,美团跟字节差不多层级的,美团目前本地生活属于巨无霸地位,市场占比超过50。华子这个一看就是机架部门,别去机架,而且还是华子的机架,技术落后。能toC就toC,能核心就核心,谨记。
投递58到家等公司10个岗位 >
点赞 评论 收藏
分享
2 12 评论
分享
牛客网
牛客企业服务