mysql数据同步的问题

hive2mysql,每天1点执行,执行前会先truncate mysql中的table,然后从hive查询后插入mysql中,完成同步过程大概2分钟,如果在这2分钟内,mysql table被多次请求,数据不完整怎么办?
有更好的方法解决吗?尽量使用到新数据,无新数据时使用旧数据而不是返回空数据
#Java工程师#
全部评论
这个我之前搞过,只能批量调度
点赞 回复 分享
发布于 2018-12-29 16:51
比较简单的方法:两个mysql,一个支撑服务,另一个用来做hive2mysql,倒完数据后直接切流,基本就搞定了。
点赞 回复 分享
发布于 2018-12-29 16:55
我不知道是不是理解错了,但是hive是一次写入的吧?前面是请求不到的
点赞 回复 分享
发布于 2018-12-29 18:33
不能做增量插入嘛,最近被Hive
点赞 回复 分享
发布于 2018-12-29 19:02
不能做增量插入嘛,最近被Hive折磨
点赞 回复 分享
发布于 2018-12-29 19:02

相关推荐

10-24 13:36
门头沟学院 Java
Zzzzoooo:更新:今天下午有hr联系我去不去客户端,拒了
点赞 评论 收藏
分享
10-28 11:04
已编辑
美团_后端实习生(实习员工)
一个2人:我说几个点吧,你的实习经历写的让人觉得毫无含金量,你没有挖掘你需求里的 亮点, 让人觉得你不仅打杂还摆烂。然后你的简历太长了🤣你这个实习经历看完,估计没几个人愿意接着看下去, sdk, 索引这种东西单拎出来说太顶真了兄弟,好好优化下简历吧
点赞 评论 收藏
分享
评论
点赞
收藏
分享
牛客网
牛客企业服务