mysql数据同步的问题

hive2mysql，每天1点执行，执行前会先truncate mysql中的table，然后从hive查询后插入mysql中，完成同步过程大概2分钟，如果在这2分钟内，mysql table被多次请求，数据不完整怎么办？
有更好的方法解决吗？尽量使用到新数据，无新数据时使用旧数据而不是返回空数据
#Java工程师#
全部评论
这个我之前搞过，只能批量调度
点赞 回复 分享
发布于 2018-12-29 16:51
比较简单的方法：两个mysql，一个支撑服务，另一个用来做hive2mysql，倒完数据后直接切流，基本就搞定了。
点赞 回复 分享
发布于 2018-12-29 16:55
我不知道是不是理解错了，但是hive是一次写入的吧?前面是请求不到的
点赞 回复 分享
发布于 2018-12-29 18:33
不能做增量插入嘛，最近被Hive
点赞 回复 分享
发布于 2018-12-29 19:02
不能做增量插入嘛，最近被Hive折磨
点赞 回复 分享
发布于 2018-12-29 19:02

相关推荐

02-16 22:50
小红书_广告投放部_后端开发工程师
备战25春招/26实习之面试官最喜欢聊的东西（对症下药篇）
但是呢，这类视频其实更多的是在说你这个现有的东西，如何的去强化包装现有的东西，比如说你做了一个谷粒商城，那么好，我就针对你的现有的项目去聊一下，看看我们能优化那些方向，比如说高性能、高并发、高可用、订单域、库存等等的设计性和非设计性相关的东西。这也是目前我看到的大多数视频总结的核心思想。这也是一个高效优化简历利器。但是说，我们是不是还有一种方式去优化呢？其实这一点，实习过的人其实都是有点感触的。很多业务上其实你说在纯crud上比网上的那些黑马的项目差了什么吗？我认为不见得，站在写代码的角度，其实都是万变不离其宗的，但是为什么很多人去学习了网上免费的课程，学习了网上的项目，在面试的拷打面前，都站...
点赞 评论 收藏
分享
02-12 20:25
已编辑
中国科学技术大学 算法工程师
点赞 评论 收藏
分享
02-06 17:09
华南理工大学 Java
点赞 评论 收藏
分享
02-17 17:07
门头沟学院 C++
点赞 评论 收藏
分享
02-17 00:18
广东技术师范大学 后端
点赞 评论 收藏
分享
评论
点赞
收藏
分享

招聘动态

查看更多

26届实习生双选会报名开启

26届实习软件笔试必刷题单

京东 TET管培生

全站热榜

更多

创作者周榜

更多
正在热议
更多
# 读研or工作，哪个性价比更高？ #
24643次浏览 333人参与
# 如果重来一次你还会读研吗 #
154707次浏览 1701人参与
# 科大讯飞求职进展汇总 #
258964次浏览 2595人参与
# 秋招感动瞬间 #
11010次浏览 103人参与
# 阿里巴巴创始人马云回国 #
14265次浏览 87人参与
# 职场新人生存指南 #
195870次浏览 5398人参与
# 你最满意的offer薪资是哪家公司？ #
11967次浏览 109人参与
# 长光卫星求职进展汇总 #
27606次浏览 184人参与
# 文科生还参加今年的春招吗 #
3433次浏览 29人参与
# 追觅科技求职进展汇总 #
8548次浏览 58人参与
# 选择和努力，哪个更重要？ #
42355次浏览 472人参与
# 招聘要求与实际实习内容不符怎么办 #
41609次浏览 469人参与
# 打工人的工作餐日常 #
24750次浏览 221人参与
# 机械制造岗投递时间线 #
19332次浏览 324人参与
# 小红书求职进展汇总 #
40465次浏览 346人参与
# 影石Insta360求职进展汇总 #
107723次浏览 969人参与
# 如果再来一次，你还会学硬件吗 #
102856次浏览 1236人参与
# 机械人选offer，最看重什么？ #
68630次浏览 433人参与
# 机械人怎么评价今年的华为 #
180369次浏览 1485人参与
# 滴！实习打卡 #
554940次浏览 6009人参与
牛客网
牛客企业服务