mysql数据同步的问题

hive2mysql，每天1点执行，执行前会先truncate mysql中的table，然后从hive查询后插入mysql中，完成同步过程大概2分钟，如果在这2分钟内，mysql table被多次请求，数据不完整怎么办？
有更好的方法解决吗？尽量使用到新数据，无新数据时使用旧数据而不是返回空数据
#Java工程师#
全部评论
这个我之前搞过，只能批量调度
点赞 回复 分享
发布于 2018-12-29 16:51
比较简单的方法：两个mysql，一个支撑服务，另一个用来做hive2mysql，倒完数据后直接切流，基本就搞定了。
点赞 回复 分享
发布于 2018-12-29 16:55
我不知道是不是理解错了，但是hive是一次写入的吧?前面是请求不到的
点赞 回复 分享
发布于 2018-12-29 18:33
不能做增量插入嘛，最近被Hive
点赞 回复 分享
发布于 2018-12-29 19:02
不能做增量插入嘛，最近被Hive折磨
点赞 回复 分享
发布于 2018-12-29 19:02

相关推荐

11-21 23:17
门头沟学院 研发工程师
秋招可以暂告一个段落啦
上周腾讯开奖后，本来想这周把字节三面和叠纸的hr面面完再决定的，但是不是很想折腾了，叠纸后面还有高管面，感觉就算过了最后也不一定有鹅香，就直接不拖签三方了。七月底开始的秋招，投了将近百来家，初筛/笔试/复筛挂了将近一半，面试了应该有五六十场，也经历了不少压力面，其实早就倦怠了，8月高强度八股后就再也没看过八股，也不想刷题了，每天处于一种躺等面试的状态，就这样一直拖到11月，终于等到结果了。可以轮到鼠鼠来写经验分享咯：一、 稳住心态整个秋招流程中一定会经历各种心态崩了的时刻，比如：为什么我这么匹配这个岗位结果初筛挂了？为什么我笔试都做出来了把我挂了？为什么我都答上来了还是没通过面试？其实都是正常...
查看6道真题和解析
点赞 评论 收藏
分享
昨天 01:03
宁夏大学 Java
点赞 评论 收藏
分享
11-21 22:16
河南农业大学 C++
这是怎么回事啊
牛客410815733号：这是什么电影查看图片
点赞 评论 收藏
分享
11-11 11:16
山东石油化工学院 自动化
点赞 评论 收藏
分享
11-20 17:16
淘天集团_HR
淘天11月算法内推
很多同学已经被逼签了，局势其实已经开始变化了，各个厂子都有被鸽的岗位，很多hr开始线下捞人，比如咱们的算法部门有有有开始捞人了 岗位算法技术未来生活实验室：算法工程师-机器学习、算法工程师-自然语言处理、算法工程师-多模态部门淘天集团算法技术未来生活实验室建议：熟悉LLM或MLLM的训练等技术，或者有相关领域的研究;在ICCV、CVPR等国际顶级会议、期刊上发表论文，或在相关学术会议组织的权威比赛中获奖或在校园内或互联网公司有相关实习或项目经历更佳;以及熟悉算法和infra的多面手们可以用我的内推链接（点击就是直接内推了）：https://talent.taotian.com/ca...
投递淘天集团等公司10个岗位 >
点赞 评论 收藏
分享
点赞 收藏 评论
分享

招聘动态

查看更多

字节跳动

2025校园招聘

阿里云管培生

2025届校园招聘

快手Star

2025届招聘

快手

销售类投递专区

全站热榜

正在热议
# 25届秋招总结 #
341232次浏览 3256人参与
# 我的实习求职记录 #
6077886次浏览 83608人参与
# 百度开奖 #
192319次浏览 1225人参与
# 地方国企笔面经互助 #
4802次浏览 12人参与
# 职场吐槽大会 #
89747次浏览 740人参与
# 选完offer后，你后悔学本专业吗 #
22388次浏览 160人参与
# 阿里云管培生offer #
39524次浏览 566人参与
# ai智能作图 #
1209次浏览 32人参与
# 运营商笔面经互助 #
91945次浏览 1329人参与
# 海康威视求职进展汇总 #
401635次浏览 3414人参与
# 如果有时光机，你最想去到哪个年纪？ #
23404次浏览 467人参与
# 国企还是互联网，你怎么选？ #
89711次浏览 697人参与
# 风评不好的公司，你会去吗？ #
20519次浏览 94人参与
# 如何一边实习一边秋招 #
998598次浏览 12679人参与
# 腾讯求职进展汇总 #
197750次浏览 1650人参与
# 银行笔面经互助 #
84235次浏览 888人参与
# 第一份工作应该选择高薪还是大平台 #
88709次浏览 590人参与
# bilibili求职进展汇总 #
33703次浏览 360人参与
# 许愿池 #
215247次浏览 2536人参与
# 上班苦还是上学苦呢？ #
78024次浏览 723人参与
# 正在实习的你，几点下班 #
53820次浏览 397人参与
# 国央企薪资爆料 #
13130次浏览 96人参与
牛客网
牛客企业服务