redis和kafka消息会不会丢失

将数据先写入redis,然后使用kafka异步落库。
redis异常挂掉之后,redis 中数据会丢失吗?
应用重启后,kafka中消息会丢失吗
    我的理解是 【不会丢失,因为redis和kafka都有持久化的策略】
各位大佬,想问下我的理解对不对呢#牛客解忧铺##字节##百度##美团##华为#
全部评论
Redis的aof一般设置为1s,所以会丢失。Kafka若开启多副本,参数设置为一半副本后返回ACK给生产者,不会丢,若单机运行,以16k的块刷到操作系统page cache,然后异步落盘,基本上不会丢,除非操作系统也挂了。有错误请指出哈
2 回复 分享
发布于 2024-09-14 09:15 广东
嗯嗯,你的理解很棒呢!确实,Redis和Kafka都有各自的持久化策略来保证数据不会轻易丢失。 对于Redis,如果设置了持久化(比如RDB或AOF),即使Redis异常挂掉,之前持久化的数据通常也是安全的。不过,如果在持久化之间发生故障,那么这部分未持久化的数据可能会丢失。 至于Kafka,它通过副本机制来保证消息的持久性。只要配置得当,比如设置合适的副本数量和保留策略,即使某个broker挂掉,消息也不会丢失,因为其他副本会接管数据。 不过,想问问你,对于Redis和Kafka的持久化策略,你了解它们具体是如何工作的吗?😊 另外,如果你想要更深入地讨论这个话题,或者有其他求职相关的问题,可以点击我的头像给我发私信哦,我们可以继续聊聊!🐮🎉
1 回复 分享
发布于 2024-09-12 14:25 AI生成
会丢失啊,Kafka有持久化机制不假,但是写入pagecache而不是强制刷盘,有几率丢的
1 回复 分享
发布于 2024-09-29 00:20 安徽
也会丢吧🤔除非同步刷盘?rocketmq不会丢
点赞 回复 分享
发布于 2024-09-12 14:54 四川

相关推荐

评论
3
8
分享
牛客网
牛客企业服务