MQ/Kafka 消息处理

1、大数据量/消息处理问题/MQ消息堆积

第一步:采用kafka做一下接口,然后分散到各个业务线的MQ中

第二步:MQ拿到数据后,如果数据量还是很大,采用线程池处理

第三步:增大消费者节点,比如一个节点可以同时有50个线程,那么就可以迅速消费50条消息;如果消费者节点有20个,那么同时就可以迅速消费1000条消息

2、防止MQ消息丢失

1、投递失败导致丢失:开启Confirm机制,分配唯一ID,获取ACK消息判断是否投递成功;利用try-catch机制设置兜底策略

2、持久化失败导致丢失:通过唯一ID监控,消息是否被正常投递或者消费,如果没有,可以通过人工干预,重新投递

3、消费失败导致丢失:利用try-catch机制设置兜底策略

重点:在消息处理的过程中,日志异常重要,我们需要通过日志和监控观察消息是否被正常投递/消费

3、消费者处理MQ消息会有什么隐患

1、线程池是否会造成消息丢失?--多线程/线程池使用中有解决方案

2、消息被重复消费

4、 防止MQ消息重复消费

1

剩余60%内容,订阅专栏后可继续查看/也可单篇购买

八股文+场景题+算法真题 文章被收录于专栏

Java全新整理八股文 + 场景题 + 算法 精心设计,面试命中率超过80% 专栏优势: 1、问题和答案已经整理到位,答案更专业,可以直接回答,不需要额外总结! 2、场景题讲解清晰,适用于大部分场景的项目,并且持续更新中 3、分享学习心得【知识点的广度和深度,算法有哪些坑,如何准备面试等等】

全部评论

相关推荐

360服务器开发—golang为主  一面  全程45min1.自我介绍2.上段实习(ps:上段实习也是网安行业的,问的比较细)3.golang并发优势4.gmp和gc(ps:回答较为全面)😬😬😬gmp从单进程讲到多进程/多线程,gmp的设计原理和优势,为什么等等gc从算法到gc阶段到写屏障等等5.服务器优化方案ps:当时简单回答了看CPU使用率,看MySQL慢查询日志,用普罗米修斯去监控数据库6.接口性能优化ps:好多方案,大概举例了11种,等我整理链接放在评论区7.es为什么那么快(es问的比较深,好久没看了)答:倒排索引,然后举例讲了一下怎么倒排的,内存数据库,举例高度分页会导致查询速度变低,json数据格式,数据存储小,不确定对不对8.高必发场景下数据如何平滑写入es9.MySQL索引等10.redis数据结构和场景11.redis,hll用过吗360集团2025全球校园招聘今日启动【公司介绍】360成立于2005年,是世界领先、中国第一的网络安全领军企业,互联网免费安全服务的倡导者。【招募岗位】销售运营、算法、开发、运维、视觉设计【工作地点】北京、上海【福利待遇】竞争力薪资+全方位福利+校招生定制培养方案【投递链接】https://360campus.zhiye.com/campus/jobs?shareId=92cfb7e8-2ae3-49dc-b960-cf7ce3c1a6c7&shareSource=2【内推码】ES3C3K(简历优先筛选,后续有流程上的问题欢迎随时联系)填了内推码麻烦留言,我去确认下是否内推成功!岗位+姓名缩写格式~
360集团
|
校招
|
26个岗位
点赞 评论 收藏
分享
头像
10-30 14:44
已编辑
门头沟学院 Java
1. 自我介绍2. java底层数据结构(数组、栈、链表、队列)的特性和使用场景3. 大量数据的存储用哪种方式合适4. jdk8的hashmap底层实现5. hashmap链表转红黑树的触发条件,以及什么时候转回去6. hashmap和concurrenthashmap的区别,以及后者如何保证效率的同时,保证线程安全7. 线程池的核心参数,以及执行顺序8. java里面用过哪些锁9. ReentrantLock的底层实现原理,AQS怎么实现10. CAS里面使用volatile 保证了什么属性实现这种安全性11. 内存中基于什么操作来保证的12. volatile修饰的变量有什么特别的吗13. 双亲委派模型14. jvm运行数据区的构成以及作用15. 垃圾回收算法16. 老年代和年轻代用的什么算法17. Rabbitmq的消息可靠性怎么保证,重复消费问题18. mq怎么保证消息的顺序性19. 怎么实现消息的幂等性20. MySQL中innodb底层索引实现和MVCC,以及MySQL默认的隔离级别21.  redis底层数据结构,为啥使用跳表不用别的数据结构22. redis持久化机制的方式,以及内存淘汰策略23. redis的缓存一致性怎么实现24. 分布式锁用吗?Redisson如何加锁解锁操作?25. spring的循环依赖怎么解决,哪种注入方式可以解决,哪种方式不可以解决26. Mybatis里面的xml如何解析成Spring的bean注入到容器里面的27. 统计每个接口总的调用次数,放在SpringCloud组件哪个位置28. gateway通常用来干什么的29. 做完这些项目最后挑战或者成就感的是什么反问环节。。。。。。ps: 面试官很好,不会的会解释,然后会跟着简历来问问题。10.30  进二面#数据人的面试交流地##数字马力面经##面经#
查看58道真题和解析 数据人的面试交流地
点赞 评论 收藏
分享
1 收藏 评论
分享
牛客网
牛客企业服务