友邦咨询科技软测面经

1.hadoop组成2.讲一下spark on yarn提交流程3.spark宽窄依赖怎么划分4.spark为什么会存在shuffle5.说一下spark on Yarn两种运行模式：Cluster,client模式6.怎么避免死锁7.一个生产线程，一个处理线程，在服务需要退出的时候，怎么确保所有事件处理完了8.CPU消耗很高怎么排查9.接到一个需求怎么做？10.HQL优化详细讲一下11.数据倾斜是怎么发现的

一面自我介绍实习中遇到的最大困难分批处理数据问题：如何分批处理数据？回答：一开始COUNT总的条数，然后使用LIMIT和OFFSET进行分批查询。每个线程处理一个固定范围的数据，若范围内无数据则停止。追问：若多线程分批查询过程中有数据插入或者删除，则数据缺漏，如何解决问题？回答：维护事务。追问：多线程共享事务存在问题，不合适，有其他方式吗？回答：上锁，但是效率低下（面试官看我给出的两个方案都不满意，没再追问）CSRF攻击防护：问题：什么是CSRF攻击？如何防止？手撕：程序输出解释：问题：解释这个程序的输出（Java的值传递还是引用传递的例子）。绘图程序的改进：问题：如何改进绘图程序使其输出连续...

DeepSeek昨天说上涨概率35%，下跌概率65%。结果翻车了，我的板块今天大涨。说明deepseek光看指标也不是那么完美准确，还要看实时消息、市场情绪。今天deepseek预测上涨概率略提升。不过我今天跳车了。DS概念近期涨幅较大，个人感觉有可能获利盘回吐。我已经清仓DS，并全仓买入国开债券。见好就收吧！缓一缓再入缅A～ #聊聊我眼中的AI# #牛客AI配图神器#

1.grep 命令时，若想显示匹配行及其前五行，可以使用 -B 选项。例如，你有以下命令：2.使用sed命令。例如要删除文本文件test.txt的第三行3.进行文件操作时，使用 cp -R 进行备份是一种常见的做法。例如，如果要备份名为 test.txt 的文件，可以使用 cp -R test.txt test.txt.back 。4.如果你想使用 awk 查看文件的最后五行，可以结合 tail 命令。例如，对于文件 data.txt5.直接使用 awk 实现查看前五行或后五行或中间五行6.这个也是可能会经常使用到的，你就是顺着加 awk，然后就把一些字符串，或者就是把一些文本提取...