字节跳动面试是真的难！复盘一下！

2024/11/081.自我介绍2.围绕项目提问手撕题:3.如何使用rand5来实现rand74.实现一个多头注意力机制。大模型八股:5.注意力计算时，为什么需要除以缩放系数？6.具体到多头注意力的计算中，掩码是如何加入的？（加性掩码，负无穷表示masked，0表示不masked）7.全参数微调和lora的区别8.LSTM和transformer的区别，transformer的优势？9.deepspeed的zero1，zero2和zero3都是什么？10. deepspeed和Megatron之间的差异是什么？11.为什么大量使用decoder而不是encoder？已过，已约二面。#字节求职进展汇总##字节复活赛##字节##哪个瞬间让你对大厂祛魅了？#

概述：秋招最恐怖的一集，感觉二面才是真正的基础面，被狠狠拷打了60分钟，面完觉得必挂，但是抽象地过了面试流程：1、自我介绍2、epoll和select的区别讲原理到一半被打断3、select最多能有多少个连接，可以修改吗答1024，感觉不能修改实际可以通过修改FD_SETSIZE宏的大小 来改变4、epoll最多能有多少个连接，有什么限制吗答65535，内存和端口、系统参数限制理论上无限制，实际受系统fd限制和内存资源影响，通过修改相关参数可以支持百万级的连接（如nginx）5、4核8G的服务器，可以创建多少连接没想清楚6、客户端和服务端距离很远，建立连接后，客户端长时间不发消息，连接会怎么...

这两面相对第一面（个人第7面）能挖的东西感觉更少了，面试大部分在围着我的项目聊，八股基本涉及的特别少。2024/11/14（二面）1. 自我介绍2. 聊项目3.手撕，一个二维矩阵相乘4.手撕，根据输入建立一个树结构，需要处理错误情况（一个节点指定了一个不存在的节点作为他的父结点）5.自注意力的N平方复杂度体现在哪块？6.推理加速的方法？7. kv cache是什么，为什么要使用kv cache，kv cache的大小和哪些东西相关？2024/11/19（三面）1.自我介绍2.手撕，互动窗口内的最大值，用队列解。3.折回来聊项目，基本上简历上写的项目全聊了一边。下面是一堆八股，因为这个团队不仅要做算法还要做开发，因此有很多开发的八股，我都不会😅4.tcp怎么保证可靠传输5.从输入一个网站url到浏览器解析出前端页面的全过程。6.关系型数据库和非关系型数据库之间的区别。7.内存里堆和栈的区别。8.常用的激活函数。9.讲一下transformer里的自注意力机制。二面、三面秒过，已约hr面。 #字节# #字节求职进展汇总# #字节复活赛# #秋招OC许愿# #秋招# #算法# #面经# #字节面经#

拷打实习经历八股：准确率 和 召回率Lora原理Q-Lora原理自注意力机制公式大模型的复读机原因及解决方法。手撕：乘积最大子数组