面了两个部门: nlp 没太多项目经验,目前主要在做模型压缩和gnn IEG,一小时左右 1.项目聊了很久 2.模型量化的主要困难是什么? 答:对于量化感知需要重训,然后底层低比特汇编难写 3.蒸馏有哪几种? 答:目前我知道的bert 的蒸馏主要是中间层mse蒸馏,最后用softmax蒸馏 还有没有? 答:应该没了 4.Albert 答:主要做了3点改进:1.矩阵分解 2.权重共享 3.nsp任务改进 5.mobilebert 答:还没看,正准备看,只是大概知道和蒸馏不一样,mobilebert bert 层数没有改...