vivo社招面试

一面,又被按在地上摩擦,完全不按常规出牌

(1)bert的未登录词怎么处理
(2)bert的残差网络在哪用到的
(3)lr为什么叫回归
(4)lr的极大似然函数是凸函数吗
(5)极大似然是什么
#vivo##社招##算法工程师##面经#
全部评论
1.mask过程种替换unk和unknown词进行训练,预测时以unk和unknown词替代未登录词 2.在Attention后对output_layer进行了dense+dropout后再合并input_layer后执行layer_norm完成残差传递,为了避免网络退化;同时防止梯度消失,使得输出的变化更敏感
1 回复 分享
发布于 2020-06-11 22:17
感觉还不错啊 问题不偏
1 回复 分享
发布于 2020-05-29 17:29
都是些啥啊😂
点赞 回复 分享
发布于 2020-05-29 00:02
逻辑回归为什么叫回归。。。我觉得这个问题问的有点睿智。本质上来说,逻辑回归跟回归一点关系也没有,他就是一个分类模型,可以理解为简化版的cross-entropy。至于为什么叫做logistic regression,有regression二字,纯粹是因为历史原因,Andrew ng的课程中也提到过这个。
点赞 回复 分享
发布于 2020-07-15 14:58
1. 未登录词会通过词根词缀分割之后再转成embedding吧,在论文embedding部分有引用一个前人的工作 2. 残差网络是在transformer的(add&layer norm)层吧,把经过attention前后的embedding做加法
点赞 回复 分享
发布于 2022-03-22 14:30

相关推荐

5 10 评论
分享
牛客网
牛客企业服务