1.mask过程种替换unk和unknown词进行训练,预测时以unk和unknown词替代未登录词 2.在Attention后对output_layer进行了dense+dropout后再合并input_layer后执行layer_norm完成残差传递,为了避免网络退化;同时防止梯度消失,使得输出的变化更敏感

相关推荐

牛客网
牛客企业服务