如何把BERT用到文本生成中
在知乎上提了问题没有人理，来牛客看看有没有大佬可以帮助我。最近在尝试把BERT模型放入seq2seq中，但是效果不好，不怎么收敛。我是直接把GRU encoder换成了BERT，然后decoder依旧是GRU，优化方式是ADAM，但是loss下降不下去，不管怎么调整学习率都没什么用。想问问大家这是为啥，是BERT跟RNN不兼容吗 。感觉换一个强大的预训练过的encoder不应该更好吗？我的数据量并不大，就8万左右。如果不能这样使用BERT，那有啥办法可以把BERT用到seq2seq任务中吗。谢谢各位大佬！！！
#机器学习##深度学习##人工智能#
谷歌公司福利 178人发布
投递小米集团等公司10个岗位 >