在知乎上提了问题没有人理，来牛客看看有没有大佬可以帮助我。最近在尝试把BERT模型放入seq2seq中，但是效果不好，不怎么收敛。我是直接把GRU encoder换成了BERT，然后decoder依旧是GRU，优化方式是ADAM，但是loss下降不下去，不管怎么调整学习率都没什么用。想问问大家这是为啥，是BERT跟RNN不兼容吗 。感觉换一个强大的预训练过的encoder不应该更好吗？我的数据量并不大，就8万左右。如果不能这样使用BERT，那有啥办法可以把BERT用到seq2seq任务中吗。谢谢各位大佬！！！
#机器学习##深度学习##人工智能# 相关推荐
Yushuu：你的确很厉害，但是有一个小问题：谁问你了？我的意思是，谁在意？我告诉你，根本没人问你，在我们之中0人问了你，我把所有问你的人都请来 party 了，到场人数是0个人，誰问你了？WHO ASKED？谁问汝矣？誰があなたに聞きましたか？누가 물어봤어？我爬上了珠穆朗玛峰也没找到谁问你了，我刚刚潜入了世界上最大的射电望远镜也没开到那个问你的人的盒，在找到谁问你之前我连癌症的解药都发明了出来，我开了最大距离渲染也没找到谁问你了我活在这个被辐射蹂躏了多年的破碎世界的坟墓里目睹全球核战争把人类文明毁灭也没见到谁问你了😆 
拼多多集团-PDD工作强度 281人发布