首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
喜欢后撤步的你许愿ssp
关注
已关注
取消关注
mark
@林小白zii:
深度学习面经-RNN、LSTM、GRU
简介:RNN、GRU和LSTM都是用于处理序列数据的神经网络模型,它们具有记忆性质,适用于时间序列预测、自然语言处理等任务。在实际应用中,LSTM和GRU相对于传统的RNN通常表现更好,特别是在处理长序列和复杂任务时。选择使用哪种网络取决于任务的复杂性和数据的特点,通常可以通过实验对比来选择最适合的网络结构。下面总结了一些面试常问的相关面试题,其他系列面经请关注文章底部专栏:小白机器学习面试指南。持续更新中。简单说一下什么是RNN?RNN也叫循环神经网络,和传统的全链接神经网络相比,RNN每一层的神经元之间都有连接,同一层的神经元之间共享参数w,对于每一个神经元,对于每一个神经元,它首先会有一个输入x,对于这个输入x,有两步操作,一个是将它输出到下一层,另一步是将它输出到同一层的下一个神经元,会将这一层传来的信息和它这个神经元本身的输入再相加,再执行想同的操作,最后一个神经元输出能表示这个输入,比如一个句子,一篇文章的信息。因为参数共享,所以参数等个数减少了,但是可能会出现梯度消失和梯度爆炸的问题。RNN为什么会存在梯度消失的问题?目前优化神经网络的方法都是基于反向传播的思想,即根据损失函数计算的误差通过梯度反向传播的方式,指导深度网络权值的更新优化。在神经网络中,根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话,那么即使这个结果是0.99,在经过足够多层传播之后,误差对输入层的偏导会趋于0。同理,如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话,在经过足够多层传播之后,误差对输入层的偏导会趋于无穷大。对于RNN中梯度消失、梯度爆炸的问题,一般有什么解决方法?答:关于RNN中梯度爆炸和消失问题。下面介绍一些常用的方法来应对这些问题:梯度裁剪(Gradient Clipping):梯度裁剪是一种常用的方法,用于限制梯度的大小,防止梯度爆炸。简单来说,当梯度的范数超过一个预定义的阈值时,就将梯度进行缩放,使其不超过该阈值。这样可以避免梯度增长过快,保持训练的稳定性。改进的优化算法:传统的优化算法(如SGD)可能在处理梯度爆炸和消失时效果不佳。使用一些改进的优化算法,比如RMSprop、Adam等,可以在一定程度上缓解这些问题。这些算法结合了梯度的一阶矩和二阶矩信息,更智能地调整学习率,从而更好地处理梯度问题。使用更合适的激活函数:ReLU激活函数在深度网络中非常流行,但它对于解决梯度消失问题并不理想。尝试其他激活函数,如Leaky ReLU、Parametric ReLU、ELU等,可以减轻梯度消失问题,从而更好地训练深层网络。使用更复杂的RNN结构:一些改进的RNN结构,如LSTM(长短期记忆网络)和GRU(门控循环单元),设计用于更好地处理长期依赖和梯度问题。这些结构包含了更复杂的门控机制,可以控制信息的流动,减少梯度消失的可能性。注意力机制(Attention Mechanism):注意力机制可以在处理序列数据时,集中关注更重要的部分,从而降低梯度消失的风险。引入注意力机制可以让模型更加关注和利用输入序列的不同部分信息。Batch Normalization:批标准化是一种用于加速训练过程并稳定模型的技术。它可以帮助在每个层上保持激活的均值和方差稳定,从而减少梯度爆炸和消失的可能性。更小的学习率:如果梯度爆炸仍然是一个问题,尝试减小学习率。较小的学习率可以降低梯度爆炸的风险,但同时也可能增加训练时间。RNN的经典结构有哪些?答:从输入输出角度来看,有以下这么几种经典的结构:1对1:输入和输出一致,1对多:有1对N或N对1,1对N的场景有负荷分解,图像生成文字,类别生成语音或音乐等,N对1针对于序列分类。多对多:有N对N或N对M,N对N的场景有语音处理,时间序列,N对M的场景是机器翻译,文本摘要,阅读理解等,常见模型是encoder-decoder模型。RNN对输入长度不一致的文本怎么处理?RNN(循环神经网络)对输入长度不一致的文本可以通过以下方式进行处理:填充(Padding):在将文本送入RNN之前,可以将文本进行填充,使其达到固定长度。可以在文本的末尾添加特定的填充符号(如空格或特殊标记)来填充文本,使其长度与批量中最长的文本相同。这样可以保持批量数据的维度一致,方便进行批量运算。填充后的部分在RNN计算中通常被忽略,因为填充符号并不携带有意义的信息。动态填充:对于每个批量,可以动态地选择合适的填充长度,使得批量中的文本长度尽量接近。这样可以最大程度地利用数据,同时保持批量维度一致。动态填充可以避免过多的填充符号,减少计算量和内存占用。使用遮罩(Masking):在填充后的文本中,可以使用遮罩来标记填充部分。遮罩是一个与输入文本相同大小的二进制向量,在填充的位置为0,在非填充位置为1。通过遮罩,RNN在计算时可以忽略填充部分的影响,从而有效利用有效文本部分的信息。使用变长RNN:有些RNN的变种模型,如LSTM(长短期记忆网络)和GRU(门控循环单元),能够处理变长的序列数据。这些模型可以直接接受长度不一致的文本作为输入,并且能够自适应地处理不同长度的文本。在使用这些变长RNN时,不需要额外的填充或截断操作,模型会根据实际文本长度来进行计算。说一下RNN、LSTM、GRU它们是联系?RNN(循环神经网络):RNN是一种经典的循环结构神经网络。它的主要特点是将前一个时间步的输出作为当前时间步的输入,从而在处理序列数据时引入了时间上的依赖关系。然而,传统的RNN存在梯度消失或梯度爆炸的问题,导致长期依赖关系难以捕捉。LSTM(长短期记忆网络):LSTM是为了解决传统RNN中的梯度问题而提出的改进型网络。它引入了门控机制,通过遗忘门、输入门和输出门来控制信息的流动,从而有效地捕捉长期依赖关系。LSTM能够在序列数据中保留长期的记忆,适用于处理较长的文本序列和时间序列。GRU(门控循环单元):GRU是对LSTM的另一种改进型循环神经网络。它简化了LSTM的结构,仅使用了更新门和重置门,使得模型参数较少,计算复杂度较低。GRU在解决长期依赖问题的同时,也表现出较好的性能。LSTM有哪三个门?作用分别是什么?答:LSTM具有三个门控单元,分别是:输入门(Input Gate):输入门控制着当前时间步的输入信息中哪些部分将被纳入到当前时间步的细胞状态(cell state)中。输入门通过一个Sigmoid激活函数来决定每个输入的权重,将其缩放到0到1之间的范围。输入门的作用是用于确定更新细胞状态时,要更新多少来自当前时间步输入的信息。遗忘门(Forget Gate):遗忘门控制着前一时间步的细胞状态中哪些信息将被遗忘或丢弃。它通过一个Sigmoid激活函数来决定前一时间步细胞状态中每个元素的权重,将其缩放到0到1之间的范围。遗忘门的作用是用于决定在当前时间步细胞状态更新时,应该保留哪些信息。输出门(Output Gate):输出门控制着当前时间步的细胞状态中哪些信息将被传递到当前时间步的输出。输出门通过一个Sigmoid激活函数来决定细胞状态中每个元素的权重,将其缩放到0到1之间的范围。输出门的作用是用于确定细胞状态中的哪些信息应该被输出。通过输入门和遗忘门,LSTM能够选择性地更新和遗忘信息,从而保留重要的长期依赖关系。而通过输出门,LSTM能够选择性地输出细胞状态中的信息,产生最终的预测结果或在下一时间步继续传递有用的信息。手写LSTM公式?首先,定义一些符号:输入:当前时间步的输入特征为 x_t细胞状态(Cell State):c_t 表示当前时间步的细胞状态隐状态(Hidden State):h_t 表示当前时间步的隐状态(输出)LSTM的主要计算过程分为三个步骤:遗忘门、输入门和输出门。遗忘门(Forget Gate):遗忘门通过 Sigmoid 激活函数来决定前一时间步的细胞状态 c_{t-1} 中哪些信息将被遗忘。它的计算公式为:f_t = sigmoid(W_f * [h_{t-1}, x_t] + b_f)输入门(Input Gate):输入门通过 Sigmoid 激活函数来决定当前时间步的输入 x_t 中哪些信息将被加入到细胞状态 c_t 中。同时,使用双曲正切(Tanh)激活函数来计算新的候选细胞状态。i_t = sigmoid(W_i * [h_{t-1}, x_t] + b_i)Ĉ_t = tanh(W_c * [h_{t-1}, x_t] + b_c)更新细胞状态(Update Cell State):细胞状态 c_t 通过遗忘门和输入门进行更新:c_t = f_t * c_{t-1} + i_t * Ĉ_t输出门(Output Gate):输出门通过 Sigmoid 激活函数来决定当前时间步的细胞状态 c_t 中哪些信息将被输出为当前时间步的隐状态 h_t。同时,对细胞状态使用 Tanh 激活函数来计算隐状态。o_t = sigmoid(W_o * [h_{t-1}, x_t] + b_o)h_t = o_t * tanh(c_t)在上述公式中,W_f、W_i、W_c、W_o 表示权重矩阵,b_f、b_i、b_c、b_o 表示偏置向量。[h_{t-1}, x_t] 表示将前一时间步的隐状态 h_{t-1} 和当前时间步的输入特征 x_t 连接起来形成的向量。为什么LSTM模型中既存在sigmoid又存在tanh两种激活函数,而不是选择统一一种sigmoid或者tanh?这样做的目的是什么?答:sigmoid函数被用作各个门上,产生0~1之间的值,来判断是对信息进行记住还是遗忘。tanh用在了状态和输出上,是对数据的处理,可以替换成其他激活函数。LSTM解决了RNN的什么问题?为什么?答:LSTM解决了传统RNN中的梯度消失和梯度爆炸问题。传统的RNN在处理长序列数据时存在梯度消失或梯度爆炸问题,主要原因是在反向传播过程中,梯度会随着时间步的增加而指数级地增大或减小。这导致在训练过程中,网络在处理长序列时很难有效传播梯度,导致长期依赖关系难以捕捉。LSTM通过引入门控机制解决了传统RNN中的梯度消失和梯度爆炸问题。GRU和LSTM的区别?答:GRU和LSTM都是用于解决长期依赖问题的改进型循环神经网络(RNN)结构。它们在解决长期依赖问题上有相似之处,但也有一些不同点。以下是它们之间的主要区别:门控结构不同:LSTM具有三个门控:输入门(Input Gate)、遗忘门(Forget Gate)和输出门(Output Gate)。这三个门控通过sigmoid激活函数来控制信息的流动和细胞状态的更新。GRU具有两个门控:重置门(Reset Gate)和更新门(Update Gate)。重置门决定了过去信息在当前时间步的输入中有多少保留,而更新门决定了过去和当前信息在当前时间步的更新中所占的比例。参数数量不同:GRU的参数较少,因为它合并了LSTM的细胞状态和隐藏状态,并减少了一个门控。这使得GRU在计算上相对更轻量级。LSTM的参数较多,因为它有三个门控,每个门控都有自己的权重和偏置。细胞状态更新不同:LSTM的细胞状态由遗忘门、输入门和输出门三个门控决定,分别控制了细胞状态的遗忘、增益和输出。GRU的细胞状态由重置门和更新门两个门控决定,重置门控制了过去信息的保留,更新门控制了过去和当前信息的更新。计算效率不同:由于参数较少,GRU的计算效率通常高于LSTM,特别是在较大规模的模型或者大规模数据上。表现情况不同:在一些任务上,LSTM和GRU的表现可能会有所不同。在某些序列建模任务中,LSTM可能更适合处理长期依赖问题,而在另一些任务中,GRU可能表现得更好。总的来说,LSTM和GRU都是强大的RNN变种,用于处理序列数据和解决长期依赖问题。持续更新中
点赞 8
评论 14
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
昨天 07:45
同济大学 ARM工程师
互联网大厂排行,二超多强
超一线大厂:字节、腾讯。腾讯和字节在业务深度广度、发展速度、薪资待遇上稳居前二 一线大厂: 互联网老牌势力: 阿里发展和腾讯、字节稍有差距,美团业务增速势头不错,蚂蚁、京东业务稳定,快手在盈利方面稳步提升。百度不复BAT时代的荣光,但依然不可小觑。 互联网新贵: 拼多多硬生生从淘天、京东的口中分出千亿营收。小红书则是唯一还在高速增长的内容类平台,发展潜力巨大。米哈游的爆款游戏制造能力无人可比,吸金能力超强全网最受欢迎的嵌入式面经面经一共32篇文章,12w+字数,包含全部最新的面试必问考点,4.7w+同学学习,2800+订阅,非常适合在找工作面经薄弱的同学,3000+订阅还会涨价,提前订...
点赞
评论
收藏
分享
今天 16:21
已编辑
深圳技术大学 golang
双非本科历经一年半终上岸[春招]腾讯后端
腾讯春招timeline (面经我另外发) 3.19:一面 3.24:二面 3.27:三面 3.28:云证+hr面 3.31:谈薪+口头offer 4.2:书面offer 祝各位看到这篇帖子的牛友都早日oc哇!(曾经我也是在其他大佬的帖子下点赞 希望自己也能oc的鼠鼠) 我的过去一年半 下面想分享下我从大三上学期(23年10月)~大四下学期(25年4月)的经历:一段深圳小厂后端实习,一段武汉云智后端实习(两个半月转正,拒),秋招去了百度实习(实习了3个多月,转正给了白菜,誓死不留北京(很多因素)),春招上岸腾讯后端。 面试 一共38场技术面,简历挂、一面挂、二面挂、三面挂、排序挂、录用评估...
点赞
评论
收藏
分享
03-04 19:02
云南大学 Java
暑期实习
这是简历挂了吗?有通知面试的吗?
Yki_:
没挂,只是没人捞,该干啥干啥,等着就好了
点赞
评论
收藏
分享
02-26 14:27
浙江工业大学 Java
这是?😰
各位有遇到吗
牛可乐121381:
卖课的
点赞
评论
收藏
分享
03-27 13:42
已编辑
门头沟学院 产品经理
互联网真没关系户吗?直到我看见了高管公子来组里实习...
那是一个百无聊赖的下午,深圳天气的烦躁也点燃了在空调下的工位的烦躁的牛马心。看着飞书跳动的图标,发现是同组的实习搭子发来的八卦信息。“你知道咱们组又新招实习生了吗!?你有消息没有?”看着消息的我整皱眉疑惑着,就又看到了搭子同学发来了飞书的组织架构截图,自己查了下,还真是咱们组的。我心里开始嘀咕,按理说我们组实习同学本身就不需要那么多,我又是新招来的,不至于这么快又招。而且重点是工位挨着的就是我们产品组的项目主要负责人,即我的+1,从没听过说要招人的事,也没有新开的项目。当时整个开发和产品组都为了一个大项目集体努力加班,我也没错过什么项目会议,有新的项目也应该我能知晓。即便是周会上见+2也没谈过...
我不吃牛肉:
想必他也不用参加秋招了吧😭
工作中,努力重要还是选择重要?
牛客激励计划
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
实习体验有感,送给学弟学妹
2.6W
2
...
美团面经(3.21一面、3.26二面、4.1oc)
2.1W
3
...
美团oc
1.2W
4
...
26届暑期基本告一段落(😀)
1.1W
5
...
双非初见白月光之腾讯云智一面
8580
6
...
臣虽八股拉垮,但略懂点面试技巧!-- 论面试欧狗是怎么通过面试的😁
5822
7
...
跨考转码拿到美团offer | 尝试教大家背八股(一)
4570
8
...
命运的齿轮开始转动,我与牛客佬们的故事!
4426
9
...
老板为逼我离职,污蔑我偷窃还报警
4234
10
...
实在是忍不了了!窝囊实习生直接怼
4025
创作者周榜
更多
正在热议
更多
#
笔试
#
2297802次浏览
26949人参与
#
实习期间如何提升留用概率?
#
2606次浏览
56人参与
#
招行数字金融训练营
#
191579次浏览
561人参与
#
牛友故事会
#
461185次浏览
10897人参与
#
什么专业适合考公
#
23926次浏览
180人参与
#
应届生简历当中,HR最关注哪些?
#
4871次浏览
63人参与
#
腾讯云智研发2025实习生招聘
#
119640次浏览
1423人参与
#
大厂还是考编
#
79615次浏览
1298人参与
#
求职你最看重什么?
#
57132次浏览
327人参与
#
机械/制造每日一题
#
53107次浏览
944人参与
#
毕业季,你想好怎么跟生活对线了吗?
#
183031次浏览
3412人参与
#
牛友春招想让哪家公司来捞你?
#
26547次浏览
166人参与
#
京东工作体验
#
11304次浏览
82人参与
#
虾皮求职进展汇总
#
207968次浏览
1447人参与
#
实习必须要去大厂吗?
#
81225次浏览
1223人参与
#
机械人,说说你的烦心事
#
56487次浏览
779人参与
#
得物app工作体验
#
14222次浏览
52人参与
#
我想象的实习vs现实的实习
#
266989次浏览
2158人参与
#
职场破防瞬间
#
66150次浏览
813人参与
#
实习学不到东西怎么办?
#
186238次浏览
1993人参与
#
牛友的五一计划
#
60301次浏览
665人参与
#
机械人值得去的国央企
#
56339次浏览
401人参与
牛客网
牛客企业服务