首页
题库
公司真题
专项练习
面试题库
在线编程
面试
面试经验
AI 模拟面试
简历
求职
学习
基础学习课
实战项目课
求职辅导课
专栏&文章
竞赛
我要招人
发布职位
发布职位、邀约牛人
更多企业解决方案
AI面试、笔试、校招、雇品
HR免费试用AI面试
最新面试提效必备
登录
/
注册
喜欢后撤步的你许愿ssp
关注
已关注
取消关注
mark
@林小白zii:
深度学习面经-RNN、LSTM、GRU
简介:RNN、GRU和LSTM都是用于处理序列数据的神经网络模型,它们具有记忆性质,适用于时间序列预测、自然语言处理等任务。在实际应用中,LSTM和GRU相对于传统的RNN通常表现更好,特别是在处理长序列和复杂任务时。选择使用哪种网络取决于任务的复杂性和数据的特点,通常可以通过实验对比来选择最适合的网络结构。下面总结了一些面试常问的相关面试题,其他系列面经请关注文章底部专栏:小白机器学习面试指南。持续更新中。简单说一下什么是RNN?RNN也叫循环神经网络,和传统的全链接神经网络相比,RNN每一层的神经元之间都有连接,同一层的神经元之间共享参数w,对于每一个神经元,对于每一个神经元,它首先会有一个输入x,对于这个输入x,有两步操作,一个是将它输出到下一层,另一步是将它输出到同一层的下一个神经元,会将这一层传来的信息和它这个神经元本身的输入再相加,再执行想同的操作,最后一个神经元输出能表示这个输入,比如一个句子,一篇文章的信息。因为参数共享,所以参数等个数减少了,但是可能会出现梯度消失和梯度爆炸的问题。RNN为什么会存在梯度消失的问题?目前优化神经网络的方法都是基于反向传播的思想,即根据损失函数计算的误差通过梯度反向传播的方式,指导深度网络权值的更新优化。在神经网络中,根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话,那么即使这个结果是0.99,在经过足够多层传播之后,误差对输入层的偏导会趋于0。同理,如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话,在经过足够多层传播之后,误差对输入层的偏导会趋于无穷大。对于RNN中梯度消失、梯度爆炸的问题,一般有什么解决方法?答:关于RNN中梯度爆炸和消失问题。下面介绍一些常用的方法来应对这些问题:梯度裁剪(Gradient Clipping):梯度裁剪是一种常用的方法,用于限制梯度的大小,防止梯度爆炸。简单来说,当梯度的范数超过一个预定义的阈值时,就将梯度进行缩放,使其不超过该阈值。这样可以避免梯度增长过快,保持训练的稳定性。改进的优化算法:传统的优化算法(如SGD)可能在处理梯度爆炸和消失时效果不佳。使用一些改进的优化算法,比如RMSprop、Adam等,可以在一定程度上缓解这些问题。这些算法结合了梯度的一阶矩和二阶矩信息,更智能地调整学习率,从而更好地处理梯度问题。使用更合适的激活函数:ReLU激活函数在深度网络中非常流行,但它对于解决梯度消失问题并不理想。尝试其他激活函数,如Leaky ReLU、Parametric ReLU、ELU等,可以减轻梯度消失问题,从而更好地训练深层网络。使用更复杂的RNN结构:一些改进的RNN结构,如LSTM(长短期记忆网络)和GRU(门控循环单元),设计用于更好地处理长期依赖和梯度问题。这些结构包含了更复杂的门控机制,可以控制信息的流动,减少梯度消失的可能性。注意力机制(Attention Mechanism):注意力机制可以在处理序列数据时,集中关注更重要的部分,从而降低梯度消失的风险。引入注意力机制可以让模型更加关注和利用输入序列的不同部分信息。Batch Normalization:批标准化是一种用于加速训练过程并稳定模型的技术。它可以帮助在每个层上保持激活的均值和方差稳定,从而减少梯度爆炸和消失的可能性。更小的学习率:如果梯度爆炸仍然是一个问题,尝试减小学习率。较小的学习率可以降低梯度爆炸的风险,但同时也可能增加训练时间。RNN的经典结构有哪些?答:从输入输出角度来看,有以下这么几种经典的结构:1对1:输入和输出一致,1对多:有1对N或N对1,1对N的场景有负荷分解,图像生成文字,类别生成语音或音乐等,N对1针对于序列分类。多对多:有N对N或N对M,N对N的场景有语音处理,时间序列,N对M的场景是机器翻译,文本摘要,阅读理解等,常见模型是encoder-decoder模型。RNN对输入长度不一致的文本怎么处理?RNN(循环神经网络)对输入长度不一致的文本可以通过以下方式进行处理:填充(Padding):在将文本送入RNN之前,可以将文本进行填充,使其达到固定长度。可以在文本的末尾添加特定的填充符号(如空格或特殊标记)来填充文本,使其长度与批量中最长的文本相同。这样可以保持批量数据的维度一致,方便进行批量运算。填充后的部分在RNN计算中通常被忽略,因为填充符号并不携带有意义的信息。动态填充:对于每个批量,可以动态地选择合适的填充长度,使得批量中的文本长度尽量接近。这样可以最大程度地利用数据,同时保持批量维度一致。动态填充可以避免过多的填充符号,减少计算量和内存占用。使用遮罩(Masking):在填充后的文本中,可以使用遮罩来标记填充部分。遮罩是一个与输入文本相同大小的二进制向量,在填充的位置为0,在非填充位置为1。通过遮罩,RNN在计算时可以忽略填充部分的影响,从而有效利用有效文本部分的信息。使用变长RNN:有些RNN的变种模型,如LSTM(长短期记忆网络)和GRU(门控循环单元),能够处理变长的序列数据。这些模型可以直接接受长度不一致的文本作为输入,并且能够自适应地处理不同长度的文本。在使用这些变长RNN时,不需要额外的填充或截断操作,模型会根据实际文本长度来进行计算。说一下RNN、LSTM、GRU它们是联系?RNN(循环神经网络):RNN是一种经典的循环结构神经网络。它的主要特点是将前一个时间步的输出作为当前时间步的输入,从而在处理序列数据时引入了时间上的依赖关系。然而,传统的RNN存在梯度消失或梯度爆炸的问题,导致长期依赖关系难以捕捉。LSTM(长短期记忆网络):LSTM是为了解决传统RNN中的梯度问题而提出的改进型网络。它引入了门控机制,通过遗忘门、输入门和输出门来控制信息的流动,从而有效地捕捉长期依赖关系。LSTM能够在序列数据中保留长期的记忆,适用于处理较长的文本序列和时间序列。GRU(门控循环单元):GRU是对LSTM的另一种改进型循环神经网络。它简化了LSTM的结构,仅使用了更新门和重置门,使得模型参数较少,计算复杂度较低。GRU在解决长期依赖问题的同时,也表现出较好的性能。LSTM有哪三个门?作用分别是什么?答:LSTM具有三个门控单元,分别是:输入门(Input Gate):输入门控制着当前时间步的输入信息中哪些部分将被纳入到当前时间步的细胞状态(cell state)中。输入门通过一个Sigmoid激活函数来决定每个输入的权重,将其缩放到0到1之间的范围。输入门的作用是用于确定更新细胞状态时,要更新多少来自当前时间步输入的信息。遗忘门(Forget Gate):遗忘门控制着前一时间步的细胞状态中哪些信息将被遗忘或丢弃。它通过一个Sigmoid激活函数来决定前一时间步细胞状态中每个元素的权重,将其缩放到0到1之间的范围。遗忘门的作用是用于决定在当前时间步细胞状态更新时,应该保留哪些信息。输出门(Output Gate):输出门控制着当前时间步的细胞状态中哪些信息将被传递到当前时间步的输出。输出门通过一个Sigmoid激活函数来决定细胞状态中每个元素的权重,将其缩放到0到1之间的范围。输出门的作用是用于确定细胞状态中的哪些信息应该被输出。通过输入门和遗忘门,LSTM能够选择性地更新和遗忘信息,从而保留重要的长期依赖关系。而通过输出门,LSTM能够选择性地输出细胞状态中的信息,产生最终的预测结果或在下一时间步继续传递有用的信息。手写LSTM公式?首先,定义一些符号:输入:当前时间步的输入特征为 x_t细胞状态(Cell State):c_t 表示当前时间步的细胞状态隐状态(Hidden State):h_t 表示当前时间步的隐状态(输出)LSTM的主要计算过程分为三个步骤:遗忘门、输入门和输出门。遗忘门(Forget Gate):遗忘门通过 Sigmoid 激活函数来决定前一时间步的细胞状态 c_{t-1} 中哪些信息将被遗忘。它的计算公式为:f_t = sigmoid(W_f * [h_{t-1}, x_t] + b_f)输入门(Input Gate):输入门通过 Sigmoid 激活函数来决定当前时间步的输入 x_t 中哪些信息将被加入到细胞状态 c_t 中。同时,使用双曲正切(Tanh)激活函数来计算新的候选细胞状态。i_t = sigmoid(W_i * [h_{t-1}, x_t] + b_i)Ĉ_t = tanh(W_c * [h_{t-1}, x_t] + b_c)更新细胞状态(Update Cell State):细胞状态 c_t 通过遗忘门和输入门进行更新:c_t = f_t * c_{t-1} + i_t * Ĉ_t输出门(Output Gate):输出门通过 Sigmoid 激活函数来决定当前时间步的细胞状态 c_t 中哪些信息将被输出为当前时间步的隐状态 h_t。同时,对细胞状态使用 Tanh 激活函数来计算隐状态。o_t = sigmoid(W_o * [h_{t-1}, x_t] + b_o)h_t = o_t * tanh(c_t)在上述公式中,W_f、W_i、W_c、W_o 表示权重矩阵,b_f、b_i、b_c、b_o 表示偏置向量。[h_{t-1}, x_t] 表示将前一时间步的隐状态 h_{t-1} 和当前时间步的输入特征 x_t 连接起来形成的向量。为什么LSTM模型中既存在sigmoid又存在tanh两种激活函数,而不是选择统一一种sigmoid或者tanh?这样做的目的是什么?答:sigmoid函数被用作各个门上,产生0~1之间的值,来判断是对信息进行记住还是遗忘。tanh用在了状态和输出上,是对数据的处理,可以替换成其他激活函数。LSTM解决了RNN的什么问题?为什么?答:LSTM解决了传统RNN中的梯度消失和梯度爆炸问题。传统的RNN在处理长序列数据时存在梯度消失或梯度爆炸问题,主要原因是在反向传播过程中,梯度会随着时间步的增加而指数级地增大或减小。这导致在训练过程中,网络在处理长序列时很难有效传播梯度,导致长期依赖关系难以捕捉。LSTM通过引入门控机制解决了传统RNN中的梯度消失和梯度爆炸问题。GRU和LSTM的区别?答:GRU和LSTM都是用于解决长期依赖问题的改进型循环神经网络(RNN)结构。它们在解决长期依赖问题上有相似之处,但也有一些不同点。以下是它们之间的主要区别:门控结构不同:LSTM具有三个门控:输入门(Input Gate)、遗忘门(Forget Gate)和输出门(Output Gate)。这三个门控通过sigmoid激活函数来控制信息的流动和细胞状态的更新。GRU具有两个门控:重置门(Reset Gate)和更新门(Update Gate)。重置门决定了过去信息在当前时间步的输入中有多少保留,而更新门决定了过去和当前信息在当前时间步的更新中所占的比例。参数数量不同:GRU的参数较少,因为它合并了LSTM的细胞状态和隐藏状态,并减少了一个门控。这使得GRU在计算上相对更轻量级。LSTM的参数较多,因为它有三个门控,每个门控都有自己的权重和偏置。细胞状态更新不同:LSTM的细胞状态由遗忘门、输入门和输出门三个门控决定,分别控制了细胞状态的遗忘、增益和输出。GRU的细胞状态由重置门和更新门两个门控决定,重置门控制了过去信息的保留,更新门控制了过去和当前信息的更新。计算效率不同:由于参数较少,GRU的计算效率通常高于LSTM,特别是在较大规模的模型或者大规模数据上。表现情况不同:在一些任务上,LSTM和GRU的表现可能会有所不同。在某些序列建模任务中,LSTM可能更适合处理长期依赖问题,而在另一些任务中,GRU可能表现得更好。总的来说,LSTM和GRU都是强大的RNN变种,用于处理序列数据和解决长期依赖问题。持续更新中
点赞 8
评论 14
全部评论
推荐
最新
楼层
暂无评论,快来抢首评~
相关推荐
04-20 20:59
门头沟学院 嵌入式软件开发
嵌入式校招岗位整理04/20
零跑汽车 电装光庭 宁德时代 EcoFlow正浩创新 海康机器人 宇视科技 长虹集团 钜泉科技 贵州航天控制技术有限公司(中国航天科工集团第十研究院) 【嵌入式八股】一、语言篇https://www.nowcoder.com/creation/manager/columnDetail/mwQPeM 【嵌入式八股】二、计算机基础篇https://www.nowcoder.com/creation/manager/columnDetail/Mg5Lym 【嵌入式八股】三、硬件篇https://www.nowcoder.com/creation/manager/columnDetail/MRVDl...
投递中国航天科工集团等公司7个岗位 >
嵌入式校招岗位整理
点赞
评论
收藏
分享
04-24 14:17
成都理工大学 Java
是的,小红书取消大小周了
好消息是活的像个人了,周末可以约会吃饭打游戏了坏消息是钱没了,当初来小红书就是为了钱啊哭笑不得😭
犯困嫌疑人:
好事儿啊,取消大小周能有更多自己的时间,周末还能约对象玩,这不美滋滋?
投递小红书等公司6个岗位 >
小红书取消大小周
点赞
评论
收藏
分享
03-10 20:35
已编辑
武汉大学 C++
腾讯面试
实习第一次面试还是要来了吗?接还是不接啊,鼠鼠还是有点想逃避
癫疯召唤师1:
不接给我
点赞
评论
收藏
分享
04-02 23:06
门头沟学院 C++
一面挂麻了呀
bg:双非本,211硕,计算机,两段实习,一段中小厂,一段中厂简历挂,笔试挂的就不说了0: 腾讯IEG,处女面,很紧张,回答的不好,挂了才算满足我的心愿。1:腾讯TEG,面试基本上都回答出来了,有一两道问题是在面试官引导下回答出来了,手撕也A了,然后泡池字八天,因为约面的时候面试官迟到了两次,总觉得他把我忘记了,遂催了两次,遂挂2:美团,面试都回答出来了,手撕也A了,估计是技术栈不太匹配吧,本人cpper,反问环节问了一下面试官说是Java,泡池子6天,挂3:字节跳动,面试都回答出来了,手撕也A了,这个岗位比较奇怪,我没有投递这个岗位,但是收到了这个岗位的面试邀请,疑似KPI面?面试完之后,两小时之后,挂。各位佬看看简历哪里还有需要修改的地方,或者哪里需要优化,请各位佬嘴下留情,单纯嘲讽的话还是另寻他路,谢谢大家真诚的建议,也欢迎各位春招/实习失意者诉苦,大家一起抱团取暖#暑期实习# 找实习 #大厂实习# 计算机实习
点赞
评论
收藏
分享
04-24 12:05
西南民族大学 用户研究员
小米工时不足11.5h被约谈?
现在网络上有人把“雷总”叫成“累总”,开始我还没看懂,直到看到了这条内容...------------ 有人发帖表示小米内部搞起了工时排名。小米员工表示,都搞了两年了,只不过是最近低于11.5个小时的有被约谈的了!11.5*5=57.5,上一个这么干的然后被喷化了的,还是并夕夕吧。要说小米的朋友们也是能忍,嘴也挺严,两年了,才有人开始往外说?
职场不咸鱼:
看来当雷总的兵是很辛苦
小米集团工作强度 268人发布
投递小米集团等公司10个岗位 >
点赞
评论
收藏
分享
评论
点赞成功,聊一聊 >
点赞
收藏
分享
评论
提到的真题
返回内容
全站热榜
更多
1
...
一个24岁农村清北女孩的自述
2.2W
2
...
在微信的3个月
1.6W
3
...
腾讯云智一二面面经
1.1W
4
...
进入大厂实习后,如何顺利landing?
1.0W
5
...
双非初见白月光之学习路线分享
9347
6
...
双非拿下字节跳动后端暑期实习,兄弟们不要慌!命里有时终会有
6028
7
...
关于春招无offer的同学
5199
8
...
考研能缓解就业就是个笑话
4298
9
...
饿了么4.26笔试,大家都a了几道?
4222
10
...
三年大专一场空
4180
创作者周榜
更多
正在热议
更多
#
我和mentor的爱恨情仇
#
8389次浏览
120人参与
#
你怎么评价今年的春招?
#
91543次浏览
1173人参与
#
平安产险科技中心求职汇总
#
246374次浏览
2621人参与
#
实习进度记录
#
253826次浏览
3216人参与
#
工作后会跟朋友渐行渐远吗
#
17316次浏览
122人参与
#
你喜欢工作还是上学
#
32828次浏览
324人参与
#
考研可以缓解求职焦虑吗
#
13759次浏览
176人参与
#
我的AI电子员工
#
4390次浏览
45人参与
#
考研失败就一定是坏事吗?
#
94288次浏览
785人参与
#
Offer比较,求稳定还是求发展
#
38674次浏览
224人参与
#
大学生该如何认清当下的就业环境?
#
29861次浏览
251人参与
#
员工上班摸鱼被辞退
#
23178次浏览
98人参与
#
摸鱼被leader发现了怎么办
#
41083次浏览
315人参与
#
浅聊一下我实习的辛苦费
#
213247次浏览
1643人参与
#
考研人,我有话说
#
97367次浏览
886人参与
#
找不到好工作选择GAP真的丢人吗
#
54887次浏览
663人参与
#
非技术er求职现状
#
53803次浏览
397人参与
#
机械人,你拿到几个offer啦
#
33081次浏览
297人参与
#
秋招白月光
#
112686次浏览
1380人参与
#
毕业论文怎么查AI率
#
18916次浏览
1267人参与
#
我的求职精神状态
#
27141次浏览
466人参与
牛客网
牛客企业服务