首页 > 试题广场 >

在大语言模型中，LayerNorm(层归一化)与BatchN

[单选题]

在大语言模型中，LayerNorm(层归一化)与BatchNorm(批归一化)相比的主要优势是什么？

不依赖于批大小，适用于序列处理

查看正确选项

活跃的芝士在被拷

LayerNorm的主要优势在于它不依赖于批大小（Batch Size），而是对每个样本的特征进行归一化。这使得它非常适合处理序列数据（如文本或时间序列），因为这些任务通常需要逐样本归一化，而不是依赖整个批次的统计信息。

BatchNorm通过对一个批次内的样本计算均值和方差来进行归一化，因此其效果会受到批大小的影响。当批大小较小时（如在线学习或某些生成任务中），BatchNorm的表现可能不稳定。

LayerNorm直接对单个样本的所有特征进行归一化，与批大小无关，因此更适合处理变长序列和小批量数据。

发表于 2025-04-11 17:46:57 回复(0)

提交观点

问题信息

大模型开发

难度：

1条回答 0收藏 24浏览

扫一扫，把题目装进口袋