图像亮度是指图像的明亮程度，其计算公式为： 其中， 是图像的像素值。 本题的一个小难点是处理异常情况，主要有以下几种情况： 图像为空 图像没有列 图像的行长度不一致 图像的像素值不在0到255之间 标准代码如下 def calculate_brightness(img): # Check if image is empty or has no columns if not img or not img[0]: return -1 rows, cols = len(img), len(img[0]) for row in img: ...

本题在于GPT-2的组件使用大致如下 1. 词嵌入（Embedding） 词嵌入的目的是将离散的词元（token）映射到连续的向量空间中。每个词在嵌入矩阵中都有一个对应的向量，这些向量是通过训练学习到的，能够捕捉词之间的语义关系。 数学公式： 对于输入序列 inputs，其对应的词嵌入表示为： 其中， 是词嵌入矩阵，inputs 是输入的词索引，E 是对应的词向量表示。 2. 位置嵌入（Positional Encoding） 位置嵌入的目的是为输入的词元添加位置信息，因为 Transformer 模型本身并不处理词序列的顺序。位置嵌入向量是与词嵌入相加的，确保每个词的位置被编码到模型中。 ...

TF-IDF是一种衡量文本特征的指标，常用于文本分类和信息检索。其计算公式为： 其中，TF是词频，IDF是逆文档频率。 TF的计算公式为： IDF的计算公式为： IDF还有很多其他的计算方式，但本题中使用的是上述公式。 在这个算法中，词汇表发挥着重要作用，是计算TF-IDF的基础。通常，词汇表是所有文档中所有单词的集合，但在本题中，词汇表是所有文档中所有单词的集合，并加上查询词。 标准代码如下 def compute_tf_idf(corpus, query): vocab = sorted(set(word for document in corpus for word in ...

最优字符串对齐距离（Optimal String Alignment Distance）是一种衡量两个字符串之间差异的指标，又称Levenshtein距离/OSA距离，其计算公式为： 其中，和是两个字符串，是两个字符之间的距离。 这是一个经典动态规划问题，可以使用动态规划来实现。具体的动态规划思路如下： 初始化一个矩阵，矩阵的行数为source的长度+1，列数为target的长度+1，矩阵的元素初始化为0。 将矩阵的第一行和第一列填充为对应的索引值。 遍历矩阵的每一个元素，计算其值为删除、插入、替换和转置操作的最小值。 最后返回矩阵的最后一个元素的值。 本题的动态规划推导过程供读者...

位置编码是Transformer模型中用于处理序列数据的一种技术，它通过将输入序列中的每个位置映射到一个固定长度的向量，从而为模型提供位置信息。其具体步骤如下： 1. 初始化位置编码矩阵 创建一个与输入序列长度相同的矩阵，用于存储每个位置的编码向量。 2. 计算位置编码 对于输入序列中的每个位置 ，计算其位置编码向量 和 。 数学表达式为： 其中， 是位置索引， 是维度索引， 是嵌入维度。 这个计算公式的原理是基于正弦和余弦函数的周期性和对称性，通过将位置索引和维度索引进行组合，来生成位置编码向量。其具体推导过程可以参考论文《Attention is All You Need》。...

循环神经网络（RNN）是一种能够处理序列数据的神经网络，其特点是能够将前一时刻的输出作为下一时刻的输入。 BPTT是循环神经网络的一种训练方法，其数学推导可以参考相关资料。大体的更新步骤与BP神经网络类似，但是不同的是需要考虑时间步长的影响。 具体原理可以参考相关文献，这里不做赘述。 在本题中，用到的计算公式如下： 权重更新方式如下 学习率在本题中为0.01这个固定值。 标准代码如下 class SimpleRNN: def __init__(self, input_size, hidden_size, output_size): self.hidden_...

自定义Dense层（Custom Dense Layer）是一种常用的神经网络层，其计算公式为： 其中，是权重矩阵，是输入，是偏置，是激活函数。 本质是全连接层，通过矩阵乘法和偏置实现线性变换，再通过激活函数实现非线性变换。 标准代码如下 class Dense(Layer): def __init__(self, n_units, input_shape=None): self.layer_input = None self.input_shape = input_shape self.n_units = n_units ...

RMSProp（Root Mean Square Propagation）是一种自适应学习率的优化算法，常用于训练神经网络和其他机器学习模型。其主要思想是通过调整每个参数的学习率来加速收敛，特别是在处理非平稳目标时。以下是RMSProp的基本过程： 初始化参数： 初始化参数 θ 和均方根平方和 s。 初始化学习率 α 和衰减率 γ。 计算梯度： 计算损失函数对参数 θ 的梯度 g。 更新均方根平方和： 计算均方根平方和 s = γ * s + (1 - γ) * g^2。 更新参数： 更新参数 θ = θ - α * g / sqrt(s + ε)，其中 ε 是一...

SGDM(带冲量的随机梯度下降)是SGD的一种改进，在SGD的基础上增加了冲量，可以加速收敛。 简单点说，就是每次更新参数时，不仅考虑当前的梯度，还考虑之前的梯度。使用动量代替梯度。 梯度下降以及批量梯度下降的原理不再赘述，这里只给出SGDM的公式： 其中， 是第 次迭代时的参数， 是学习率， 是第 次迭代时的梯度， 是冲量系数。 代码实现： def sgdm_linear_regression(X, y, learning_rate, momentum_decay, epochs): m, n = X.shape theta = np.zeros((n, 1)) ...

Adam优化器是一种常用的优化算法，用于训练深度学习模型。它结合了动量法和自适应学习率的方法，能够有效地加速模型的训练过程。其步骤如下： 1. 初始化参数： 初始化一阶动量 和二阶动量 ，通常设为 0。 初始化学习率 。 初始化动量衰减系数 和 ，通常设为 0.9 和 0.999。 初始化小常数 ，通常设为 。 2. 计算梯度： 计算损失函数 对参数 的梯度 。 数学表达式为： 3. 更新一阶动量和二阶动量： 更新一阶动量 和二阶动量 。 数学表达式为： 此外，需要计算偏差修正后的动量和方差，以确保算法的稳定性。 数学表达式为： 4. 更新参数： 更新参数 。...

长短期记忆（LSTM）网络是循环神经网络的一种，其特点是能够处理长序列数据。LSTM网络的数学推导可以参考相关资料。 LSTM的具体步骤如下： 计算遗忘门 计算输入门 计算细胞状态更新 计算输出门 其中，是sigmoid函数，表达式为，是tanh函数，表达式为。 5. 计算隐藏状态更新 标准代码如下 class LSTM: def __init__(self, input_size, hidden_size): self.input_size = input_size self.hidden_size = hidden_size ...

循环神经网络（RNN）是一种能够处理序列数据的神经网络，其特点是能够处理时间序列数据。 RNN的具体步骤如下： 计算隐藏状态更新 计算输出 计算损失 反向传播 本题只要求实现前向传播，反向传播不要求实现。 标准代码如下 def rnn_forward(input_sequence, initial_hidden_state, Wx, Wh, b): h = np.array(initial_hidden_state) Wx = np.array(Wx) Wh = np.array(Wh) b = np.array(b) for x i...

自注意力机制（Self-Attention Mechanism）是一种能够捕获序列内部元素之间关系的机制，它通过计算序列中每个元素与其他所有元素的相关性来实现信息的有效整合。其基本思想是将输入序列映射为查询(Query)、键(Key)和值(Value)三个矩阵，然后通过计算查询和键的相似度得到注意力权重，最后将这些权重与值相乘得到输出。 自注意力的计算步骤如下： 计算查询、键和值 其中，是输入序列，、和是可学习的权重矩阵。 计算注意力分数 计算注意力权重 其中，是softmax函数，表达式为。 计算输出 标准代码如下 def compute_qkv(X, W_q, W_k, W...

Adam优化算法是一种自适应学习率的优化算法，其计算步骤如下： 初始化参数 计算梯度 更新动量 更新方差 更新参数 这里对动量和方差进行了偏差修正，以避免初始阶段的不稳定；对新参数更新的时候加上了，以避免除0错误。 标准代码如下 def adam_optimizer(f, grad, x0, learning_rate=0.001, beta1=0.9, beta2=0.999, epsilon=1e-8, num_iterations=10): x = x0 m = np.zeros_like(x) v = np.zeros_like(x) ...