给定模型参数：模型层数l模型维度d_model输入长度seq_len注意力头head怎么计算tp

[[0]*3]*3，这种方式构建二维数组会出现浅拷贝问题，但是[0]*3却不会。感觉这两种方式是一样的，唯一的区别是[[0]*3]*3多套了一层。举例如下：栗1 >>> a = [[0]*3]*3 >>> a        [[0, 0, 0], [0, 0, 0], [0, 0, 0]] >>> a[0][0]=1 >>> a        [[1, 0, 0], [1, 0, 0], [1, 0, 0]]栗2 >>> a = [0]*3 >>> a        [0, 0, 0] >>> a[0] = 1 >>> a        [1, 0, 0]

#暑期实习#bat #阿里#腾讯 #百度#拼多多 #大模型#搜广推

小白，感觉prompts的工作就是dirty work，很难有提升，因为不会让实习生训模型，资源紧缺，正式工都没有机会。#阿里#字节 腾讯 百度 算法 大模型 秋招

    rankNet会先通过s_i=f(x_i; w)计算文档x_i的分数s_i, 然后通过sigmoid(s_i - s_j)将文档x_i和x_j的分数差映射到0～1之间，以表示文档x_i排位高于x_j的概率。    想请教各位大佬：    1.计算文档分数的时候，不考虑query吗？如果不考虑，那它的作用是什么呢？仅仅是用来分group吗？    2.这里虽然是排序任务，但是还是先回归出文档分数，然后进行排序，我感觉本质上还是回归任务。那排序为什么会作为一个和回归、分类并列的任务呢？#百度#阿里#腾讯#字节#美团#亚马逊#谷歌#英伟达#拼多多#米哈游#蚂蚁#妙鸭相机

真实场景中，label为a和b的样本分别占到了90%、10%。试问：在构造训练集（**小数据量**）的时候应该如何处理a,b的占比？（下面两种方案好像都有道理，但是好像又都不太理想。）     方案1.按照真实场景中的比例（i.e.  a:b = 9:1）构造训练集。这样符合一个基本常识“训练集的分布应该尽可能和真实分布相近”，但是会造成模型对a的偏好。     方案2.按照a:b = 1:1构造训练集。这样的话模型学的更均衡，但是不符合“训练集的分布应该尽可能和真实分布相近”。  #阿里# #腾讯# #字节# #拼多多# #百度# #算法# #机器学习#

大佬们，-tansformer中相似度和注意力有什么区别吗？感觉本质上都是一样的。-“the tiger ate the sheep because it was hungry.” transformer的注意力机制是怎么知道it指的是tiger而不是sheep？ #阿里#字节跳动 #transfomer#算法

lightgbm，一般要多大的训练集、多少的特征才可以做出效果呀