卓望数码技术（深圳）有限公司笔试

1、文本分类特征选择算法
卡方检验（Chi-Square Test）：统计特征（词）与类别之间的独立性。卡方值越大，特征与类别的相关性越强。
信息增益：衡量特征为分类系统带来多少信息量。信息增益值越大，特征越重要。
互信息：衡量特征与类别之间的统计相关性。
TF-IDF加权：通过词频（TF）和逆文档频率（IDF）筛选重要特征。高TF-IDF值的词通常为关键特征。

2、ReLu替换Tanh的后果
ReLu在负区间的梯度为0，可能导致神经元“死亡”​​（Dead ReLU）

3、GPT的多种能力
文本生成：生成符合语境和逻辑连贯的文本（学术、故事、文章）
代码生成：生成可执行的代码片段（脚本、debug、功能实现）
对话交互：模拟人类对话，提供个性化交互体验（客服、助手、陪伴）
创意内容生成：艺术创作或设计（诗词、图案描述、营销文案）
数据与知识生成：结构话信息提取或虚构数据生成（表格生成、虚构数据）
多语言生成：跨语言内容生成和翻译（多语言写作）
逻辑与推理生成：解决数学问题或逻辑推理任务（解题、策略）

4、大模型训练和推理的参数量判断，需要多少显卡。（14B）
训练：模型参数（14B）+优化器状态​（如Adam）：每个参数需要存储参数、梯度、动量、二阶动量（共4份 FP32 数据）+梯度：以 FP16 存储 14B + 激活值（Activations）​：与批次大小（Batch Size）、序列长度（Sequence Length）相关，通常占用 ​20%~50% 总显存。 约为14*2+14*4*4+14*2+50=330
推理：参数 + KV缓存≈28GB+1GB=29GB（FP16）或14GB（INT8）

5、文本、图片、视频的标注方式
文本分类、命名实体识别、关系抽取、序列标注、问答标注
目标检测、图像分割、关键点识别、图像分类、OCR标注
动作识别、目标跟踪、时间序列标注、多模态标注

6、常见的数据清洗方式
删除缺失记录、填充缺失值、标记缺失值、删除重复行、合并冲突字段、检测异常值、数据格式标准化、标签一致、逻辑一致、文本去噪、平滑技术

7、简述残差连接
​残差连接（Residual Connection）​ 是一种通过跳跃连接（Shortcut Connection）将输入直接传递到网络深层的技术，从而缓解深层网络的训练难题（如梯度消失、模型退化）、​加速模型训练、增强模型表达能力

8、大模型训练的全过程
数据准备与预处理
数据收集
数据清洗
分词，编码
加载模型
迭代训练
#牛客AI配图神器#