最近正值秋招季，很多同学都在忙着复习深度学习相关的基础知识应对面试和笔试。这段时间，正好发现自己基础知识也比较薄弱，想系统性的复习和整理一下。基于这样一个出发点，最近准备开始一个名为【CV知识点扫盲】的专题文章，帮助自己和更多人复习计算机视觉中的基础知识，也希望能够对正在找工作的同学有帮助。 1、什么是激活函数？ 在神经网络中，一个节点的激活函数(Activation Function)定义了该节点在给定的输入变量或输入集合下的输出。wiki中以计算机芯片电路为例，标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字电路激活函数。激活函数主要用于提升神经网络解决非线性问题的...

来源：https://zhuanlan.zhihu.com/p/143657932 论文、博客写好了，里面的图可怎么画？对于很多研究人员和开发者来说，内容的「可视化」是一个大问题。如果从头开始画，配色、空间布局都很伤脑筋，而且画丑了也拿不出手，要是有模板可以套就好了。 别急，还真有人做了一套模板。 这套模板名叫 ML Visuals，是专为解决神经网络画图问题设计的。项目放出不到十天，就引来了不少人的关注，收获了 500 多 star。 下边这张图是不是很面熟？这就是大名鼎鼎的 Transformer 架构，右边是谷歌大脑论文《Attention Is All You Need》中的 Tr...

【写在前面】 视觉Transformer(VIT)由于其卓越的建模能力，近年来在计算机视觉领域引起了极大的关注。然而，大多数流行的VIT模型都受到大量参数的限制，限制了它们在资源有限的设备上的适用性。为了缓解这一问题，作者提出了TinyViT，这是一种新的微小而高效的小视觉Transformer家族，使用本文提出的快速蒸馏框架在大规模数据集上进行预训练。其核心思想是将知识从大型预训练的模型转移到小型模型，同时使小型模型能够从大量的预训练数据中获得红利。更具体地说，作者在预训练期间应用蒸馏来进行知识转移。大型教师模型的logits被稀疏并预存储在磁盘中，以节省显存成本和计算开销。小的学生Tran...

【写在前面】 基于文本的人物搜索是图像检索领域的一个子任务，旨在根据给定的文本描述检索目标人物图像。两种模态之间的显著特征差距使得这项任务非常具有挑战性。许多现有方法试图利用局部对齐在细粒度级别解决这个问题。然而，大多数相关方法都引入了额外的模型或复杂的训练和评估策略，很难在实际场景中使用。为了便于实际应用，作者提出了一个简单但有效的端到端学习框架，用于基于文本的任务搜索，名为TIPCB（即基于文本图像部分的卷积基线）。首先，作者提出了一种新的双路径局部对齐网络结构来提取视觉和文本局部表示，其中图像水平分割，文本自适应对齐。然后，作者提出了一种多阶段跨模态匹配策略，该策略从低层、局部层和全局层...

来源：https://github.com/521xueweihan/git-tips Git 是一个 “分布式版本管理工具”，简单的理解版本管理工具：大家在写东西的时候都用过 “回撤” 这个功能，但是回撤只能回撤几步，假如想要找回我三天之前的修改，光用 “回撤” 是找不回来的。而 “版本管理工具” 能记录每次的修改，只要提交到版本仓库，你就可以找到之前任何时刻的状态（文本状态）。 下面的内容就是列举了常用的 Git 命令和一些小技巧，可以通过 "页面内查找" 的方式进行快速查询：Ctrl/Command+f。 开卷必读 一定要先测试命令的效果后，再用于工作环境中，以防...

【写在前面】 构建鲁棒的通用对目标测框架需要扩展到更大的标签空间和更大的训练数据集。然而，大规模获取数千个类别的标注成本过高。作者提出了一种新方法，利用最近视觉和语言模型中丰富的语义来定位和分类未标记图像中的对象，有效地生成用于目标检测的伪标签。从通用的和类无关的区域建议（region proposal）机制开始，作者使用视觉和语言模型将图像的每个区域分类为下游任务所需的任何对象类别。作者演示了生成的伪标签在两个特定任务中的价值：开放词汇检测，其中模型需要推广到看不见的对象类别；半监督对象检测，其中可以使用额外的未标记图像来改进模型。本文的实证评估显示了伪标签在这两项任务中的有效性，在这两项任...

【写在前面】 对于许多计算机视觉应用，如图像字幕、视觉问答和人员搜索，学习图像和文本级别的判别特征表示是一个基本但具有挑战性的问题。它的挑战源于文本域中的较大单词差异，以及难以准确测量两种模态特征之间的距离。之前的大多数工作都集中在后一个挑战上，通过引入损失函数来帮助网络学习更好的特征表示，但无法考虑文本输入的复杂性。鉴于此，作者提出了TIMAM：一种文本图像模态对抗性匹配方法，该方法使用对抗性和跨模态匹配目标学习模式不变特征表示。此外，作者证明了一种提取单词嵌入的公共可用语言模型BERT可以成功地应用于文本到图像匹配领域。该方法在四个广泛使用的公共可用数据集上实现了最先进的跨模态匹配性能，R...

加入交流群，请添加小助手wx：FightngCV666 来源：https://github.com/MLNLP-World/Paper-Writing-Tips 很多初学者同学在投稿的时候经常会出现一些共有的小错误，为了节省大家的时间和帮助大家能够尽快的定位一些小的问题。本项目总结了我们在自己投稿过程中的经验和一些身边老师同学的投稿经验，希望能对大家有所帮助，由于我们的水平有限，如有疏漏，还望谅解。谢谢大家。 本项目的特色： 写前必看：包含一些常见的错误，每个错误均配有例子，可以在动手写论文之前快速浏览。 终稿必查：包含一些例子，方便快速定位是否自己的论文有错误。 百家之言：整理了一些...

来源：https://zhuanlan.zhihu.com/p/328481154 当前主流的推荐系统中，embedding 无处不在，从一定意义上可以说，把 embedding 做好了，整个推荐系统的一个关键难题就攻克了。因此，本文总结了移动腾讯网推荐系统中的 embedding 技术实践，力图达到娱人娱己的目的。 什么是 embedding embedding 其实就是一种稠密向量的表示形式。在 embedding 大行其道之前 onehot 才是最靓的仔。如果和我们比较熟悉的 oneHot 对比起来理解，顿时会发现 embedding 这个玄里玄乎的概念，实际上 so easy。 直...

【写在前面】 最近，人们越来越关注卷积神经网络的内部机制，以及网络做出特定决策的原因。在本文中，作者基于类激活映射开发了一种新颖的事后视觉解释方法，称为Score-CAM。与以前的基于类激活映射的方法不同，Score-CAM通过在目标类上的前向传递分数获得每个激活图的权重来摆脱对梯度的依赖，最终结果是通过权重和激活图的线性组合获得的。作者证明Score-CAM在解释决策过程中具有更好的视觉性能和公平性。本文的方法在识别和定位任务上都优于以前的方法。 1. 论文和代码地址 Score-CAM: Score-Weighted Visual Explanations for Convolution...

【写在前面】 最近在看检索和匹配相关的任务，之前对这个任务不太了解，只知道就是相似度对比，找出相似度最高的样本就可以了。但是了解之后，在模型训练过程中，有许多方法（损失函数）来拉近正样本的距离，拉远负样本的距离。下面简单盘点一下检索任务中的损失函数。 Triplet loss 先从最经典的三元组 loss 说起， 三元组的构成：从训练数据集中随机选一个样本，该样本称为Anchor，然后再随机选取一个和Anchor属于同一类的样本和不同类的样本,这两个样本对应的称为Positive 和Negative，由此构成一个三元组。 通过学习，让正样本特征表达之间的距离尽可能小，而负样本的特征表达之间的...

来源：https://zhuanlan.zhihu.com/p/466423003 大家好，今日给大家分享几款神经网络可视化工具，它们可以轻松绘制出漂亮的神经网络图，喜欢记得关注、收藏、点赞。 1. draw_convnet 一个用于画卷积神经网络的Python脚本 https://github.com/gwding/draw_convnet 2. NNSVG http://alexlenail.me/NN-SVG/LeNet.html 3. PlotNeuralNet https://github.com/HarisIqbal88/PlotNeuralNet 使用latex 来...

【写在前面】 最近的视觉Transformer（ViT）模型在各种计算机视觉任务中取得了令人鼓舞的结果，这得益于其通过自注意力建模图像块或token的长期依赖性的能力。然而，这些模型通常指定每个层内每个token特征的类似感受野。这种约束不可避免地限制了每个自注意力层捕捉多尺度特征的能力，从而导致处理具有不同尺度的多个对象的图像的性能下降。为了解决这个问题，作者提出了一种新的通用策略，称为分流自注意力（SSA），该策略允许VIT在每个注意力层的混合尺度上对注意力进行建模。SSA的关键思想是将异质感受野大小注入token：在计算自注意力矩阵之前，它选择性地合并token以表示较大的对象特征，同时...

【写在前面】 基于文本的人物搜索（TBPS）旨在通过描述性文本查询从图像库中检索目标人物。解决这种细粒度跨模态检索任务具有挑战性，这进一步受到缺乏大规模数据集的阻碍。在本文中，作者提出了一个包含两个新组件的框架来处理有限数据带来的问题。首先，为了充分利用现有的小规模基准数据集进行更具区分性的特征学习，作者引入了跨模态动量对比学习框架来丰富给定小batch的训练数据。其次，作者提出转移从现有粗粒度大规模数据集（包含来自完全不同问题域的图像-文本对）学习的知识，以弥补TBPS训练数据的不足。作者设计了一种转移学习方法，使有用信息可以在域间隙较大的情况下转移。有了这些组件，本文的方法在CUHK-PE...