模型无关学习 Monte-Carlo & Temporal Difference; Q-learning 探索与利用 on-policy 和 off-policy SARSA Expected value SARSA SARSA和Q-Learning对比 on-policy和off-policy对比 on-policy off-policy Agent 可以选择动作 Agent 不能 选择动作 Most obvious set...

奖赏设计 累计奖赏和折扣累计奖赏 数学上看，折扣奖赏机制可以将累计回报转化为递推的形式： Gt=Rt+γ(Rt+1+γRt+2+...)=Rt+γGt+1 G t = R t...

基本概念 监督学习与强化学习 监督学习 强化学习 通过学习近似参考答案 通过试验和错误来学习最优策略 需要正确答案 ***的动作需要反馈 模型不影响输入数据 ***可以影响自己的观察 MDP形式定义 RL的目标 最大化累积奖赏的期望 CEM交叉熵方法 算法步骤 初始化策略 重复 抽样N个sessions 选取elite sessions:选择前M个最好的session(奖励最大的) ...

目前拿到的春招实习offer有 阿里淘宝技术部 机器学习算法。 腾讯CDG广点通 机器学习算法 今日头条Musical.ly 推荐算法 网易 人工智能事业部 深度学习算法 网易游戏 人工智能研究员 拼多多 广告算法实习生 希望各位前辈帮忙分析分析，各个岗位的未来发展以及转正情况如何？

seq2seq基础模型 Sequence to Sequence Learning with Neural Networks Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation Beam Search and Bleu Score 待补充 Attention Model Neural Machine Translation by Jointly Learning to Align and Translate Sho...

词嵌入简介 Linguistic regularities in continuous spaceword representations A Neural Probabilistic Language Model Word2vec&GloVe word2vec CBOW&Skip-gram Efficient Estimation of Word Representations in Vector Space 层次softmax skip-gram model? negative sampling Distributed...

RNN model 模型架构 BPTT 不同类型的RNN 梯度爆炸和梯度消失 出现原因 解决梯度爆炸 检测 梯度裁剪 截断BPTT 解决梯度消失 很难检测 如何解决 LSTM,GRU ReLU激活函数 循环权重矩阵初始化方法 Skip connections 将权重矩阵分解 Q−1ΛQ Q − ...

人脸识别 人脸认证和人脸识别 One-shot Learning Siamese Network and Triplet Loss Taigman et. al., 2014. DeepFace closing the gap to human level performance Triplet Loss 学习目标时候希望标定样本和正样本的向量表示差的范数小于标定样本与负样本的向量表示差的范数。 三元损失函数 <nobr> L(A,P,N)=max(||f(A)−f(P)||2−||f(A)−f(N)||2,0) &l...

物体定位 图像分类，带定位的图像分类与物体检测 带定位的图像分类 这里 <nobr> bx,by </nobr>分别表示物体中心点在图像中的比例， <nobr> bw,bh </nobr>表示物体的宽度和高度占图像宽高的比例。由 <nobr> bx,by,bw,bh </nobr>可以确定出物体的轮框，叫做bouding box。 label定义 特征点检测 物体检测 滑窗法 在每个窗口内用CNN判断是否存在物体，...

经典网络 LeNet-5 共有约60k个参数， 特点 在论文中，激活函数使用的是sigmoid和tanh，那个时候还未使用ReLU. 当时出于节约计算力的考虑，不同的卷积核计算了不同的channel。（这里等之后看了论文补充） 池化层后添加了非线性激活函数(sigmoid)，而现在很少这样使用。 LeCun et al.,1998. Gradient-based learning applied to document recognition 论文Section2讨论了网络的架构，Section3讨论了实验结果。 AlexNet ...

边缘检测例子 填充Padding Valid Padding p=0,output=1+n−fs p = 0 , o u t p u t = ...

为什么需要参数初始化策略 目的 为了让神经网络在训练过程中学习到有用的信息，需要参数更新时的梯度不为0。在一般的全连接网络中，参数更新的梯度和反向传播得到的状态梯度以及输入激活值有关。那么参数初始化应该满足以下两个条件： 1. 初始化必要条件一：各层激活值不会出现饱和现象(对于sigmoid,tanh)； 2. 初始化必要条件二：各层激活值不为0。 全零初始化存在的问题 全零初始化方法在前向传播过程中会使得隐层神经元的激活值均未0，在反向过程中根据BP公式，不同维度的参数会得到相同的更新。 需要破坏这种“对称性”。 激活函数输入值的方差 从上述推导可以看出，神经元...

向量空间 基 我们所说的向量其实是向量坐标和向量空间的基构成的线性组合。 要准确的描述向量，首先需要确定向量空间的一组基，然后 在通常的二维坐标系中，我们选中基为 <nobr> (1,0)T </nobr>和 <nobr> (0,1)T </nobr>，那么对于向量 <nobr> (3,2) </nobr>,其实它是 <nobr> 3∗(1,0)T+2∗(0,1)T </nobr>。 通常基为列向量，在进行坐标变换时，通常将基作为...

本文根据Google2013年发表的论文《Ad Click Prediction: a View from the Trenches》总结。 CTR预估中的在线学习算法 在广告点击率预估模型中，面临着特征维度巨大的问题，这导致了模型参数的存储空间极高，以及模型进行预测时的时间代价大的问题。 Online gradient descnet(OGD) 在线梯度下降法类似于随机梯度下降，一次只处理一个样本，但不同的是不要求序列的样本满足独立同分布的性质。 OGD方法在许多问题上均有不错的表现，但是获得的解不够稀疏。 L1 OGD 在OGD目标函数中添加L1正则化项，可以带来一定的稀疏性，...