KL散度

KL散度定义

KL(Kullback-Leibler divergence)散度多应用于概率论或信息论中,又可称相对熵(relative entropy)。它是用来描述两个概率分布P和Q的差异的一种方法。
【记】KL具有非对称性,即D(P||Q) ≠ D(Q||P)。
在信息论中,D(P||Q) 表示用概率分布Q来拟合真实分布P时,产生的信息损耗,其中P表示真实分布,Q表示P的拟合分布

KL散度公式

对于离散型随机变量有:
图片说明
对于连续型随机变量有:
图片说明

KL散度的物理定义

在信息论中,它是用来度量使用基于Q分布的编码来编码来自P分布的样本平均所需的额外的比特(bit)个数。
在机器学习领域,是用来度量两个函数的相似程度或者相近程度。

全部评论

相关推荐

26牛牛不会梦到感谢信:羡慕离职了还能吃吗现在就赶回去
点赞 评论 收藏
分享
#我和xx公司的爱恨情仇# 怎么会有这么**的公司!实习ld跟我说,在这实习秋招会有很大优势,没太大问题;线下一面二面水的很,手撕都是easy,二面面试官甚至说,你随便手撕个题目就行,找个代码量多的题目,然后我写了一个bfs图算法。主管面也是基本上纯聊天,然后甚至问我预期薪资,我说虽然我有互联网公司offer但是更想来华子,认可企业文化。面试完后,保温电话说根据面评开14a没问题,过了一段时间后去问了对接人,先说11月底开,后来说12月底开,昨天去问,他说你不是签了美团了吗,我们已经发完全部offer了。tmd那你不早说,我还在这等。我问了我们这个部门的其他实习生(三级部门下8个实习生,我们四级部门下就有5个,按理说我们部门应该缺人吧),结果其他实习生全军覆没,之前都收到降温电话要签个其他offer保底,实习生中甚至有人空白三方在allin华子,最逆天的是,其中一个是优秀实习生,他也没开出来。问那个优秀实习生,他说他在这实习时接口人天天给他洗脑说,在这实习只有不想来的,没有泡不出来的(如图1)。我接口人也是这么跟我说的,说我们2012实验室下面都偏预研,部门加班少,我们部门确实还行,而且本身华为比互联网稳定,后期还有股票,退休保留股票一直分红(补充:只有5%的人可以熬到40岁以上退休分股),你看看华为那么多od,人家为什么社招想来华为当od呢,因为华为真的稳定啊(后来想想他们来当od应该是没有更好的选择了吧,xhs上那个清华姚班都来华为当od)。我跟几个实习生已经转投其他部门了,那个优秀实习生去找别的部门hr时,人家问:你优秀实习生也要换部门吗,没遇到你这种情况之前为了选华为还是美团我还纠结了1个多月,现在想想真**,这**公司谁来谁知道,华子稳定个**,这里补充一下,35岁下岗就是华子最早提出来的。还有华为内部转岗的事,后来问了下很多大公司都可以内转,华子内转还要背绩效,去新部门会有很大绩效压力,原部门绩效太差还不能转,****。这**泡池子机制也是遥遥领先,其他互联网公司纷纷效仿。还有那5%公积金真恶心。之前认识一个腾讯提前批哥们,他杭电本科生,hr打电话还恶心他,给他开13a,总包比腾讯少20w,跟他说一大堆什么企业稳定,前景好,技术遥遥领先(图2)另外,还有个签约阿里被华为恶心的(图3)我和腾讯提前批的哥们的故事是真的,可以保证确有其事,图3是道听途说,不保证真实性,但我觉得这**公司真有可能发生这种诈骗故事
好吃的麦乐鸡块:这公司真的恶心,毫无信誉可言
点赞 评论 收藏
分享
评论
点赞
1
分享

创作者周榜

更多
牛客网
牛客企业服务