面试问了一个softmax有什么缺点?

面试官问假如要分10000个类,使用softmax有什么缺点,可以使用什么来代替。一脸懵逼。哪个大佬能解答一下。#面经##校招##秋招#
全部评论
应该是计算复杂度的原因,可以负例采样和层次softmax
点赞 回复 分享
发布于 2019-09-18 13:53
计算量大,用分层soft ax
点赞 回复 分享
发布于 2019-09-18 13:42
参考word2vec
点赞 回复 分享
发布于 2019-09-18 13:47
softmax计算上会溢出,彼此类别之间竞争关系大,会降低置信度,可以用10000个sigmoid二分类代替
点赞 回复 分享
发布于 2019-09-18 13:53
一样疑问
点赞 回复 分享
发布于 2019-09-18 15:09
参考word2vec的每种算法的两种优化方式:负采样和层级softmax
点赞 回复 分享
发布于 2019-09-18 15:15

相关推荐

评论
1
18
分享
牛客网
牛客企业服务