深度学习的困扰
你从概率论开始学起,从一堆萌萌哒的排列组合方法,到除了马尔可夫,其他都不怎么用得上的随机过程。
你从线性代数开始学起,从矩阵分解,到搞不太懂的各路加速gradient decent算法。
后来你又学了svm,从推导出表达式到用拉格朗日乘子求解。你学linear regression,和它们基于极大似然的数学含义。你虽然看不懂记不住EM 的推导,但可以用EM结论推导Gaussian mixture model,还知道KNN是它方差为0时候的特殊形式。PCA是披上了外衣的low rank approximation ,pow iteration 其实是马尔可夫过程。你学bias和variance的物理含义,过拟合怎么样,欠拟合怎么样,梯度爆炸是为什么,梯度消失是为什么。感觉自己头头是道踌躇满志要大干一番。
你终于学到了深度学习,前后向传播算法,fully connected layer,CNN,RNN,LSTM,GAN。我迷茫了。感觉自己一年前所学毫无卵用,只会照搬别人框架,根本不知道这个框架为什么work,怎样的框架可以work。迷失在复杂网络的loss曲面中,调参时陷入深深自我怀疑。我突然觉得很沮丧,自己原来什么也不会什么也没学到,感觉自己干的活能被机器人代替。
这行的研究人员门槛很高,可是工程师几乎没有门槛。可能是我见识短浅,才发表了这番不当言论。大家对这门技术有别的见解吗,我怎么才能多了解一点黑匣子里发生了什么呢😞