本文是 深度学习有多深? 学了究竟有几分? (五) 的续篇。
计算速度和数据规模的大幅度提高,也引导出更多算法上的改进。
在网络构架上,一些算法更多地借鉴人脑认知的成功经验: 多提高效率, 少做无用功. 多闭目养神,少乱说乱动。多关注主要矛盾, 少关心细枝末节。
2003年纽约大学神经科学中心的 Peter Lennie 在论文中指出,人脑的神经元,一般最多 1-4%的比例, 可以同时处于激活状态。比例更高时, 大脑则无法提供相应的能量需求。
神经网络的模型中,通过所谓激励函数 (activation function), 根据上一层神经元输入值来计算输出值。
最典型的传统激励函数,sigmoid function, 输出值在 0 和 1 之间, 也就意味着神经元平均下来, 每时每刻都在使用一半的力量。
这种高强度能量需求,对于普通生物体而言,是无法持续的。
一个有意思的比方是鳄鱼.真实生活中的鳄鱼, 和动物世界的纪录片中纵身一跃, 凶猛捕食的形象大相径庭。
鳄鱼90%的时间是一动不动的, (一个近距离观察者常会把它误认为是石雕。) 剩下5%的时间用于求偶交配, 5%的时间用于觅食。
鳄鱼的低能耗绿色生活方式,使它成为两栖动物界的寿星。虽然野生鳄鱼的平均寿命缺乏严格科学的统计,但是被捕获后人工饲养的鳄鱼中,有不少个体,记录在案的寿命超过了七十岁。
2011 年, 加拿大的蒙特利尔大学学者 Xavier Glorot 和 Yoshua Bengio 发表论文, "Deep Sparse Rectifier Neural Networks". (深而稀疏的修正神经网络)。
论文的算法中使用一种称为"修正线性单元" (REctified Linear Unit, 又称 RELU) 的激励函数. 用数学公式表达: rectifier (x) = max (0, x )。
对于 RELU 而言, 如果输入为负值, 输出为零. 否则输入和输出相等。换而言之,对于特定的输入, 统计上有一半神经元是没有反应,保持沉默的。
使用 RELU 的含有三个隐层的神经网络模型,被用来测试于四个不同的经典的图像识别问题。和使用别的激励函数的模型相比, RELU 不仅识别错误率普遍更低,而且其有效性,对于神经网络是否进行"预先训练"过并不敏感。
RELU 的优势还有下面三点: