本文是 深度学习有多深? (十五) -- 自然语言的困惑 的续篇。
回顾深度学习技术在图像识别,语音识别和自然语言处理上的突破, 可以看到的是一个很清晰的主脉络:
计算速度加快, 缩短了新算法的测试周期, 成功的新算法, 迅速彻底地淘汰老算法。
谷歌的资深研究者 Jeff Dean 这样描绘算法测试速度的重要性:
如果一个实验要一个月才会出结果, 没有人会去测试。如果要花费一到四周, 那么只有特别高价值的测试才值得去做.如果一到四天就可以出结果,那勉强可以忍受。如果一天之内就可以出结果, BOOM! 研究的效率大大提高,新成果不断涌现。
深度学习在图像识别上的突破, 一下子让支持向量机 (SVM) 的统计算法过时。
循环神经网络和长短期记忆 (RNN/LSTM) 在语音识别上的突破,也让传统的 GMM/HMM 技术被人冷落。
新算法彻底替代老的算法后, 积累多年经验的老科学家,老程序员, 发现自己原先的一些知识突然过时无用了。一个在行业浸淫多年的老同志, 可能突然被才入行的年轻人用新的工具超越。
那种江河日下的无奈之痛,向谁可以倾诉?
然而科学技术不相信眼泪,只有放下包袱,才能开动机器. 只有保持随时从零开始的心态,才能跟上甚至引领时代的步伐。
世界兵器的演化史上, 其实有不少类似的例子可以借鉴。
古代战士开弓的羽箭速度, 可达每秒60-100 米, 但射程大多不超过三百米。
十九世纪后, 步枪的精度和射程不断提高。子弹速度每秒200 - 1500 米, 射程最高可以到六公里以上。弓箭手的技能变得过时, 被狙击手替代。
但早先的单发步枪,装填子弹极为麻烦,一分钟大多只能打不到十发子弹。
Hiram Maxim (中译:马克沁) 在1883年发明的机关枪, 则把一分钟发射的子弹数目提高到接近600发。 1893年十月二十五日, 700名装备马克沁重机枪的英国殖民军, 和六千名用步枪和弓箭武装的津巴布韦战士在津巴布韦的 Shangani 发生遭遇战。英军仅死亡四人, 而津巴布韦方伤亡则高达一千五百人。
新的机枪手, 需要的技能就只是瞄准,击发和供弹而已, 操作大大简化。