最近看了LeCun的半自传《科学之路》，想从三个方面谈谈个人的体会：1 作者描述的神经网络构成 2 从书中看到作者的研究taste和 3 作者对未来发展方向的看法 1 作者描述的神经网络架构 第5章末尾，作者总结了其认为的深度学习的核心内容 ''' 总而言之，深度学习包括： 1.通过配置和连接模块来构建多层网络的体系结构； 2.利用反向传播计算梯度之后再通过梯度下降法训练该结构 ''' 其中，‘配置和连接模块’来自神经网络的核心假设：通过模仿生物大脑的突触结构，可以构建适应不同环境变化（相当于不同学习任务）的智能，而其关键就在于相对简单的部件的重复和连接。 ‘多层神经网络’是来自对早期感知器局限性的认识：单层的线性感知器无法适应非线性的现实任务，如图像识别等。同样从生物结构获得启发，通过‘线性层’-‘非线性层’的重复、叠加实现对任意非线性函数的拟合。至于为何仍然使用线性层为基础，个人以为主要有两点：一是现有的GPU等架构需要线性的任务以体现并行优势，二是数学上可能还没找到很好的替代梯度下降的高效寻优方法。 ‘反向传播’、‘梯度’和‘梯度下降’则是，将现实数据‘反馈’给上述神经网络结构，使网络的参数‘最优化’于该数据集的具体方式，针对数据集终究不是现实的全部，需要泛化的问题，则又提出了‘正则化’的方法。 可以看到，在计算架构产生新的变化前，作者的这套总结对神经网络总是适用的。 2 作者的研究偏好： 当我们说到一个人有研究taste时，一般是说，这个人对研究的问题选择、研究的方法有着总体上一致的偏好。 在LeCun书中，可以观察到他的几个比较明显的偏好： a. 偏好“数学直观+动手coding” 从其早期独立捣鼓出反向传播的一个版本，到后面解释深度学习时的数学，作者一直在使用“一点数学上的模糊想法+动手coding摸索+实践反馈澄清想法”的研究模式。 究其原因，一个是“智能”对当前人类认识来说仍然是一个黑盒子居多，二是试错的成本并不很高（即使在作者年轻时，数据获取比较困难，仍可以通过选择更小的问题和精心设计架构规避）。 许多paper被吐槽分成两套，一套漂亮的推导充门面和一套充满工程trick的刷分数，根由就是评委没有认识到此领域当前阶段的发展还不适合像物理学这样成熟的推导验证的研究方式。 b. 同时抱持中期和长期的不同甚至矛盾的信念 生物的智能作为已存在的成功范例，从中吸取营养是一个比较自然的想法，包括作者、辛顿等一批工作者之前都从中获取了概念启发，也时常用生物的能耗、适应性去对比现有结构的不足。 但作者又认为“很明显，人工智能研究的未来不能仅仅复制大自然”，并认为应该追究基本原理。 黑盒运行和调试是工程师的常态，追究根本则是科学家的特色，能够同时包容两种原则，并在适当的时机选择合适的一个，是作为领域领路者的基本能力。 作者既是欧美学术界共同体的一员，从同行交流中获取了大量营养也经历过同行的打压，又曾先后在贝尔实验室、Meta等商业机构供职，见识过商业飞轮对研究的巨大推进和落地压力如何压垮了贝尔和NEC的实验室，因而不会盲目得拥护或者贬低其中一方的功用。 在研究上，他倾向于尽量多地和同行交流，不论他们是高校教授、公司研究员，甚至名不见经传的大学生；倾向于找到落地场景比较明确、但也不是只剩下“工程问题”的方向。 c.有一个模糊的最终形态的愿景： 作者在书中反对、或者不认同过的方向有： 1 特征工程全靠手工构造，不是最终的方向； 2 SVM方法，仍然是因为依赖手工craft特征提取 3 强化学习依赖人类的大量反馈，或者昂贵又难实现的仿真系统 当然我们还知道他最近不认同chatgpt类的大语言模型方向，认为其缺乏常识，无法实现真正智能。 从中可以看出作者有一个隐性的对完全态人工智能的描述，其对各种研究方向的长期价值评价，主要就是看其对此描述的偏离程度： - 最终的智能应该不依赖于或者尽量不依赖于人类的辅助去定义、完成和改善一个’智能‘任务 - 为达此目的，其应该具有对物理世界的常识，或者具有学习常识的能力 3 LeCun对未来发展方向的预测： 第9章第3节，作者如此评价几个他认为重要的发展方向： ''' 我经常在演讲中用它做比喻：如果智能是一块黑森林蛋糕，海绵蛋糕的部分代表自监督学习——这是动物和人类学习的主要方式，那么糖霜的部分就相当于监督学习，而锦上添花的蜜饯樱桃则相当于强化学习。 ''' 其中自监督后面发展成了LeCun带头的“世界模型”，强化学习则衍生了gpt系的模型，另外包括辛顿在内的一批科学家也认同强化学习是AGI的一个途径；监督学习，虽然前线的研究者们认为其没有未来，却是当前实实在在落地最成功的方向。 个人认为，作者提出的自监督固然可能产生最终的人工智能，但是既然大家都没有清晰的概念，那么最大可能是我们现在提出的所有方向都与最终的答案（当然不唯一）是有偏差的。那么，真正有意义的问题就不是谁的方向更“正确”，而是谁更能引领当前行业向前发展。 引领发展最核心的要素是：1 人才的富集和交流 2 丰富的实践和试错。从这个角度看，最好的路线是最快触及到下一个商业实用点，从而带来工业界的人才和社会资源跟进的路线。