来源 | 周志华教授,专知

前言:深度学习有很多问题目前还不清楚。例如深度神经网络为什么要“深”?它成功背后的关键因素是什么?深度学习只能是深度神经网络吗?本文将分享一些我们关于深度学习的粗浅思考。

前言:深度学习有很多问题目前还不清楚。例如深度神经网络为什么要“深”?它成功背后的关键因素是什么?深度学习只能是深度神经网络吗?本文将分享一些我们关于深度学习的粗浅思考。

1 引言

深度学习已被广泛应用到涉及图像、视频、语音等的诸多任务中并取得巨大成功。如 果我们问“深度学习是什么?”很可能会得到这样的回答:“深度学习就是深度神经网 络”。至少在目前,当“深度学习”作为一个术语时几乎就是“深度神经网络”的同义词, 而当它指向一个技术领域时则如 SIAM News 头版文章所称[1],是“机器学习中使用深度神经网络的子领域”。关于深度学习有很多问题还不清楚。例如深度神经网络为什么要“深”?它成功背后的关键因素是什么?深度学习只能是深度神经网络吗?本文将分享一些我们关于深度学习的粗浅思考。

2 深度神经网络

神经网络并不是“新生事物”,它已经被研究了半个多世纪[2]。传统神经网络通常包 含一个或两个隐层,其中每个“神经元”是非常简单的计算单元。如图 1 所示,神经元 接收来自其他神经元的输入信号,这些信号通过连接权放大,到达神经元之后如果其总 量超过某个阈值,则当前神经元就被“激活”并向外传递其输出信号。实际上每个神经 元就是图 1 中非常简单的计算式,而所谓神经网络就是很多这样的计算式通过嵌套迭代 得到的一个数学系统。

免责声明:本文仅代表文章作者的个人观点,与本站无关。其原创性、真实性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容文字的真实性、完整性和原创性本站不作任何保证或承诺,请读者仅作参考,并自行核实相关内容。

举报邮箱:3220065589@qq.com,如涉及版权问题,请联系。