1. 首页
  2. 人工智能

深度学习的发展历程

深度学习是机器学习的一个分支,它除了可以学习特征和任务之间的关联以外,还能自动从简单特征中提取更加复杂的特征。2012年以后,深度学习(DeepLearning,DL)的热度呈指数上升,深度学习最具代表性的一类方法是深度神经网络,神经网络试图模拟大脑神经元层的活动,以学习如何识别数据中的复杂模式。深度学习的前身为人工神经网络(ArTIficialNeuralNetwork,ANN),ANN的历史可以追溯到上世纪50年代。目前深度学习最最成熟的技术本质上依然是人工神经网络。

深度学习机器学习的一个分支,它除了可以学习特征和任务之间的关联以外,还能自动从简单特征中提取更加复杂的特征。2012年以后,深度学习(DeepLearning,DL)的热度呈指数上升,深度学习最具代表性的一类方法是深度神经网络,神经网络试图模拟大脑神经元层的活动,以学习如何识别数据中的复杂模式。深度学习的前身为人工神经网络(ArTIficialNeuralNetwork,ANN),ANN的历史可以追溯到上世纪50年代。目前深度学习最最成熟的技术本质上依然是人工神经网络。

1958年Rosenblatt发明了感知器(Perceptron)算法。该算法使用MCP模型(MCP是作者名字的缩写)对输入的多维数据进行二分类,且能够使用梯度下降法从训练样本中自动学习更新权值。1962年,该方法被证明能够收敛,理论与实践效果引起第一次神经网络的研究浪潮。1969年,美国数学家及人工智能先驱Minsky在其著作中证明感知器本质上是一种线性模型,只能处理线性分类问题,就连最简单的XOR(亦或)问题都无法正确分类,这间接宣判了感知器的死刑,神经网络的研究因此陷入了近20年的停滞。

直到上世纪80年代,Hinton在1986年发明了适用于多层感知器(MulTI-layersperceptron)的反向传播算法,并采用Sigmoid函数进行非线性映射,有效解决了非线性分类和学习的问题,该方法引起了神经网络的第二次热潮。YanLecun等人于1998年发明了深度卷积神经网络LeNet-5,该网络引入了卷积层,下采样层和全连接层,是现在大部分深度卷积神经网络的雏形,LeNet-5成功地运用到手写数字(MNIST)识别任务。然而由于神经网络一直缺少相应的严格的数学理论支持,神经网络的研究进入第二次低潮期。随后决策树方法、SVM、朴素贝叶斯等统计学方法成为机器学习研究的主流。

2006年,Hinton等人在其研究中提出了深度学习的概念,之后在众多研究者努力下,随机梯度下降法(StochasTIcGradientDescent,SGD),Dropout等网络优化策略被相继提出,尤其是GPU并行计算技术解决了深度网络参数多优化时间长的难题后,全世界范围内掀起了研究深度学习的热潮并持续至今。10多年来,许多经典的深度学习架构被提出,如典型的深度卷积神经网络架构AlexNet,循环神经网络(RecurrentNeuralNetworks,RNN)、长短期记忆网络(LongShort-TermMemory,LSTM)、生成式对抗网络(GeneraTIveAdversarialNetwork,GAN)等。

深度学习的发展历程
责任编辑人:CC

免责声明:本站旨在传递信息,不代表有传资讯的观点和立场。本站遵循行业规范,如转载您的文章未标注版权,请联系我们(QQ:78799268)改正。本站的原创文章,如若转载,请注明出处:http://www.ainoline.cn/rengongzhineng/14411.html

发表评论

电子邮件地址不会被公开。 必填项已用*标注

联系我们

在线咨询:点击这里给我发消息

邮件:78799268@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code