深度学习

人工神经网络的研究的概念
深度学习(Deep Learning),[1]机器学习的分支,[3]是指使用多层的神经网络进行机器学习的一种手法,[1]它学习样本数据的内在规律和表示层次,最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。[3]深度学习中的深度指的是神经网络的层数。深度一般超过8层的神经网络叫深度学习。含多个隐层的多层学习模型是深度学习的架构。深度学习可以通过组合低层特征,形成更加抽象的高层以表示属性类别或特征,从而发现数据的分布式特征表示。[3]
深度学习广泛应用在自然语言处理、语音识别与合成、图像处理计算机视觉和音乐处理等方面,[3][4]搭配TensorFlowPyTorch飞桨Keras等技术框架,[5][6]无监督学习可包括受限波尔茨曼机(RBM)、深度置信网络(DBN)、深度自编码网络(Deep Autoencoder,DA)等;[7]按监督学习可包括卷积神经网络(CNN)、深度堆叠网络(DSN)、递归神经网络(Recurrent Neural Networks,RNN)等;[7]按半监督学习模型有积神经网络(Sum-product Network,SPN)等。[7]
深度学习提供了一种让计算机进入自动学习模式的特征方法,将特征学习融入模型建立的过程中,从而减少了人为设计特征所造成的不完备性。[8]但同时由于数据量有限,深度学习算法无法对数据的规律进行无偏差的估计。为了获得更高的精度,需要借助大数据支持。[8]

概述

深度学习是一种基于人工神经网络对数据进行表征学习的算法。人工神经网络(Artificial Neural Network)是基于人工神经元(类似于生物大脑中的生物神经元)的连接单元的集合,也被称为神经网络。神经元之间的每个连接(突触)都可以将信号传输到另一个神经元。接收神经元(突触后)可以处理信号,然后发信号通知与之相连的下层神经元。神经元一般具有激活和抑制两种状态,只有激活的神经元才能向下游神经元发送信号。神经元和突触之间还存在权重,用来权衡信号的强度,权重也可以随着学习的进行而变化,这可以增加或减少其向下层发送的信号的强度。通常,神经元是分层的。不同的层可以对它们的输入执行不同种类的操作,而信号就从第一层(输入)传播到最后一层(输出),同时信号也可以多次遍历某些层之后进行输出。这样的网络通常通过示例来不断学习,进而逐步提高其能力。[3]