signed

QiShunwang

“诚信为本、客户至上”

深度学习Deep Learning

2021/5/14 22:07:53   来源:

神经网络

概念

把多个Logistic Regression前后connect在一起,然后把一个Logistic Regression称之为neuron,整个称之为neural network
在这里插入图片描述
用不同的方法连接这些neuron,就可以得到不同的structure,neural network里的每一个Logistic Regression都有自己的weight和bias,这些weight和bias集合起来,就是这个network的parameter,记为θ。

全连接前馈网络

Fully Connect Feedforward Network是一种常用的将多个逻辑回归连接起来的方法。
在这里插入图片描述
input的地方,叫做input layer,输入层(严格来说input layer其实不是一个layer,它跟其他layer不一样,不是由neuron所组成的)
output的地方,叫做output layer,输出层
其余的地方,叫做hidden layer,隐藏层

每一个neuron里面的sigmoid function,在Deep Learning中被称为activation function(激励函数),事实上它不见得一定是sigmoid function,还可以是其他function(sigmoid function是从Logistic Regression迁移过来的,现在已经较少在Deep learning里使用了)

有很多层layers的neural network,被称为DNN(Deep Neural Network)

因为layer和layer之间,所有的neuron都是两两连接,所以它叫Fully connected的network;因为现在传递的方向是从layer 1->2->3,由后往前传,所以它叫做Feedforward network。

层数增加,即所谓深度增加,在增加准确度的同时会导致运算量的增加,矩阵运算Matrix Operation可以提高运算效率。

神经网络的本质就是把特征值转换成更容易运算的特征值和特征空间,可以通过GPU加速,比CPU更快。因此写神经网络时习惯写出矩阵运算,然后用GPU加速。

可以把隐藏层看做特征提取器feature extractor,把输出层看做Multi-class classifier。它是拿经过feature extractor转换后的那一组比较好的feature(能够被很好地separate)进行分类的,由于我们把output layer看做是一个Multi-class classifier,所以我们会在最后一个layer加上softmax
在这里插入图片描述

案例:手写数字识别

input、output的dimension,加上network structure,就可以确定一个model的形状,前两个是容易知道的,而决定这个network的structure则是整个Deep Learning中最为关键的步骤
step1:Neural Network
input 256维→神经网络→output 10维
step2:判断模型好坏
计算交叉熵
step3:选择最优模型
调整参数使交叉熵越小越好。

要寻找最优解θ*可以使用梯度下降中的反向传播方法。