AI 深度学习相关概念

图片

像素：1个像素由R、G、B来表示。
图像：图像由像素构成，比如一张图片 64x64 像素。
一张图片总共有： 64x64x3 = 12288 单元色组成。

核心公式

z = dot(w,x) + b

• x: 代表输入特征向量
• w: 权重，代表每个特征的重要程度
• b:表示阈值，用来影响预测结果
• dot():dot()函数表示将w和x进行向量相乘

z = (x1 * w1 + x2 * w2 + x3 * w3) + b。

激活函数

sigmoid的激活函数

我们在这里先只介绍它的一个用途——把z映射到[0,1]之间。上图中的横坐标是z，纵坐标我们用y’来表示，y’就代表了我们最终的预测结果。从图像可以看出，z越大那么y’就越靠近1，z越小那么y’就越靠近0。那为什么要把预测结果映射到[0,1]之间呢？因为这样不仅便于神经网络进行计算，也便于我们人类进行理解。例如在预测是否有猫的例子中，如果y’是0.8，就说明有80%的概率是有猫的。

损失函数(lose function)

损失函数(loss function):要验证预测结果是否准确，就需要使用损失函数。
损失函数就是用来表现预测与实际数据的差距程度。

成本函数（cost function）

成本函数(cost function):对每个样本的“损失”进行累加，然后求平均值。这种针对于整个训练集的损失函数我们称之为成本函数。它的计算结果越大，说明成本越大，即预测越不准确。

浅层神经网络解析

file

神经网络计算方式

神经网络的计算是由一个前向传播以及一个反向传播构成的。先通过前向传播计算出预测结果以及损失；然后再通过反向传播计算出损失函数关于每一个参数(w、b) 的偏导数，并对这些参数进行梯度下降，然后用新的参数进行新一轮的前向传播计算，这样来回不停地进行前向传播反向传播来训练（更新）参数使损失函数越来越小使预测越来越精准。

为者常成，行者常至