神经网络

神经网络

一、回归(Regression

回归是指机器观察并总结结规律,然后根据这些规律对事物进行分类或者预测。

所以回归问题本质就是曲线拟合(Curve Fitting)问题。

拟合中的算法最著名的就是梯度下降法(Gradient Descent)

具体的方法是将拟合曲线不断地旋转,每次旋转过后计算拟合曲线和数据的残差平法和,当残差平法和小于某个很小的数时就认为收敛(Converge)

利用最小化误差的平方和来解决回归问题的方法叫最小二乘法(Least Square Method)

将残差的平方和与拟合曲线旋转的斜率作图可以得到下图的曲线,我们知道当曲线的斜率为0时误差最小,也是我们拟合最优点。


我们将拟合曲线每次旋转的幅度叫做学习率(Learning Rate),这在BP算法中也会有应用。


梯度下降法会陷入局部最优解。因此发展了许多弥补措施。

二、人工神经网络(ANN, Artificial Neural Network

2.1 神经元数学模型

上述情况是针对数据的回归算法,但当针对图像或者视频等巨大特征量的数据时前面的回归算法计算量十分的庞大,因此需要人工神经网络的算法来减少特征,降低维度。


神经元

神经元数学模型

假说”智能来源于单一的算法(One Learning Algorithm)”,如果说法成立,就有可能利用单一算法(神经网络)处理世界上千变万化的问题。

对于神经元的数学模型,+(-)1代表偏移值(Bias Units);X1, X2, X3代表初始特征;w0,w1,w2,w3代表权重(Weight),是特征的缩放倍数;特征经过缩放和偏移后全部累加后经过激活运算后输出。激活函数也有许多种。

2.2 举例:y=kx+b


特征值为X,b和k是权重,激活函数是y=x

2.3 激活函数

使用非线性的激活函数可以使用曲线来拟合数据,可以提高拟合的精确度。最常见的激活函数是Sigmoid(S曲线)。一种称为逻辑回归(Logistic Regression, logsig),另一种称为双曲正切函数(tanh, tansig)

Logsig

Tansig

Logsig的范围在0~1,而Tansig范围在-1~1。

三、神经网络算法

3.1 M-P模型


图中x1~xn是从其他神经元传来的输入信号,wij表示表示从神经元j到神经元i的连接权值,θ表示一个阈值 ( threshold ),或称为偏置( bias )。则神经元i的输出与输入的关系表示为:

yi代表神经元i的输出,f为激活函数,net称为净激活。若神经元的净激活net为正,称该神经元处于激活状态或兴奋状态(fire),若净激活net为负,则称神经元处于抑制状态。

这种阈值加权和的神经元模型称为M-P模型(McCulloch-Pitts Model),也称为神经网络的一个处理单元(PE, Processing Element)

3.2 神经网络结构

  1. 前馈神经网络(Feedforward Neural Networks)
    1. 感知机(Perceptron)
    2. BP神经网络
  2. 反馈神经网络(Feedback Neural Networks)
    1. Elman网络
    2. Hopfield网络
  3. 自组织网络(SOM ,Self-Organizing Neural Networks)

3.3 神经网络工作方式

神经网络运作过程分为学习和工作两种状态。

  1. 学习

    有导师学习(supervised Learning)

    有导师学习算法将一组训练集 ( training set )送入网络,根据网络的实际输出与期望输出间的差别来调整连接权。
    有导师学习算法的主要步骤包括:

    1)  从样本集合中取一个样本(Ai,Bi);

    2)  计算网络的实际输出O;

    3)  求D=Bi-O;

    4)  根据D调整权矩阵W;

    5) 对每个样本重复上述过程,直到对整个样本集来说,误差不超过规定范围。

    BP算法就是一种出色的有导师学习算法。

    无导师学习(Unsupervised Learning)

    无导师学习抽取样本集合中蕴含的统计特性,并以神经元之间的联接权的形式存于网络中。
    Hebb学习律是一种经典的无导师学习算法。Hebb算法核心思想是,当两个神经元同时处于激发状态时两者间的连接权会被加强,否则被减弱。工作

  2. 工作
    分类器
    预测器

参考文章:

  1. 机器学习入门——浅谈神经网络
  2. 神经网络编程入门

Leave a Reply

Your email address will not be published. Required fields are marked *