多层感知机

感知机

* 感知机是一个二分类模型
* 它的求解算法等价于使用批量大小为1的梯度下降
* 它不能拟合XOR函数(相同为假，相异为真）

w,x做内积然后加上偏置b， 感知机是一个简单的二分类问题

• 相对于回归问题，回归输出的是一个实数
• softmax输出的是一系列概率值，可以做多分类

感知机的训练

• 算法中如果$y_i$和 输出值小于等于0 ，则表示预测错误，需要跟新参数

XOR 问题（Minsk& Rapert, 1969)

• 感知机的问题是无法拟合XOR函数， 它只能产生线性分割面出来

多层感知机

• 如上图， 通过多个方式解决XOR问题，通过黄色和蓝色的分割，然后比较黄色划分的结果和蓝色划分结果，最后通过porduct分类

• 激活函数必须使用非线性的，否则$ o $的输出任然是个线性的函数，等价于一个单层感知机

激活函数

多分类

• 在输出层加了一个softmax()层

• 和但分类的区别是输出层从m 变成了 m x k
• 输出增加一个softmax层

• 多隐藏层中每层都应该添加激活函数，如果不添加就等于减少一层。

总结：

• 多层感知机使用隐藏层和激活函数来得到非线性模型
• 常见激活函数是Sigmoid ，Tanh, ReLU
• 使用softmax来处理多分类问题
• 超参数为隐藏层数，和各个隐藏层大小

** 本文章来自对沐神的[课程总结]（https://www.bilibili.com/video/BV1hh411U7gn/?spm_id_from=333.999.0.0&vd_source=ab7b53f789ecf6dd41c74d59dff5a273)