深度学习算法 | Blog of Huiteng

type

status

date

slug

summary

📝 k 近邻分类

不需要训练过程，非线性分类问题，预测速度较慢，调参工作，以保证算法的准确性和泛化能力

小范围投票，少数服从多数

k是自己定义

思想理解了公式就理解了 I叫投票(指示函数)

边界越来越平滑，随着k值

决策边界

参数模型与非参数模型

泛化能力

学习每一种学习算法时，注意观察决策边界形状特点，并总结规律

较大的 k 是会抑制噪声的影响，但是使得分类界限不明显

加权投票

最近质心分类收缩阈值增大不需要用户提供近邻数量 k 值，决策边界为中垂线

沃罗诺伊图

最近邻方法可以用于分类问题，也可以用于回归问题

📝 距离

欧氏距离(中心化)，两个缺点

标准化欧式距离（维度化）：解决每个特征尺度不一致的问题协方差矩阵特征的方差正椭圆

马氏距离(正交化，旋转)：方差协方差矩阵,缺点是对于样本数较少的情况下容易过拟合

马氏距离的单位是“标准差”。比如，马氏距离计算结果为 3,应该称作 3 个标准差。

(曼哈顿)城市街区距离

闵视距离

朴素贝叶斯分类

A*算法

反向传播是为了求梯度

梯度下降的优化

局部最优：鞍点
batch(批) GD 随机一个(永不收敛) mini-batch 波动很大

超参数

超参数

初始值的影响：默认就是 0.03

时间相关的指数加权平均，动量梯度下降 RMSProp Adam上

学习率衰减

神经网络的本质是线性回归

逻辑回归的算法计算输出、损失函数

逻辑回归的梯度下降算法

多样本的向量计算

😀

十大算法

神经网络的本质是线性回归

逻辑回归的算法损失函数

本质是将回归问题变成分类(概率)问题 sigmoid函数 1/(1+e^-z)
损失函数：一个样本

代价函数：损失函数求和

更新公式： a表示学习率

正向计算，反向(BP)更新

多样本的向量计算：矩阵

激活函数: 处理非线性问题

线性方程本质是画超平面
sigma函数容易梯度爆炸或0, 最后一层做，一般不做隐层的激函数，因为容易梯度消失或梯度爆炸
常见的激活函数，relu(max(0,x)), sigmoid(0,1), tanh(-1,1)

超参数

超参数

初始值的影响：默认就是 0.03

这里将 W 的值乘以 0.01(或者其他的常数值)的原因是为了使得权 W 初始化为较小的值。因为sigmoid或tanh函数作为激活函数时，W比较小，则WX+b所得的值趋近于0 梯度较大，能够提高算法的更新速度 ReLU 和Leaky ReLU 作为激活函数时不存在这种问题，因为在大于0的时候，梯度均为1

正则化

基础

数据划分：训练验证测试 100万数据量:98%/1%/1% 超百万数据量:99.5%/0.25%/0.25%
偏差(小则拟合效果好)与方差(大则过拟合) 噪声(大则问题难)
过拟合获取更多的数据，使得训练能够包含所有可能出现的情况正则化 (Regularization) 寻找更合适的网络结构
对于高偏差(欠拟合)，有以下几种方式: 扩大网络规模，如添加隐藏层或者神经元数量寻找合适的网络架构，使用更大的网络结构，如AlexNet 训练时间更长一些不断尝试，直到找到低偏差、低方差的框架
惩罚项