过拟合和欠拟合

过拟合(overfitting)和欠拟合(underfitting)都是分类训练过程中经常遇到的现象，理清它们之间的区别和含义，有助于得到更好的分类器

过拟合

参考：

过拟合

机器学习中用来防止过拟合的方法有哪些？

过拟合(over fitting)现象常出现在分类器训练过程中，指的是分类器对训练集数据能够得到很好的结果，但是在测试集（或者其他数据）上不能够很好的分类，分类器泛化能力差

出现原因：

1. 训练集数据不够大
2. 训练集数据存在噪音
3. 模型过于复杂导致不仅能够拟合数据还能够拟合噪音

解决方法：

1. 给予足够多的数据
2. 提高训练集质量
3. 选用合适的模型，限制模型的拟合能力

针对卷积神经网络，限制网络复杂度的方法包括

1. 减少网络层数
2. 减小神经元个数
3. 激活函数

欠拟合

参考：欠拟合

欠拟合(under fitting)指分类器在训练集上不能够得到很好的检测效果，同样在测试集上也不能够得到很好的检测效果，分类器泛化能力差

欠拟合的原因是由于分类模型没有很好的捕捉到数据特征，真实数据离拟合曲线较远

解决方法：

1. 增加新特征
2. 减少参数正则化
3. 使用非线性模型
4. 集成多个学习模型

针对卷积神经网络，提高网络复杂度的方法包括

1. 扩展网络层数
2. 扩大神经元个数
3. 减少激活函数
4. 使用稀疏网络结构
5. 集成多个网络模型
6. 随机激活权值