网站公告 德州扑克现金局
军事新闻>>当前位置:主页 > 军事新闻 >

Underfit,overfit及其解决方案。

时间:2019-02-14    点击量:

解决方案:
1)再次清洗数据时,可能会由于数据不纯而导致过度调整。如果发生过度调整,则需要再次擦除数据。
2)通过增加数据训练量,还有一个原因是用于训练的数据量太小而且训练数据与整个数据的比例太小。
3)采用正则化方法。
正则化方法包括常规L 0,正常L 1和规范L 2,但该规则通常遵循目标函数的范数。
然而,L2的规律性通常用于机器学习。我们来看下面的具体原因。
范数L 0表示矢量中的非零元素的数量。
范数L1表示矢量中元素的绝对值之和,也称为“散射规则”(Lassoregularization)。
两者都可能达到差异。由于L 0可能不足,为什么不使用L 0代替L 1?
个人的理解是这样的事实,这是很难L0范数优化溶液(难NP),2个是常态L1是L0范数的最佳凸近似,容易解决从规范的溶液也就是说。L 0。
因此,每个人都将他们的目光和成千上万的最爱引导到L1标准。
范数L 2表示矢量元素的平方和,即平方根。
可以使W的每个元素非常小,接近0,但与标准L1不同,它不等于0但接近于零。
通常的术语L2用于减少参数,但为什么它可以避免过度拟合?
一般理解参数值是否小?Ow意味着模型并不复杂,训练数据被调整(Occam剃刀),训练数据调整不太多。调整以提高模型的泛化能力。
如果条件数不好,还有,这是很难理解的是,以帮助L2标准是处理矩阵求逆(我并不在这种情况下知道的)问题。
4)采用逃生方法。
这种方法在神经网络中很常见。
放弃方法是ImageNet提出的方法。通常,放弃方法在训练期间对于具有一定概率的神经元不起作用。
详细的,请看下一张图像。