如何判断训练中的模型已经收敛

如何判断训练中的模型已经收敛

可以通过查看训练集和测试集的loss变化来判断。

一、loss的变化情况分为以下几种情况:

1.train loss 下降,val loss下降: 表明网络还在学习

2. train loss下降,val loss稳定:网络过拟合

3.train loss稳定,val loss下降:数据集有问题

4.train loss稳定,val loss稳定:可能已经收敛,或者学习遇到瓶颈,可以调小学习率试试

5.train loss上升,val loss上升:网络结构设计有问题,或者训练参数设置不当等,及时停止学习,调整代码

二、根据训练曲线判断是否收敛

1.欠拟合:欠拟合一般有两种典型表现

①loss曲线趋于水平或维持相对较高的loss值

②训练结束时,train loss依然持续减少,且val loss 有较大波动

2.过拟合:过拟合指的是模型对训练集学习的太好,导致网络泛化能力差,在验证集上反而效果不好。

3.模型收敛:train loss 下降趋于稳定,val loss 下降也趋于稳定,且train loss 的值与val loss 的值相差不大

🌈 相关推荐

鹦鹉多久会说话?揭秘训练与年龄的关系
best365彩票

鹦鹉多久会说话?揭秘训练与年龄的关系

📅 07-10 👁️ 8913
《梦幻西游》升级到50最快方法
microsoft365破解版

《梦幻西游》升级到50最快方法

📅 07-07 👁️ 9804