优化算法
2022-07-22 09:30:08 0 举报AI智能生成
指数加权平均、momentom、RMSProp、Adam优化算法
作者其他创作
大纲/内容
指数加权平均数
目的：得到移动平均值，不需要精确计算
原理：
值越大相当于平均的天数更多，前几天不准，所以有偏差修正
偏差修正：
在基础上再计算
momentom
思想：每次不是光用mini-batch的梯度，而是平均梯度
公式
RMSProp
思想：对于权重的不同维度做了一个归一化
公式
adam
公式
一般为0.9
一般为0.999
偏差修正
梯度下降
鞍点 局部最优点
鞍点：w某些方向局部最高，某些方向局部最低
鞍点多
局部最优点：所有方向局部最低
局部最优点少
学习率调整
等间隔调整学习率 StepLR
scheduler = StepLR(optimizer, step_size=30, gamma=0.1)
Assuming optimizer uses lr = 0.05 for all groups
lr = 0.05 if epoch < 30
lr = 0.005 if 30 <= epoch < 60
lr = 0.0005 if 60 <= epoch < 90
lr = 0.05 if epoch < 30
lr = 0.005 if 30 <= epoch < 60
lr = 0.0005 if 60 <= epoch < 90
按需调整学习率 MultiStepLR
scheduler = MultiStepLR(optimizer, milestones=[30,80], gamma=0.1)
lr = 0.05 if epoch < 30
lr = 0.005 if 30 <= epoch < 80
lr = 0.0005 if epoch >80
lr = 0.005 if 30 <= epoch < 80
lr = 0.0005 if epoch >80
指数衰减调整学习率 ExponentialLR
torch.optim.lr_scheduler.ExponentialLR
自适应调整学习率 ReduceLROnPlateau
自定义指标更新学习率（可用正确率或者loss）
自定义调整学习率 LambdaLR
自定义函数更新学习率
余弦退火调整学习率 CosineAnnealingLR
余弦函数
CosineAnnealingWarmRestarts
0 条评论
下一页
