為了得到更好的網絡，學習率通常是要調整的，即剛開始用較大的學習率來加快網絡的訓練，之后為了提高精確度，需要將學習率調低一點。

如圖所示，步長（學習率）太大容易跨過最優解。

代碼如下：

表示每20個epoch學習率調整為之前的10%

optimizer = optim.SGD(gan.parameters(), 
                                  lr=0.1,
                                  momentum=0.9,
                                  weight_decay=0.0005)

lr = optimizer.param_groups[0]['lr'] * (0.1 ** (epoch // 20))
for param_group in optimizer.param_groups:
    param_group['lr'] = lr
print(optimizer.param_groups[0]['lr'])

補充：Pytorch 在訓練過程中實現學習率衰減

在網絡的訓練過程中，學習率是一個非常重要的超參數，它直接影響了網絡的訓練效果。

但過大的學習率將會導致網絡無法達到局部最小點，使得訓練結果震蕩，準確率無法提升，而過小的學習率將會導致擬合速度過慢，浪費大量的時間和算力。

因此我們希望在訓練之初能夠有較大的學習率加快擬合的速率，之后降低學習率，使得網絡能夠更好的達到局部最小，提高網絡的效率。

torch.optim.lr_scheduler.LambdaLR（）

torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda, last_epoch=-1)

其中optimizer就是包裝好的優化器， lr_lambda即為操作學習率的函數。

將每個參數組的學習速率設置為初始的lr乘以一個給定的函數。

當last_epoch=-1時，將初始lr設置為lr。

torch.optim.lr_scheduler.StepLR（）

torch.optim.lr_scheduler.StepLR(optimizer, step_size, gamma=0.1, last_epoch=-1)

其中optimizer就是包裝好的優化器，step_size (int) 為學習率衰減期，指幾個epoch衰減一次。gamma為學習率衰減的乘積因子。 默認為0.1 。當last_epoch=-1時，將初始lr設置為lr。

以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。