看代碼吧~
class ConvNet(nn.module):
def __init__(self, num_class=10):
super(ConvNet, self).__init__()
self.layer1 = nn.Sequential(nn.Conv2d(1, 16, kernel_size=5, stride=1, padding=2),
nn.BatchNorm2d(16),
nn.ReLU(),
nn.MaxPool2d(kernel_size=2, stride=2))
self.layer2 = nn.Sequential(nn.Conv2d(16, 32, kernel_size=5, stride=1, padding=2),
nn.BatchNorm2d(32),
nn.ReLU(),
nn.MaxPool2d(kernel_size=2, stride=2))
self.fc = nn.Linear(7*7*32, num_classes)
def forward(self, x):
out = self.layer1(x)
out = self.layer2(out)
print(out.size())
out = out.reshape(out.size(0), -1)
out = self.fc(out)
return out
# Test the model
model.eval() # eval mode (batchnorm uses moving mean/variance instead of mini-batch mean/variance)
with torch.no_grad():
correct = 0
total = 0
for images, labels in test_loader:
images = images.to(device)
labels = labels.to(device)
outputs = model(images)
_, predicted = torch.max(outputs.data, 1)
total += labels.size(0)
correct += (predicted == labels).sum().item()
如果網(wǎng)絡(luò)模型model中含有BN層，則在預(yù)測(cè)時(shí)應(yīng)當(dāng)將模式切換為評(píng)估模式，即model.eval()。
評(píng)估模擬下BN層的均值和方差應(yīng)該是整個(gè)訓(xùn)練集的均值和方差，即 moving mean/variance。
訓(xùn)練模式下BN層的均值和方差為mini-batch的均值和方差，因此應(yīng)當(dāng)特別注意。
補(bǔ)充：Pytorch 模型訓(xùn)練模式和eval模型下差別巨大（Pytorch train and eval）附解決方案
當(dāng)pytorch模型寫明是eval()時(shí)有時(shí)表現(xiàn)的結(jié)果相對(duì)于train(True)差別非常巨大，這種差別經(jīng)過(guò)逐層查看，主要來(lái)源于使用了BN，在eval下，使用的BN是一個(gè)固定的running rate，而在train下這個(gè)running rate會(huì)根據(jù)輸入發(fā)生改變。
解決方案是凍住bn
def freeze_bn(m):
if isinstance(m, nn.BatchNorm2d):
m.eval()
model.apply(freeze_bn)
這樣可以獲得穩(wěn)定輸出的結(jié)果。
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
您可能感興趣的文章:- 淺談pytorch中的BN層的注意事項(xiàng)
- pytorch 固定部分參數(shù)訓(xùn)練的方法
- pytorch固定BN層參數(shù)的操作
