與優(yōu)化函數(shù)相關(guān)的部分在torch.optim模塊中，其中包含了大部分現(xiàn)在已有的流行的優(yōu)化方法。

如何使用Optimizer

要想使用optimizer，需要?jiǎng)?chuàng)建一個(gè)optimizer 對(duì)象，這個(gè)對(duì)象會(huì)保存當(dāng)前狀態(tài)，并根據(jù)梯度更新參數(shù)。

怎樣構(gòu)造Optimizer

要構(gòu)造一個(gè)Optimizer，需要使用一個(gè)用來(lái)包含所有參數(shù)（Tensor形式）的iterable，把相關(guān)參數(shù)（如learning rate、weight decay等）裝進(jìn)去。

注意，如果想要使用.cuda()方法來(lái)將model移到GPU中，一定要確保這一步在構(gòu)造Optimizer之前。因?yàn)檎{(diào)用.cuda()之后，model里面的參數(shù)已經(jīng)不是之前的參數(shù)了。

示例代碼如下：

optimizer = optim.SGD(model.parameters(), lr = 0.01, momentum = 0.9)
optimizer = optim.Adam([var1, var2], lr = 0.0001)

常用參數(shù)

last_epoch代表上一次的epoch的值，初始值為-1。

單獨(dú)指定參數(shù)

也可以用一個(gè)dict的iterable指定參數(shù)。這里的每個(gè)dict都必須要params這個(gè)key，params包含它所屬的參數(shù)列表。除此之外的key必須它的Optimizer（如SGD）里面有的參數(shù)。

You can still pass options as keyword arguments. They will be used as defaults, in the groups that didn't override them. This is useful when you only want to vary a single option, while keeping all others consistent between parameter groups.

這在針對(duì)特定部分進(jìn)行操作時(shí)很有用。比如只希望給指定的幾個(gè)層單獨(dú)設(shè)置學(xué)習(xí)率：

optim.SGD([
  {'params': model.base.parameters()},
  {'params': model.classifier.parameters(), 'lr': 0.001}
  ],
  
  lr = 0.01, momentum = 0.9)

在上面這段代碼中model.base將會(huì)使用默認(rèn)學(xué)習(xí)率0.01，而model.classifier的參數(shù)蔣歡使用0.001的學(xué)習(xí)率。

怎樣進(jìn)行單次優(yōu)化

所有optimizer都實(shí)現(xiàn)了step()方法，調(diào)用這個(gè)方法可以更新參數(shù)，這個(gè)方法有以下兩種使用方法：

optimizer.step()

多數(shù)optimizer里都可以這么做，每次用backward()這類的方法計(jì)算出了梯度后，就可以調(diào)用一次這個(gè)方法來(lái)更新參數(shù)。

示例程序：

for input, target in dataset:
 optimizer.zero_grad()
 ouput = model(input)
 loss = loss_fn(output, target)
 loss.backward()
 optimizer.step()

optimizer.step(closure)

有些優(yōu)化算法會(huì)多次重新計(jì)算函數(shù)（比如Conjugate Gradient、LBFGS），這樣的話你就要使用一個(gè)閉包（closure）來(lái)支持多次計(jì)算model的操作。

這個(gè)closure的運(yùn)行過(guò)程是，清除梯度，計(jì)算loss，返回loss。

（這個(gè)我不太理解，因?yàn)檫@些優(yōu)化算法不熟悉）

示例程序：

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

優(yōu)化算法

這里就不完整介紹documentation中的內(nèi)容了，只介紹基類。具體的算法的參數(shù)需要理解它們的原理才能明白，這個(gè)改天單獨(dú)來(lái)一篇文章介紹。

Optimizer

 class torch.optim.Optimizer(params, defaults)

這是所有optimizer的基類。

注意，各參數(shù)的順序必須保證每次運(yùn)行都一致。有些數(shù)據(jù)結(jié)構(gòu)就不滿足這個(gè)條件，比如dictionary的iterator和set。

參數(shù)

params(iterable)是torch.Tensor或者dict的iterable。這個(gè)參數(shù)指定了需要更新的Tensor。

defaults(dict)是一個(gè)dict，它包含了默認(rèn)的的優(yōu)化選項(xiàng)。

方法

add_param_group(param_group)

這個(gè)方法的作用是增加一個(gè)參數(shù)組，在fine tuning一個(gè)預(yù)訓(xùn)練的網(wǎng)絡(luò)時(shí)有用。

load_state_dict(state_dict)

這個(gè)方法的作用是加載optimizer的狀態(tài)。

state_dict()

獲取一個(gè)optimizer的狀態(tài)（一個(gè)dict）。

zero_grad()方法用于清空梯度。

step(closure)用于進(jìn)行單次更新。

Adam

class torch.optim.Adam(params, lr=0.001, betas=(0.9, 0.999), eps=1e-08, weight_decay=0, amsgrad=False)

補(bǔ)充：pytorch里面的Optimizer和optimizer.step()用法

當(dāng)我們想指定每一層的學(xué)習(xí)率時(shí)：

optim.SGD([
          {'params': model.base.parameters()},
          {'params': model.classifier.parameters(), 'lr': 1e-3}
        ], lr=1e-2, momentum=0.9)

這意味著model.base的參數(shù)將會(huì)使用1e-2的學(xué)習(xí)率，model.classifier的參數(shù)將會(huì)使用1e-3的學(xué)習(xí)率，并且0.9的momentum將會(huì)被用于所有的參數(shù)。

進(jìn)行單次優(yōu)化

所有的optimizer都實(shí)現(xiàn)了step()方法，這個(gè)方法會(huì)更新所有的參數(shù)。它能按兩種方式來(lái)使用：

optimizer.step()

這是大多數(shù)optimizer所支持的簡(jiǎn)化版本。一旦梯度被如backward()之類的函數(shù)計(jì)算好后，我們就可以調(diào)用這個(gè)函數(shù)。

例子

for input, target in dataset:
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    optimizer.step()
optimizer.step(closure)

一些優(yōu)化算法例如Conjugate Gradient和LBFGS需要重復(fù)多次計(jì)算函數(shù)，因此你需要傳入一個(gè)閉包去允許它們重新計(jì)算你的模型。

這個(gè)閉包應(yīng)當(dāng)清空梯度，計(jì)算損失，然后返回。

例子：

for input, target in dataset:
  def closure():
    optimizer.zero_grad()
    output = model(input)
    loss = loss_fn(output, target)
    loss.backward()
    return loss
  optimizer.step(closure)

以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教。