pytorch 求网络模型参数实例

Python  /  管理员 发布于 5年前   234

用pytorch训练一个神经网络时，我们通常会很关心模型的参数总量。下面分别介绍来两种方法求模型参数

一 .求得每一层的模型参数，然后自然的可以计算出总的参数。

1.先初始化一个网络模型model

比如我这里是 model=cliqueNet(里面是些初始化的参数）

2.调用model的Parameters类获取参数列表

一个典型的操作就是将参数列表传入优化器里。如下

 optimizer = optim.Adam(model.parameters(), lr=opt.lr)

言归正传，继续回到参数里面，参数在网络里面就是variable,下面分别求每层的尺寸大小和个数。

函数get_number_of_param( ) 里面的参数就是刚才第一步初始化的model

def get_number_of_param(model):  """get the number of param for every element"""  count = 0  for param in model.parameters():    param_size = param.size()    count_of_one_param = 1    for dis in param_size:      count_of_one_param *= dis    print(param.size(), count_of_one_param)    count += count_of_one_param    print(count)  print('total number of the model is %d'%count)

再来看看结果：

torch.Size([64, 1, 3, 3]) 576576torch.Size([64]) 64640torch.Size([6, 36, 64, 3, 3]) 124416125056torch.Size([30, 36, 36, 3, 3]) 349920474976torch.Size([12, 36]) 432475408torch.Size([6, 36, 216, 3, 3]) 419904895312torch.Size([30, 36, 36, 3, 3]) 3499201245232torch.Size([12, 36]) 4321245664torch.Size([6, 36, 216, 3, 3]) 4199041665568torch.Size([30, 36, 36, 3, 3]) 3499202015488torch.Size([12, 36]) 4322015920torch.Size([6, 36, 216, 3, 3]) 4199042435824torch.Size([30, 36, 36, 3, 3]) 3499202785744torch.Size([12, 36]) 4322786176torch.Size([216, 216, 1, 1]) 466562832832torch.Size([216]) 2162833048torch.Size([108, 216]) 233282856376torch.Size([108]) 1082856484torch.Size([216, 108]) 233282879812torch.Size([216]) 2162880028torch.Size([216, 216, 1, 1]) 466562926684torch.Size([216]) 2162926900torch.Size([108, 216]) 233282950228torch.Size([108]) 1082950336torch.Size([216, 108]) 233282973664torch.Size([216]) 2162973880torch.Size([216, 216, 1, 1]) 466563020536torch.Size([216]) 2163020752torch.Size([108, 216]) 233283044080torch.Size([108]) 1083044188torch.Size([216, 108]) 233283067516torch.Size([216]) 2163067732torch.Size([140, 280, 1, 1]) 392003106932torch.Size([140]) 1403107072torch.Size([216, 432, 1, 1]) 933123200384torch.Size([216]) 2163200600torch.Size([216, 432, 1, 1]) 933123293912torch.Size([216]) 2163294128torch.Size([9, 572, 3, 3]) 463323340460torch.Size([9]) 93340469total number of the model is 3340469

可以通过计算验证一下，发现参数与网络是一致的。

二：一行代码就可以搞定参数总个数问题

2.1 先来看看torch.tensor.numel( )这个函数的功能就是求tensor中的元素个数，在网络里面每层参数就是多维数组组成的tensor。

实际上就是求多维数组的元素个数。看代码。

print('cliqueNet parameters:', sum(param.numel() for param in model.parameters()))

当然上面代码中的model还是上面初始化的网络模型。

看看两种的计算结果

torch.Size([64, 1, 3, 3]) 576576torch.Size([64]) 64640torch.Size([6, 36, 64, 3, 3]) 124416125056torch.Size([30, 36, 36, 3, 3]) 349920474976torch.Size([12, 36]) 432475408torch.Size([6, 36, 216, 3, 3]) 419904895312torch.Size([30, 36, 36, 3, 3]) 3499201245232torch.Size([12, 36]) 4321245664torch.Size([6, 36, 216, 3, 3]) 4199041665568torch.Size([30, 36, 36, 3, 3]) 3499202015488torch.Size([12, 36]) 4322015920torch.Size([6, 36, 216, 3, 3]) 4199042435824torch.Size([30, 36, 36, 3, 3]) 3499202785744torch.Size([12, 36]) 4322786176torch.Size([216, 216, 1, 1]) 466562832832torch.Size([216]) 2162833048torch.Size([108, 216]) 233282856376torch.Size([108]) 1082856484torch.Size([216, 108]) 233282879812torch.Size([216]) 2162880028torch.Size([216, 216, 1, 1]) 466562926684torch.Size([216]) 2162926900torch.Size([108, 216]) 233282950228torch.Size([108]) 1082950336torch.Size([216, 108]) 233282973664torch.Size([216]) 2162973880torch.Size([216, 216, 1, 1]) 466563020536torch.Size([216]) 2163020752torch.Size([108, 216]) 233283044080torch.Size([108]) 1083044188torch.Size([216, 108]) 233283067516torch.Size([216]) 2163067732torch.Size([140, 280, 1, 1]) 392003106932torch.Size([140]) 1403107072torch.Size([216, 432, 1, 1]) 933123200384torch.Size([216]) 2163200600torch.Size([216, 432, 1, 1]) 933123293912torch.Size([216]) 2163294128torch.Size([9, 572, 3, 3]) 463323340460torch.Size([9]) 93340469total number of the model is 3340469cliqueNet parameters: 3340469

可以看出两种计算出来的是一模一样的。

以上这篇pytorch 求网络模型参数实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。