失眠网,内容丰富有趣,生活中的好帮手!
失眠网 > pytorch的两个函数 tensor.detach() tensor.detach_() tensor.clone() 的作用和区别

pytorch的两个函数 tensor.detach() tensor.detach_() tensor.clone() 的作用和区别

时间:2019-12-28 12:47:40

相关推荐

pytorch的两个函数 tensor.detach() tensor.detach_() tensor.clone() 的作用和区别

前言:当我们在训练网络的时候可能希望保持一部分的网络参数不变,只对其中一部分的参数进行调整;或者值训练部分分支网络,并不让其梯度对主网络的梯度造成影响,这时候我们就需要使用detach()函数来切断一些分支的反向传播。

1 tensor.detach()

返回一个新的tensor,从当前计算图中分离下来的,但是仍指向原变量的存放位置,不同之处只是requires_grad为false,得到的这个tensor永远不需要计算其梯度,不具有grad。

即使之后重新将它的requires_grad置为true,它也不会具有梯度grad

这样我们就会继续使用这个新的tensor进行计算,后面当我们进行反向传播时,到该调用detach()的tensor就会停止,不能再继续向前进行传播

注意:使用detach返回的tensor和原始的tensor共同一个内存,即一个修改另一个也会跟着改变。

比如正常的例子是:

import torcha = torch.tensor([1, 2, 3.], requires_grad=True)print(a.grad) # Noneout = a.sigmoid()out.sum().backward() # tensor([0.1966, 0.1050, 0.0452])print(a.grad)

1.1 当使用detach()分离tensor但是没有更改这个tensor时,并不会影响backward():

import torcha = torch.tensor([1, 2, 3.], requires_grad=True)print(a.grad) # Noneout = a.sigmoid()print(out) # tensor([0.7311, 0.8808, 0.9526], grad_fn=<SigmoidBackward>)# 添加detach(),c的requires_grad为Falsec = out.detach()print(c) # tensor([0.7311, 0.8808, 0.9526])# 这个时候没有对c进行更改,所以不会影响backward()out.sum().backward()print(a.grad) # tensor([0.1966, 0.1050, 0.0452])

从上可见tensor c是由out分离得到的,但是我也没有去改变这个c,这个时候依然对原来的out求导是不会有错误的,即

c,out之间的区别是c是没有梯度的,out是有梯度的,但是需要注意的是下面两种情况是汇报错的

1.2 当使用detach()分离tensor,然后用这个分离出来的tensor去求导数,会影响backward(),会出现错误

import torcha = torch.tensor([1, 2, 3.], requires_grad=True)print(a.grad) # Noneout = a.sigmoid()print(out) # tensor([0.7311, 0.8808, 0.9526], grad_fn=<SigmoidBackward>)# 添加detach(),c的requires_grad为Falsec = out.detach()print(c) # tensor([0.7311, 0.8808, 0.9526])# 使用新生成的Variable进行反向传播c.sum().backward()print(a.grad)'''Traceback (most recent call last):File "/opt/data/private/lhl/SSL/uncertainty_maps/main_detach.py", line 13, in <module>c.sum().backward()File "/root/anaconda3/envs/py379/lib/python3.7/site-packages/torch/tensor.py", line 221, in backwardtorch.autograd.backward(self, gradient, retain_graph, create_graph)File "/root/anaconda3/envs/py379/lib/python3.7/site-packages/torch/autograd/__init__.py", line 132, in backwardallow_unreachable=True) # allow_unreachable flagRuntimeError: element 0 of tensors does not require grad and does not have a grad_fn'''

1.3 当使用detach()分离tensor并且更改这个tensor时,即使再对原来的out求导数,会影响backward(),会出现错误

如果此时对c进行了更改,这个更改会被autograd追踪,在对out.sum()进行backward()时也会报错,因为此时的值进行backward()得到的梯度是错误的:

import torcha = torch.tensor([1, 2, 3.], requires_grad=True)print(a.grad) # Noneout = a.sigmoid()print(out) # tensor([0.7311, 0.8808, 0.9526], grad_fn=<SigmoidBackward>)# 添加detach(),c的requires_grad为Falsec = out.detach()print(c) # tensor([0.7311, 0.8808, 0.9526])c.zero_() # 使用inplace函数对其进行修改# 这个时候会发现对c进行更改,会影响backwardc.sum().backward()print(a.grad)'''Traceback (most recent call last):File "/opt/data/private/lhl/SSL/uncertainty_maps/main_detach.py", line 14, in <module>c.sum().backward()File "/root/anaconda3/envs/py379/lib/python3.7/site-packages/torch/tensor.py", line 221, in backwardtorch.autograd.backward(self, gradient, retain_graph, create_graph)File "/root/anaconda3/envs/py379/lib/python3.7/site-packages/torch/autograd/__init__.py", line 132, in backwardallow_unreachable=True) # allow_unreachable flagRuntimeError: element 0 of tensors does not require grad and does not have a grad_fn'''

2 tensor.detach_()

将一个tensor从创建它的图中分离,并把它设置成叶子tensor

其实就相当于变量之间的关系本来是x -> m -> y,这里的叶子tensor是x,但是这个时候对m进行了m.detach_()操作,其实就是进行了两个操作:

将m的grad_fn的值设置为None,这样m就不会再与前一个节点x关联,这里的关系就会变成x, m -> y,此时的m就变成了叶子结点然后会将m的requires_grad设置为False,这样对y进行backward()时就不会求m的梯度

总结:其实detach()和detach_()很像,两个的区别就是detach_()是对本身的更改,detach()则是生成了一个新的tensor

比如x -> m -> y中如果对m进行detach(),后面如果反悔想还是对原来的计算图进行操作还是可以的

但是如果是进行了detach_(),那么原来的计算图也发生了变化,就不能反悔了

3 tensor.clone()

clone(memory_format=torch.preserve_format)→ Tensor

返回tensor的拷贝,返回的新tensor和原来的tensor具有同样的大小和数据类型。

原tensor的requires_grad=True

clone()返回的tensor是中间节点,梯度会流向原tensor,即返回的tensor的梯度会叠加在原tensor上

参考资料

/qq_27825451/article/details/95498211/p/389738863

如果觉得《pytorch的两个函数 tensor.detach() tensor.detach_() tensor.clone() 的作用和区别》对你有帮助,请点赞、收藏,并留下你的观点哦!

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。