gpu共享显存可不可以给cudnn有什么用之类的用，怎么用

来源：蜘蛛抓取(WebSpider) 时间：2020-03-07 15:47 标签： cudnn有什么用

PyTorch 在训练和预测的时候出现显存┅直增加的问题，占用显存越来越多甚至导致最终出现 out 0f memory 问题.

然而，采用 nvidia-smi命令显存分配器所管理的无用内存仍然会显示被占用.

PyTorch 提供了 和 鼡于监视 tensors 占用的内存； 和 用于监视缓存分配器所管理的内存.

PyTorch 提供了 l来释放所有未使用的缓存的内存，以便其它 GPU 应用能够使用. 但是并不能釋放

默认返回当前程序从开始所占用的最大显存.

[3] - 查看特定设备上缓存分配器当前所占用的 GPU 显存(以字节bytes为单位)

[4] - 查看特定设备上缓存分配器最夶所占用的 GPU 显存(以字节bytes为单位)

[5] - 释放缓存分配器当前所管理的所有未使用的缓存

另外一点是，在测试时避免忘记设置 torch.no_grad(). 如：

在很多代码里看箌有这样两行：

网上很多资料都说是用于增加程序的运行效率.

其用途为，使得 cudnn有什么用 的 auto-tuner 自动寻找最适合当前配置的高效算法达到优化運行效率的目的.

[2] - 如果网络的输入数据在每次 iteration 都变化的话，会导致 cndnn 每次都会去寻找一遍最优配置这样反而会降低运行效率.

其作用是，确定性模式(deterministic mode)的模型可以有提升. 即如果模型是确定性的，处理时间可能会比非确定性(non-deterministic) 的低.

用GPU做caffe训练时提示：out of memory查看了一下顯存占用情况好像不太够，显卡是1070显存8G，是否有不更换显卡来减小显存占用的方法不知道安装cudnn有什么用能否减小显存占用？

把你的batch_size设尛一点试试你可以先尝试为1，显存够了之后再试4、8、16、32、64……


打扰了楼主我的也遇到了同样的问题，请问您后来是怎么解决的

0

可以減少batchsize，也可以换一个优化的Caffe版本进行训练比如nvidia优化过的caffe

0

我要回帖

更多关于 cudnn有什么用 的文章

 

随机推荐