运行时错误：CUDA 内存不足.

当使用 CUDA 进行深度学习训练时，我们经常会遇到 CUDA 内存不足的问题。这个问题也许令人头疼，但是它并不总是不可解决的。在本篇文章中，我们将介绍两种常见的解决方法。

1. 检查内存使用情况

首先，我们需要确定我们的模型究竟使用了多少显存。我们可以使用以下代码获取当前 GPU 的显存使用情况：

import torch 
print(torch.cuda.memory_summary())

这将返回输出：

    | Name | Type |   Total |   Used |
    |------|------|---------|--------|
    |  C0  | GPU  | 19986MB | 19840MB |

我们可以看到，这个模型已经在 GPU 上使用了大部分显存。

2. 减少批次大小或使用更小的模型

由于我们 GPU 显存的容量是有限的，我们可能需要减少批次大小或使用更小的模型来避免 CUDA 内存不足的错误。我们可以尝试使用更小的模型或更小的批次大小来降低内存使用量。这里是一些技巧可以帮助减少内存使用：

• 降低 batch_size
• 删除不必要的中间层
• 使用减少通道数的层

3. 使用分布式训练

如果你的计算环境支持多张 GPU，那么你可以尝试使用分布式训练。在分布式训练中，模型的参数和训练数据会被分成多个块，每个 GPU 处理其中的一部分。这会在一定程度上减少每个 GPU 的内存使用率，并且可以加速训练过程。

所以，当你遇到 CUDA 内存不足的问题的时候，你可以通过检查内存使用情况，减少批次大小或使用更小的模型，或者使用分布式训练，来解决这个问题。