DLSS——深度学习超级采样

超级采样也称为超级采样抗锯齿 (SSAA)是一种空间抗锯齿方法，即一种从视频、渲染图像或其他生成计算机的软件中消除锯齿（锯齿状和像素化边缘也称为“锯齿”）的方法图形。
混叠通常不会在更高分辨率中处理，但如果用户不拥有所需的硬件，那么用户将处理这种情况。它出现在计算机生成的图形中，因为与由连续的颜色和材料组成的真实世界不同，计算机屏幕被分成少数称为像素的大小相等的正方形，它们显示自己指定的颜色（单色) 在图像中，当这些像素彼此相邻而不是在垂直或水平位置对齐时，锯齿状边缘开始显示，在技术术语中称为锯齿，但通常称为锯齿。这些不太可能在更高分辨率下发生，因为它有足够数量的像素来使锯齿状边缘不那么明显。

现在谈谈它的过程以及它是如何完成的——它基本上分四个步骤完成，如下所示——

• 拍摄的低分辨率图像充满锯齿。
• 上图被转换成高分辨率。
• 从较高分辨率的图像中，颜色样本取自过多的像素（较低分辨率中不存在的像素）。
• 较高分辨率的图像被缩小到其原始分辨率，并且每个像素都被赋予一种新颜色，该颜色是来自较高分辨率图像的采样像素的平均颜色。

超级采样是一个相当广泛的硬件，因为它需要大的视频卡内存和内存带宽，因为使用的缓冲区量通常很大。有多种方法可以为超级采样获取样本像素，但一些最常用的技术是 – 网格、抖动、泊松圆盘、随机和旋转网格。

什么是深度学习超级采样？
深度学习超级采样或 DLSS 是 Nvidia 开发的一项技术，它使用深度学习来生成看起来像以前的低分辨率图像的更高分辨率版本的图像。这项技术在 2018 年被宣传为 Nvidia 的 RTX 显卡系列的一个关键特性。截至目前，它仅适用于 RTX 20 系列 GPU。在其发布时，结果并不像通常的分辨率提升那样好，并且该算法还必须针对必须投入的每个游戏进行专门训练。
2020 年，Nvidia 发布了驱动程序 445.75，这是对基本 DLSS 的改进，并被命名为 DLSS 2.0，当时可用于少数现有游戏，并将可用于即将推出的游戏。 Nvidia 表示它再次使用机器学习，但不必为每款游戏专门设计。控制（视频游戏）的基准测试往往表明，例如输出 4K 分辨率时，具有“质量”DLSS 预设（从 1706×960 像素输入分辨率放大）的结果图像具有与原生 4K 相同的质量分辨率，但原始分辨率性能的两倍。
但是 DLSS 2.0 不能很好地与其他抗锯齿技术（例如 MSAA 或 TSAA）配合使用，如果在 DLSS 上实施这些技术，性能可能会受到非常负面的影响。

两个版本的 DLSS使用的算法如下：

• DLSS 1.0：
  Nvidia 表示，DLSS 1.0 的工作原理是使用传统的超级采样技术为较低分辨率的帧生成完美的帧。然后在这些结果帧上训练神经网络，并训练模型在接收初始结果时识别别名输入。
• DLSS 2.0：
  神经网络是使用使用高端计算机的游戏的理想高分辨率图像进行训练的，也有较低分辨率的图像。结果将存储在视频卡驱动程序中。
  存储在驱动程序中的神经网络将实际的低分辨率图像与参考图像进行比较，并生成完整的高分辨率结果图像。经过训练的神经网络使用来自游戏引擎的低分辨率图像以及低分辨率运动矢量作为输入。运动矢量帮助网络确定帧中的对象正在向哪个方向移动，并用于确定即将到来的帧。