- 内容展现
- 最新评论
AMD FSR实现原理分析
超分辨率（Super-resolution），有时候又称作放大（upscale, upsize），是一类提高视频或图像分辨率和质量的算法。在视频编辑和图像处理领域，超分辨率非常常见，比如监控视频的处理以及移动设备高分辨率摄像的需求 ...
二、超分辨率的算法
超分辨率算法大致可以看做是一种插值算法，简单来说就是“无中生有”的算法。提高图像的分辨率意味着要向其中添加像素，那么新添加的像素是什么颜色呢？最简单最自然的想法，就是在已知的像素中间插值。 当前的超分辨率算法可以大致分为两种：基于数值插值的方法，和基于AI的方法。许多算法可能要求使用多帧的数据，为简单起见，我们在这里仅讨论使用单帧图像的情况。 最近点采样（Nearest neighbor sample）和双线性插值（Bilinear interpolation） 这两种方法通常用在普通的贴图过滤采样中，被叫做最近点过滤和双线性过滤。所谓的过滤，是指模型渲染到屏幕上时可能被缩放，所以屏幕上的一个点可能对应贴图上的多个像素，也可能是屏幕上的多个点只能对应贴图上一个点。也就是说这两种方法不但可以处理图像放大，还可以在图像缩小的时候发挥作用。 现如今很少使用这两种方法来做超分辨率了，但是这两种方法是硬件能够直接支持的方法，也是其他数值方法的基础，所以在这里做一下简单介绍。 最近点采样方法十分直接，插值出的像素，直接复用它距离它最近像素的颜色。缺点也很明显，图形边缘会出现锯齿状走样，俗称“狗牙”。 双线性插值更进一步，使用周围4个像素来计算一个“平均颜色”，可以有效减少锯齿，但缺点同样明显，会使得图形边缘变得模糊不清。
两次立方插值（Bicubic interpolation） 两次立方方法广泛应用在各种图像算法中，两次立方插值实际上是采样了更多周围像素的结果，通过对周围像素使用不同的权重，得到的“平均颜色”更加接近应有的结果。 在很多照片处理软件，数码相机以及手机摄像组件中，对数字图像的旋转缩放等处理都使用了该方法。该方法的缺点是要采样更多的像素，运算量比较大，通常不会用在需要实时处理的领域。
Lanczos插值（Lanczos interpolation） Lanczos方法也是应用广泛的数值方法，在物理、机械、工程、图像各种领域都有应用。FSR正是使用了Lanczos的简化方法来进行插值，具体的应用方法详见下文。 Lanczos插值的结果与两次立方插值是接近的，但是由于其可以用较少的采样点达到近似的效果，因此在实时程序中应用更广泛一些。 下图对比了各种算法在平面直角坐标系下的区别。
基于人工神经网络的方法 基于AI深度学习的超分辨率是如今的大热门话题，通过选择合适的神经网络模型和大量的训练，深度学习方法可以产生非常准确的图像，尤其是在分辨率放大倍数特别大的情况下要明显优于纯数值方法。除去超分辨率之外，基于AI深度学习的方法还可以提供包括降噪和锐化等额外的效果，而数值方法则需要更多处理步骤来实现。NVIDIA的DLSS就是属于这一类方法， NVIDIA DLSS（深度学习超采样Deep Learning Super Sampling）是NVIDIA为其RTX系列显卡开发的一个程序库，可以将低分辨率的游戏画面转换为高分辨率，使用时下流行的AI计算方法去除错误增加质量，实际上也是跟FSR一样的功效：既可以超分辨率处理，也可以负担抗锯齿的任务，DLSS具体的模型算法目前并未公开。 神经网络计算虽然看起来高大上，但需要大规模的并行计算能力，在超分辨率实时应用中往往会挤占本来就非常紧张的计算资源。比如NVIDIA的DLSS就是利用图形渲染时可能会闲置的AI计算核心（Tensor Core）来计算超分辨率。而且NVIDIA只允许拥有TensorCore的RTX系列开启DLSS功能，因为直接使用通用计算单元的话可能就会适得其反，不但效率得不到提升，反而会拖慢整个渲染。这也是为什么10系的N卡无法使用DLSS。
除以上所列出的以外，还有很多其他算法，比如基于时序的数值算法（用于视频处理），棋盘格渲染（SONY PlayStation4曾经有使用过）等等，限于篇幅此处不作展开。 |
本文版权归 PCEVA,PC绝对领域,探寻真正的电脑知识 原作者所有 转载请注明出处
发表评论
最新评论
- 引用 橙黄鼠标
sun1a2b3c 发表于 2021-9-7 15:39
《刺客信条：奥德赛》会实装FSR吗？
不会，孤岛惊魂6有
- 引用 sun1a2b3c
橙黄鼠标 发表于 2021-9-7 16:10
不会，孤岛惊魂6有
……还以为会给老游戏们一波福利……
- 引用 橙黄鼠标
sun1a2b3c 发表于 2021-9-13 11:43
……还以为会给老游戏们一波福利……
这个主要看游戏厂商。。。游戏厂商愿意加，那才有
热门评论
热门评论
