英伟达正在测试令人惊讶的240FPS视频慢动作回放技术
目前市场上绝大多数普通相机和智能手机都难以实现慢动作视频,部分旗舰设备虽然可以但却受制于帧速率。
具有极高清晰度的慢动作回放视频需要占用更多的空间,同时基于性能问题其分辨率和帧速率都被严重限制。
还有个非常严重的问题是由于拍摄问题当播放慢动作回放时视频软件在填充帧时会让视频产生明显的卡顿感。
有鉴于此英伟达以及马塞诸塞州大学和加利福利亚大学的研究人员们已经突破性的创造出新慢动作回放技术。
该技术可以将任何视频转换为慢动作视频而不会牺牲播放的平滑度,即不会在播放时产生明显的衔接卡顿感。
先来看看对比视频:
在视频中我们可以看到通过新技术处理后的视频播放时丝质顺滑, 没有原本低帧率拍摄的慢动作回放卡顿感。
实际上原始拍摄视频大多在30~60FPS,而经过处理的视频帧率提升到240FPS,这也是能够如此顺滑的原因。
得益于卷积神经网络技术:
首先需要强调的是该技术支持任何视频内容,而不是需要配置非常高的相机拍摄的视频才能通过该技术处理。
研究人员创造的卷积神经网络会捕捉场景中物体、表面和边缘运动模式,然后在时间轴中对像素点进行预测。
通过预测像素点的移动为每幅帧生成流场,然后通过第二个卷积神经网络对流场中的细节进行预测和补充等。
经过两个卷积神经网络处理后的帧接近于原本视频两幅帧之间的过渡,最终将新产生的帧补充到视频帧之间。
所以原本两帧之间缺失的帧形成的卡顿感会被卷积神经网络产生的帧替代,于是达到非常顺滑的慢动作回放。
短时间是不可能发布的:
目前这项视频技术依然还处于早期的优化以及调整阶段,因此普通消费者想要使用的话短时间内是不可能的。
当然正如你所知道的那样通过卷积神经网络每秒产生240 帧也需巨大的算力,因此手机和普通电脑无法完成。
最终这项技术可能会被放在云端,允许用户上传视频后由云数据中心对视频进行处理再供用户进行播放观看。
至于能不能下载估计是可以的,但是每秒240 帧的视频即便很短也需要占用巨大的空间,所以在线观看更好。