Meta专利分享Quest用机器学习实现低分辨率编码传输，高分辨率解码显示
视频流
（映维网Nweon 2024年07月19日）由于渲染图像和传输图像地成本与图像分辨率息息相关，所以为了节省成本，诸如Meta，苹果和微软等厂商已经进行过一系列的探索。日前，美国专利商标局又公布了一份与所述主题相关的Meta专利申请。其中，名为“Enhancing the resolution of a video stream”的发明主要介绍了一种的优化视频传输分辨率的方法。更具体地说，在向用户显示图像之前，可以利用机器学习模型以较低分辨率处理图像并进行传输，然后再upsample至较高分辨率。
在一个实施例中，计算设备可以访问对应于视频帧的第一分辨率图像。计算设备可以基于视频中第一帧的第一分辨率图像和视频中第二帧的第一分辨率图像来计算第一运动矢量，其中第一帧在视频中第二帧之前。
计算设备可以通过使用第一运动向量来扭曲与第一帧相关联的第二分辨率重建图像，以生成与第二帧相关联的第二分辨率扭曲图像，其中第二分辨率可以高于第一分辨率。
接下来，计算设备可以基于与第二帧相关联的第一分辨率图像生成与第二帧相关联的第二分辨率中间图像。为了生成与第二帧相关联的第二分辨率中间图像，计算设备可以将与第二帧相关联的第一分辨率图像的像素均匀地放置到用于第二分辨率中间图像的第二分辨率图像平面中，并使得多个像素留空。计算设备可以用非空相邻像素的插值来填充第二分辨率图像平面中的多个空白像素。
......（全文 3818 字，剩余 3304 字）
注册用户请登入后阅读完整文章
映维会员、PICO员工、大朋员工可联系映维免费获取权限
