Meta专利为VR探索图像采样优化方法，提高计算效率
优化视频/影像采样
（映维网Nweon 2024年07月20日）由于算力问题，当前的人造现实系统在处理能力方面存在限制。所以，各家厂商都在积极地探索提高计算效率的方法。例如对于图像处理，可以对捕获的图像进行采样，并同时尽可能少地采样。在名为“Blue noise mask for video sampling”和“Efficient motion-compensated spatiotemporal sampling”的专利申请中，Meta就介绍了与图像采样相关的优化方法，希望用blue noise mask蓝噪点掩模来进行图像/视频采样。
图像的采样可以包括采样图像内的拾取点（例如像素）或位置。由于图像可以从采样中重建，所以可以传输、存储和处理采样以代替完整图像，从而提高性能并降低功耗。为了保持图像重建所需的像素信息分布，可以使用蓝噪点掩模来拾取要采样的点。蓝噪点掩模可以指定要在图像中采样的点的分布。选择或生成用于图像/视频采样的蓝噪点掩模可以具有点之间最小间距的采样图案。蓝噪点掩膜的特性包括各向同性：在高频域内降级噪点，并在低频域减少噪点。Meta指出，蓝噪点掩模的特性有助于提升图像重建的质量。
不过，尽管蓝噪点掩模可为图像重建提供改进的采样分布，但在时域分解时，其可能会丢失蓝噪点特性，亦即对视频图像应用蓝噪点掩模可能会导致较低质量的采样，并可能导致在低频域引入伪影。
针对这个问题，可以生成考虑时域的蓝噪点掩码。考虑时域的蓝噪点掩模可以通过改进时间一致性来优化视频采样。
......（全文 6113 字，剩余 5606 字）
注册用户请登入后阅读完整文章
映维会员、PICO员工、大朋员工可联系映维免费获取权限
