专利示意图
一、技术领域
图像压缩技术领域
二、专利介绍
1.专利信息
专利类型：发明
专利权人：清华大学深圳国际研究生院
申请号：202310717745.9
发明人：金欣、童科登
2.专利说明书摘要
本发明公开了一种聚焦式全光图像压缩的方法，包括如下步骤：对聚焦式全光图像数据进行预处理，获取网格规则排列的聚焦式全光图像的微透镜图像，同时渲染得到无损的子孔径图像；使用像素级矢量相关性的全局注意力模块，在端到端网络的重采样过程中紧凑表示聚焦式全光图像的冗余特征；采用全局注意力端到端图像压缩网络对聚焦式全光图像进行有效压缩。通过舍弃子孔径图像无效像素，减少了聚焦式全光图像的像素总数，从而有利于全光图像压缩；规则化的聚焦式全光图像有利于裁剪后的图像块只包含完整的微透镜图像，图像块与全分辨率图像之间保持了内容连续性；显著提升聚焦式全光图像的压缩效率，推动聚焦式全光图像的应用。
3.创新点
（1）本发明使用聚焦式全光图像数据预处理，让微透镜图像规则化排布，预处理图像与原始图像之间是子孔径图像无损的，大大减少了压缩数据像素总数；
（2）本发明针对聚焦式全光图像长距离冗余，使用全局注意力模块实现特征的紧凑表示；
（3）基于本发明的端到端网络压缩方法可以显著提升聚焦式全光图像的压缩效率，避免了破坏全光图像的成像结构，推动聚焦式全光图像的应用，具有重要的应用价值。
4.痛点问题
（1）现有聚焦式全光图像在不破坏全光图像数据特点的情况下，难以实现全光图像的有效压缩；
（2）聚焦式全光图像的微透镜图像采用六边形排列，基于图像块训练的端到端图像压缩方法难以直接迁移到聚焦式全光图像压缩实现有效压缩；
（3）现有的端到端算法难以实现聚焦式全光图像中微透镜图像之间显著的长距离像素级别的冗余消除。
5.技术优势
（1）本发明从聚焦式全光图像的成像原理和渲染算法出发，提出聚焦式全光图像数据预处理方法，通过聚焦式全光图像数据预处理方案规则化重排微透镜图像，一方面通过舍弃子孔径图像无效像素，减少了聚焦式全光图像的像素总数，这有利于全光图像压缩。一方面规则化的聚焦式全光图像有利于裁剪后的图像块只包含完整的微透镜图像，图像块与全分辨率图像之间保持了内容连续性，从而端到端图像压缩方式可以训练和推理聚焦式全光图像；
（2）本发明针对聚焦式全光图像中微透镜图像之间存在显著的长距离像素级别的冗余以及端到端网络的下采样操作通常会导致信息损失两个问题，使用像素级矢量相关性的全局注意力模块，在端到端网络重采样过程中减少特征图的冗余，紧凑表示聚焦式全光图形的冗余特征；
（3）本发明使用全局注意力网络有效提高了聚焦式全光图形的压缩效率，有利于推动聚焦式全光图像在相关领域的应用，具有重要的应用价值。
三、产业化信息
1.应用场景
（1）可用于聚焦式全光图像压缩，显著减少聚焦式全光图像的存储体积和传输带宽需要；
（2）可用于聚焦式全光图像的应用场景，如三维重建、深度估计、虚拟现实等。
2.商业价值
此项技术拥有很大的商业前景和标准化工作立项前景，尤其对于聚焦式全光图像压缩有很多的市场价值，针对聚焦式全光图像压缩算法性能不高导致的存储空间大和带宽传输要求高等问题，本发明可以显著提升聚焦式全光图像的压缩效率，减少存储空间的占用。
3.发展规划
（1）该技术未来可应用与聚集式全光图像压缩国际标准的建立，推动聚焦式全光图像的应用，减少聚焦式全光图像的存储空间；
（2）该技术可与聚焦式全光相机生产商合作，推动该技术的应用。
4.合作方式
面议
注:所有成果未经授权，请勿转载
联系方式：ttc@sz.tsinghua.edu.cn
