普渡大学开发出两项新技术 从噪声图像和单次HDR成像中进行实时边界检测扩展了应用
盖世汽车讯 据外媒报道,普渡大学(Purdue University)工程学院已为其成像技术申请专利,并称该技术可以开发并商业化应用于医学成像、自主导航、监控、显微镜和先进制造等多种领域。
图片来源: 普渡大学
据悉,埃尔莫尔家庭电气与计算机工程学院(Elmore Family School of Electrical and Computer Engineering)助理教授Qi Guo带领的团队开发出两项新技术:
CT-Bound是一种快速且稳健的边界检测方法,能够从极其嘈杂的视觉数据中发现结构信息。
MetaHDR是一种单次拍摄的高动态范围(HDR)成像和传感系统,消除了传统HDR成像中连续拍摄的需要。
CT-Bound的工作原型已在电气和电子工程师协会(IEEE)第26届国际多媒体信号处理研讨会(International Workshop on Multimedia Signal Processing)上进行了演示,并发表了一篇研究论文。
关于MetaHDR的研究论文已发表在期刊《光学快讯(Optics Express)》上。
关于CT-Bound
Guo教授表示,许多应用都需要从极低光照水平的图像中进行边界检测,包括自主导航、制造和医学成像。他表示,从噪声很大的图像中检测边界结构是一个常见且具有挑战性的计算机视觉问题。
“尽管图像边界检测自计算机视觉的早期阶段以来就得到了广泛的研究,但当输入图像的光照水平非常低时,目前最好的边界检测算法的准确性仍然不令人满意,”Guo教授说道。
CT-Bound将边界估计分解为两个任务:局部检测和全局正则化。
“在局部检测过程中,该模型使用卷积架构,以预定义的局部边界表示(连接场)的形式预测每个图像块的边界结构,”Guo教授说道。“然后,它使用前馈变换器架构全局细化每个图像块的边界结构,以同时生成边缘图和平滑的彩色图。”
一项全面的实验研究表明,与之前的最佳算法相比,CT-Bound在从高噪声图像中检测图像边界方面取得了最高或最高的准确率。该方法的代码、训练数据、测试数据、附加结果和视频演示均已在线提供。
“我们还演示了CT-Bound无需额外微调即可在真实捕获的图像上生成边界图和彩色图,并以每秒10帧的速度实时生成边界图和彩色图视频,”Guo教授说道。
关于MetaHDR
Guo教授表示,单次HDR成像和传感技术可广泛应用于需要测量移动环境全亮度分布的领域,包括先进制造、自动驾驶汽车、显微成像和摄像。
测量运动物体时,最终重建结果可能会出现重影伪影;因此需要复杂的后处理算法。
“构建一个能够同时测量多张包围曝光图像的成像系统,可以帮助避免这种繁琐的工作,”Guo教授说道。“当精确测量动态场景的HDR信号至关重要时,这一点至关重要,例如捕捉荧光显微镜中的荧光闪烁或检测移动生产线上的故障。”
MetaHDR是一款采用多功能超表面的单次HDR成像和传感系统。
“超表面可以将入射光束分成多束具有不同功率的聚焦光束,同时在光电传感器上形成多幅具有不同辐照度的低动态范围(LDR)图像,”Guo教授表示。“然后,这些LDR图像将使用基于梯度的HDR融合算法进行联合处理,该算法已被证明能够有效衰减由超表面和镜头眩光引起的残留光伪影。”
普渡大学的MetaHDR系统只需单次曝光或几次曝光即可捕捉HDR图像,并同时创建多幅LDR图像。
“目前用于生成单次捕捉HDR图像的解决方案需要专门的光电传感器和电路,” Guo教授说道。“MetaHDR采用的是更为传统的相机和传感器技术。”
单次HDR摄影和摄像结合实时传感应用,使MetaHDR在监控、显微镜和先进制造领域尤为实用。
“我们通过使用人造超表面进行实验验证了MetaHDR,”Guo教授表示。“结果表明,与大多数最新的硬件驱动HDR成像解决方案相比,动态范围提升了50分贝以上。”
下一步开发
普渡大学电气与计算机工程博士生Wei Xu表示,CT-Bound的工作原型在高噪声条件下实现了实时边界检测。该团队已将这项技术扩展为一种名为“模糊边缘”(Blurry-Edges)的更广泛算法,该算法可以同时从噪声图像中执行边界检测和深度估计。
“为此,我们构建了一个硬件原型,使用可变形透镜捕捉具有不同光焦度的微光图像对,”Xu说道。“这些进展为下一步从研究原型过渡到可集成到行业成像产品的可部署工具奠定了基础。”
普渡大学电气与计算机工程研究生Yuxuan Liu表示,MetaHDR商业化的下一步是实现具有更大视野的全彩成像。
“基于计算成像和光学超表面领域的最新进展,我们正在探索将人工智能、超光学和折射透镜相结合,以实现这一目标,”Liu教授说道。“这对于在快照中重建高维信息(例如光谱、深度和偏振)具有巨大的潜力。”