✅ToF相机技术之多路径干扰

type
status
date
slug
summary
tags
category
icon
password

iToF技术中的多路径问题详解

多路径问题主要是由于光信号在复杂环境中的多次反射造成的。当光信号经过不同的反射路径返回传感器时，传感器接收到的信号会包含多条路径的叠加信息，导致测量的距离偏差或出现虚假点云。图4显示了多径问题根本原因，iToF技术的相机是主动发射的光源，经过被测物表面的发射不止有一条路径被采集到，图1中红色光线显示有的路径经过了多次反射被捕获，则多种路径叠加后使得测距变远，这是多径问题主要的现象。
图4 多径问题描述
  1. 多路径现象的来源
多路径现象主要源自光信号的反射特性：
  • 镜面反射：当光线照射到具有光滑表面的物体（如金属、玻璃等）时，会产生强烈的镜面反射，导致光线沿多个方向反射并返回传感器。
图5 镜面反射
  • 漫反射：在粗糙表面上，光线会沿多个方向散射，部分反射光线可能通过多次反射到达传感器。
图6 漫反射
  • 环境复杂性：在复杂的室内或城市环境中，多个墙壁、障碍物和角落的存在使得光信号能够通过多次反射到达传感器，增加了多路径的复杂性。
  1. 多路径问题的影响
  • 深度测量误差：由于光信号经过多条路径返回传感器，iToF系统可能会混淆真实距离和多路径距离，导致测量的距离值比实际值更大或更小。
  • 虚假点云：多路径现象会导致iToF传感器生成虚假的深度数据，尤其是在靠近角落或高反射表面的区域，出现不合理的点云数据。
  • 目标定位不准：在机器人导航和避障过程中，传感器的深度数据会影响对目标物体的准确定位，多路径干扰可能导致机器人误判障碍物的距离，影响导航决策。
  1. 总结
多径问题在AGV中较为严重，会使得车子误报停障，特别是靠墙转弯时。在识别应用中也会造成精准度的偏差。通常多径与眩光问题往往是分不开的，一般二者问题是在一起解决的。有以下解决方案：
  • 提高CWTOF的调制频率，高调制的频率对多径的抑制有明显好处，高频的周期测距距离变短，受多径的影响较小，越高越接近GroundTruth。实拍摄墙角，对比不同调制频率的效果。
图7 左侧为频率500MHZ 后侧为100MHZ。
可明显看到100MHZ时，墙角出现“弧度”。高频的还原度较好。但是越高频率的调制对电学要求会更高，需要对应的高频laser Driver。同时高频会带来另外的一个问题，就是光衰比较严重，所以我们还要兼顾测距能力的评估。整机的发热也是一个衡量标准，在未来的发展中，芯片的高频调制、激光驱动的高频是一个趋势，目前芯片最高可以支持500MHZ的调制频率。

高频调制抑制多径的原理：

相位分辨率提升
调制频率越高，相同距离对应的相位差异越大。例如，高频信号在遇到不同反射路径时，主路径与多径信号的相位差会随频率升高而增大，从而更易通过相位差异分离干扰信号。
根据频域分析，当调制频率超过场景的截止频率（ωb）时，全局光照（多径干扰的主要来源）的贡献几乎消失，仅保留直接路径的信号。
测距距离缩短与抗干扰能力增强
高频调制的周期更短，导致最大无模糊测距距离（dmax​=c/(2f)）减小。虽然这会限制测距范围，但短周期内多径信号与主信号的叠加效应被削弱，从而减少深度误差。
  • 针对多径问题，基于机器学习的方法，比如随机森林、卷积神经网络。针对不同材质的角落场景，建立数据集并构建一个学习模型，使用随机森林预测ToF数据的多径误差。利用了两个神经网络，其中一个网络学习从ToF测量值到真实值的映射，另一个检测物体边界。对于每个像素，用4个边缘检测器检测四个方向，然后利用非极大抑制和迟滞阈值计算用于测地距离的二进制边缘图。最终利用邻域像素和测地距离恢复深度。一类是利用特定编码的照明模式，通过修改硬件或者使用外接投影的方式。将前向幅度调制的光传播公式化为与自定义代码的卷积，通过引入简单的电子时间延迟序列来记录样本，并执行稀疏反卷积恢复对应于多径返回的Diracs序列。基于深度学习的方向需要依赖大量的数据实现泛化能力，需要不停的喂数据 对于的后期的相机售后维护不是很友好。
  • iToF相机是主动发射光源，光源的投射角度大小直接会影响眩光、多径的严重程度。就是将发光源投射角度在满足应用的前提下尽量做小，光学上尽量隔离干扰光。光学镜头的形状都是圆形，匹配传感器的设计都是以sensor的外接圆做基准的。如图8所示，圆形是镜头的通光孔，内部的方形是传感器靶面。编号1、2、3、4则是无用的区域，实际使用中1234部分的光在镜筒内部反射依旧会落在传感器表面影响成像。使用中可以根据靶面的大小在镜筒的第一表面的出光孔大小做个光阑遮挡，优化眩光。效果比较明显。
图8 镜头与传感器
  • 特征结构光编码法
条纹光pattern优化眩光、多径问题。条纹光较于匀光方案，多径会有改善，条纹光的分布能量主要集中在亮条纹。条纹如图9所示，在实际应用中根据角度需求可以更改角度，条纹的数量也可根据应用改变，条纹的数量主要会影响相机在垂直方向上的空间分辨率。同时我司基于条纹规律的特征定制了算法，可根据眩光下光分布与设计条纹光分布对比，还原出不受眩光的深度，在实际使用中对识别有很大的帮助。
图9 条纹光pattern
还原算法以托盘识别为例，在标准托盘旁边10cm放置高亮反光贴，对比前后的效果变化。根据图10、11、12可以看出还原算法的明显变化，且前后的测距深度并未发生明显变化。
图10 反光柱+托盘
图11 反光柱+托盘(还原算法)
图12 眩光还原算法前后的变化
  • 总结
迈尔微视在多路径干扰这个问题上，攻坚了数年，有许多的积累，依托移动机器人部署的实践经验，我们实现了可控照明法、高频调制法、空间编码结构光法和针对特定场景的神经网络优化。
Loading...