【首发于智能驾驶领跑者官方微信】自动驾驶的实现离不开各类传感器的支持。其中，纯视觉方案成为众多技术方案的选择。但由于摄像头无法感知环境的深度信息，因此一些技术方案中提到了“深度摄像头”技术。深度相机是指除了捕捉颜色（RGB）之外，还可以直接或间接提供“每个像素到相机的距离”信息的传感器。简单的理解就是，普通摄像头告诉你“这个像素看起来是什么样的颜色和纹理”，而深度摄像头还告诉你“此时汽车距离多远”。当然由于自动驾驶，知道距离比知道颜色更重要，车辆必须依靠深度信息或者与其他传感器融合后的三维感知结果。传感器来确定它是否可以撞到、多久刹车以及如何规划路径。深度相机共有三种常见的工作原理。深度相机有多种形式。常见的包括基于两个镜头的立体相机、投射光或编码光的相机以及飞行时间（TOF）相机。它们生成的深度表示通常是“深度图”或稀疏点云，与LIDAR生成的点云有重叠，但在原理、精度、成本和适用场合上有显着不同。 1）立体视觉（Stereo） 立体视觉的思想是模仿妈妈的做法，在同一个画面中安装两个相同的彩色或黑白相机，它们之间有一条固定的“基线”（基线，两个镜头中心之间的距离）。当观看同一场景时，图像中的相同物点在两幅图像中将具有不同的横向位置。这种差异称为视差。使用已知的baseline长度与相机内外参数的差值可以返回计算深度（距离）。网络立体技术衍生出车载摄像头图像的关键是“匹配”。算法必须准确找到左右图像中同一像素对应的点；匹配困难的区域包括无纹理表面、重复纹理、强反射或被遮挡物体等场景。立体视觉的优点是用普通相机硬件即可实现，成本低、像素高。理论上，更大的底座和更高分辨率的相机可以提高分辨率和范围；但它的缺点是对光照、纹理和计算资源敏感，而且深度精度在长距离内会迅速减慢。 2）结构光、编码光等方法将人们熟知的光学图案（如条纹、点阵或其他编码图形）投射到场景上，然后使用相机观察物体表面图案的变形，并从变形中得到较小的深度。结构光在人体建模和 muk 识别设备等近距离应用中非常常见。ha（早期结构化人脸光识别）。优点是近距离精度高，而且由于系统提供自己的“纹理”，所以对纹理的依赖很小。它的缺点是对环境光敏感，投射的图案在强烈阳光下很容易被淹没，造成深深的失望。结构照明只适合中短距离（几厘米到几米）的应用场景。行驶所需的数十米距离会出现动力、能见度和安全问题。 3) 飞行时间 (TOF) TOF 相机通过测量光从传感器发射、从物体反射然后返回传感器所需的时间来计算距离。常见的实现包括ude 脉冲 TOF 和相位 TOF。脉冲 tof 直接测量脉冲往返时间。原理很简单，但需要高速电子设备。相位 TOF 发射连续调制的光信号，并测量发射信号和接收信号之间的相位差来估计距离，这在中短距离中更为常见。 TOF的优点是可以直接捕捉每个像素的深度，实时性好，算法复杂度比立体匹配低；缺点包括多径干扰（场景中光的多次反射导致的错误读数）、对强光敏感（含有大量红外线的阳光会增加噪声）以及范围和分辨率有限。工业级TOF可以达到数十米，但在汽车场景中，仍然需要考虑分辨率、帧率和耐阳光性等工程妥协。除了这三个之外，还有七种通用混合解决方案和更接近激光雷达的固态“闪光型”测距设备。然而，仅仅依靠单目RGB相机进行“深度估计”（基于学习的单目深度估计）的方法严格来说并不是深度相机，而是一种利用算法从单张图像中分解出深度的技术；这种深度通常是相对的，具有尺度不确定性或需要额外的校准强迫，并且只能用作补充而不是可靠的主要深度来源。深度相机与普通相机的主要区别在于，普通相机输出亮度和颜色信息，即每个像素的RGB值； Billin除了这些（有时深度相机本身也可以输出RGB），深度相机还输出来自相机的距离信息。深度数据直接提供三维几何信息，使得后续的检测、跟踪、避障、定位更加直接；或者普通相机必须依靠视觉算法（例如特征匹配、运动结构或单目深度估计）来间接获取距离。图片来自网络。普通相机的设计追求的是高分辨率、宽动态范围和低噪声的图像捕捉。传感器基本上记录光子的数量。深度相机硬件需要额外的光源设计（结构光，TOF）或双相机同步和高精度时钟（TOF），以及某些系统中更严格的机械安装精度（立体需要精确的基线和校准）。这意味着深度相机的功耗、复杂度和成本往往比普通相机更高。虽然基于两个普通相机的立体系统可能具有成本优势，但它提出了更高的计算和校准要求。深度图通常是单通道浮点或整数距离数据，需要转换为三维具有内在相机参数或用于后续感知模块的参考点云。来自普通相机的数据更适合直接输入视觉网络，例如目标检测和语义分割。深度数据和RGB数据各有千秋。 RGB擅长识别类别和显示，而深度擅长提供几何信息。因此，在自动驾驶系统中，常见的做法是将两者融合，利用RGB进行识别，利用深度进行定位和几何推理。此外，在弱光或无纹理的情况下，立体视觉会失效；结构光在强光下会褪色；当暴露在直射阳光下或存在强红外光源时，TOF 噪声会增加。普通相机在宽动态场景中也存在挑战，但可以通过图像控制、HDR等方法进行改进。总之，不同的传感器在不同的环境下有各自的盲点，即自动驾驶系统为何采用摄像头、雷达、激光雷达等多传感器融合。深度相机有哪些缺点？因为深度相机可以让机器直接看到三维世界，所以很多人觉得它可以直接取代激光雷达，但事实并非如此。深度相机可以带来立体感知、精确测距、三维建模等诸多好处，但也有很多缺点，尤其是在车辆等复杂情况下，需要各种“妥协”和“权衡”。图片来自网络。首先我们来说说最常见的问题，就是距离和精度之间的冲突。立体视觉取决于“视差”原理。简单来说，就是两个相机看到同一物体时的角度差来计算深度。问题是距离越远，角度差越小，计算误差就越明显。如果您想在远处进行精确测量，则需要增加两个相机之间的距离或提高图像分辨率。但如果太宽，安装位置受到限制，容易被遮挡；如果分辨率太高，就会增加计算负担和成本。 TOF（飞行时间）相机在短距离内表现良好，但如果想要远距离测量并看清楚，就必须使用更复杂的光源和接收器，并且消耗电力、热量，一切都需要花费。至于结构光，在汽车这样明亮、长时间的环境下几乎“难以忍受”，更适合短距离应用。环境光和物体表面也存在问题。无论深度相机采用哪种原理，本质上都是依赖于光反射。现实世界中的照明条件比实验室中的更为复杂。太多的阳光会淹没信号，雪的反射会“致盲”传感器、金属表面、玻璃、湿滑的路面都会扰乱测量结果。TOF会受到很多反射光的干扰，导致距离计算不正确；结构光会变换透明或玻璃物体；立体相机在没有纹理的大面积区域根本找不到对应点，比如光滑的车门或天窗。更不用说雨、雪、雾和夜间灯光，这些都是深度相机的“敌人”。解决深度图也是一个长期存在的问题许多汽车深度图的深度图输出确实很“粗糙”，与清晰的 RGB 图像相比，深度图往往缺乏细节，这在识别小物体或复杂边缘时会出现问题，虽然可以使用补全算法或深度和 RGB 结合来改善效果，但这也意味着需要消耗更多的计算能力来匹配图像。尤其是在高分辨率和高帧率的情况下，这给处理器带来了很大的压力。虽然TOF直接发射深度信息，但为了使结果更清晰，需要多频信号解码、噪声过滤和多路径校正，这些都是最新的。车载系统的计算能力和功耗有限，因此必须在精度、帧率和实时性能之间找到平衡。还有一个现实的问题，那就是校准和稳定性。深度相机非常脆弱，尤其是具有立体视觉的深度相机。如果两个相机的角度和位置稍有偏差，测量的深度就会出现偏差。汽车行驶时会出现振动、温度变化，甚至轻微的颠簸，都会影响标定结果。 TOF相机也怕温度漂移，需要进行温度补偿，否则数据会丢失。为了保持精度，有必要设计一个刚性支架，定期校准，利用算法实时校准。此外，深度相机也有其固有的局限性。它只能“看到”它前面的东西。它对被阻挡的物体完全无能为力。例如，只要汽车旁边的低矮障碍物或角落里的行人被遮挡，深度相机就无法看到它们。这就是为什么自动驾驶技术从来不只依赖深度摄像头。它类似于辅助感应的一部分，用来填补其他传感器的空白。理论上，立体相机可以使用两个普通镜头实现深度感知，这看起来很了不起。但当真正进入汽车时，事情就变得复杂了。你要考虑防尘、防水、抗震，还要通过车规认证、EMC测试、热设计验证……所有的金钱成本。而且深度相机产生的数据量很大，对后端处理单元的要求也很高。计算芯片、数据传输、冗余设计都必须配备。 TOF和结构光成本较高，还涉及主动光源和安全认证等问题。将其集成到整车中不仅需要花钱，还需要脑力。因此，深度相机有优势，但并不“完美”。它可以提供直观的空间信息，是视觉系统的重要补充，但仅完成自动驾驶感知的任务还远远不够。真正成熟的解决方案都是多传感器融合，让深度相机、雷达、激光雷达、普通相机各司其职，取长补短。这样车辆就能在复杂环境下“看得清楚”、“看上去稳定”。自动驾驶系统设计中何时使用深度相机以及如何集成其他传感器因此，深度相机和其他传感器之间的选择取决于任务、场景和成本。特写和低速场景（例如自动停车、驾驶员跟踪、车内交互）适合使用TOF或结构光，因为这些场景对精度要求较高，且环境可控性强。当需要高分辨率几何信息进行精细定位或障碍物边界判断时，立体视觉与高分辨率相机相结合是一种经济高效的选择，但必须与强大的视差计算和可靠的在线标定相结合。来自互联网的图像用于高速公路或远程传感，激光雷达和毫米波雷达仍然是支柱。激光雷达的长期分辨率和精度，以及毫米波雷达对极端天气的鲁棒性，是光学深度相机难以完全替代的。此时，深度相机作为几何感知的补充，融合数据RGB 摄像头、深度摄像头、雷达和激光雷达的组合，并利用各自的优点来弥补各自的缺点。例如，深度图用于快速筛选附近障碍物，RGB用于语义识别，雷达用于速度估计和恶劣天气下的鲁棒检测，LIDAR用于远距离精确定位。深度相机还可以减轻一些计算负担：在已知深度的区域，许多视觉算法可以避免昂贵的 3D 重建步骤，并直接在深空做出决策。当然，还有很多实际细节需要考虑，包括传感器放置和视场覆盖、传感器同步和时间戳精度、带宽和数据压缩技术、异常检测和避免技术以及各种其他光照/季节下的衰减和衰减机制，以及减少机制和机制。这些都是深度相机引进来必须解决的问题实验室级到汽车级产品。 特别声明：以上内容（如有则包括照片或视频）由自媒体平台“网易号”用户上传发布。本平台仅提供信息存储服务。 注：以上内容（包括图片和视频，如有）由网易HAO用户上传发布，网易HAO为社交媒体平台，仅提供信息存储服务。