首个实时单目3D目标检测算法:RTM3D,代码将开源

o 点击我爱计算机视觉标星,更快获取CVML新技术


基于单目图像的3D目标检测是在输入RGB图像的情况下估计目标的3D包围框,在自动驾驶领域非常有用。

首个实时单目3D目标检测算法:RTM3D,代码将开源

今天来自中科院沈阳自动化所等单位的学者公布论文提出一种实时的单目3D目标检测算法RTM3D,快速版30fps,并且代码将开源。

以下是作者信息:

首个实时单目3D目标检测算法:RTM3D,代码将开源

RTM3D算法的主要思路,如图:

首个实时单目3D目标检测算法:RTM3D,代码将开源

输入RGB图像,经过深度神经网络,预测目标的9个空间点(1个中心点,8个顶点),使用几何限制估计更加精确的9个空间点,进而找到目标的3D包围框。

下表为该文算法与其他3D目标检测方法比较,RTM3D不需要其他外部数据,而且速度达到实时。

首个实时单目3D目标检测算法:RTM3D,代码将开源

算法架构图:

首个实时单目3D目标检测算法:RTM3D,代码将开源

首个实时单目3D目标检测算法:RTM3D,代码将开源

实验结果

在KITTI数据集上的实验结果,该算法在精度达到SOTA的同时,是目前少数达到实时的3D目标检测算法。

首个实时单目3D目标检测算法:RTM3D,代码将开源

首个实时单目3D目标检测算法:RTM3D,代码将开源

首个实时单目3D目标检测算法:RTM3D,代码将开源

检测结果示例:

首个实时单目3D目标检测算法:RTM3D,代码将开源

论文地址:

https://arxiv.xilesou.top/pdf/2001.03343.pdf

代码地址:

https://github.com/Banconxuan/RTM3D

目前代码还未放出,期待早日开源。

更多阅读:

百度-北大在Kaggle发起自动驾驶环境下的汽车6-DOF预测挑战赛


目标检测交流群

关注最新最前沿的2D、3D目标检测技术,扫码添加CV君拉你入群,(如已为CV君其他账号好友请直接私信)

(请务必注明:目标检测)

首个实时单目3D目标检测算法:RTM3D,代码将开源

喜欢在QQ交流的童鞋,可以加52CV官方QQ群:805388940。

(不会时时在线,如果没能及时通过验证还请见谅)


首个实时单目3D目标检测算法:RTM3D,代码将开源

长按关注我爱计算机视觉