1. 首页
  2. 教育
  3. 深度学习

视觉SLAM基于深度学习闭环检测

原提问:请问有做视觉SLAM基于深度学习闭环检测的吗?TurtleZhong:相比现在基本都是用深度学习做的吧,只要涉及到场景光照变化大,相机视野变化大等等,传统的DBoW,VLAD方法确实能力有限,那想必现在大多数都用的是基于深度学习来做闭环检测的,具体的方法可以参考我前段时间写的总结:

原提问:

请问有做视觉SLAM基于深度学习闭环检测的吗?

TurtleZhong:

相比现在基本都是用深度学习做的吧,只要涉及到场景光照变化大,相机视野变化大等等,传统的DBoW,VLAD方法确实能力有限,那想必现在大多数都用的是基于深度学习来做闭环检测的,具体的方法可以参考我前段时间写的总结:

https://github.com/TurtleZhong/Map-based-Visual-Localization

其实里面列举了传统方法和深度学习的方法,当然可能不全,但是欢迎补充,另外觉得有用的话点个关注。

九歌:

俺就是在做深度学习与闭环检测结合的工作的呀

目前将深度学习应用到闭环检测中已经很普遍了吧。直接的想法是在bow框架下利用如superpoint、d2、r2d2等深度学习特征代替传统orb、sift等特征。也有如NetVLAD、CALC等用神经网络模拟传统特征提取策略,以获得更好鲁棒性的。也有加入语义信息,如X-view、LoST、CALC2.0等利用图像语义信息,实现闭环检测的。

总的来说,如果只是关注闭环检测中图像检索的部分,与深度学习相关的工作还是很多很好的。难点在于要应对闭环检测中的一些实际挑战,比如cross-view乃至opposite-view,appearancechanges,perceptualaliasing,dynamics,textless这些问题。

害,其实dbow和fabmap从效果和实时性的平衡上来说,不已经超好了嘛

刘斯坦:

搜deeplearningfeaturepointsmatching,文章非常多。

具体结合SLAM的工作,今年刚出的这篇清华的就很不错,还有代码:
ivipsourcecode/dxslamgithub.com

基本是一个纯工程的工作,很直观,把各种成熟的深度学习特征点提取和匹配网络(SuperPoint,D2-Net,HF-Net)的预训练模型直接拿来用,替换掉ORB-SLAM2里面的相关部分:

视觉SLAM基于深度学习闭环检测

王小二:

1、不知道其它大佬的情况,现阶段我做的方向就是深度学习和SLAM的结合方向,所以SLAM各个比较关键的环节如何使用深度学习来完成,我倒是看过部分文章,比如特征提取,回环检测,优化等等。但是实际操作过的目前只有特征提取和描述子生成部分。详情见:https://zhuanlan.zhihu.com/p/214158164zhuanlan.zhihu.com

2、说回到回环检测这个问题,其实从直观上来说和图像检测,重识别等领域应该是有共通之处的,所以我之前的考虑也是利用图像检索的方式来实现回环检测。

3、说到具体的操作,当时考虑过的方向有:A、使用完整的图像来完成特征提取;B、图像切块或者提前感兴趣区域提取特征;C、整体+兴趣区域共同提取特征->企图在查询速度和精度做平衡

4、提取特征的方法考虑过:A、使用传统的特征来监督CNN,比如ORB,SIFT,HOG等;B、学习人脸识别,重识别等使用tripleloss,marginloss等使用图片对或者图片组来训练

5、说起来,也许可以看看小样本分类识别的部分思路;细粒度识别分类的一些方案

6、现在已经有的搜图定位不妨也看看7、步子不要太大,是不是可以考虑CNN+传统的词袋模型一起使用?

Howie:

闭环过程使用深度学习中的图像检索,能有效的减少由于环境光照季节更替,视角变化引起的匹配问题。但是需要采集大量的样本进行训练,同时考虑网络的大小和推理速度,以及自身的硬件平台性能。在一些嵌入式应用中,由深度学习带来的性能提升可能需要消耗巨大的资源,此时仍需以传统算法为主。

实际使用中,若环境可布置如室内环境,建议使用二维码等人为标志进行回环检测,兼顾精度和速度。若是室外可变环境,则需要考虑自身的硬件性能,进行传统算法与深度学习方法的选择,对于纯粹的深度方向,应考虑模型设计优化,通过压缩量化等手段提升模型速度。

责任编辑:lq

免责声明:本站旨在传递信息,不代表有传资讯的观点和立场。本站遵循行业规范,如转载您的文章未标注版权,请联系我们(QQ:78799268)改正。本站的原创文章,如若转载,请注明出处:http://www.ainoline.cn/jiaoyu/shenduxuexi/17148.html

发表评论

邮箱地址不会被公开。 必填项已用*标注

联系我们

在线咨询:点击这里给我发消息

邮件:78799268@qq.com

工作时间:周一至周五,9:30-18:30,节假日休息

QR code