引言
作为一名自身CSGO玩家,我始终有一个梦想,就是把我的家——炼狱小镇,使用三维重建的方法重建出来,进行稠密三维重建,我们需要的模块包括:
- 单目深度
- 里程计
- 地图融合
我们的原则是尽量少使用读取游戏内存的方法(也就是市面上大多数外挂的方法),仅使用屏幕获取图像完成这一任务。
第一步!获取弹幕深度估计。拜读了众多单目深度估计网络,发现他们主要可以分为三大类:
- 有深度监督
- 双目自监督
- 视频流自监督
由于我们无法获取CSGO图像中的深度信息,也无法在CSGO中使用双目相机,于是我们选择了依赖最少,仅需要视频流就可以训练的第三种方法:视频流自监督。
他的大致原理是:使用POSE NET进行位姿估计,在使用DEPTH NET进行深度估计,最后使用光度误差进行监督训练。我们选取了开源的Monodepth2作为codebase进行训练。