震惊?!小伙儿竟然重现了CSGO中的经典地图(第一话)

  1. 1. 引言
  2. 2. 数据采集
  3. 3. 相机参数标定
  4. 4. MonoDepth2训练
  5. 5. 总结

引言

作为一名自身CSGO玩家,我始终有一个梦想,就是把我的家——炼狱小镇,使用三维重建的方法重建出来,进行稠密三维重建,我们需要的模块包括:

  • 单目深度
  • 里程计
  • 地图融合

我们的原则是尽量少使用读取游戏内存的方法(也就是市面上大多数外挂的方法),仅使用屏幕获取图像完成这一任务。

第一步!获取弹幕深度估计。拜读了众多单目深度估计网络,发现他们主要可以分为三大类:

  1. 有深度监督
  2. 双目自监督
  3. 视频流自监督

由于我们无法获取CSGO图像中的深度信息,也无法在CSGO中使用双目相机,于是我们选择了依赖最少,仅需要视频流就可以训练的第三种方法:视频流自监督。

他的大致原理是:使用POSE NET进行位姿估计,在使用DEPTH NET进行深度估计,最后使用光度误差进行监督训练。我们选取了开源的Monodepth2作为codebase进行训练。

Monodepth2展示效果

数据采集

相机参数标定

MonoDepth2训练

总结