【三维重建】【深度学习】NeuS总览

大家好，欢迎来到IT知识分享网。

【三维重建】【深度学习】NeuS总览

前言

博主将各功能模块的代码在不同的博文中进行了详细的解析，点击【win10下参考教程】，博文的目录链接放在前言部分。

参数设置

在 exp_runner.py的main函数下，定义了运行neus所需要的参数。

parser = argparse.ArgumentParser() # 选择读取的配置文件 parser.add_argument('--conf', type=str, default='./confs/base.conf') # 选择代码运行的模式(训练、精化或者渲染) parser.add_argument('--mode', type=str, default='train') # 设置marching_cubes的阈值 parser.add_argument('--mcube_threshold', type=float, default=0.0) # 是否在已有的最新模型基础上进行下一步操作 parser.add_argument('--is_continue', default=False, action="store_true") # 设置gpu的序号 parser.add_argument('--gpu', type=int, default=0) # 设置要处理数据的文件名(相对路径) parser.add_argument('--case', type=str, default='') args = parser.parse_args() 

数据管理(Dataset)

在models/dataset.py文件内定义的一个数据管理类，用于加载图像数据集以及其对应的mask数据集和相机投影矩阵等，并能够根据NeuS具体的任务需求产生射线rays，用于后续进行采样。

• gen_random_rays_at： 网格面$\left(H,W\right)$上任意选择$b$个网格$\left(u_i,v_j\right)$，并根据相机内参、外参等计算出对应的$b$个射线ray在世界坐标系下的向量$\left(x_i,y_i,z_i\right)$。这个过程发生在训练过程中。
  
  

网格面$\left(H,W\right)$和图像数据集的分辨率$\left(H,W\right)$大小一致，上述图中蓝色小网格是代表被随机抽中的网格并产生射线ray。

• gen_rays_at： 网格面$\left(H,W\right)$上所有网格$\left(u_i,v_j\right)$，根据相机内参、外参等计算出对应的射线ray在世界坐标系下的向量$\left(x_i,y_i,z_i\right)$。这个过程发生在训练阶段的周期性测试中。
  
  

目的是简单测试下渲染效果，用某个相机位姿对应的原始图片与neus在该相机位姿下渲染的图片做对比。

• gen_rays_between： 通过俩个相机$idx0$和$idx1$的位姿生成介于俩相机之间的相机$idxr$的新位姿，网格面$\left(H,W\right)$上所有网格$\left(u_i,v_j\right)$，根据相机$idxr$内参、外参等计算出对应的射线ray在世界坐标系下的向量$\left(x_i,y_i,z_i\right)$。这个过程发生在应用阶段。
  
  

idx0和idx1是真实的相机位姿，idxr并不真实存在，而是计算而来的。其实这个目的是为了检验neus在新的相机位姿下的效果，个人觉得新的相机位姿也可以人工设定，并不一定是采用这种方式。

NeuS网络

• NeRF： 训练物体以外背景的颜色
• SDFNetwork： 训练目标物体的sdf值
• RenderingNetwork： 训练目标物体的RGB值
  
  详细网络结构解析博主会在后续的博文中进行说明。
  
  

总结

尽可能简单、详细的介绍NeuS工程的总体预览。后续会根据自己学到的知识结合个人理解讲解NeuS的原理和代码。