3.4 深度图估计 Depth Map Estimation

关键帧的选择 Keyframe Selection.

If the camera moves too far away from the existing map, a new keyframe is created from the most recent tracked image.

如果相机移动离“现有地图太远“（远是如何定义的，译者额外添加备注），则从最近跟踪的新图像帧创建新的关键帧（换一句话说，创建新关键帧是根据相机移动距离来判断的，创建关键帧为的是之后地图创建，即：插入关键帧到地图需要满足的条件，并且作用在之后的地图优化中，译者额外添加备注）。

We threshold a weighted combination of relative distance and angle to the current keyframe:

where $\textbf{W}$ is a diagonal matrix containing the weights.

（首先通过公式16.来计算当前关键帧和图像帧的加权距离）我们设置一个(当前关键帧和图像帧的)距离阈值，（然后两者比较来判定是否触发新关键帧创建），其中， $\textbf{W}$ 是包含权重的对角（线矩）阵。

Note that, as described in the following section, each keyframe is scaled such that its mean inverse depth is one.

注意：下面所提及的每一个关键帧，它的深度都被平均化，也就是说，它的深度（即：兴趣像素点）的平均逆深度为1。（此处有待代码确认，这里翻译可能有问题）comment by hyj 是正确的（谢谢贺一家点拨）

改动_Labby: 注意，在文章后续部分，每一个关键帧都被缩放了，以使得它们的平均逆深度为1.

This threshold is therefore relative to the current scale of the scene, and ensures sufficient possibilities for small-baseline stereo comparisons.

因此，这个距离阈值和当前场景的（规模大小）尺度是相关联的，并同时还要满足小基线立体配准的要求。

深度图的创建 Depth Map Creation.

Once a new frame is chosen to become a keyframe, its depth map is initialized by projecting points from the previous keyframe into it, followed by one iteration of spatial regularization and outlier removal as proposed in [9].

一旦新图像帧被选择成为（新）关键帧，需要初始化它的深度图（这个过程还是比较复杂，这里作者略写，请参考论文[9]，译者额外添加备注），即：把上一帧关键帧的兴趣点投影到新创建的关键帧上（得到这一帧的兴趣点）。然后进行正则迭代（即：兴趣点深度正则化）以及外点（异常值）移除，具体细节请参考论文[9]介绍。

Afterwards, the depth map is scaled to have a mean inverse depth of one - this scaling factor is directly incorporated into the $\mathfrak{sim}(3)$ camera pose.

（正则迭代）之后，深度图被平均至逆深度为1，并通过 $\mathfrak{sim}(3)$ 变换缩放尺度因子。

Finally, it replaces the previous keyframe and is used for tracking subsequent new frames.

最后，这个关键帧替换前一帧关键帧，并视为接下来的图像跟踪参考帧，用于跟踪后续的新图像帧（这里关联到“图像跟踪”模块，译者额外添加备注）。

深度图的优化 Depth Map Refinement.

Tracked frames that do not become a keyframe are used to refine the current keyframe:

如果被跟踪的图像帧没有成为新的关键帧（不满足距离触发条件），那么就用来优化当前关键帧（即：当前跟踪参考帧，进行深度更新，译者额外添加备注）

如果被跟踪的图像帧（不满足距离触发条件），那么就不用创建新关键帧，而是用来对当前关键帧（即：跟踪参考帧）的修正优化（即：估计深度和计算深度不确定性）。

A high number of very efficient small baseline stereo comparisons is performed for image regions where the expected stereo accuracy is sufficiently large, as described in [9].

如论文[9]中所述，对兴趣点图像区域，进行大量的小基线立体配准（作者这里略写，包括如何选择参考帧，如何灰度误差匹配，计算几何误差，视差等等，详细流程，请参考论文[9]）来更新深度。

The result is incorporated into the existing depth map, thereby refining it and potentially adding new pixels – this is done using the filtering approach proposed in [9].

小基线立体配准的结果被更新到（当前关键帧的）深度图中，（除了上述估计深度外，还要计算深度的不确定性），修正深度，同时还会增加入新的像素点—这个过程使用了论文[9]中的（卡尔曼）滤波方式来对深度的融合。

image copy right belongs to engel14eccv paper， 图像摘录自 engel14eccv论文

Fig. 5: Direct keyframe alignment on $\mathfrak{sim}(3)$:

图示5：关键帧在 $\mathfrak{sim}(3)$ 上的直接法配准：

(a)-(c): two keyframes with associated depth and depth variance.

（a）—（c）两个（相邻）关键帧之间的 [相机]图像，深度图[估计]和深度方差可视化示图

(d)-(f): photometric residual, depth residual and Huber weights, before minimization (left), and after minimization (right).

（d）—（f）[归一化的]光度测量残差，[归一化的]深度残差和Huber加权可视化示图，（左侧）在最小二乘优化前的示图，（右侧）在最小二乘优化后的示图