3.3 C. Bundle Adjustment with Monocular and Stereo Constraints 使用单目或者双目光束优化法

3.3.1 paragraph

Our system performs bundle adjustment to optimize the camera pose in the Tracking (motion-only BA), to optimize a local window of keyframes and points in the Local Mapping (local BA), and after a loop closure to optimize all keyframes and points (full BA).

我们的系统采用光束优化法（BA），优化在跟踪过程（纯运动BA）中相机的位姿，优化本地窗口的关键帧和局部地图的特征点（局部BA），并且在回环检测之后优化所有的关键帧和特征点（全局BA）。

We use the Levenberg-Marquadt implementation in g2o [19].

我们在g2o当中使用Levenberg-Marquadt方法[19]。

3.3.2 paragraph

$\textbf{Motion-only BA}$ optimizes the camera orientation $\text{R} \in SO(3)$ and position $\text{t} \in \mathbb{R^{3}}$ , minimizing the reprojection error between matched 3D points $\mathrm {X}^{i} \in \mathbb{R^{3}}$ in world coordinates and keypoints $\mathrm {x}_{(\cdot)}^{i}$ , either monocular $\mathrm{x}_{\mathrm{m}}^{i} \in \mathbb{R^{2}}$ or stereo $\mathrm{x}_{\mathrm{s}}^{i} \in \mathbb{R^{3}}$ , with $i \in \mathcal{X}$ the set of all matches:

$\textbf{纯运动BA}$ ，优化相机旋转矩阵 $\text{R} \in SO(3)$ 和位置 $\text{t} \in \mathbb{R^{3}}$ ，最小化世界坐标系下匹配3D点云 $\mathrm {X}^{i} \in \mathbb{R^{3}}$ 和 $\mathrm {x}_{(\cdot)}^{i}$ 特征点（单目的 $\mathrm{x}_{\mathrm{m}}^{i} \in \mathbb{R^{2}}$ 或双目的 $\mathrm{x}_{\mathrm{s}}^{i} \in \mathbb{R^{3}}$ ，其中 $i \in \mathcal{X}$ 的重投影误差：

where $\rho$ is the robust Huber cost function and $\Sigma$ the covariance matrix associated to the scale of the keypoint.

在这个式子当中，$\rho$ 是强健的Huber的cost函数，$\Sigma$ 是协方差矩阵，关联对于特征点的尺度。

The projection functions $\pi_{(\cdot)}$ , monocular $\pi_{m}$ and stereo $\pi_{s}$ , are defined as follows:

这个投影函数 $\pi_{(\cdot)}$ ，单目的时候使用 $\pi_{m}$ ，修正双目的时候用 $\pi_{s}$ ，他们的定义如下：

where $(f_x,f_y)$ is the focal length, $(c_x,c_y)$ is the principal point and $b$ the baseline, all known from calibration.

在这个式子当中 $(f_x,f_y)$ 是焦距，$(c_x,c_y)$ 是主要点（象点），$b$ 是基线，所有的这些参数都是通过标定获得。

3.3.3 paragraph

$\textbf{Local BA}$ optimizes a set of covisible keyframes $\mathcal{K}_{L}$ and all points seen in those keyframes $\mathcal{P}_{L}$ .

$\textbf{局部BA}$ 采用一系列可用的关键帧 $\mathcal{K}_{L}$ 和所有在关键帧可观点 $\mathcal{P}_{L}$ ，

All other keyframes $\mathcal{K}_{F}$, not in $\mathcal{K}_{L}$ , observing points in $\mathcal{P}_{L}$ contribute to the cost function but remain fixed in the optimization.

所有的其他关键帧是 $\mathcal{K}_{F}$ ，而不是 $\mathcal{K}_{L}$ ，观察 $\mathcal{P}_{L}$ 当中所有的特征点用于代价函数，但是在优化中是固定的。

Defining $\mathcal{X}_{k}$ as the set of matches between points in $\mathcal{P}_{L}$ and keypoints in a keyframe $k$ , the optimization problem is the following:

定义 $\mathcal{X}_{k}$ 为 $\mathcal{P}_{L}$ 中关键帧 $k$ 的一系列匹配特征点，这个优化问题如下：

3.3.4 paragraph

$\textbf{Full BA}$ is the specific case of local BA, where all keyframes and points in the map are optimized, except the origin keyframe that is fixed to eliminate the gauge freedom.

$\textbf{全局BA}$ 是局部光束法的一个特例，这个方法除了初始帧所有的关键帧和点在地图当中都会被优化.初始帧是固定的，用来消除随机化。