语义分割小综述

课程

应用

人像分割
自动驾驶
医疗影像
智能遥感：河流、田地等

思路

先验知识：颜色相近，物体交界颜色变化
- 先验知识不完全准确
逐像素分类：滑窗，逐个滑动预测类别
- 需重复计算卷积
复用卷积：直接在feature map上预测
- 需要全连接层的卷积化：每个全连接层神经元用一个卷积核替换（Fully Convolutional Network）
- 预测图上采样：双线性插值或转置卷积

双线性插值可以用对应卷积核代替：先进行零插值，再使用设计好的卷积核卷积

转置卷积

也称升卷积Upconvolution或反卷积Deconvolution，但不建议使用反卷积，其在数学上与卷积不互逆。转置卷积Transposed Convolution名称来源于卷积对应的矩阵运算。

对于卷积运算

$O = I * h = CI$

其中 $h$ 为卷积核， $O$ 为输出（小图）， $I$ 为输入（大图）， $C$ 为卷积运算的等价矩阵乘法项。可以发现其转置卷积有

$I' = O'*h' = C^TO'$

最终我们逐像素计算交叉熵损失并求和。

结合浅层特征图可以使用FCN更精确。最典型的为UNet。

此外周围内容也提供上下文信息。这需要大感受野。

PSPNet：多尺度池化 + 特征拼接

空洞卷积与DeepLab

空洞卷积解决下采样问题：提高感受野，不增加参数
- 池化层和步长剔除，代价为增大参数量
- 下采样 + 卷积 = 空洞卷积
- 去除分类模型后半部分下采样，改为膨胀卷积，逐步增加rate维持感受野
条件随机场CRF后处理，精细化分割图
- 结合原图颜色信息和神经网络预测类别后处理，最小化能量函数
- 本身是概率模型，用能量函数表示分割结果优劣，最小化能量函数获得更好分割结果

给定能量函数

$E(\boldsymbol{x})=\sum_i\theta_i(x_i)+\sum_{ij}\theta_{ij}(x_i, x_j)$

其中 $\boldsymbol{x}$ 为全部像素预测结果， $x_i, x_j$ 为特定像素预测结果（向量化后仅有1维坐标）， $\theta_i(x_j)$ 是单个预测对能量函数的贡献， $\theta_{ij}(x_j, x_j)$ 是一对预测对能量函数的贡献。

$\theta_i(x_i) = -\log P(x_i)\\ \theta_{ij}(x_i, x_j) = \mu(x_i, x_j)\left[w_1\exp\left(-\frac{||p_i-p_j||^2}{2\sigma_\alpha^2}-\frac{||I_i-I_j||^2}{2\sigma_\beta^2}\right) + w_2\exp\left(-\frac{||p_i0p_j||^2}{2\sigma_\gamma^2}\right)\right]\\ \mu(x_i, x_j) = [x_i \ne x_j]$