目录

一、U-Net

1、网络结构

2、创新点

 二、U2Net

1、网络结构

2、RSU

3、评估指标 

---

一、U-Net

        UNet发表于2015年MICCAI上的论文《U-Net: Convolutional Networks for Biomedical Image Segmentation》，U-net主体使用encoder-decoder网络，encoder部分类似于VGG网络，decoder类似于FPN结构。首先向下提取，encoder进行5次，获得5个初步特征层，再进行五次上采样并卷积，且与上5个初步特征层分别融合，获得最终一个包含所有特征的特征层。

1、网络结构

        左侧为主干特征提取网络（encoder），右侧为加强特征提取网络（decoder）。

        纵向上，左侧每一个提取层都进行两次3*3卷积+ReLU函数，由于padding=0，所以特征层长宽每次减少两格（由于当时BN层还未产生所以没有BN层），然后进行2*2下采样，以此类推。右侧进行**转置卷积**上采样接两次3*3卷积+ReLU。由于padding=0，最后的输出会小于原始图片尺寸，所以unet后期改进填充了padding的值，保证输入图片和输出图片大小一致。

        横向上，由于进行了若干卷积，图片大小不一致，所以对左侧图片中心部分进行裁剪，在与右侧进行concat。如第一行的输出568*568*64，截取中间392*392*64与右侧的392*392*64进行concat，生成392*392*128，这也就是copy and crop所做的工作。

2、创新点

（1）在图像分割时，为防止图片尺寸过大而造成显存占用过多，将图片进行切割为若干小图片，并且使用重叠瓷砖策略（每个图片必须有所重叠），保证图片的边缘能够准确分割。

（2）另外，针对细胞这种边界分辨不清晰问题，论文中提到，预先计算对于不同GT值真实分割的权值图，来补偿训练数据集中某一类像素的不同频率，迫使网络能识别小边界问题。

 二、U2Net

        U2Net来自于2020 CVPR上的《U2 -Net: Going Deeper with Nested U-Structure for Salient Object Detection》，该论文是着力研究SOD类型的图像分割。

        SOD是指显著目标检测，目的是分割出图像中最具吸引力的目标，在视觉跟踪，目标检测中发挥了极大的作用。

1、网络结构

        U2Net是一种基于UNet的嵌套结构，组成为六级编码器，五级解码器，解码器和最后一级编码器相连的显著图融合模型，总共11个stage结构，每一个stage配置一个RSU残差结构，保证特征融合，stage中和UNet结构基本相同，注意，此时已经加入了BN层。

2、RSU

        下图为RSU结构与其他融合特征层方法的比较（a普通卷积，b残差卷积，c利用dense块，d利用inception结构），由于初始阶段对输入图片进行多次的卷积会造成大量计算和内存占用问题。受U-Net影响，RSU用来捕获多尺度特征，下图中RSU-L参数分别为（L：编码层数，M：RSU内部通道数，Cin，Cout为输入输出通道）

         与残差块相比RSU用U-Net（针对多尺度特征）代替了普通的单流卷积，并用一个权重层构成的局部特征代替了原始特征。

3、评估指标 

     (加权调和平均数）

            (平均绝对误差）