1.空间注意力与通道注意力联合 
将空间注意力和通道注意力结合应用于UNet中,使得网络能在不同的空间区域和通道维度上自动调整权重,增强重要特征的表达。 
模型:UNet+SA+CA 
数据集:ISIC 2018、BraTS

2.自适应注意力机制
引入自适应注意力机制,使得模型可以根据输入图像的不同特性动态调整注意力分配,提高对复杂背景和小物体的分割能力。 
模型:UNet+自适应注意力 
数据集:Cityscapes、VOC2012 

3.多尺度注意力机制 
在UNet的编码器和解码器部分加入多尺度的注意力机制,提升模型对不同尺度特征的关注,尤其在细节和边缘的保留上表现突出。 
模型:UNet+Multi-scale Attention 
数据集:ADE20K、PASCAL VOC 

4.注意力机制优化的跳跃连接 
通过在跳跃连接中加入注意力机制,使得UNet在不同层之间传递特征时能选择性地关注最重要的特征,避免信息丢失。 
模型:UNet+Attention Skip Connections 
数据集:DeepLesion、LIDC-IDRI

另外,我整理了十篇关于注意力机制的最新论文及代码,方便大家参考。

 

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐