2017-SENet

SENet（Squeeze-and-Excitation Network）模块最早是在2017年由Jie Hu等人提出的，其基本思想是将卷积神经网络中的通道间关系引入到模型中，通过一种轻量级的方式学习每个通道的重要性。SENet模块由两个步骤组成：第一步是通过全局平均池化将每个通道的特征压缩为一个数值；第二步是通过两个全连接层对这个数值进行处理，得到每个通道的权重，然后将权重与输入的特征相乘，得到加权后的特征输出。SENet模块可以加入到卷积神经网络的不同层，提高模型的准确性。

2018-CBAM

CBAM（Convolutional Block Attention Module）是在SENet之后提出的一种注意力机制模块。CBAM由两个子模块组成：通道注意力模块（Channel Attention Module）和空间注意力模块（Spatial Attention Module）。通道注意力模块通过全局平均池化和全连接层得到每个通道的权重，空间注意力模块则通过一个3×3的卷积核学习每个像素的权重。最终，将两个子模块得到的权重相乘，得到加权后的特征输出。CBAM模块可以与不同类型的卷积层结合使用，提高卷积神经网络的性能。