2022.04.08

今日任务

• 跑3D Pooling的波段注意力模块，发现不存在这样的注意力模块。之所以能跑是因为我复制了SSA的代码作为波段注意力的代码，然后把SSA的代码给改了，现在又改回来了。错误的训练了波段注意力，其实训练的是SSA。
• 注意力模块的可视化分析思路
  • 使用3D Pooling会导致权重分配的局限性，即会增强重要卷积核的同时也增强了不重要的波段。因此需要SCA(2D+不换维度)和SCCA(3D+不换维度)，比较注意力的折线分布图的分布是相似的，但是在SCCA中数值高的波段里，SCA里要有偏低的，这样能说明3D会对不重要特征进行增强。
  • 交换维度能让神经网络学习到波段的特殊性对噪声的影响。因此需要特征图