推荐一个交叉方向:小波变换+注意力机制。近年来它潜力很大,不仅在理论上巧妙地融合了两种机制的优点,在实践中也展现出了卓越的性能。

目前它核心的创新方向主要有三大类:架构创新、应用创新、理论深化。在最近的顶会顶刊均有成果产出,尤其架构创新这类。比如AAAI25的具有全新结构逻辑的多频率融合注意力模块MFFA,以及双一区的三位一体化融合架构Stockformer,用于股票选择。推荐想快速上手的同学尝试。

当然,除了上述这些比较成熟的方向,还有一些前沿思路也可以考虑,比如探索不同小波基的影响、动态小波选择机制等。不过为了科研顺利,我建议大家多看论文(可直接拿我打包好的16篇前沿成果),边看别写,很快能有自己的idea。

全部论文+开源代码需要的同学看文末

Wavelet-Assisted Multi-Frequency Attention Network for Pansharpening

AAAI 25

方法:论文提出 WFANet 模型,通过离散小波变换(DWT)分离图像多尺度频率分量,结合含 “频率查询 - 空间键 - 融合值” 的多频率融合注意力(MFFA)精准融合特征,实现高分辨率全色与低分辨率多光谱图像的高效锐化。

创新点:

  • 设计多频率融合注意力,用小波变换分离图像频率分量,搭配“频率查询-空间键-融合值”三元组,精准融合频域特征,减少信息混淆。

  • 提出空间细节增强模块,用频率适配块替代卷积块,针对性提取不同频率的空间细节,提升图像分辨率。

  • 采用小波金字塔多尺度融合架构,逐步整合多尺度频率信息,结合MFFA与SDEM,实现更优的全色锐化效果。

Stockformer: A Price-Volume Factor Stock Selection Model Based on Wavelet Transform and Multi-Task Self-Attention Networks

双一区

方法:论文提出 Stockformer 模型,通过离散小波变换分解股票收益率为高低频分量以捕捉长期趋势与短期波动,结合时序注意力、图注意力及融合注意力构建双频时空编码器,搭配多任务学习同时预测股票收益率与涨跌趋势,实现精准股票选择。

创新点:

  • 通过离散小波变换分解股票收益率,分离短期波动(含突发事件)与长期趋势,为精准预测奠定基础。

  • 融合时序、图及融合注意力机制与图嵌入,高效捕捉股票间时序依赖与空间关联。

  • 采用多任务学习策略,同步预测股票收益率与涨跌趋势,增强复杂市场适应性与稳定性。

WLAM- Attention: Plug-and-Play Wavelet Transform Linear Attention

方法:论文提出插件式 WLAM 模块,将离散小波变换与线性注意力融合,用原始特征生成 Q、低频系数生成 K、卷积处理后的高频系数生成 V,结合多尺度处理与逆小波变换,提升模型全局与局部特征捕捉能力。

创新点:

  • 设计WLAM模块,用小波变换分解特征生成注意力的Q、K、V,增强全局与局部特征捕捉能力。

  • 对高频系数做多尺度处理并结合SE模块,再通过逆小波变换整合信息,弥补线性注意力在多尺度处理上的不足。

  • 借鉴Mamba结构并提出WDSA模块,减少下采样损失与计算量,提升模型性能与效率。

CWMS-GAN: A small-sample bearing fault diagnosis method based on continuous wavelet transform and multi-size kernel attention mechanism

方法:论文提出 CWMS-GAN 方法,通过连续小波卷积(CWCL)捕捉轴承信号时频特征,结合多尺度核注意力机制(MSKAM)自适应筛选关键特征,生成高质量样本以解决小样本轴承故障诊断问题。

创新点:

  • 用连续小波卷积(CWCL)替代传统卷积,捕捉轴承信号时频特征,适配非平稳信号,提升特征提取效果。

  • 设计多尺度核注意力(MSKAM),多尺度提特征并去冗余,自适应选关键特征,提升生成样本质量。

  • 集成CWCL与MSKAM到DCGAN成CWMS-GAN,用SSIM评样本,提升小样本轴承故障诊断精度。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“222”获取全部方案+开源代码

码字不易,欢迎大家点赞评论收藏

Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐