PINN与知识蒸馏的深度融合，已成为破解物理约束建模与模型轻量化矛盾的核心方向，在工程计算、边缘设备部署等领域快速崛起。PINN擅长嵌入物理约束、保障结果物理一致性，却存在参数量大、推理效率低的短板；知识蒸馏可实现模型压缩、提升部署效率，却易丢失核心物理特征，二者结合实现优势互补。随着一些成果涌现，该方向已成科研热点：宿通通博士提出的SDPGO自蒸馏框架，无需外部教师模型，大幅提升PINN泛化能力与蒸馏效率；双阶段蒸馏架构可将PINN模型规模压缩15.8倍，同时保留95%原始精度；另有融合方案使PINN在边缘设备上响应速度提升30%-50%。

这些突破为PINN轻量化部署、复杂物理场景建模提供新思路，对于深耕该方向的论文er，自蒸馏优化、物理特征保留等是潜力选题，我已整理好相关顶会论文及复现代码（部分），想快速上手的同学工种号 沃的顶会 扫码回复 “PINN+知识蒸馏” 领取

Do Students Debias Like Teachers? On the Distillability of Bias Mitigation Methods

文章解析

论文探究知识蒸馏对偏置缓解能力从教师模型向学生模型迁移的影响，发现蒸馏会削弱去偏能力，揭示其内在机制为注意力模式和电路的变化，并提出三种提升去偏可蒸馏性的有效方法。

创新点

首次大规模探究知识蒸馏对去偏的影响，覆盖语言和视觉多任务、多种去偏方法与模型规模。

揭示蒸馏后去偏能力变化的内在机制，即师生注意力模式分歧和模型电路的改变。

提出数据增强、迭代蒸馏、教师权重初始化三种策略，有效提升去偏方法的可蒸馏性。

研究方法

设计师生模型对比、蒸馏与非蒸馏对比实验，探究去偏能力的蒸馏性与蒸馏的贡献。

采用CKA分析激活模式、EAP方法挖掘电路，解析蒸馏影响去偏的内在机制。

在四类数据集、多款骨干模型上验证八种去偏方法，多维度评估模型去偏性能。

研究结论

知识蒸馏整体会削弱模型去偏能力，学生模型相较教师更易依赖虚假关联，且难从教师知识中获益。

师生模型规模相似度越高，去偏能力的蒸馏迁移效果越好，更大的教师未必带来更鲁棒的学生。

提出的三种策略可有效提升去偏可蒸馏性，其中高质量数据增强的提升效果最为显著。

Physics-Informed Operator Learning for Hemodynamic Modeling

文章解析

论文针对血流动力学建模中PINN架构复杂的问题，提出用PI-DeepONet作为监督信号，通过知识蒸馏训练简化架构AugPITN，实现了性能与复杂基线持平，且大幅降低模型复杂度和训练成本。

创新点

提出AugPITN轻量架构，以预训练PI-DeepONet替代对抗和对比学习模块，简化建模且不损失性能。

验证算子级功能监督可有效替代复杂的多组件训练流程，提升训练的稳定性和可扩展性。

将模型超参数从八个精简为单个监督强度系数，消除高维网格搜索，降低实现难度。

研究方法

预训练PI-DeepONet作为冻结监督器，通过知识蒸馏指导简化版PITN-Base的训练。

设计两种算子监督策略，对比基于真实标签和算子预测对齐的监督效果。

以9名受试者的无袖带血压数据为实验集，对比多款基线模型的性能与复杂度。

研究结论

AugPITN与复杂的PITN-Full性能持平，相关系数0.77、RMSE4.5，训练开销降低4%。

物理信息正则化对算子学习至关重要，PI-DeepONet性能显著优于无约束的DeepONet。

算子监督强度系数β为1.0时模型达最佳性能，AugPITN(B)的预测对齐策略效果更优。