CVPR 2025开源！上科大等提出MulSen-AD多传感器异常检测数据集！多传感器赋能工业视觉检测，
投稿作者：Xiaohao Xu，已授权计算机视觉工坊!
「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
0. 动机
在工业制造中，异常检测系统的准确性直接决定了产品质量控制的水平。现有方法通常依赖单一传感器（如RGB相机）对产品外观进行分析，这种方法在理想条件下可以有效识别表面缺陷（如划痕、污染），但却难以发现更复杂的异常，如：内部裂纹、空腔等肉眼不可见的缺陷；热传导异常，内部应力集中的区域；几何形变、错位、变形等三维结构异常；
这些类型的异常在真实工业场景中广泛存在，且往往对产品性能或使用安全产生更严重影响。然而，任何单一传感器都难以全面捕捉这些不同层次和维度的异常信息。
为此，来自上海科技大学、密歇根大学安娜堡分校等机构的研究团队联合提出MulSen-AD数据集——首个融合RGB、红外和点云数据的多传感器异常检测数据集，并提出基准模型 MulSen-TripleAD，旨在实现对外观、几何结构与内部状态的统一建模与无监督检测，推动工业目标异常检测走向真正的“全面感知”阶段。
1. 论文信息
论文标题：Multi-Sensor Object Anomaly Detection: Unifying Appearance, Geometry, and Internal Properties
论文地址：https://arxiv.org/abs/2412.14592
代码地址：https://github.com/ZZZBBBZZZ/MulSen-AD
数据集地址：https://huggingface.co/datasets/orgjy314159/MulSen_AD
官方主页：https://zzzbbbzzz.github.io/MulSen_AD/index.html
2. 背景：单传感器检测的“盲区困境”
在现代工业生产中，物体级别异常检测（Object-level Anomaly Detection） 是保障产品质量、降低缺陷率的关键技术。随着深度学习的发展，基于图像的无监督异常检测方法取得了显著进展，诸如 PatchCore、DRAEM和SimpleNet等模型能够在不依赖异常样本的情况下识别物体表面上的显著缺陷。然而，真实工业场景中的异常具有高度多样性和复杂性，远不止表面可见的问题，许多缺陷可以划分为：
表面缺陷（划痕、污染）→ RGB相机可识别
内部损伤（内部裂纹、内部脱层）→ 红外热成像擅长
几何变形（弯曲、变形）→ 3D点云精准捕捉
RGB图像擅长颜色与纹理识别，但无法感知深层结构；红外热像可以揭示温度异常，但缺失外观细节；点云数据能精确建模3D几何，但对表面纹理与内部热异常不敏感。尽管已有研究尝试将深度图、X光、红外图像等引入检测系统，但大多数方法仍局限于单一传感器或合成场景，缺乏高质量的多传感器数据集和系统化的融合方法评估机制。
因此，亟需构建一个真实采集、跨模态协同、涵盖多类工业缺陷的高质量数据平台，并探索基于多传感器融合的检测方法，以实现更具鲁棒性与泛化能力的工业级异常检测系统。
3. 数据集介绍：多传感器、高分辨率、缺陷类别丰富
图1 MulSen-AD数据集样本示例
具体而言，MulSen-AD数据集覆盖了15种工业产品（见图1），涵盖了真实生产场景中的14种典型异常。其中，部分异常类别（如颜色污染、裂纹、挤压和外部破损等）分别展示在图 2 至图 5 中。与现有物体级别异常检测数据集相比，MulSen-AD数据集在传感器类别和缺陷类别多样性上有明显提升（见表1）。
多种传感器类别：RGB相机（分辨率1920×1200），锁相红外热像仪（±2°C精度），3D激光传感器（分辨率0.05mm）
多种物品类别：15类真实工业物品
涵盖多种材料：金属，塑料，布料，玻璃，明胶和混合材料
多种缺陷类别：缺失、划伤、裂纹、脏污、破洞、变形、凹坑、破损等14类缺陷
支持多种实验设置：1）多传感器设定 2）单传感器设定
表1：MulSen-AD与现有的物体级别异常检测数据集对比
值得注意的是，尽管真实点云数据仅占 MulSen-AD 数据集的三分之一，且其采集过程相较于图像模态更加复杂、耗时，MulSen-AD 仍在点云模态上实现了2035个样本的规模。这一数量已显著超过当前最大的真实点云异常检测数据集Real3D-AD（1254 个样本，NeurIPS 2023），也为高质量三维数据的异常检测研究提供了更坚实的基准。
图2 胶囊（capsule）样本示例及其异常类型（颜色污染、裂纹、挤压、外部破损）
图3 布料（cotton）样本示例及其异常类型（破损、小孔、裂纹、划痕）
图4 拉链（zipper）样本示例及其异常类型（小孔、开口、划痕、挤压）
图5 塑料圆环（plastic cylinder）样本示例及其异常类型（异物、颜色、破损、小孔）
4. 数据集构建：三模态高质量采集流程
为构建高质量的 MulSen-AD 数据集，研究团队制定了一套标准化的三阶段数据采集流程（见图6），涵盖红外图像、RGB图像与三维点云三种模态。首先，在红外图像采集阶段，使用锁相红外热像仪对经过周期性加热的物体进行拍摄，以捕捉材料内部的热传导异常。随后，进行RGB图像采集，由工业相机搭配机械臂从顶部获取高分辨率图像，记录表面纹理、颜色等外观特征。最后，在点云数据采集阶段，利用高精度3D激光扫描系统对目标进行多角度扫描和翻转操作，生成完整的三维点云，用于检测几何结构异常，如形变、错位或缺损等。
图6 MulSen-AD数据集构建流程
5. 方法介绍：基准模型MulSen-TripleAD
为了充分挖掘多模态数据的协同优势，研究团队提出了多传感器融合的基准模型 MulSen-TripleAD（见图7）。该模型采用决策级融合策略，综合利用 RGB 图像、红外热图与三维点云三种模态信息，从而显著提升了异常检测的准确性与鲁棒性。MulSen-TripleAD 包含三个核心模块：首先是多模态特征提取，分别使用预训练模型对三种模态数据进行有效特征编码；其次构建多模态记忆库，在训练阶段基于正常样本建立各模态的参考分布；最后，决策融合单元通过门控机制动态整合来自三种模态的异常评分，实现物体级别的最终判断。
图7 MulSen-TripleAD架构图
6. 实验结果：多传感器感知方案显著优于单传感器方案
在实验评估中，MulSen-TripleAD 模型凭借对 RGB、红外与点云三种模态的协同利用，显著优于现有基于单模态的主流方法（见表2）。该模型在物体级别异常检测任务中取得了Object-level AUROC 0.961的成绩，领先幅度明显。其中在小猪玩偶（Piggy）与纽扣电池（Button Cell） 类别上达到了满分1.000，比现有最强方法高出至少3–5%。多模态信息的融合使模型能够更全面地感知物体的外观与结构变化，有效发现单模态方法容易遗漏的微小异常。
表2 MulSen-TripleAD与主流单传感器算法在Object-level AUROC性能上的对比
表3 MulSen-TripleAD模型在不同传感器组合下的Object-level AUROC性能对比
表 3 展示了在 MulSen-AD 数据集上使用 MulSen-TripleAD 模型，对不同传感器组合配置进行的系统性基准测试。通过对单模态、双模态以及三模态融合方案的比较，评估了多传感器信息在异常检测性能上的提升效果。单一传感器Object-level AUROC最高为91.1%，双模态组合提升至94.8%，而三种传感器融合后性能最高，达96.1%，充分体现出多模态融合的优势。图 8 展示了MulSen-TripleAD在异常定位任务中的可视化效果。
图8 MulSen-TripleAD模型异常定位效果可视化
对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~
本文仅做学术分享，如有侵权，请联系删文。
3D视觉硬件
3D视觉学习圈子
「3D视觉从入门到精通」知识星球(点开有惊喜) ！星球内新增20多门3D视觉系统课程、入门环境配置教程、多场顶会直播、顶会论文最新解读、3D视觉算法源码、求职招聘等。想要入门3D视觉、做项目、搞科研，欢迎扫码加入！
3D视觉全栈学习课程：www.3dcver.com
3D视觉交流群成立啦
添加微信：cv3d001,备注：方向+单位，邀请入群
点这里👇关注我，记得标星哦～
一键三连「分享」、「点赞」和「在看」
3D视觉科技前沿进展日日相见 ~
北京人形旗下天工造物具身智能开源社区，聚焦具身天工与慧思开物两大平台
更多推荐
0
0- 0
已为社区贡献242条内容
所有评论(0)