在工业生产中，确保产品质量和安全至关重要，而异常检测正是这一过程的核心。然而，传统的检测方法在复杂的工业环境中常常面临数据集局限性的问题，导致检测效果不尽如人意。为了解决这一难题，复旦大学、荣旗工业科技、腾讯优图实验室、上海交通大学以及上海海洋大学等机构联合推出了高精度的多模态数据集Real-IADD³，并在此基础上提出了一种创新的多模态融合检测方法D³M。这一成果已被计算机视觉领域的顶级会议CVPR 2025收录。
Real-IADD³数据集的设计灵感源于实际的工业质检场景。质检人员需要快速、准确地识别产品表面的各种缺陷，如划痕、凹陷和裂缝等。面对不同光照和材质条件，传统的2D图像检测方法往往无法提供足够的深度信息，而现有的3D检测方法在细节捕捉上也显得捉襟见肘。为此，研究团队精心构建了Real-IADD³数据集，涵盖20个工业产品类别和69种缺陷类型，共计8450个样本，包括5000个正常样本和3450个异常样本。每个样本不仅包含高分辨率的RGB图像，还包括伪3D光度立体图像和微米级精度的3D点云数据。
与当前主流数据集MVTec3D-AD和Real3D-AD相比，Real-IADD³在数据规模、缺陷多样性和点云精度等方面都实现了显著提升，点云精度高达0.002毫米，远超前者的0.11毫米和0.011毫米至0.015毫米。
基于Real-IADD³数据集，研究团队提出了D³M方法，通过整合RGB、点云和伪3D深度信息，最大限度地发挥各模态的优势，显著提高了异常检测的性能。实验结果显示，D³M方法在图像级和像素级的异常检测指标上均优于单模态和双模态方法，充分验证了多模态融合在工业异常检测中的重要性。
实验数据显示，不同模态组合在异常检测中的性能对比中，D³M方法通过整合2D、伪3D和3D数据，实现了最高的检测精度，相关可视化效果进一步印证了其在细节和准确性上的优势。
总结来说，这项研究不仅提出了用于工业异常检测的多模态数据集Real-IADD³，还基于此数据集开发了多模态融合检测方法D³M，为工业制造中的质量控制提供了更可靠的解决方案。研究团队表示，这一突破将推动工业异常检测领域的发展。
值得一提的是，Real-IADD³是Real-IAD系列的第二篇工作，第一篇工作Real-IAD大规模工业异常检测数据集也已被CVPR 2024收录，展现了该团队在这一领域的持续努力和创新。返回搜狐，查看更多