1. 从零开始：理解HALCON中的语义分割

如果你正在处理工业视觉项目，比如需要精确找出产品表面的划痕、检测印刷电路板的缺陷，或者识别医学图像中的特定组织，那么“语义分割”这个词对你来说一定不陌生。简单来说，它就像给图像里的每一个像素都“上户口”，告诉计算机：“瞧，这个像素点属于‘缺陷’，那个像素点属于‘背景’，那边一片都属于‘产品本体’。” 在HALCON 21.11这个强大的机器视觉软件里，深度学习驱动的语义分割功能已经变得非常成熟和易用，它能帮你把这项听起来很高深的技术，实实在在地落地到生产线或者你的研究项目中。

我刚开始接触HALCON的深度学习模块时，也觉得有点头大，一堆参数和流程。但实际用下来发现，它的设计逻辑非常清晰，只要你跟着流程走，从准备图片到训练出能用的模型，并没有想象中那么难。这篇文章，我就把自己在工业缺陷检测项目里趟过的路、踩过的坑，结合HALCON 21.11的官方指南，给你梳理成一个完整的实战流程。我们不谈空洞的理论，就聚焦在怎么做。我会告诉你每一步的关键操作、参数怎么设才合理，以及怎么判断你的模型到底靠不靠谱。

你可能听过“边缘提取”，其实在HALCON里，它可以看作是语义分割的一个特例——只分两类：“边缘”和“背景”。无论是复杂的多类别分割，还是单纯的边缘提取，底层的工作流是相通的。这套流程的核心可以概括为四个阶段：预处理数据、训练模型、评估模型和应用模型（推理）。HALCON很贴心地提供了完整的示例程序，比如针对药片缺陷检测的 segment_pill_defects_deep_learning 系列，和针对边缘提取的 segment_edges_deep_learning_with_retraining。我们接下来的讲解，也会围绕这些实际的操作展开。

2. 实战第一步：数据的准备与预处理

数据是深度学习模型的“粮食”，粮食的质量直接决定了模型的身体素质。在语义分割任务里，我们的“粮食”不仅仅是原始图像，更重要的是每张图像对应的“标准答案”——我们称之为 分割图（Segmentation Image） 或 标注图。

2.1 理解你的数据：图像与标注

想象一下，你要训练一个模型检测金属表面的划痕。你的原始图像是一张高清的产品照片。而你的标注图，则是一张和原始图尺寸一模一样的单通道图像，这张图上的每一个像素值，都不是颜色信息，而是一个“类别ID”。比如，你可以规定：像素值为0代表“背景”（完好的金属表面），像素值为1代表“划痕”。如果还有油污、凹坑等其他缺陷，可以分别赋予2、3等值。这就是 segmentation_image。

在HALCON中，所有用于训练和评估的数据信息，都被组织在一个叫 DLDataset 的字典里。这个字典就像是一个项目数据库，记录了每张图片的路径、对应的标注图路径、以及所有类别的信息。创建这个数据库的第一步，是使用 read_dl_dataset_segmentation 函数。你需要告诉它：我的图片放在哪个文件夹？标注图又放在哪里？它们是怎么命名的（通常标注图文件名和原图有对应关系）？这个函数会帮你把一切整理得明明白白。

这里有个非常重要的概念：“ignore”类。在实际标注中，经常会遇到一些难以界定或者我们不关心的区域，比如物体模糊的边界、图像中无关的杂物。与其强行把它们归到某个类别，不如告诉模型：“这些地方你不用学，直接忽略掉”。在HALCON里，你可以通过 set_dl_model_param 函数设置 ‘ignore_class_ids’ 参数，将某个类别ID（比如我们例子中的边界类别）声明为忽略类。在训练和评估时，模型就会自动跳过这些像素。

2.2 数据集的划分与预处理

数据库建好后，不能把所有数据都扔进去训练。我们需要把它分成三份：训练集、验证集和测试集。训练集用于模型学习；验证集在训练过程中用来监控模型表现，防止过拟合；测试集则是在模型训练完成后，用于最终的性能评估，它必须全程保持“神秘”，不参与训练的任何环节。使用 split_dl_dataset 函数可以轻松完成这个划分，划分的比例需要根据你的数据量来定，常见的是70%训练，15%验证，15%测试。

接下来是最关键的预处理环节，对应的函数是 preprocess_dl_dataset。预处理的目标是让所有输入数据符合网络的要求，并尽可能优化训练效率。主要做两件事：

1. 统一尺寸：神经网络要求输入图像的尺寸是固定的。你需要通过 create_dl_preprocess_param 创建一个参数字典，在其中指定 ‘image_width’ 和 ‘image_height’。这里有个经验之谈：在保证目标物体（比如微小缺陷）依然能被清晰辨识的前提下，尽可能选择较小的尺寸。大尺寸图像会显著增加显存消耗和训练时间，但未必带来精度的大幅提升。对于工业检测，从512x512或640x640开始尝试是个不错的选择。
2. 生成权重图（Weight Image）：这是解决“类别不平衡”问题的利器。在缺陷检测中，缺陷像素可能只占整张图的千分之一甚至更少。如果直接训练，模型会倾向于把所有像素都预测为“背景”，因为这样也能获得很高的准确率。为了迫使模型去关注那些稀少的缺陷，我们需要给“缺陷”类赋予更高的权重。preprocess_dl_dataset 函数内部会自动调用相关方法，根据你数据中各个类别的像素比例，计算并生成一张权重图。在这张图里，缺陷区域的像素值会很大，背景区域的像素值则为1。这样，在计算损失时，模型预测错一个缺陷像素的“代价”就会远大于预测错一个背景像素，从而引导模型努力去识别缺陷。

预处理完成后，务必保存好 DLPreprocessParam 这个参数字典。因为在后续对新图像进行推理时，你必须使用完全相同的预处理参数，才能保证模型正常工作。

3. 模型训练：调参的艺术与耐心

数据准备妥当，我们就来到了模型训练环节。如果说数据是粮食，那么训练就是“烹饪”的过程，火候（参数）掌握不好，再好的食材也做不出美味。

3.1 加载模型与设置参数

HALCON 21.11已经内置了适用于语义分割的深度学习网络（如DeepLab V3+架构的变种）。我们使用 read_dl_model 函数直接读取预定义的网络模型。读入模型后，第一件事就是用 set_dl_model_param 来配置它。有几个关键参数需要关注：

• ‘image_dimensions’：这里设置的尺寸必须和上一步预处理时指定的尺寸完全一致。
• ‘class_ids’：告诉模型你一共有哪些类别ID，比如 [0， 1] 表示有背景和缺陷两类。
• ‘ignore_class_ids’：如前所述，设置需要忽略的类别ID。

你可以随时使用 get_dl_model_param 函数来查看模型当前的参数配置，这是个好习惯。

3.2 配置训练参数并开始训练

接下来，我们需要创建一个训练参数字典，使用函数 create_dl_train_param。这个字典里的内容，就是控制“烹饪火候”的所有开关：

• 学习率（‘learning_rate’）：这是最重要的超参数之一。它控制模型参数更新的步长。太大容易“翻车”（损失震荡不收敛），太小则“爬行”缓慢。对于语义分割，初始学习率可以设置在0.001到0.0001之间尝试。HALCON的示例程序里通常给了一个不错的起点。
• 批大小（‘batch_size’）：一次训练输入多少张图片。受限于显卡内存，语义分割的批大小往往设得很小，可能是1、2或4。小批量训练会导致训练过程不稳定，因此需要调整下一个参数。
• 动量（‘momentum’）：为了缓解小批量训练带来的波动，语义分割任务通常建议使用比分类任务更高的动量值，比如0.99。这可以让参数更新方向更加平滑，有助于收敛。
• 迭代次数（‘num_epochs’）：整个数据集被完整训练一遍称为一个epoch。需要训练多少个epoch？这没有定论，你需要观察验证集上的表现。通常可以设置一个较大的值（如100），并配合早停策略（如果连续多个epoch验证集损失不再下降，则停止训练）。
• 数据增强（可选）：为了增加数据的多样性，防止过拟合，可以在参数字典中启用数据增强，比如随机旋转、翻转、亮度变化等。对于工业检测，需要谨慎选择增强方式，避免产生不真实的缺陷形态。

参数设好之后，调用 train_dl_model 函数，把模型句柄、数据字典、训练参数字典和epoch数传给它，就可以开始漫长的训练了。训练过程中，HALCON会实时显示总损失的变化曲线，你也可以设置让它显示在验证集上的评估指标（如mean IoU），方便你监控训练状态。

4. 如何判断模型的好坏：评估指标详解

模型训练完了，损失曲线也下降了，但这不代表它就能在你的生产线上好好工作。我们需要一套客观的“体检标准”来评估模型的性能。HALCON提供了一系列评估函数，最常用的是 evaluate_dl_model，它会计算你指定的所有评估指标。

4.1 核心评估指标解读

评估分割模型，不能只看整体像素准确率，因为背景像素占比可能高达99%，即使模型全部预测为背景，准确率也有99%，但这显然是个无用的模型。因此，我们需要更细致的指标：

• 像素准确率（Pixel Accuracy）：预测正确的像素占总像素的比例。正如刚才所说，在类别不平衡时参考价值有限。
• 平均像素准确率（Mean Accuracy）：先计算每个类别内部的像素准确率（预测正确的该类像素/该类的总像素数），然后对所有类别求平均。这平衡了不同类别大小的影响。
• 交并比（IoU）与平均交并比（Mean IoU）：这是语义分割中最核心的指标。对于某一类（比如“划痕”），IoU = （预测为划痕且真实是划痕的区域） / （预测为划痕的区域 + 真实是划痕的区域）。你可以把它理解为“重合度”。Mean IoU就是将所有类别的IoU取平均。这个指标非常严格，只有当你的预测区域和真实区域在形状和位置上都非常吻合时，才会得到高分。在工业缺陷检测中，我们最关心的就是缺陷类别的IoU。
• 频率加权交并比（Frequency Weighted IoU）：在计算平均IoU时，根据每个类别像素占总像素的比例进行加权。这样大类别（如背景）对最终指标的影响会更大。
• 像素混淆矩阵（Pixel Confusion Matrix）：这是一个非常详细的诊断工具。它是一个NxN的表格（N为类别数），第i行第j列的值，表示真实类别为i但被预测为类别j的像素数量。通过混淆矩阵，你可以一眼看出模型最容易混淆哪些类别，比如是不是经常把“划痕”误判为“污渍”。

4.2 可视化评估与结果分析

dev_display_segmentation_evaluation 函数可以将评估结果可视化出来，比如并排显示原始图像、真实标注图、模型预测图以及差异图。这比看数字直观多了。你可以清晰地看到模型在哪里漏检了（该划出来的没划），在哪里误检了（把背景划成了缺陷）。

分析这些结果，是调优模型的关键。如果发现模型对某类缺陷识别很差，可能的原因有：1）这类缺陷的样本数量太少；2）预处理时图像尺寸压缩导致小缺陷特征消失；3）该类别的权重设置得还不够高。根据分析结果，你需要回到前期的步骤：可能是补充标注数据，可能是调整图像预处理尺寸，也可能是重新计算类别权重。

5. 让模型干活：在新图像上进行推理

模型评估合格后，就可以部署它来处理新的、从未见过的图像了，这个过程叫推理。

5.1 标准化推理流程

推理的流程是标准化的，确保和训练时环境一致：

1. 设置模型参数：使用 set_dl_model_param，确保 ‘batch_size’ 等参数与评估时一致。
2. 创建样本字典：对于每一张待检测的图片，使用 gen_dl_samples_from_images 函数为其生成一个 DLSample 字典。
3. 预处理：使用 preprocess_dl_samples 函数，并传入训练时保存下来的那个 DLPreprocessParam 字典，对图像进行完全相同的预处理（缩放等操作）。
4. 应用模型：调用 apply_dl_model 函数，输入预处理后的样本字典，得到结果字典 DLResult。
5. 解析结果：从 DLResult 中，我们可以提取出两张关键的结果图：
   • segmentation_image：这就是模型的预测分割图，每个像素值代表预测的类别ID。
   • segmentation_confidence：这是一张置信度图，每个像素值（0~1之间）表示模型对该像素分类的把握程度。置信度低的区域，往往是模型不确定的边缘或困难区域，值得人工复核。

5.2 从分割结果到具体操作

得到 segmentation_image 后，我们就可以用HALCON传统的图像处理算子来做后续分析了。比如，要提取所有被预测为“缺陷”（类别ID=1）的区域，只需要一个简单的阈值分割：

* 假设 segmentation_image 是预测结果图，缺陷类别ID为1
threshold (SegmentationImage, DefectRegions, 1, 1)

这样，DefectRegions 就是所有缺陷像素构成的区域。之后，你可以计算这些区域的面积、位置、形状特征，再根据业务逻辑判断这个产品是否合格。

在实际项目中，我习惯把训练好的模型和预处理参数打包成一个完整的“推理子程序”。当生产线上的新图片到来时，直接调用这个子程序，输出就是清晰的分割区域和置信度图。整个过程可以做到非常高的自动化程度。记得在推理阶段也要加入异常处理，比如对置信度过低的区域进行记录或报警，这对于保证在线检测的可靠性非常重要。模型上线不是终点，持续收集在线上难以判定的样本，定期进行模型的迭代优化，才能让这个系统越用越聪明。