基于霍夫变换与凸包算法的鱼类自动化切割视觉系统实践

1. 项目概述：当机器视觉遇上水产加工

水产加工，尤其是鱼类切割，长久以来都是劳动密集型产业的典型代表。想象一下，一条条形态各异、大小不一的鱼在流水线上移动，工人需要快速、准确地判断下刀位置，完成去头、去尾、开膛、切片等一系列操作。这不仅对工人的熟练度要求极高，也伴随着劳动强度大、效率瓶颈和品质一致性难以保证等问题。我接触这个项目，正是源于一家中型水产加工企业希望提升其前处理自动化水平的实际需求。他们面临的痛点很明确：人工切割的出品率（可食用肉占比）波动大，且招工越来越难。

“基于计算机视觉的自动化鱼类切割”这个标题，精准地指向了解决这一痛点的核心技术路径。它的核心逻辑是让机器“看懂”鱼，然后“知道”怎么切。这听起来简单，但要让机器替代经验丰富的老师傅的眼睛和手，需要解决几个关键问题：在复杂、湿滑、反光的流水线背景下，如何稳定地识别出每一条鱼？识别出来后，如何从一堆像素点中，找到代表鱼身轮廓、鱼头、鱼腹等关键部位的“线”和“点”？最后，如何将这些几何信息，转化成控制切割机械臂的精确坐标和轨迹？

这个项目正是通过引入经典的计算机视觉算法——霍夫变换与凸包算法，来回答这些问题。霍夫变换擅长在图像中检测直线和圆等特定形状，我们可以用它来定位鱼的脊骨线（近似直线）或眼睛（近似圆形），这是确定鱼体方向和关键分割面的基础。而凸包算法，则能帮我们找到包围鱼身所有轮廓点的最小凸多边形，这个多边形对于确定鱼的整体外接矩形、计算质心、以及后续规划切割路径至关重要。两者的结合，构成了从“感知”到“决策”的视觉分析骨架。接下来，我将详细拆解我们是如何设计这套系统，并一步步将其实现落地的。

2. 系统整体设计与核心思路拆解

2.1 需求分析与技术选型考量

接到需求后，我们并没有直接扎进代码里，而是先去生产线蹲点了两天。目的是理解“人”是怎么做的。我们发现，熟练工的操作流程可以抽象为：一眼扫过去定位鱼头鱼尾 -> 根据鱼种和规格，心中确定几条切割线（去头线、去尾线、剖腹线） -> 下刀。其中，定位依赖的是鱼体明显的几何特征（头尾的突尖、眼睛、鳃盖轮廓）；确定切割线则依赖于对鱼体对称轴和腹部位置的判断。

因此，我们的自动化系统需要模拟这个过程，技术栈的选择围绕以下核心需求展开：

1. 实时性：生产线节拍通常在每秒1-2条鱼，图像处理必须在几百毫秒内完成。
2. 鲁棒性：鱼体表面有黏液、反光、鳞片纹理；背景可能有水渍、传送带纹理；鱼的颜色、大小、姿态（正放、侧翻）各异。算法必须能应对这些干扰。
3. 准确性：切割精度直接关系到出肉率，关键点定位误差需控制在毫米级（在图像像素层面）。
4. 可维护性：产线工人需要能简单调整参数以适应不同鱼种（如三文鱼、鲈鱼、带鱼）。

基于这些，我们放弃了训练一个端到端深度学习模型的黑箱方案。虽然深度学习在目标检测上很强大，但其需要大量标注数据、计算资源，且调试和解释性较差。对于这种特征相对固定（鱼的整体形状、关键部位几何特征明显）且对实时性和可靠性要求极高的工业场景，我们决定采用传统计算机视觉算法为主，深度学习为辅的混合策略。

核心方案：使用OpenCV库作为视觉处理基础。首先通过背景差分或阈值分割初步分离鱼体与背景；然后利用凸包算法快速获取鱼的整体轮廓和方向，用于粗定位和姿态校正；接着，在感兴趣区域（如鱼头附近）应用霍夫变换来精确检测眼睛（圆）或鳃盖线（直线），从而精确定位去头切割点；最后，结合凸包计算出的中轴线，规划出剖腹的切割路径。整个流程清晰、模块化，每个步骤都可调、可解释。

2.2 硬件系统搭建与选型要点

视觉系统离不开硬件的支持，选型不当，再好的算法也无用武之地。

• 工业相机：我们选择了全局快门的CMOS相机，而非卷帘快门。因为鱼在传送带上可能快速移动，卷帘快门会产生“果冻效应”，导致图像扭曲。分辨率根据鱼体大小和精度要求定为200万像素（1600x1200），这个分辨率能在视野覆盖整条鱼的同时，保证关键特征有足够像素用于分析。
• 镜头：选用焦距合适的定焦工业镜头，确保景深能覆盖传送带的高度波动。光圈不宜过大，以保持足够的景深，避免因鱼体轻微起伏导致部分区域模糊。
• 光源：这是成败的关键之一。鱼体表面反光严重，我们采用了穹顶积分光源。这种光源从四周漫反射照明，能极大程度地消除反光，使鱼体表面的亮度非常均匀，轮廓清晰。我们选择了白色LED光源，并加了偏振片来进一步抑制特定角度的镜面反射。
• 工控机：搭载了英特尔i5处理器和8GB内存，负责运行视觉处理程序。虽然算法不算特别复杂，但稳定的工业级硬件是保证24小时连续运行的基础。
• 机械臂与切割单元：这部分由客户现有设备改造，我们通过以太网或串口向其发送切割坐标序列。

注意：光源的打光测试至关重要。建议在设备安装前，用相机和光源样品在现场进行多角度测试，观察不同鱼种在不同位置时的成像效果，确保在最差情况下轮廓也能完整提取。

3. 核心算法解析：霍夫变换与凸包的应用细节

3.1 图像预处理：从原始图像到清晰轮廓

相机采集到的原始RGB图像包含大量噪声和无关信息。我们的预处理流水线如下：

1. 灰度化：将彩色图转为灰度图，减少数据量。cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)。
2. 滤波去噪：使用高斯滤波cv2.GaussianBlur()平滑图像，抑制鳞片纹理和微小噪声，避免其对后续边缘检测产生干扰。核大小选择(5,5)，这是一个在去噪和保留边缘间取得平衡的常用值。
3. 背景分割：这是关键一步。由于我们使用了定制化的光源和背景（深色传送带），背景相对简单。我们尝试了两种方法：
   • 固定阈值分割：cv2.threshold(gray, 60, 255, cv2.THRESH_BINARY)。适用于光照极其稳定的情况。但鱼体颜色深浅不一，可能导致部分区域（如深色鱼背）被误判为背景。
   • 自适应阈值分割：cv2.adaptiveThreshold()。效果更好，能应对鱼体表面的明暗变化，更完整地提取出鱼体区域。我们最终选择了这个方法。
4. 形态学操作：二值化后的图像可能存在小孔洞（鱼身反光区域）或毛刺。
   • 先用cv2.morphologyEx()进行闭运算（先膨胀后腐蚀），填充轮廓内部的小黑洞。
   • 再用开运算（先腐蚀后膨胀），消除轮廓外围的小噪点和平滑边界。
5. 轮廓查找：使用cv2.findContours()提取最大连通区域（即鱼体）的轮廓点集。这个点集是后续所有几何分析的起点。

# 示例代码片段：预处理与轮廓提取 import cv2 import numpy as np def preprocess_and_get_contour(image): # 灰度化 gray = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY) # 高斯滤波 blurred = cv2.GaussianBlur(gray, (5, 5), 0) # 自适应阈值分割 binary = cv2.adaptiveThreshold(blurred, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, 11, 2) # 形态学闭运算，填充内部孔洞 kernel = np.ones((3,3), np.uint8) closed = cv2.morphologyEx(binary, cv2.MORPH_CLOSE, kernel) # 查找轮廓 contours, _ = cv2.findContours(closed, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) # 假设最大的轮廓是鱼体 fish_contour = max(contours, key=cv2.contourArea) return fish_contour

3.2 凸包算法：快速把握整体形态

拿到鱼的轮廓点集（可能由数百个点组成）后，我们首先用凸包算法来简化问题。凸包是包含所有轮廓点的最小凸多边形。计算凸包使用cv2.convexHull()函数。

为什么用凸包？

1. 降噪与简化：原始轮廓包含大量凹陷细节（如鳍条缝隙），凸包提供了一个更光滑、更简单的几何表示，便于快速计算整体属性。
2. 计算关键几何特征：
   • 方向：通过cv2.fitEllipse()拟合凸包的最小外接椭圆，其长轴方向即为鱼体的大致朝向。这对于后续旋转校正图像、使鱼体水平至关重要。
   • 外接矩形：cv2.minAreaRect()计算凸包的最小外接旋转矩形。这个矩形的中心、长宽和角度，给出了鱼在图像中的精确位置、尺寸和偏转角度，是机械臂抓取或定位的绝佳参考。
   • 质心：凸包多边形的质心，可以近似作为鱼体的平衡中心点。

def analyze_with_convexhull(contour): # 计算凸包 hull = cv2.convexHull(contour) # 计算最小外接旋转矩形 rect = cv2.minAreaRect(hull) box = cv2.boxPoints(rect) # 获取矩形四个顶点 box = np.int0(box) # 计算凸包质心 M = cv2.moments(hull) cx = int(M['m10']/M['m00']) cy = int(M['m01']/M['m00']) # 拟合椭圆，获取方向 if len(hull) > 5: # fitEllipse需要至少5个点 ellipse = cv2.fitEllipse(hull) (center, axes, angle) = ellipse # angle 即方向角 return hull, rect, box, (cx, cy), ellipse

实操心得：凸包计算非常快，是后续处理的“先锋”。但它会丢失凹部信息。例如，鱼的腹部通常是内凹的，凸包会将其“撑起来”。因此，凸包结果不能直接用于确定腹部切割线，它主要用于整体定位和姿态纠正。

3.3 霍夫变换：精准定位关键特征线/点

在鱼体大致摆正后，我们需要精确定位具体的切割基准线。这里霍夫变换大显身手。

霍夫直线变换（Hough Line Transform）：

• 应用场景：定位鱼的脊骨线。去头、去尾、剖腹的切割线，通常需要平行或垂直于脊骨线。
• 原理简述：它将图像空间中的直线检测问题，转换到参数空间（霍夫空间）中进行投票。图像中一条直线由参数 (ρ, θ) 表示，经过该直线的所有点在霍夫空间中对应的曲线会交于一点。找到这个交点，就找到了直线。
• 我们的用法：
  1. 在预处理后的二值图像或边缘检测（如Canny）图像上，我们只对鱼体上半部分（背部区域）进行ROI截取，减少腹部复杂边缘的干扰。
  2. 使用cv2.HoughLinesP()（概率霍夫变换），它返回线段的端点，效率更高。
  3. 从检测到的多条线段中，根据角度（θ）和位置进行筛选，找出最接近水平（对应已纠正图像的X轴）且位于鱼背上方的长线段，作为脊骨线的近似。

def find_backbone_line(edge_image, roi_mask): # edge_image: Canny边缘检测后的图像 # roi_mask: 只关注鱼背上半部分的掩膜 masked_edge = cv2.bitwise_and(edge_image, edge_image, mask=roi_mask) lines = cv2.HoughLinesP(masked_edge, 1, np.pi/180, threshold=50, minLineLength=100, maxLineGap=10) backbone_line = None if lines is not None: for line in lines: x1, y1, x2, y2 = line[0] angle = np.arctan2(y2 - y1, x2 - x1) * 180 / np.pi # 筛选角度接近0度（水平）的线段 if abs(angle) < 15: if backbone_line is None or (abs(x2-x1) > abs(backbone_line[2]-backbone_line[0])): backbone_line = line[0] # 取最长的符合条件的线段 return backbone_line

霍夫圆变换（Hough Circle Transform）：

• 应用场景：定位鱼的眼睛。鱼眼通常是一个深色的近似圆形，是确定鱼头位置最可靠的天然标记。
• 原理简述：在图像空间中，圆由圆心 (a, b) 和半径 r 三个参数确定。霍夫圆变换在三维参数空间中累加，找到投票数最多的 (a, b, r) 组合。
• 我们的用法：
  1. 在鱼体前端（根据凸包或外接矩形判断）划定一个较小的ROI。
  2. 对这个ROI进行灰度变换和阈值处理，增强眼睛（暗区域）与周围组织的对比度。
  3. 使用cv2.HoughCircles()进行检测。需要仔细调节param1（边缘检测阈值）、param2（圆心累加阈值）、minRadius和maxRadius参数。

def find_fish_eye(gray_image, head_roi): # head_roi: (x, y, w, h) 鱼头区域 x, y, w, h = head_roi roi = gray_image[y:y+h, x:x+w] # 增强对比度，突出眼睛 roi_eq = cv2.equalizeHist(roi) circles = cv2.HoughCircles(roi_eq, cv2.HOUGH_GRADIENT, dp=1, minDist=20, param1=50, param2=30, minRadius=5, maxRadius=15) if circles is not None: circles = np.uint16(np.around(circles)) # 通常取第一个或半径最合适的圆 return (circles[0, 0][0] + x, circles[0, 0][1] + y), circles[0, 0][2] # 返回全局坐标和半径 return None, None

注意：霍夫圆变换对参数非常敏感，且计算量相对较大。在实际生产中，如果鱼种固定且眼睛特征明显，有时直接用模板匹配或寻找最大连通暗区域的方法可能更稳定、更快。霍夫变换更适合作为备选或验证方案。

4. 系统集成与切割路径规划实战

4.1 从像素坐标到世界坐标的转换

视觉系统输出的是图像像素坐标 (u, v)，而机械臂需要的是在传送带坐标系下的三维世界坐标 (X, Y, Z)。这里涉及手眼标定。我们采用经典的“九点标定法”：

1. 制作一个带有9个已知间距特征点（如圆形标记）的标定板，固定在传送带平面上。
2. 机械臂末端携带一个尖点，依次移动到9个点的实际世界坐标位置，并记录下每个位置对应的相机图像中的像素坐标。
3. 通过求解一组线性方程，得到从像素坐标到世界坐标的变换矩阵（单应性矩阵）。这个矩阵包含了相机的内参（焦距、主点）和外参（相机相对于传送带的位置和姿态）的融合信息。

一旦得到变换矩阵H，对于任何检测到的像素点p_pixel = [u, v, 1]，其对应的世界坐标p_world = [X, Y, 1]可以通过p_world = H * p_pixel计算得到（需归一化）。Z坐标通常固定为切割平面高度，或通过激光测距传感器单独获取。

4.2 切割路径规划逻辑

结合凸包和霍夫变换的结果，我们规划切割路径的逻辑如下：

1. 确定鱼体基准与方向：

   • 输入：原始图像。
   • 处理：预处理 -> 提取轮廓 -> 计算凸包 -> 拟合最小外接矩形。
   • 输出：鱼体的中心点(cx, cy)、偏转角度angle、外接矩形box。

2. 姿态校正：

   • 根据偏转角度angle，旋转图像或直接旋转计算出的关键点坐标，使鱼体在逻辑上处于水平状态。这简化了后续所有基于水平/垂直方向的切割线计算。

3. 关键点定位：

   • 鱼眼定位：在矫正后的图像头部ROI内，使用霍夫圆变换定位眼睛中心eye_center。这是鱼头基准点。
   • 脊骨线定位：在背部ROI内，使用霍夫直线变换定位脊骨线backbone。取其贯穿鱼身的中段部分作为方向参考。

4. 生成切割线（在水平校正后的坐标系下）：

   • 去头线：垂直于脊骨线（即垂直方向），穿过鱼眼后方一个固定距离d_head（例如，从眼睛中心向鱼尾方向移动鱼头长度的1/4处）。这个距离参数d_head需要根据不同鱼种进行标定。
   • 去尾线：同样垂直于脊骨线，位于鱼体末端向前一个固定距离d_tail处（例如，从凸包或轮廓的最尾点向鱼头方向移动鱼体全长的1/10）。可以通过查找轮廓在尾部方向上的极值点来确定末端。
   • 剖腹线：平行于脊骨线。其位置由鱼体宽度决定。首先，在鱼体中部（去头去尾线之间）做多条垂直于脊骨线的扫描线，与轮廓相交得到左右边界点。剖腹线通常位于中心线偏向腹部一侧。一个实用的方法是：取每条扫描线上，从脊骨线到腹部轮廓点的距离，取这个距离的某个比例（如1/3或1/2）处作为剖腹点，连接这些点形成剖腹线。更简单的方法是直接使用轮廓的凸包缺陷（Convexity Defects）来找到腹部最大的凹陷点作为参考。

5. 坐标转换与发送：

   • 将计算出的所有切割线端点（像素坐标），通过手眼标定矩阵H转换到机械臂坐标系下的世界坐标。
   • 按照切割顺序（例如：先去尾 -> 再去头 -> 最后剖腹），将坐标序列和运动指令（如直线插补、速度、刀头开合）封装成协议，发送给机械臂控制器。

# 简化的路径规划伪代码逻辑 def plan_cutting_path(hull, backbone_line, eye_center, transform_matrix_H): # 假设图像已根据凸包角度校正，鱼体水平 # 1. 去头线 head_cut_x = eye_center[0] + d_head # d_head 为预设参数 head_cut_line = ( (head_cut_x, y_top), (head_cut_x, y_bottom) ) # 垂直线 # 2. 去尾线 tail_point = find_tail_point(hull) # 查找轮廓最右点（水平校正后） tail_cut_x = tail_point[0] - d_tail tail_cut_line = ( (tail_cut_x, y_top), (tail_cut_x, y_bottom) ) # 3. 剖腹线 belly_points = [] for scan_y in range(y_top, y_bottom, step): # 在y=scan_y处，找到轮廓与水平线的左右交点 left_pt, right_pt # 脊骨线在该y值处的x坐标： backbone_x # 假设剖腹线在中心偏下位置，例如取 (backbone_x + (right_pt - backbone_x)/3) belly_x = backbone_x + (right_pt - backbone_x) / 3 belly_points.append( (belly_x, scan_y) ) belly_line = fit_line_through_points(belly_points) # 拟合为一条直线 # 4. 坐标转换 cutting_lines_world = [] for line in [head_cut_line, tail_cut_line, belly_line]: line_world = [] for pt_pixel in line.endpoints: pt_world = apply_homography(transform_matrix_H, pt_pixel) line_world.append(pt_world) cutting_lines_world.append(line_world) return cutting_lines_world

4.3 系统工作流程与实时性优化

整个系统集成在工控机的上位机软件中，主循环流程如下：

1. 触发拍照：通过光电传感器检测鱼体到达拍摄工位，触发相机抓拍。
2. 图像处理：执行预处理、凸包分析、霍夫变换等算法链。
3. 路径规划：根据算法结果计算切割路径。
4. 通信与控制：将路径坐标发送给机械臂控制器。
5. 结果反馈与日志：机械臂执行完成后反馈信号，系统记录本次处理的图像、关键点和结果（可选），用于后期统计和算法优化。

为了满足实时性要求，我们进行了以下优化：

• ROI限制：绝不处理整张图。凸包分析用全图轮廓，但霍夫变换只在关键的头部和背部小ROI内进行。
• 算法参数调优：在保证准确率的前提下，使用更低的图像分辨率进行初步分析，或降低霍夫变换的精度（如增大rho和theta的步长）。
• 并行与流水线：当机械臂在执行当前鱼的切割时，视觉系统已经开始处理下一条鱼的图像。
• 查找表（LUT）：对于固定的标定参数和几何换算，预先计算好查找表，减少运行时计算量。

5. 常见问题、调试心得与效果评估

5.1 典型问题排查清单

在实际部署和调试中，我们遇到了各种各样的问题，以下是部分典型问题及解决思路：

5.2 实操心得与经验之谈

1. “简单算法+可靠工程”优于“复杂模型+脆弱流程”：在这个项目里，我们没有追求最前沿的深度学习模型，而是把经典的凸包和霍夫变换用扎实的工程方法实现稳定。工业现场的首要要求是稳定、可调试、可解释。一个偶尔失效的复杂模型，远不如一个始终稳定运行的简单算法。
2. 光路设计是成功的一半：在机器视觉项目里，花在打光和镜头选型上的时间，往往比写代码的时间更有价值。一个好的成像效果，能让后续算法的复杂度降低一个数量级。务必在现场反复测试光照。
3. 参数不要写死在代码里：所有阈值、距离参数、ROI比例，都应该做成可配置文件。现场调试工程师可能不懂代码，但必须能通过修改一个config.ini文件来微调系统。我们甚至做了一个简单的GUI，用滑块实时调整参数并观察效果。
4. 添加充分的异常处理和状态反馈：系统必须能处理“异常情况”，比如没拍到鱼、检测失败、轮廓异常等。这时应触发报警（声光提示）并跳过当前物品，而不是死机或发出错误指令。每一次处理结果（成功/失败及原因）都应记录日志，这是后期优化和维护的宝贵资料。
5. 机械与视觉的协同：视觉给出的是理想坐标，但机械臂有重复定位误差、刀具存在磨损。我们留出了一个“微调偏移量”的接口，允许操作员在实际切割几件后，根据实物效果对切割线进行整体平移或旋转微调，这个功能在现场非常实用。

5.3 效果评估与后续展望

项目上线后，我们进行了为期一个月的跟踪统计：

• 效率：切割节拍从人工的约1.5秒/条提升到0.8秒/条，效率提升约47%。
• 出品率：由于切割位置精确一致，平均出品率提升了约2个百分点，并且波动范围（标准差）大大缩小。
• 稳定性：在连续72小时压力测试中，系统误检/漏检率低于0.5%，满足生产要求。

当然，系统仍有局限。例如，对于严重弯曲的鱼（如鳗鱼），或者眼睛被遮挡的鱼，当前算法的效果会打折扣。未来的优化方向可以考虑：

1. 引入轻量级深度学习模型：用一个小型神经网络专门做鱼眼和关键点的检测，作为对传统算法的补充和验证，提升复杂情况下的鲁棒性。
2. 3D视觉：引入双目相机或激光轮廓仪，获取鱼的深度信息。这样不仅能更精确地定位，还能计算鱼的体积和厚度，为切割力度和深度控制提供依据，实现真正的“自适应”切割。
3. 数字孪生与仿真：在导入新鱼种参数前，先在仿真环境中模拟切割过程，预测出品率，从而快速确定最优切割参数。

这个项目让我深刻体会到，将计算机视觉技术应用于传统工业，不是一个简单的算法移植，而是一个需要深度融合光学、机械、控制、软件工程的系统性工程。解决问题的过程，就是不断在算法的理想性与工程的现实性之间寻找最佳平衡点的过程。