基于MLLMs与YOLOv8协同的电力巡检图像识别方法OA

为解决电力智能巡检中小样本场景下图像识别精度与泛化性不足的难题,文章提出了一种融合多模态大模型(MLLMs)与YOLOv8算法的协同识别方法。在训练阶段,利用真实图片联合提示词引导多模态大模型生成多角度、多状态的增广样本,用以训练YOLOv8模型,从而增强其泛化能力与识别准确性。在推理阶段,设计了一种基于YOLOv8多级置信度的划分方法,并依据设定阈值动态决定是否引入大模型进行联合推理。最后,基于变电站巡检数据的实验结果表明,该方法有效提高了小样本条件下的识别性能,验证了其可行性与有效性。