学习 | 图像识别技术在渔船监管中的应用

海洋渔业是中国的一种优势产业,但是因为中国渔船种类较多,作业范围广,从业人员规模较大,所以对于渔船安全的监管力度要求很高。不法渔船多为“三无船舶”(无船名船号、无船舶执照、无船籍港),人员流动性大,对渔船监督工作造成极大的困难；但即使配备了AIS的身份识别装置,部分不法渔船仍可能通过故意关闭AIS系统,或修改AIS信息来规避国家监督管理机关的监督。近年来,全国沿海各地正在积极探索“依港管船”和“港长制”,依托渔港管渔船、管船员、管安全,并已将渔船进出港报告制度落地实施,因此在渔港内建设完善的监管系统可以有效的消除港内渔船安全隐患及强化对涉嫌违法渔船、涉渔“三无”船舶的安全执法监督。

1. 图像识别在渔船监管中的技术实现

深度学习算法是机器学习方面的重要方法之一,可以形成相应用来建模人体脑部的神经连接结构的模式,对图形、语音和图像等有关信息的数据等,加以分析和描述。近年来,依靠深度学习的图像识别方法已主要运用于图像识别、交通视频监控、医疗画像分析等各方面。通过将渔船图片数据集录入神经网络模块中,对图片的特点进行识别、提炼、分析,同时通过不断训练与学习,使用训练好的模块可以在实时视频中更有效的获得渔船目标,进而自动进行渔船身份识别,对“问题渔船”进行管控并形成重点渔船信息库,从而实现依港渔船监管。

1.1 渔船图像采集

计算能力和数据数量是影响深度学习算法模型的两个重要因素,数据集的数量和质量对检测结果影响非常大。数据集中包含通过高清晰摄像头在不同时间、不同天气、不同高度所捕捉的来往渔船图像以及拍摄的渔船影像信息,同时为增加数据集中图片的数量与质量,还须提供数字船只影像拍摄设备,考虑到各个阶段的拍摄,还须配置热成像镜头以及红外激光摄像机。

1.2 渔船目标检测

基于深度学习的目标检测方法分为两类,一类是两级式检测,主要分为两个步骤,第一是选择候选区域,第二是在候选区域内进行分类回归；另一类是单级式检测,整个过程是利用卷积神经网络提取特征生成特征图,再通过不同长宽比的锚点框在特征图上进行采样后进行分类回归,一次性完成检测。本文使用单级式检测框架中的YOLOV3算法,该算法综合性能较好,是目前检测精度和速度平衡性能最好的算法之一,可满足对渔船目标检测的实时性和准确性的要求。

YOLO算法(YouOnlyLook Once)作为一个深度神经网络模型,主要用于目标检测。目标检测任务主要由以下两个部分构成：

1)对物品分类;

2)确定出目标物品在图中的具体位置。

YOLOV3采用了从端至端的设计思想,把目标检测重构为简单的回归现象,从图象的元素数,可以直观得到目标位置和分类概率。首先需要将图片缩放到指定尺寸(768*736),再将图片划分成S*S的小格,每个网格对应原图上的某一块区域,然后在每个网格中预测是否有物体以及属于该类物体的类别。然后通过先验框和偏移量进行预测框,预测后,把数据输入到网络里,再通过锚框和偏移量最后得出预测框的四个位置,这样的预测框可以有很多种,接着再通过对IoU的置信度进行非极大值抑制筛选预测框,从而得到最后预期的结果,见图1。如果需要测算准确率,通过检测结果与实际结果的对比,进而测算得出网络的准确性。

微信图片_20230130161355.png

图1 渔船目标检测效果

1.3 渔船船舶分类

对渔船实施监控,要通过渔船分类模型把目标渔船在航道上同行的旅客、货轮、拖轮、公共事务船舶等不同船只中识别开来。

经典分类方法包含特征提取以及分类器训练两个步骤,而传统方法需要对被分类目标有充分的了解才能提取准确的特征,对分类模型门槛过高且针对不同分类任务移植性不高。近几年的研究表明,在图像分类任务中,相比于传统分类方法,利用CNN提取抽象特征再结合SVM分类器的分类方法的分类效果要更好。

陈泽创提出将深度卷积神经网络模型结合经典的SVM分类器为一个整体,进而可以提取不同角度、不同局部区域的渔船船舶特征,并利用该特征对在复杂环境中的不同类型船舶进行分类实验。首先将训练集的船舶图像作为输入,将AlexNet模型进行迁移学习,使模型能够辨认渔船、货船、公务船之间不同的特点,然后将学习后的AlexNet对训练集的船舶图像进行特征提取,然后将测试集的船舶图像输入学习后的AlexNet进行特征提取,最后根据各自全连接层特征训练好的SVM分类器完成的三类船的分类预测,如图2,并统计分类准确率。

微信图片_20230130161358.png

图2 渔船船舶分类效果图

1.4 重点渔船信息库

通过将图片收集平台对抓拍到的重点渔船图像加以分组识别后,系统将自动形成重点渔船图片库,也可以通过从其他途径获取的重点渔船图像加以扩充。利用图像分割模块对图片通过与目标背景分离,以获取目标像素,在实施了背景消除、图像去噪、数据强化等措施以后,再使用机器学习的方式完成特征提取,以建立船舶特征库。对正常使用并启动AIS系统的渔业船舶,要求其AIS档案资料与船舶信息数据库相关联；关于没有安装AIS或修改AIS数据的问题渔船,可通过人工输入的方法对其资料加以完善。

1.5 渔船身份识别

渔船在检测并分类出之后,就必须把这些数据的船舶信息放到船舶的数据库中进行匹配,对渔船船舶身份进行自动识别。然后以AIS信息中的船舶信息参数为参考基准,与基于图像模型和船舶特征库比对后提取的船舶信息参数进行对比分析,判别是否是“问题渔船”。在问题渔船出入港口后,主管部门通信平台能够快速掌握情况,及时采取相应对策进行追踪调查、跟踪整治,直至解决,有效杜绝安全隐患,具体流程见图3。

微信图片_20230130161401.png

图3 渔船身份识别与告警流程图

2.渔船监管系统技术应用

从整体来看,渔船监管系统的实现除了基于深度学习的图像识别技术之外,还需要多源系统信息融合、多摄像机接力跟踪、虚拟“电子围栏”设立,最终在前端可视化平台上进行展示。

2.1 多源系统信息融合

AIS基站能够接受到60公里海域内渔船的身份信号,而利用CCTV系统和图像识别技术可以掌握渔船的类别和身份信息。采用整合AIS信息系统、综合海事VTS信息系统、CCTV闭路电视监控系统和港口调度等多元化技术手段,可以获得更为精确的信息,与渔船重点数据库相比,能够更全面了解渔船的航行动向和在船人信息,并及时有效的判断渔船身份。

根据“一船一档”的原则,为每一艘渔船建立电子档案,建立渔船档案库,提供渔船档案的综合检索查询、统计分析、可视化展示等功能。将渔业船舶进出港时的数据资料、渔船在港口状态和渔业船舶在各港口的位置状况自动记录并提交至系统,能够即时掌握渔业船舶进出港的锚泊数据,及时了解航线的通行状况,通过流量统计数据实现渔船的调配。进行人员管理,建设船员证书信息库,同时进行大数据分析、资料检索、人员身份验证、船员培训船员的管理等业务。提供台风、海浪等预警报信息的集成与推送,为渔船实时提供气象服务。

2.2 多摄像机接力目标跟踪

由于单个摄像头监视区域和监测视角受限,加之目标追踪不稳、复杂场景遮挡难以辨认等问题,必须采用多个摄像头以实现大范围、多角度、长距离的目标跟踪。采用多摄像机进行目标识别与定位最重要的是多摄像头之间的协同合作,首先每个摄像头对目标都需要进行识别跟踪,然后利用目标的空间信息与颜色特征进行接力。

2.3 虚拟“电子围栏”

港口内虚拟的电子围栏系统是将经过数字化、信息化后的一系列坐标或控制点所围成的港口内区域,可以对该特定地区进行即时监视,一旦有未经许可的船只私自进入该港区内或在该港区未获许可而私自离开时,电子围栏系统会产生预警或警报的信息,并适时提醒有关人员对预警信息加以确认。港口虚拟“电子围栏”可将港口码头、港外作业点、过驳点等所在区域的经纬度虚拟成为一系列坐标点,再结合GPS、AIS、CCTV、VTS及船只动态管理、船只进出港报告系统等,设置成港口虚拟“电子围栏”,并同时整合了ECS电子海图以及ECDIS电子海图显示系统,并通过与海事综合监管平台后台数据系统进行整合,可有效实现船舶身份识别。当船只进入虚拟"电子围栏"控制区时,信息系统可进行手动比对,对不符合要求的渔船,从前端显示系统中作出预警及警报等信息提醒,以提示有关人员及时进行了解和处置,也可采用如AIS轨迹标记、CCTV拍摄、VTS自动截图等技术手段,将有关证据上传至后台系统的数据分析管理系统。

2.4 前端展示平台

基于船舶信息数据库、航道信息数据、电子海图数据、港口信息数据以及海洋大数据,增强数据互联与信息互通,将整个监控区域内的渔船目标检测、身份识别、录像取证、报警管控等功能整合到一个综合的前端展示平台上呈现（如图6）,实现岸基管理、船队、船舶及船舶设备、船员、救生设备等的全面连接,可实现信息一体化和监管一体化,使监管过程更加直观化、信息化、可视化,系统中的报警和视频回放功能可让相关工作人员快速定位并跟踪目标,充分高效的提高监管效率和监管水平。

微信图片_20230130161359.png