CN112669348A - 一种鱼体姿势估计和鱼体表型数据测量方法及装置 - Google Patents
一种鱼体姿势估计和鱼体表型数据测量方法及装置 Download PDFInfo
- Publication number
- CN112669348A CN112669348A CN202011507156.0A CN202011507156A CN112669348A CN 112669348 A CN112669348 A CN 112669348A CN 202011507156 A CN202011507156 A CN 202011507156A CN 112669348 A CN112669348 A CN 112669348A
- Authority
- CN
- China
- Prior art keywords
- fish
- fish body
- phenotype data
- information
- key points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000251468 Actinopterygii Species 0.000 title claims abstract description 203
- 238000000691 measurement method Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims abstract description 52
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims abstract description 36
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 238000005259 measurement Methods 0.000 claims abstract description 30
- 238000013135 deep learning Methods 0.000 claims abstract description 14
- 230000009466 transformation Effects 0.000 claims abstract description 13
- 241000252498 Ictalurus punctatus Species 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 17
- 230000008569 process Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 4
- 238000002474 experimental method Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 2
- 238000012805 post-processing Methods 0.000 claims description 2
- 238000005452 bending Methods 0.000 abstract description 4
- 230000036544 posture Effects 0.000 description 36
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 241001233037 catfish Species 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000003938 response to stress Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 241000937995 Ictalurus furcatus Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
- Y02A40/81—Aquaculture, e.g. of fish
Landscapes
- Image Analysis (AREA)
Abstract
本发明提供了一种鱼体姿势估计和鱼体表型数据测量方法及装置，方法包括：本发明采集鱼的侧面和俯视图像样本；基于Resnext101‑ssd300网络结合特征金字塔FPN进行俯视图和侧视图图像的目标检测，确定鱼体的具***置，得到鱼的包围盒信息，将鱼的图像裁剪出来作为下一步骤的输入；基于Hourglassnet深度学习网络模型检测鱼的关键点，并获取关键点坐标信息；利用提取到的关键点坐标信息，构建出鱼在水中的姿势骨架结构，进行鱼体姿势估计；根据获取得到的关键点坐标信息，结合三维空间变换以及比例参数计算得到鱼体表型数据。本发明基于目标检测和关键点定位模型获取得到关键点坐标信息，利用关键点信息构建鱼在水中的姿势骨架结构以及计算鱼体表型数据，提升了鱼体表型数据的测量准确率，从而从根源上解决了现有的鱼在水中的弯曲形态导致测量不准确的技术问题。
Description
技术领域
本发明属于计算机视觉领域，基于计算机视觉实现测量，具体涉及一种鱼体姿势估计和鱼体表型数据测量方法及装置。
背景技术
传统的鱼类表型数据测量方法可以分为接触式直接测量和非接触式间接测量两种方法。接触式直接测量方法为离水人工测量，主观性强，且给鱼带来强烈的应激反应，损伤大。
对于非接触式间接测量方法，在鱼的表型数据测量研究当中，国内外的相关学者基于计算机视觉技术也做出了大量的研究。在水产生物的形态参数测量上，有许多国内外的研究人员已经开展了相关的一系列研究。例如，Irving等在鱼游过特定的通道时，拍摄鱼的侧面图像，通过图像处理的方式计算鱼的长度，并根据鱼的长度来预测鱼的体重。Carlos等将鱼苗放在小容器中，通过固定鱼相对于摄像机的位置，使鱼靠近标准刻度尺，方向垂直于横轴，以达到提高测量精度的目的。Lines等将时间间隔相邻的两张图片相减，得到的图像中鱼头部分因鱼的运动而出现“新月形”，用鲁棒性较好的二进制模式分类器识别鱼头，再根据鱼体的大概位置和方向用点分布模型(Point Distribution Model,PDM)识别鱼的边界，并确定边界上的关键特征点，计算鱼的表型数据，并根据鱼的长度预测鱼的体重。然而，研究学者的思路都是在图像上做预处理后，提取图像轮廓，在轮廓上通过构建特定的特征寻找关键点，再通过关键点得到最终的表型数据，这种方法具有一定的可取性，但是受鱼体形态，姿势等影响，人工构建的特征存在一定的误差。
另一种思路是基于深度学习的方法检测出特定区域的位置，根据得到的检测框计算表型数据，再根据比例尺关系得到最终的尺度信息；在深度学习领域，大部分的方法是通过目标检测领域内的方法研究好的检测方法来更好的检测出鱼在水中方法。现有的目标检测方法包括：R-CNN、SPP-NET、Fast R-CNN、YOLO、SSD等。但是，在目标检测领域内，大部分的网络是基于传统的骨干网络，没有很好地考虑到网络的实习性，并且在特征融合层面，没有一个好的解决方案。另外，在测量领域，目标检测只能粗略的检测出鱼的位置信息，对于鱼体的弯曲形态没有好的解决办法，在关键点定位领域，脱离了目标检测的方法会存在关键点定位的偏差。
因此，如何解决鱼在水中的弯曲形态导致测量不准确的问题以及如何实现姿势骨架的构建，是本领域亟待解决的问题。
发明内容
本发明的目的是针对现有技术的缺陷，提供一种鱼体姿势估计和鱼体表型数据测量方法及装置。本发明提出了基于目标检测和关键点定位的鱼体全长和体高的测量方法，同时还可基于关键点信息构建出鱼在水中的姿势骨架结构，能够很好的解决鱼在水中的弯曲形态导致测量不准确的问题，减少人工操作、操作简单便捷、测量准确率高。
为了实现以上目的，本发明采用以下技术方案：
一种鱼体姿势估计和鱼体表型数据测量方法，包括步骤：
S1、采集鱼的侧面和俯视图像样本；
S2、基于Resnext101-ssd300网络结合特征金字塔FPN进行俯视图和侧视图图像的目标检测，确定鱼体的具***置，得到鱼的包围盒信息，将鱼的图像裁剪出来作为下一步骤的输入；
S3、基于Hourglassnet深度学习网络模型检测鱼的关键点，并获取关键点坐标信息；
S4、利用提取到的关键点坐标信息，构建出鱼在水中的姿势骨架结构，进行鱼体姿势估计；
S5、计算鱼体表型数据：根据获取得到的关键点坐标信息，结合三维空间变换以及比例参数计算得到鱼体表型数据。
进一步地，所述步骤S1包括：将装满3/4水的水盒内放入鱼后，将水盒放入图像样本采集设备，在该设备的上面和左侧布置工业相机，启动工业相机，采集放到水盒内鱼的侧面和俯视图像样本。
进一步地，所述步骤S2包括：输入图像是基于分辨率为300x300的图像，在经过结合注意力机制的Resnext101结构上提取不同stage的特征信息，在提取到图像特征信息后，将不同的特征信息经过FPN层后，在不同的stages上提取不同的anchor的bounding box信息；经过后处理后得到最终的鱼的包围框坐标。
进一步地，Resnext在原始resnet残差模块上做了改进，通过增加子模块的数量，实现在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量。
进一步地，特征金字塔FPN通过利用上一stage的特征上采样以及在下采样过程同stage的特征拼接起来，作为下一个阶段的输入，使网络能够学习更深层的特征信息。
进一步地，在网络学习过程中，采用ssd300的anchor设计，通过在不同stage上设置不同的anchor，以及不同anchor的ratio和size，使得网络能够在不同的特征信息输入下利用大量的不同尺寸的anchor去逼近学习鱼的包围框信息。
进一步地，所述步骤S3包括：检测出鱼的bounding box边框信息后，将裁剪得到的鱼的图像输入到Hourglassnet网络中，获取到俯视图和侧视图的不同的关键点定位坐标；其中，侧视图中需检测10个关键点，依据点的位置顺序排列；在俯视图上，需检测9个关键点。
进一步地，所述步骤S5包括：根据从侧视图和俯视图获取得到的关键点的信息，结合三维变换提取点的长度；在俯视图图上，将俯视图的关键点坐标信息分段处理提取出俯视图鱼身的分段曲线角度，在侧视图上，结合俯视图获取得到的鱼身曲线分段角度，计算出鱼体表型数据像素值，然后结合实验获取标尺在水中的比例尺信息，计算出最终的鱼体表型数据。
进一步地，所述鱼为斑点叉尾鮰鱼；所述鱼体表型数据包括鱼体的全长和体高数据。
本发明还提出一种鱼体姿势估计和鱼体表型数据测量装置，包括：
数据采集单元，采集鱼的侧面和俯视图像样本；
目标检测单元，基于Resnext101-ssd300网络结合特征金字塔FPN进行俯视图和侧视图图像的目标检测，确定鱼体的具***置，得到鱼的包围盒信息，将鱼的图像裁剪出来作为下一步骤的输入；
关键点定位单元，基于Hourglassnet深度学习网络模型检测鱼的关键点，并获取关键点坐标信息；
姿势骨架构建单元，利用提取到的关键点坐标信息，构建出鱼在水中的姿势骨架结构，进行鱼体姿势估计；
鱼体表型数据计算单元，根据获取得到的关键点坐标信息，结合三维空间变换以及比例参数计算得到鱼体表型数据。
本发明还提出一种计算机设备，所述设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提出一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明公开的一种鱼体姿势估计和鱼体表型数据测量方法及装置，与现有技术相比，具有如下优点：
1、本发明基于改进型resnext101-ssd300网络结合特征金字塔fpn目标检测方法定位鱼在水中的位置信息，提升了目标检测的准确性；
2、本发明基于Hourglassnet网络检测鱼的关键点的方法，且鱼体关键点位置是在鱼体自然伸展状态下获得，提升了鱼体表型数据关键点位置的准确性；
3、基于Hourglassnet网络检测到的鱼样本侧视图的10个关键点信息以及和俯视图的9个关键点信息，计算鱼体表型数据，提升了测量准确率；
4、基于检测到的关键点信息构建的鱼在水中姿势骨架方法，能够较好的进行鱼体姿势估计；
5、本发明的方法测量鱼表型数据时鱼处在水中自然游动状态下，表型数据整个测量过程在20秒内完成，减少了接触造成的应激反应，减少人工操作、操作简单便捷。另外，本发明的测量方法没有对鱼体的姿态进行约束，允许鱼在水盒内自由游动，即使鱼体弯曲，本方法也可以一次性准确的获取叉尾鮰的两种表型数据，该方法的鲁棒性强。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的鱼体姿势估计和鱼体表型数据测量方法流程示意图；
图2为本发明实施例提供的斑点叉尾鮰的外形及表型数据示例；
图3为本发明实施例提供的叉尾鮰鱼俯视图和侧视图图像采集设备；
图4为本发明实施例提供的斑点叉尾鮰鱼的目标检测结合关键点定位模型流程图；
图5为本发明实施例提供的目标检测总模型；
图6为本发明实施例提供的resnet残差模块；
图7为本发明实施例提供的resnext残差结构；
图8为本发明实施例提供的目标检测模型+关键点检测网络模型；
图9为本发明实施例提供的斑点叉尾鮰的侧视图标注信息以及侧视图标签图；
图10为在本发明实施例提供的叉尾鮰鱼俯视图标注信息以及俯视图标签图；
图11为本发明实施例提供的三维空间变换方法；
图12为本发明实施例提供的鱼体姿势估计和鱼体表型数据测量装置的各单元的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
下面结合附图和具体实施例对本发明作进一步说明，但不作为本发明的限定。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
术语解释：
目标检测：本发明中指的是通过算法检测出鱼在图像中的位置信息。
关键点：斑点叉尾鮰鱼体在鱼体姿势估计时需要的一些定位点。
姿势估计：本发明中的指的是描绘出鱼体在水中的姿势骨架。
本实施例提出了一种鱼体姿势估计和鱼体表型数据测量方法，如图1所示，鱼体姿势估计和鱼体表型数据测量方法包括以下步骤S1至S5：
S1、采集鱼的侧面和俯视图像样本；
所述鱼斑点叉尾鮰鱼。由于活体鱼在水中的姿势并非时时刻刻保持一个直线状态，大部分状态为弯曲的，无法通过一个摄像头精准有效的测量出鱼的表型数据，为此通过两个摄像头分别提取出鮰鱼个体在密闭盒子内的俯视图和侧视图图像。具体地，将装满3/4水的水盒内放入斑点叉尾鮰鱼后，将水盒放入图像样本采集设备，在该设备的上面和左侧布置工业相机，启动工业相机，采集放到水盒内斑点叉尾鮰鱼的侧面和俯视图像样本。
其中，表型数据包括鱼体的全长和体高，斑点叉尾鮰的外形及表型数据示例如图2所示。图像样本采集设备的硬件图如图3所示。
斑点叉尾鮰鱼的目标检测结合关键点定位模型流程图如图4所示，从该流程图中可以看出，在输入图像中输入到网络后，基于Resnext101-ssd300的网络会分别检测测试图和俯视图中的鱼的具***置，然后将分别检测出来的鱼的图像输入到网络中推理，得到鱼的侧视图和俯视图关键点坐标，最后，结合侧视图和俯视图的关键点坐标运用三维坐标变换得到最终的表型数据；其中包括了本发明的目标检测方法、关键点定位方法以及表型数据计算方法。步骤S2具体为：
S2、基于Resnext101-ssd300网络结合特征金字塔FPN进行俯视图和侧视图图像的目标检测，确定鱼体的具***置，得到鱼的包围盒信息，将鱼的图像裁剪出来作为下一步骤的输入；其中目标检测总模型如图5所示。下面对Resnext101、FPN(特征金字塔)、ssd300进行详细描述。
Resnext101：
具体地，残差网络是何凯明在2015年提出的一种新颖的深度学习网络结构模式，其充分的利用了跳跃式连接和原始的支路做拼接操作，resnet残差模块其结构如图6所示：第一行为卷积路，由三个核尺度不同的卷积层串联而成，间插有Batch Normalization层和Relu层；第二行为跳跃路，是只包含一个核尺度为1的卷积层；如果跳跃路的输入输出通道数相同，则这一路为单位映射。这样的一个结构有助于深度网络模型更高的提取特征信息，而不至于产生梯度***。简化版的残差模块Residual Module由两个参数控制：输入深度M和输出深度N。可以对任意尺寸图像操作。
Resnext在原始resnet残差模块上做了较大的改进，通过增加子模块的数量，从而实现在不增加参数复杂度的前提下提高准确率，同时还减少了超参数的数量。这种增加子模块数量的方式比增加深度和宽度更有效。其结构图显示如图7所示。
FPN(特征金字塔)：
在深度学习网络学习图像特征过程中，在下采样阶段，高分辨率的特征感受野大，但是位置信息低，低分辨率的特征感受野小，位置信息丰富，所以如何将具有感受野信息和位置信息结合起来，是具有一个挑战性的问题。特征金字塔很好的改善了这个问题，通过创新性的利用上一stage的特征上采样以及在下采样过程同stage的特征拼接起来，作为下一个阶段的输入，这个结构能很好的将感受野信息和位置信息结合起来，使得网络能够学习更深层的特征信息。
ssd300：
在网络学习过程中，我们采用了经典的anchor设计，结合了ssd300的anchor设计，通过在不同stage上设置不同的anchor，以及不同anchor的ratio和size，使得网络能够在不同的特征信息输入下利用大量的不同尺寸的anchor去逼近学习鱼的包围框信息。在anchor的ratio设计上，本发明采用的ratio分别为{1,0.5,2,1/3,3}的设计，能够很好的囊括出鱼这种大比例长宽比目标的学习。
S3、基于Hourglassnet深度学习网络模型检测鱼的关键点，并获取关键点坐标信息。
在得到鱼的bounding box信息后，将鱼的图像裁剪出来作为关键点定位模型的输入。Hourglassnet网络是Newell等人于2016年提出的一种用于人体姿势关键点检测的深度学习网络模型，通过级联的hourglass网络模块实现人体关键点精准定位。相对于其他方法，这种基于hourglass网络模块的深度网络模型拥有简明且易于拓展的结构，表现出了准确高效的性能。因此，本发明通过研究基于hourglass网络的关键点检测算法，实现对斑点叉尾鮰的表型数据测量。
最终的网络模型是利用上述的两个四阶Hourglass模型堆叠形成的深度神经网络模型，损失函数采用的是均方差损失函数。在图8中，左侧是目标检测网络，用于检测出鱼在图像的位置坐标信息，在推理阶段，检测出鱼的bounding box边框信息后，将裁剪得到的鱼的图像输入到关键点定位网络中，获取到俯视图和侧视图的不同的关键点定位坐标。
其中，侧视图中需检测10个关键点，依据点的位置顺序排列，斑点叉尾鮰的侧视图标注信息以及侧视图标签图如图9所示；在俯视图上，需检测9个关键点，叉尾鮰鱼俯视图的关键点显示图如图10所示。
采用上述的叉尾鮰俯视图和测试图的关键点定位方法和深度学习鱼样本关键点检测算法，能够很好的定位鱼身的关键点位置，且在鱼身弯曲的时候也能定位鱼的关键点，为后续的表型数据计算提供依据。
S4、利用提取到的关键点坐标信息，构建出鱼在水中的姿势骨架结构，进行鱼体姿势估计；
S5、计算鱼体表型数据：根据获取得到的关键点坐标信息，结合三维空间变换以及比例参数计算得到鱼体表型数据。
根据获取得到的关键点坐标信息，结合三维空间变换以及比例参数获取表型数据。因为我们获取到的点是从侧视图和俯视图得到，那么就需要结合三维变换提取点的长度，三维空间变换显示如图11所示。
在图11中显示的三维变换中，OA为三维空间中的物体真实长度，OA’为线段OA在平面YOZ上的投影，α为线段OA’与OY方向轴的夹角，β为先算OA在平面XOY上的投影与方向轴OY的夹角。由此，可以计算出OA的实际长度为
根据从侧视图和俯视图获取得到的点的信息，结合三维空间变化，计算如下：将侧视图得到的点综合处理，在俯视图图上，将俯视图的关键点坐标信息分段处理提取出俯视图鱼身的分段曲线角度，在侧视图上，结合俯视图获取得到的鱼身曲线分段角度，计算出鱼体表型数据像素值，然后结合实验获取标尺在水中的比例尺信息，计算出最终的鱼体表型数据。
此外，为了验证本发明测量方法的准确性，采集了20条斑点叉尾鮰数据样本作为实验数据，将采用本发明的方法测量出的预测值与人工测量的实际值进行比对，其中，每条斑点叉尾鮰鱼的表型数据真实值由具有测量经验的研究人员测量得出，人工测量表型数据和预测的表型数据如表1所示：
表1人工测量表型数据和预测的表型数据
为了更好的评价本文提出的算法模型对于斑点叉尾鮰测量中的误差，本文采用均方根误差(RMSE)平均绝对误差(MAE)平均相对误差(MRE)表示估计值和测量值之间的差异，本发明统计了不同的表型数据测量误差在表2中，
表2三种误差统计方式汇总
| 类型 | 全长 | 体高 |
| MRE | 0.037862 | 0.081012 |
| MAE | 0.5167 | 0.20655 |
| RMSE | 0.579181 | 0.31787 |
由此可知，本发明提出一种基于深度学***均绝对误差在0.51cm左右，平均相对误差在3％左右，对于每个鮰鱼样本可同时实现体长，体高的测量，测量计算平均时间小于1s，同时实现定位鮰鱼在水中的姿势骨架。
图12是本发明实施例提供的一种鱼体姿势估计和鱼体表型数据测量装置的示意性框图。如图12所示，对应于以上鱼体姿势估计和鱼体表型数据测量方法，本发明还提供一种鱼体姿势估计和鱼体表型数据测量装置。具体地，请参阅图12，该鱼体姿势估计和鱼体表型数据测量装置包括数据采集单元、目标检测单元、关键点定位单元、姿势骨架构建单元、鱼体表型数据计算单元。
数据采集单元，采集鱼的侧面和俯视图像样本；
目标检测单元，基于Resnext101-ssd300网络结合特征金字塔FPN进行俯视图和侧视图图像的目标检测，确定鱼体的具***置，得到鱼的包围盒信息，将鱼的图像裁剪出来作为下一步骤的输入；
关键点定位单元，基于Hourglassnet深度学习网络模型检测鱼的关键点，并获取关键点坐标信息；
姿势骨架构建单元，利用提取到的关键点坐标信息，构建出鱼在水中的姿势骨架结构，进行鱼体姿势估计；
鱼体表型数据计算单元，根据获取得到的关键点坐标信息，结合三维空间变换以及比例参数计算得到鱼体表型数据。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述鱼体姿势估计和鱼体表型数据测量装置和各单元块的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述鱼体姿势估计和鱼体表型数据测量装置可以实现为一种计算机程序的形式，该计算机程序可以在计算机设备上运行。
计算机设备包括通过***总线连接的处理器、存储器和网络接口，其中，存储器可以包括非易失性存储介质和内存储器。
该非易失性存储介质可存储操作***和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行一种鱼体姿势估计和鱼体表型数据测量方法。
该处理器用于提供计算和控制能力，以支撑整个计算机设备的运行。
该内存储器为非易失性存储介质中的计算机程序的运行提供环境，该计算机程序被处理器执行时，可使得处理器执行一种鱼体姿势估计和鱼体表型数据测量方法。
该网络接口用于与其它设备进行网络通信。本领域技术人员可以理解，上述计算机设备结构仅仅是与本申请方案相关的部分结构，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器用于运行存储在存储器中的计算机程序，该程序实现实施例一所述的一种鱼体姿势估计和鱼体表型数据测量方法。
应当理解，在本申请实施例中，处理器可以是中央处理单元(Central ProcessingUnit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机***中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行实施例一所述的一种鱼体姿势估计和鱼体表型数据测量方法。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
Claims (10)
1.一种鱼体姿势估计和鱼体表型数据测量方法，其特征在于，包括步骤：
S1、采集鱼的侧面和俯视图像样本；
S2、基于Resnext101-ssd300网络结合特征金字塔FPN进行俯视图和侧视图图像的目标检测，确定鱼体的具***置，得到鱼的包围盒信息，将鱼的图像裁剪出来作为下一步骤的输入；
S3、基于Hourglassnet深度学习网络模型检测鱼的关键点，并获取关键点坐标信息；
S4、利用提取到的关键点坐标信息，构建出鱼在水中的姿势骨架结构，进行鱼体姿势估计；
S5、计算鱼体表型数据：根据获取得到的关键点坐标信息，结合三维空间变换以及比例参数计算得到鱼体表型数据。
2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括：将装满3/4水的水盒内放入鱼后，将水盒放入图像样本采集设备，在该设备的上方和左侧布置工业相机，启动工业相机，采集放到水盒内鱼的侧面和俯视图像样本。
3.根据权利要求1所述的方法，其特征在于，所述步骤S2包括：输入图像是基于分辨率为300x300的图像，在经过结合注意力机制的Resnext101结构上提取不同stage的特征信息，在提取到图像特征信息后，将不同的特征信息经过FPN层后，在不同的stages上提取不同的anchor的bounding box信息；经过后处理后得到最终的鱼的包围框坐标。
4.根据权利要求3所述的方法，其特征在于，在网络学习过程中，采用ssd300的anchor设计，通过在不同stage上设置不同的anchor，以及不同anchor的ratio和size，使得网络能够在不同的特征信息输入下利用大量的不同尺寸的anchor去逼近学习鱼的包围框信息。
5.根据权利要求1所述的方法，其特征在于，所述步骤S3包括：检测出鱼的包围盒bounding box边框信息后，将裁剪得到的鱼的图像输入到Hourglassnet网络中，获取到俯视图和侧视图的不同的关键点定位坐标；其中，侧视图中需检测10个关键点，依据点的位置顺序排列；在俯视图上，需检测9个关键点。
6.根据权利要求1所述的方法，其特征在于，所述步骤S5包括：根据从侧视图和俯视图获取得到的关键点的信息，结合三维变换提取点的长度；在俯视图图上，将俯视图的关键点坐标信息分段处理提取出俯视图鱼身的分段曲线角度，在侧视图上，结合俯视图获取得到的鱼身曲线分段角度，计算出鱼体表型数据像素值，然后结合实验获取标尺在水中的比例尺信息，计算出最终的鱼体表型数据。
7.根据权利要求1所述的方法，其特征在于，所述鱼为斑点叉尾鮰鱼；所述鱼体表型数据包括鱼体的全长和体高数据。
8.一种鱼体姿势估计和鱼体表型数据测量装置，其特征在于，包括：
数据采集单元，采集鱼的侧面和俯视图像样本；
目标检测单元，基于Resnext101-ssd300网络结合特征金字塔FPN进行俯视图和侧视图图像的目标检测，确定鱼体的具***置，得到鱼的包围盒信息，将鱼的图像裁剪出来作为下一步骤的输入；
关键点定位单元，基于Hourglassnet深度学习网络模型检测鱼的关键点，并获取关键点坐标信息；
姿势骨架构建单元，利用提取到的关键点坐标信息，构建出鱼在水中的姿势骨架结构，进行鱼体姿势估计；
鱼体表型数据计算单元，根据获取得到的关键点坐标信息，结合三维空间变换以及比例参数计算得到鱼体表型数据。
9.一种计算机设备，其特征在于，所述设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011507156.0A CN112669348B (zh) | 2020-12-18 | 2020-12-18 | 一种鱼体姿势估计和鱼体表型数据测量方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011507156.0A CN112669348B (zh) | 2020-12-18 | 2020-12-18 | 一种鱼体姿势估计和鱼体表型数据测量方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112669348A true CN112669348A (zh) | 2021-04-16 |
| CN112669348B CN112669348B (zh) | 2023-11-28 |
Family
ID=75406815
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011507156.0A Active CN112669348B (zh) | 2020-12-18 | 2020-12-18 | 一种鱼体姿势估计和鱼体表型数据测量方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112669348B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674205A (zh) * | 2021-07-19 | 2021-11-19 | 广州紫为云科技有限公司 | 一种基于单目深度摄像头的人体测量的方法及*** |
| CN113724372A (zh) * | 2021-08-23 | 2021-11-30 | 水利部交通运输部国家能源局南京水利科学研究院 | 成像装置和基于正交偏振双视角成像的鱼体三维建模方法 |
| CN114092448A (zh) * | 2021-11-22 | 2022-02-25 | 浙大城市学院 | 一种基于深度学习的插件电解电容混合检测方法 |
| CN114723965A (zh) * | 2022-06-10 | 2022-07-08 | 武汉古奥基因科技有限公司 | 一种鱼类关键点表型数据测量方法 |
| CN114742806A (zh) * | 2022-04-21 | 2022-07-12 | 海南大学 | 一种基于关键点坐标回归的鱼体形态学特征测量方法 |
| CN114821778A (zh) * | 2022-04-22 | 2022-07-29 | 中国农业大学 | 一种水下鱼体姿态动态识别方法及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110598554A (zh) * | 2019-08-09 | 2019-12-20 | 中国地质大学（武汉） | 基于对抗学习的多人姿态估计方法 |
| US10657396B1 (en) * | 2019-01-30 | 2020-05-19 | StradVision, Inc. | Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens |
| CN111696150A (zh) * | 2020-05-19 | 2020-09-22 | 杭州飞锐科技有限公司 | 一种叉尾鮰鱼表型数据的测量方法 |
| CN111754527A (zh) * | 2020-06-24 | 2020-10-09 | 西藏自治区农牧科学院水产科学研究所 | 一种基于三维扫描模型的鱼类表型自动提取方法 |
| CN111784649A (zh) * | 2020-06-24 | 2020-10-16 | 武汉古奥基因科技有限公司 | 一种无损鱼骨的鱼骨表型信息自动检测***及方法 |
| CN111862048A (zh) * | 2020-07-22 | 2020-10-30 | 浙大城市学院 | 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法 |
| CN111862126A (zh) * | 2020-07-09 | 2020-10-30 | 北京航空航天大学 | 深度学习与几何算法结合的非合作目标相对位姿估计方法 |
-
2020
- 2020-12-18 CN CN202011507156.0A patent/CN112669348B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10657396B1 (en) * | 2019-01-30 | 2020-05-19 | StradVision, Inc. | Method and device for estimating passenger statuses in 2 dimension image shot by using 2 dimension camera with fisheye lens |
| CN110598554A (zh) * | 2019-08-09 | 2019-12-20 | 中国地质大学（武汉） | 基于对抗学习的多人姿态估计方法 |
| CN111696150A (zh) * | 2020-05-19 | 2020-09-22 | 杭州飞锐科技有限公司 | 一种叉尾鮰鱼表型数据的测量方法 |
| CN111754527A (zh) * | 2020-06-24 | 2020-10-09 | 西藏自治区农牧科学院水产科学研究所 | 一种基于三维扫描模型的鱼类表型自动提取方法 |
| CN111784649A (zh) * | 2020-06-24 | 2020-10-16 | 武汉古奥基因科技有限公司 | 一种无损鱼骨的鱼骨表型信息自动检测***及方法 |
| CN111862126A (zh) * | 2020-07-09 | 2020-10-30 | 北京航空航天大学 | 深度学习与几何算法结合的非合作目标相对位姿估计方法 |
| CN111862048A (zh) * | 2020-07-22 | 2020-10-30 | 浙大城市学院 | 基于关键点检测和深度卷积神经网络的鱼体姿态与长度自动分析方法 |
Non-Patent Citations (1)
| Title |
|---|
| 余心杰 等: "基于机器视觉的大黄鱼形态参数快速检测方法", 集成技术, vol. 3, no. 5 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113674205A (zh) * | 2021-07-19 | 2021-11-19 | 广州紫为云科技有限公司 | 一种基于单目深度摄像头的人体测量的方法及*** |
| CN113724372A (zh) * | 2021-08-23 | 2021-11-30 | 水利部交通运输部国家能源局南京水利科学研究院 | 成像装置和基于正交偏振双视角成像的鱼体三维建模方法 |
| CN113724372B (zh) * | 2021-08-23 | 2022-06-28 | 水利部交通运输部国家能源局南京水利科学研究院 | 成像装置和基于正交偏振双视角成像的鱼体三维建模方法 |
| CN114092448A (zh) * | 2021-11-22 | 2022-02-25 | 浙大城市学院 | 一种基于深度学习的插件电解电容混合检测方法 |
| CN114092448B (zh) * | 2021-11-22 | 2023-12-01 | 浙大城市学院 | 一种基于深度学习的插件电解电容混合检测方法 |
| CN114742806A (zh) * | 2022-04-21 | 2022-07-12 | 海南大学 | 一种基于关键点坐标回归的鱼体形态学特征测量方法 |
| CN114821778A (zh) * | 2022-04-22 | 2022-07-29 | 中国农业大学 | 一种水下鱼体姿态动态识别方法及装置 |
| CN114723965A (zh) * | 2022-06-10 | 2022-07-08 | 武汉古奥基因科技有限公司 | 一种鱼类关键点表型数据测量方法 |
| CN114723965B (zh) * | 2022-06-10 | 2022-09-09 | 武汉古奥基因科技有限公司 | 一种鱼类关键点表型数据测量方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112669348B (zh) | 2023-11-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112669348A (zh) | 一种鱼体姿势估计和鱼体表型数据测量方法及装置 | |
| CN109934115B (zh) | 人脸识别模型的构建方法、人脸识别方法及电子设备 | |
| CN108108764B (zh) | 一种基于随机森林的视觉slam回环检测方法 | |
| CN110426112B (zh) | 一种生猪体重测量方法及装置 | |
| CN107784647B (zh) | 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及*** | |
| CN111798462B (zh) | 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法 | |
| CN113076871B (zh) | 一种基于目标遮挡补偿的鱼群自动检测方法 | |
| CN110648331B (zh) | 用于医学图像分割的检测方法、医学图像分割方法及装置 | |
| KR20170089745A (ko) | 특징점 포지셔닝 방법 및 장치 | |
| CN112258537B (zh) | 一种基于卷积神经网络的监督暗视觉图像边缘检测方法 | |
| CN112861872A (zh) | 一种南美白对虾表型数据测定方法、装置、计算机设备及存储介质 | |
| CN107948586A (zh) | 基于视频拼接的跨区域运动目标检测方法和装置 | |
| CN114511710A (zh) | 一种基于卷积神经网络的图像目标检测方法 | |
| CN112529886A (zh) | 一种基于Attention DenseUNet的MRI神经胶质瘤分割方法 | |
| CN113505634A (zh) | 一种双流解码跨任务交互网络的光学遥感图像显著目标检测方法 | |
| CN113706579A (zh) | 一种基于工厂化养殖的对虾多目标跟踪***及方法 | |
| CN116681894A (zh) | 一种结合大核卷积的相邻层特征融合Unet多器官分割方法、***、设备及介质 | |
| CN115661459A (zh) | 一种使用差异信息的2D mean teacher模型 | |
| CN116188943A (zh) | 太阳射电频谱爆发信息检测方法及装置 | |
| CN111192320A (zh) | 一种位置信息确定方法、装置、设备和存储介质 | |
| CN114663880A (zh) | 基于多层级跨模态自注意力机制的三维目标检测方法 | |
| CN114120359A (zh) | 一种基于堆叠沙漏网络的群养猪体尺测量方法 | |
| CN117934824A (zh) | 一种超声影像的目标区域分割方法、***及电子设备 | |
| CN111047513B (zh) | 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置 | |
| CN111696167A (zh) | 自范例学习引导的单张影像超分辨率重构方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |