CN113724372A - 成像装置和基于正交偏振双视角成像的鱼体三维建模方法 - Google Patents

成像装置和基于正交偏振双视角成像的鱼体三维建模方法 Download PDF

Info

Publication number
CN113724372A
CN113724372A CN202110967781.1A CN202110967781A CN113724372A CN 113724372 A CN113724372 A CN 113724372A CN 202110967781 A CN202110967781 A CN 202110967781A CN 113724372 A CN113724372 A CN 113724372A
Authority
CN
China
Prior art keywords
fish body
view
imaging
fish
polarization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110967781.1A
Other languages
English (en)
Other versions
CN113724372B (zh
Inventor
周克发
杨德玮
刘晓杰
陈伟
陈莹颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources
Original Assignee
Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources filed Critical Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources
Priority to CN202110967781.1A priority Critical patent/CN113724372B/zh
Publication of CN113724372A publication Critical patent/CN113724372A/zh
Application granted granted Critical
Publication of CN113724372B publication Critical patent/CN113724372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开一种成像装置和基于正交偏振双视角成像的鱼体三维建模方法，通过成像装置同时获取正交偏振方向上鱼体的俯视图和侧视图。在此基础上，基于暗信道深度估计技术获取鱼体侧视图的深度点云。利用单侧视图的深度点云，并结合鱼体的镜像对称性，根据俯视图判断鱼脊线，进而获取对侧鱼体的深度点云，综合两侧鱼体的深度点云，实现鱼体的三维重建。本发明所公开技术能够稳定、可靠地刻画水下场景中鱼体的三维形态和结构。

Description

成像装置和基于正交偏振双视角成像的鱼体三维建模方法
技术领域
本发明涉及一种水下成像装置及目标三维建模方法，具体是一种成像装置和基于正交偏振双视角成像的鱼体三维建模方法，属于水下立体视觉情况下，目标检测技术领域。
背景技术
基于成像的鱼体三维建模能够非接触式地识别鱼的种类并测量鱼体尺寸，为鱼类种群调查、生态环境和渔业资源的保护提供基础数据。目前，所常用的三维建模方法主要包括双目立体视觉和三视图方法等，对成像设备的校准及标定具均有着较高的要求。然而，在水下受到水体的浮力作用及波流涌动的影响，水下成像设备的光学校准及标定异常困难，即便已标定好的成像元器件也会因环境的变化而产生误差。加之，水下高散射、高吸收的光学效应，水下图像中的角点检测较为困难，导致三维重建时出现明显的匹配误差，难以准确刻画目标物体的三维结构。为了解决上述问题，最新的研究尝试采用深度学习的方法进行水下目标的检测和三维重建。然而，大量的研究业已证明：在水下，数据量的增加会引入大量的噪声和错误样本，反而会导致三维重建精度的显著降低。
目前，罕见基于视觉成像的水下鱼体三维建模方法，其所面临的最主要问题包括：
①如何降低水下成像装置的复杂性并避免水下现场光学校准？
②如何提高水下鱼体的三维建模效率，在不依赖于数据增量的情况下实现鱼体的三维建模？
发明内容
发明目的：针对现有技术的不足及水下鱼体三维建模所面临的主要问题，本发明提供一种成像装置和基于正交偏振双视角成像的鱼体三维建模方法，能够通过一组正交偏振成像装置获取俯视图和侧视图，在不进行任何光学校准的前提下依赖于俯视图和侧视图，便可高效实现鱼体的三维建模，在方法复杂度、能耗及实用性上具有明显的优势，能够为鱼类种群调查、生态环境和渔业资源的保护提供基础数据。
技术方案：一种基于正交偏振双视角成像的鱼体三维建模方法，通过俯视图和侧视图进行鱼体三维建模，因此在成像装置的设计上需要防止俯视光学信息和侧视光学信息间的互扰，避免因成像噪声所造成的误差。鉴于此，考虑到正交偏振角的偏振信息完全不相关，本发明提出了一种水下正交偏振双视角的成像装置，装置设在透明水密仓内，并通过船舶拖曳的方式至于水体底部，通过设计正交偏振角的两组成像器完全分离俯视图和侧视图，从而保证鱼体三维重建的准确性。具体：该成像装置包括两组偏振成像器，分别用于俯视成像和侧视成像，每组偏振成像器包含一个光源、一个成像传感器，其中光源和成像传感器置于透明水密仓内，光源紧靠成像传感器，光源主光轴与成像传感器主光轴平行所述光源和成像传感器均加装偏振滤波片，以实现偏振成像，两组偏振成像器的主光轴成90°角。
所述光源波段选择光波波长为450-570毫微米的蓝绿光波段。
用于俯视成像的偏振成像器采用90°偏振滤波片，用于侧视成像的偏振成像器采用0°偏振滤波片。
所述两组偏振成像器间的垂线距离最小为2米。
采用透明连接杆固定两组偏振成像器。
一种基于正交偏振双视角成像的鱼体三维建模方法，包括如下内容：
通过成像装置同时获取正交偏振方向上鱼体的俯视图和侧视图；当俯视图和侧视图中鱼体目标完整时，开始鱼体三维建模，否则舍弃当前图像。
基于侧视图和暗信道深度估计方法获取鱼体单测深度点云；随后，根据鱼体的俯视图判断鱼脊线；随后，根据鱼脊线获取鱼体对侧的深度点云镜像，最后，通过双侧鱼体深度点云拼接，刻画鱼体三维形态。
附图说明
图1为本发明实施例中成像装置的结构示意图；
图2为本发明实施例中方法流程图；
图3为本发明实施例中方法得到的检测结果示意图。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示，水下正交偏振双视角的成像装置，该装置包括两组偏振成像器，分别用于侧视成像和俯视成像，每组偏振成像器包含一个光源、一个成像传感器，光源和成像传感器均加装偏振滤波片，光源波段选择光波波长为450-570毫微米的蓝绿光波段，用于俯视成像的偏振成像器采用90°偏振滤波片，用于侧视成像的偏振成像器采用0°偏振滤波片，两组偏振成像器的主光轴成90°角。两组偏振成像器间的垂线距离固定为2米。采用两根透明连接杆固定两组偏振成像器。透明连接杆的一端通过固定螺丝固定在偏振成像器外侧壁上，两根透明杆有直角固定装置。在透明杆上加装诱鱼装置，保证游鱼穿越两组偏振成像器的视觉交叠区域。
当两组成像传感器非边界区域的成像像素值同时发生变化时，游鱼位于两组偏振成像器视觉交叠区域时，开始鱼体三维建模。
如图2所示，基于正交偏振双视角成像的鱼体三维建模方法，包括如下步骤：
通过成像装置同时获取正交偏振方向上鱼体的俯视图和侧视图；当俯视图和侧视图中鱼体目标完整时，开始鱼体三维建模，否则舍弃当前图像。当两组成像传感器非边界区域的成像像素值同时发生变化时，游鱼位于两组偏振成像器视觉交叠区域，此时鱼体目标完整。
步骤一、基于侧视图和暗信道深度估计的鱼体单测深度点云获取：
首先，采用全局对比度模型，获取侧视图中鱼体目标的区域
Figure BDA0003224787230000031
其中，Ii和Ij分别为侧视图的i点(点指的像素点)和j点处的灰度信息，I为侧视图所有点的灰度集合。若Di≥T则i点为鱼体目标区域，否者为背景区域。其中，T为阈值，根据图像的亮度值选择。
随后，采用暗信道深度估计模型获取侧视图中鱼体目标区域的深度点云，假定水体的光学厚度均匀，鱼体目标上x点的深度信息为：
Figure BDA0003224787230000032
其中，x为鱼体目标物上的点，Ωx为鱼体目标物上点x的邻域，为保证深度点云的空间精度，邻域选择3×3的区间，z为该邻域中的点，λ＝[R,G,B]为红绿蓝色彩信道，Iλ(z)为z点处色彩信道为λ的强度值，βλ为背景光，可根据暗信道模型估计得到，可参考【He K,Sun J,Tang X.Single image haze removal using dark channel prior[J].IEEEtransactions on pattern analysis and machine intelligence,2010,33(12):2341-2353】。
由侧视图中鱼体目标区域各个点的深度信息组成鱼体单测深度点云。
步骤二、根据俯视图判断鱼脊线：采用同步骤一的全局对比度模型获取俯视图中鱼体目标区域，根据鱼体目标的镜像对称性，采用几何主动轮廓模型(GAC)和改进的Hough变换算法提取图像上鱼体目标的鱼脊线，可参考【王鲲鹏,李由,李立春,张小虎,于起峰.全自动测量轴对称目标三维姿态的新方法[J].光电工程,2008(07):6-11.】，其中，鱼体鱼脊线上首尾坐标分别为D1(Xd1,Yd1,Zd1)、D2(Xd2,Yd2,Zd2)，图3所示。
步骤三、根据鱼脊线和鱼体目标的镜像对称，获取鱼体对侧的深度点云，给定已知单侧点(a0,b0,c0)，对侧镜像点的三维坐标(a1,b1,c1)为：
Figure BDA0003224787230000041
其中，
Figure BDA0003224787230000042
ν＝ηYd1+Zd2。
步骤四、综合双侧鱼体目标区域的各个点所组成的双侧深度点云，形成整个鱼体目标完整的深度点云，将整个鱼体目标完整的深度点云在三维坐标轴中显示，能够表征鱼体目标的三维空间结构，完成鱼体目标的三维建模。

Claims (10)

1.一种成像装置，其特征在于，所述成像装置包括两组偏振成像器，分别用于俯视成像和侧视成像，每组偏振成像器包含一个光源、一个成像传感器；所述光源和成像传感器均加装偏振滤波片，两组偏振成像器的主光轴成90°角。
2.根据权利要求1所述的成像装置，其特征在于，所述光源波段选择光波波长为450-570毫微米的蓝绿光波段。
3.根据权利要求1所述的成像装置，其特征在于，用于俯视成像的偏振成像器采用90°偏振滤波片，用于侧视成像的偏振成像器采用0°偏振滤波片。
4.根据权利要求1所述的成像装置，其特征在于，所述两组偏振成像器间的垂线距离最小为2米。
5.一种基于正交偏振双视角成像的鱼体三维建模方法，其特征在于，通过成像装置同时获取正交偏振方向上鱼体的俯视图和侧视图；当俯视图和侧视图中鱼体目标完整时，开始鱼体三维建模，否则舍弃当前图像；
基于侧视图和暗信道深度估计方法获取鱼体单测深度点云；然后，根据鱼体的俯视图判断鱼脊线；随后，根据鱼脊线获取鱼体对侧的深度点云镜像，最后，通过双侧鱼体深度点云拼接，刻画鱼体三维形态。
6.根据权利要求5所述的基于正交偏振双视角成像的鱼体三维建模方法，其特征在于，基于侧视图和暗信道深度估计方法获取鱼体单测深度点云，包括如下步骤：
首先，采用全局对比度模型，获取侧视图中鱼体目标的区域
Figure FDA0003224787220000011
其中，Ii和Ij分别为侧视图的i点和j点处的灰度信息，I为侧视图所有点的灰度集合；若Di≥T则i点为鱼体目标区域，否者为背景区域；其中，T为阈值，根据图像的亮度值选择；
随后，采用暗信道深度估计模型获取侧视图中鱼体目标区域的深度点云，假定水体的光学厚度均匀，鱼体目标上x点的深度信息为：
Figure FDA0003224787220000012
其中，x为鱼体目标物上的点，Ωx为鱼体目标物上点x的邻域，z为该邻域中的点，λ＝[R,G,B]为红绿蓝色彩信道，βλ背景光；
由侧视图中鱼体目标区域各个点的深度信息组成鱼体单测深度点云。
7.根据权利要求5所述的基于正交偏振双视角成像的鱼体三维建模方法，其特征在于，根据俯视图判断鱼脊线：采用全局对比度模型获取俯视图中鱼体目标区域，以检测到俯视图中鱼体目标的鱼脊线，鱼脊线上的首尾点分别为D1(Xd1,Yd1,Zd1)、D2(Xd2,Yd2,Zd2)。
8.根据权利要求5所述的基于正交偏振双视角成像的鱼体三维建模方法，其特征在于，根据鱼脊线和鱼体目标的镜像对称，获取鱼体对侧的深度点云，给定已知单侧点(a0,b0,c0)，对侧镜像点的三维坐标(a1,b1,c1)为：
Figure FDA0003224787220000021
其中，
Figure FDA0003224787220000022
ν＝ηYd1+Zd2。
9.根据权利要求5所述的基于正交偏振双视角成像的鱼体三维建模方法，其特征在于，步骤四、综合双侧鱼体目标区域的各个点所组成的双侧深度点云，形成整个鱼体目标完整的深度点云，将整个鱼体目标完整的深度点云在三维坐标轴中显示，能够表征鱼体目标的三维空间结构，完成鱼体目标的三维建模。
10.根据权利要求6所述的基于正交偏振双视角成像的鱼体三维建模方法，其特征在于，Ωx为鱼体目标物上点x的邻域，邻域选择3×3的区间。
CN202110967781.1A 2021-08-23 2021-08-23 成像装置和基于正交偏振双视角成像的鱼体三维建模方法 Active CN113724372B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110967781.1A CN113724372B (zh) 2021-08-23 2021-08-23 成像装置和基于正交偏振双视角成像的鱼体三维建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110967781.1A CN113724372B (zh) 2021-08-23 2021-08-23 成像装置和基于正交偏振双视角成像的鱼体三维建模方法

Publications (2)

Publication Number Publication Date
CN113724372A true CN113724372A (zh) 2021-11-30
CN113724372B CN113724372B (zh) 2022-06-28

Family

ID=78677292

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110967781.1A Active CN113724372B (zh) 2021-08-23 2021-08-23 成像装置和基于正交偏振双视角成像的鱼体三维建模方法

Country Status (1)

Country Link
CN (1) CN113724372B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407927A (zh) * 2016-09-12 2017-02-15 河海大学常州校区 基于偏振成像的适用于水下目标检测的显著性视觉方法
CN109146947A (zh) * 2018-09-04 2019-01-04 清华-伯克利深圳学院筹备办公室 海洋鱼类三维图像获取及处理方法、装置、设备及介质
CN109771052A (zh) * 2018-12-28 2019-05-21 合刃科技（深圳）有限公司 基于多目成像和多偏振态成像的三维图像建立方法及***
CN111121722A (zh) * 2019-12-13 2020-05-08 南京理工大学 结合激光点阵和偏振视觉的双目三维成像方法
JP2020085609A (ja) * 2018-11-22 2020-06-04 株式会社アイエンター 魚体サイズ算出装置
CN112258651A (zh) * 2020-10-20 2021-01-22 河北农业大学 一种遮挡情况下奶牛体表点云三维重建方法
CN112669348A (zh) * 2020-12-18 2021-04-16 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN112712590A (zh) * 2021-01-15 2021-04-27 中国农业大学 一种动物点云生成方法及***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106407927A (zh) * 2016-09-12 2017-02-15 河海大学常州校区 基于偏振成像的适用于水下目标检测的显著性视觉方法
CN109146947A (zh) * 2018-09-04 2019-01-04 清华-伯克利深圳学院筹备办公室 海洋鱼类三维图像获取及处理方法、装置、设备及介质
JP2020085609A (ja) * 2018-11-22 2020-06-04 株式会社アイエンター 魚体サイズ算出装置
CN109771052A (zh) * 2018-12-28 2019-05-21 合刃科技（深圳）有限公司 基于多目成像和多偏振态成像的三维图像建立方法及***
CN111121722A (zh) * 2019-12-13 2020-05-08 南京理工大学 结合激光点阵和偏振视觉的双目三维成像方法
CN112258651A (zh) * 2020-10-20 2021-01-22 河北农业大学 一种遮挡情况下奶牛体表点云三维重建方法
CN112669348A (zh) * 2020-12-18 2021-04-16 浙江大学 一种鱼体姿势估计和鱼体表型数据测量方法及装置
CN112712590A (zh) * 2021-01-15 2021-04-27 中国农业大学 一种动物点云生成方法及***

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HE K等: "Single image haze removal using dark channel prior", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
李林波等: "基于双目视觉的鱼类游动三维轨迹跟踪", 《三峡大学学报(自然科学版)》 *
王鲲鹏等: "全自动测量轴对称目标三维姿态的新方法", 《光电工程》 *

Also Published As

Publication number Publication date
CN113724372B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN112669393B (zh) 一种激光雷达与相机联合标定方法
CN110009667B (zh) 基于罗德里格斯变换的多视点云全局配准方法
CN109544679B (zh) 管道内壁的三维重建方法
CN106485275B (zh) 一种实现盖板玻璃与液晶屏定位贴合的方法
CN103971406B (zh) 基于线结构光的水下目标三维重建方法
CN103971378B (zh) 一种混合视觉***中全景图像的三维重建方法
CN108876855A (zh) 一种基于深度学习的海参检测和双目视觉定位方法
CN105894499A (zh) 一种基于双目视觉的空间物体三维信息快速检测方法
CN109544628B (zh) 一种指针式仪表的准确读数识别***及方法
CN106897995B (zh) 一种面向机械装配过程的零部件自动识别方法
CN110823252B (zh) 一种多线激光雷达和单目视觉的自动标定方法
CN103308000B (zh) 基于双目视觉的曲线物体测量方法
CN104406539B (zh) 全天候主动式全景感知装置及3d全景建模方法
CN104268876A (zh) 基于分块的摄像机标定方法
CN113538666B (zh) 一种植物植株三维模型快速重建方法
CN112884880B (zh) 一种基于线激光的蜜柚三维建模装置和方法
CN110969158A (zh) 基于水下作业机器人视觉的目标检测方法、***、装置
CN106296825A (zh) 一种仿生三维信息生成***及方法
CN105277144A (zh) 基于双目视觉的土地面积快速检测方法及其检测装置
Troisi et al. 3D models comparison of complex shell in underwater and dry environments
CN116129037B (zh) 视触觉传感器及其三维重建方法、***、设备及存储介质
CN110533774A (zh) 一种基于智能手机的三维模型重建方法
CN116883480A (zh) 基于双目影像与地基雷达融合点云的玉米株高检测方法
CN111951339A (zh) 利用异构双目相机进行视差计算的图像处理方法
CN117115272A (zh) 用于降水粒子多角度成像的远心相机标定和三维重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant