CN113724299B - 一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法 - Google Patents

一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法 Download PDF

Info

Publication number
CN113724299B
CN113724299B CN202111006409.0A CN202111006409A CN113724299B CN 113724299 B CN113724299 B CN 113724299B CN 202111006409 A CN202111006409 A CN 202111006409A CN 113724299 B CN113724299 B CN 113724299B
Authority
CN
China
Prior art keywords
target
tracking
focusing
coordinates
mobile robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111006409.0A
Other languages
English (en)
Other versions
CN113724299A (zh
Inventor
李恒宇
韩爽
刘靖逸
王曰英
谢少荣
罗均
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Shanghai for Science and Technology
Original Assignee
University of Shanghai for Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Shanghai for Science and Technology filed Critical University of Shanghai for Science and Technology
Priority to CN202111006409.0A priority Critical patent/CN113724299B/zh
Publication of CN113724299A publication Critical patent/CN113724299A/zh
Priority to US17/899,264 priority patent/US20230063939A1/en
Application granted granted Critical
Publication of CN113724299B publication Critical patent/CN113724299B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/12—Fluid-filled or evacuated lenses
    • G02B3/14—Fluid-filled or evacuated lenses of variable focal length
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Vascular Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明属于计算机视觉技术领域，涉及目标追踪方法技术领域，具体公开一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法；通过对光学成像***建模，得到电液可调焦镜头的调焦控制电流与最优成像物距间的函数关系，利用该函数关系可获得处于清晰状态下的目标相对于移动机器人相机的深度信息和目标相对上一时刻时间间隔内的平均速度，通过这些信息可以计算出目标在相机坐标系中的三维坐标以及运动轨迹。同时移动机器人实时定位移动机器人在世界坐标系中的位姿，并将所追踪目标的三维坐标从相机坐标系变换至世界坐标系，可使观察者同时获得移动机器人与所追踪目标在世界坐标系中轨迹，并自动更新移动机器人追踪速度及方向。

Description

一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹 方法
技术领域
本发明属于计算机视觉技术领域，涉及目标追踪方法技术领域，具体涉及一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法。
背景技术
视觉目标追踪是人类最基本的视觉功能之一，同时也是计算机视觉领域最基础也是最重要的研究方向之一，持续受到包括神经科学和计算机科学在内的多学科研究工作者重点关注。但是目前的视觉目标追踪方法大多集中在二维图像平面上的追踪，对三维轨迹的追踪较少。但仅在二维平面上对目标进行追踪极大地限制了目标追踪技术的应用场景。
目前对视觉目标的三维轨迹追踪主要采用立体视觉的方法来实现，通过双目相机或多个相机，深度相机以及激光雷达等设备来恢复相机投影过程中丢失的深度信息，这些方法都具有结构复杂，设备成本较高的缺点，其中深度相机和激光雷达还受到其本身量程较小的限制，无法追踪较远处的目标。
发明内容
本发明的目的在于提供一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法。
基于上述目的，本发明采用如下技术方案：
一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法，包括如下步骤：
步骤1，对电液可调焦镜头标定及建模，并使用目标跟踪算法框选需追踪的移动目标，获取追踪目标框；
步骤2，电液可调焦镜头对追踪目标自动对焦，记录对焦成功后的调焦控制电流Ii，追踪目标框的尺寸sizei、去畸变后的中心点坐标(xi，yi)以及四个角点坐标，并计算目标在相机坐标系下的空间坐标(Xci,Yci,Zci)；相机为安装有电液可调焦镜头的相机；
步骤3，借助追踪目标框的四个角点坐标生成移动目标掩膜，并通过视觉同步定位与建图(V-SLAM)***计算移动机器人上的相机坐标系相对于世界坐标系的变换矩阵Ti；
步骤4，将移动目标在相机坐标系下的空间坐标(Xci，Yci，Zci)变换至世界坐标系并记录其世界坐标(Xwi，Ywi，Zwi)，与上一时刻目标的世界坐标(Xwi-1，Ywi-1，Zwi-1)计算出目标(文中的目标均为移动目标)的运动速度及方向，更新移动机器人的运动速度及方向；
步骤5，重复步骤2-4，持续追踪目标三维轨迹。
进一步的，步骤1中标定过程为：使用标定方法，在多个调焦控制电流下对电液可调焦镜头进行标定，通过曲线拟合获得调焦控制电流与相机内参fx，fy的函数关系：
(fx，fy)＝H(I) (1)
其中fx，fy为相机内参中随焦距值发生变化的参数，物理意义为相机在像素平面x，y方向上的等效焦距，单位为像素；
使用标定方法获取相机内参不随焦距值变化的cx，cy，s以及畸变参数(畸变参数数量由采用的标定方法决定)，cx，cy物理意义为相机光心在像素平面上的坐标，s物理意义为相机感光元件横边与纵边之间的倾斜参数，均为常数；I为电液可调焦镜头的调焦控制电流。
进一步的，在步骤1中建模过程为：建立电液可调焦镜头光学成像***模型，利用该模型，记录多个调焦控制电流下的最优成像物距，并对记录的调焦控制电流与其对应的最优成像物距数据进行曲线拟合，得到电液可调焦镜头的调焦控制电流与最优成像物距之间的关系：
u＝F(I) (2)
其中u为最优成像物距，I为电液可调焦镜头的调焦控制电流。
进一步的，在步骤2中，电液可调焦镜头对追踪目标自动对焦过程包括第一次自动对焦和后续自动对焦；其中第一次自动对焦为：(1)以一定步长n从初始调焦控制电流(焦距最短或最长时的调焦控制电流)开始搜索，并同时对追踪目标框内部图像区域计算清晰度评价值，获得清晰度评价值最大时的调焦控制电流I1,以及最大的清晰度评价值Dmax，并设置清晰度评价阈值
K＝αDmax (3)
其中α为预设的清晰度置信度，α＜1；K为后续自动对焦时使用的清晰度评价阈值。
(2)对焦完成后记录图像中追踪目标框的尺寸size1、追踪目标框去畸变后的中心点坐标(x1，y1)以及四个角点坐标。
进一步的，在步骤2中，后续自动对焦过程为：计算追踪目标框内部图像区域的清晰度评价值Di，若Di≥K,则直接记录此时的调焦控制电流Ii、图像中追踪目标框的尺寸sizei、追踪目标框去畸变后的中心点坐标(xi，yi)以及四个角点坐标；若Di＜K,则读取此时图像中追踪目标框的尺寸sizei，并与上一次成功对焦(成功对焦即清晰度评价值大于等于阈值)时的追踪目标框尺寸sizei-1进行比较，若sizei′＜sizei-1，则调焦控制电流以一定步长n向最优成像物距变长的方向搜索，并计算追踪目标框内清晰度评价值，直到清晰度评价值大于或等于阈值K完成对焦；若sizei′＞sizei-1，则调焦控制电流以一定步长n向最优成像物距变短的方向搜索，并计算追踪目标框内清晰度评价值，直到清晰度评价值大于或等于阈值K完成对焦；对焦完成之后记录搜索得到的调焦控制电流Ii以及对焦后的图像中追踪目标框的尺寸sizei、追踪目标框去畸变后的中心点坐标(xi，yi)以及四个角点坐标。
进一步的，在步骤2中，去畸变为：根据步骤1中选用的标定方法所使用的畸变模型，计算当前帧图像的去畸变图像，在去畸变图像中读取并记录追踪目标框的中心点坐标(xi，yi)。
进一步的，在步骤2中计算目标在相机坐标系下的空间坐标过程为采用相机投影模型：
其中，(xi，yi)为去畸变后的追踪目标框中心点坐标，cx，cy，s为标定获得的不随焦距变化的相机内参，fxi，fyi为将当前调焦控制电流Ii代入标定得到的公式(1)获得的相机内参；Xci，Yci，Zci为所追踪目标的中心点在相机坐标系下的空间坐标，Zci＝ui，ui为将当前调焦控制电流Ii代入公式(2)获得的最优成像物距。将获得的去畸变后的追踪目标框中心点坐标(xi，yi)，标定获得的相机内参以及将Zci代入上述相机投影模型，即可计算出所追踪目标中心点在相机坐标系下的坐标(Xci，Yci，Zci)。
进一步的，步骤3中借助追踪目标框的四个角点坐标计算变换矩阵Ti的过程为：生成与装有电液可调焦镜头的相机获取的图像同尺寸的掩膜，根据追踪目标框的四个角点坐标对掩膜进行处理，使掩膜中与目标框对应的区域像素值全为0，其余区域像素值全为1；将相机采集的图像与处理后的掩膜相乘之后作为V-SLAM***的输入，计算出变换矩阵Ti，从而减少移动目标对V-SLAM算法稳定性的影响。
进一步的，在步骤4中，将移动目标在相机坐标系下的空间坐标(Xci,Yci,Zci)变换至世界坐标系并记录其世界坐标(Xwi，Ywi，Zwi)的过程为：
其中Ti为步骤3中获得的4x4变换矩阵，表示从相机坐标系到世界坐标系的坐标变换。
进一步的，在步骤4中,计算目标的运动速度过程为：计算当前时刻目标的世界坐标(Xwi，Ywi，Zwi)与上一时刻目标的世界坐标(Xwi-1，Ywi-1，Zwi-1)在时间间隔t内的各个方向上平均速度：
其中vi为目标在运动方向上的运动速度，vxi，vyi，vzi分别为目标在x,y,z方向上的运动速度；
更新移动机器人的运动速度及方向过程为：将移动目标当前时刻各个方向的运动速度作为移动机器人在世界坐标系中各个方向的运动速度：
vrxi＝vxi (10)
vryi＝vyi (11)
vrzi＝vzi (12)
其中vrxi，vryi，vrzi分别为移动机器人在世界坐标系中x,y,z方向的移动速度。
与现有技术相比，本发明具有如下有益效果：
本发明无需采用结构复杂，尺寸较大的立体视觉设备，只需单个相机即可实现移动机器人对目标的三维轨迹追踪，且成本相对低廉。
本发明在实现移动机器人对目标三维轨迹追踪的同时，还通过自动对焦使所追踪目标在图像中始终保持清晰状态，提高了所用目标追踪算法的稳定性，相对于现有技术是一个显著的进步。
本发明在使用V-SLAM技术进行移动机器人实时定位的过程中，通过掩膜消除了移动目标对V-SLAM算法稳定性的影响，提高了V-SLAM算法在本应用中的鲁棒性。
电液可调焦镜头具有调焦响应速度快、能耗低、结构紧凑、重复定位精度高等优势，可实现快速精确对焦；而且控制电流与焦距和最佳成像物距之间的相关性好，通过对该镜头的光学成像***建模，可得到电液可调焦镜头的焦距与最佳成像物距之间的函数关系，当经过自动对焦后的目标处于清晰状态时，可以利用该函数关系得到目标的深度信息，为实现对目标的三维轨迹追踪提供了新的方法。利用电液可调焦镜头保证目标始终处于清晰状态，将此时的最优成像物距作为目标相对于相机的深度，即可恢复目标在投影到相机成像平面过程中丢失的深度信息，从而计算出目标相对于相机坐标系的空间坐标。
通过视觉同步定位与建图(V-SLAM)技术，可以实现对移动机器人的实时定位。将移动机器人追踪的目标空间坐标从相机坐标系变换到固定的世界坐标系中，即可实现移动机器人对目标的三维轨迹追踪。
附图说明
图1为本发明实施例1的流程图。
具体实施方式
实施例1
一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法，包括如下步骤：
步骤1，对电液可调焦镜头标定及建模，并使用目标跟踪算法框选需追踪的移动目标，获取追踪目标框，并将追踪目标框作为后续对焦窗口。目标追踪算法一般可分为：一、相关滤波方法，如CSK,KCF/DCF,CN等；二、深度学习方法，如C-COT，ECO，DLT等；本实施例选用KCF算法。
标定过程为：使用张正友标定法，在多个调焦控制电流下对电液可调焦镜头进行标定，通过曲线拟合获得调焦控制电流与相机内参fx，fy的函数关系：
(fx，fy)＝H(I) (1)
其中fx，fy为相机内参中随焦距值发生变化的参数，物理意义为相机在像素平面x，y方向上的等效焦距，单位为像素；
使用标定方法获取相机内参不随焦距值变化的cx，cy，s以及畸变参数k1，k2(畸变参数数量由采用的标定方法决定，张正友标定法仅考虑径向畸变)，cx，cy物理意义为相机光心在像素平面上的坐标，s物理意义为相机感光元件横边与纵边之间的倾斜参数，均为常数；I为电液可调焦镜头的调焦控制电流。
建模过程为：采用Zemax软件建立电液可调焦镜头光学成像***模型，并在Zemax软件中设置使用的电液可调焦镜头半径、厚度、曲率、材质等信息；利用该光学成像***模型，记录多个调焦控制电流下的最优成像物距，并对记录的调焦控制电流与其对应的最优成像物距数据进行曲线拟合，得到电液可调焦镜头的调焦控制电流与最优成像物距之间的关系：
u＝F(I) (2)
其中u为最优成像物距，I为电液可调焦镜头的调焦控制电流。
步骤2，电液可调焦镜头对追踪目标自动对焦，记录对焦成功后的调焦控制电流Ii，追踪目标框的尺寸sizei、去畸变后的中心点坐标(xi，yi)以及四个角点坐标，并计算目标在相机坐标系下的空间坐标(Xci，Yci，Zci)；相机为安装有电液可调焦镜头的相机。
电液可调焦镜头对追踪目标自动对焦过程包括第一次自动对焦和后续自动对焦；其中第一次自动对焦为：(1)以一定步长n从初始调焦控制电流(焦距最短或最长时的调焦控制电流)开始搜索，并同时对追踪目标框内部图像区域计算清晰度评价值，获得清晰度评价值最大时的调焦控制电流I1,以及最大的清晰度评价值Dmax，并设置清晰度评价阈值
K＝αDmax (3)
其中α为预设的清晰度置信度，α＜1；K为后续自动对焦时使用的清晰度评价阈值。
清晰度评价值采用清晰度评价函数计算，清晰度评价函数可采用常用的SMD函数、EOG函数、Roberts函数、Tenengrad函数、Brenner函数、Laplacian函数或SML函数，为了便于理解，本实施例选用Laplacian函数计算，函数表达式为：
D(f)＝∑y∑x|G(x，y)| (13)
其中G(x，y)是像素点(x，y)处Laplacian算子的卷积，(x，y)为像素平面上的坐标，
Laplacian算子为：
(2)对焦完成后，记录图像中追踪目标框的尺寸size1、追踪目标框去畸变后的中心点坐标(x1，y1)以及四个角点坐标。
后续自动对焦过程为：计算追踪目标框内部图像区域的清晰度评价值Di，若Di≥K,则直接记录此时的调焦控制电流Ii、图像中追踪目标框的尺寸sizei、追踪目标框去畸变后的中心点坐标(xi，yi)以及四个角点坐标；若Di＜K,则读取此时图像中追踪目标框的尺寸sizei，并与上一次成功对焦(成功对焦即清晰度评价值大于等于阈值)时的追踪目标框尺寸sizei-1进行比较，若sizei′＜sizei-1，则调焦控制电流以一定步长n向最优成像物距变长的方向搜索，并计算追踪目标框内清晰度评价值，直到清晰度评价值大于或等于阈值K完成对焦。
若sizei′＞sizei-1，则调焦控制电流以一定步长n向最优成像物距变短的方向搜索，并计算追踪目标框内清晰度评价值，直到清晰度评价值大于或等于阈值K完成对焦；对焦完成之后记录搜索得到的调焦控制电流Ii以及对焦后的图像中追踪目标框的尺寸sizei、追踪目标框去畸变后的中心点坐标(xi，yi)以及四个角点坐标。
追踪目标框去畸变的过程为：根据步骤1中选用的张正友标定法所使用的畸变模型，计算当前帧的去畸变图像，在去畸变图像中读取并记录追踪目标框的中心点坐标(xi，yi)。
张正友标定法所使用的径向畸变模型为
xdistorted＝x(1+k1r2+k2r4) (15)
ydistorted＝y(1+k1r2+k2r4) (16)
其中xdistorted，ydistorted为图像中发生畸变后的像素坐标，x，y为图像未发生畸变的理想像素坐标，(x，y)为像素平面上的坐标，k1，k2为标定获得的畸变参数。根据上述畸变模型，计算出当前帧的去畸变图像，去畸变后的图像中读取并记录追踪目标框的中心点坐标(xi，yi)。
计算目标在相机坐标系下的空间坐标过程为采用相机投影模型：
其中，(xi，yi)为去畸变后的追踪目标框中心点坐标，cx，cy，s为标定获得的不随焦距变化的相机内参，fxi，fyi为将当前调焦控制电流Ii代入标定得到的公式(1)获得的相机内参；Xci，Yci，Zci为所追踪目标的中心点在相机坐标系下的空间坐标，Zci＝ui，ui为将当前调焦控制电流Ii代入公式(2)获得的最优成像物距。将获得的去畸变后的追踪目标框中心点坐标(xi，yi)，标定获得的相机内参以及将Zci代入上述相机投影模型，即可计算出所追踪目标中心点在相机坐标系下的坐标(Xci，Yci，Zci)。
步骤3，生成与装有电液可调焦镜头的相机获取的图像同尺寸的掩膜，根据追踪目标框的四个角点坐标对掩膜进行处理，使掩膜中与目标框对应的区域像素值全为0，其余区域像素值全为1；将相机采集的图像与处理后的掩膜相乘之后作为V-SLAM***的输入，计算出相机坐标系相对于世界坐标系的变换矩阵Ti，从而减少移动目标对V-SLAM算法稳定性的影响。V-SLAM算法可选用ORB-SLAM2、LSD-SLAM、DSO、DTAM等支持单目相机的V-SLAM算法，为了便于理解，本实施例选用ORB-SLAM2算法。
步骤4，将移动目标在相机坐标系下的空间坐标(Xci，Yci，Zci)变换至世界坐标系并记录其世界坐标(Xwi，Ywi，Zwi)，与上一时刻目标的世界坐标(Xwi-1，Ywi-1，Zwi-1)计算出目标的运动速度及方向，更新移动机器人的运动速度及方向。
将移动目标在相机坐标系下的空间坐标(Xci，Yci，Zci)变换至世界坐标系并记录其世界坐标(Xwi，Ywi，Zwi)的过程为：
其中Ti为步骤3中获得的4x4变换矩阵，表示从相机坐标系到世界坐标系的坐标变换。
计算目标的运动速度过程为：计算当前时刻目标的世界坐标(Xwi，Ywi，Zwi)与上一时刻目标的世界坐标(Xwi-1，Ywi-1，Zwi-1)在时间间隔t内的各个方向上平均速度：
其中vi为目标在运动方向上的运动速度，vxi，vyi，vzi分别为目标在x,y,z方向上的运动速度；
更新移动机器人的运动速度及方向过程为：将移动目标当前时刻各个方向的运动速度作为移动机器人在世界坐标系中各个方向的运动速度：
vrxi＝vxi (10)
vryi＝vyi (11)
vrzi＝vzi (12)
其中vrxi，vryi，vrzi分别为移动机器人在世界坐标系中x,y,z方向的移动速度。
步骤5，重复步骤2-4，持续追踪目标三维轨迹。
本发明无需采用结构复杂，尺寸较大的立体视觉设备，只需单个相机即可实现移动机器人对目标的三维轨迹追踪，且成本相对低廉。在实现移动机器人对目标三维轨迹追踪的同时，还通过自动对焦使所追踪目标在图像中始终保持清晰状态，提高了所用目标追踪算法的稳定性。本发明在使用V-SLAM技术进行移动机器人实时定位的过程中，通过掩膜消除了移动目标对V-SLAM算法稳定性的影响，提高了V-SLAM算法在本应用中的鲁棒性。
实施例2
与实施例1相比，本实施例在步骤2中追踪目标框去畸变的过程为：直接调用OpenCV的去畸变函数，传入标定获得的畸变参数，对当前帧的图像进行去畸变操作；在去畸变图像中读取并记录追踪目标框的中心点坐标(xi，yi)。

Claims (9)

1.一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法，其特征在于，包括如下步骤：
步骤1，对电液可调焦镜头标定及建模，并使用目标跟踪算法框选需追踪的移动目标，获取追踪目标框；
步骤2，电液可调焦镜头对追踪目标自动对焦，记录对焦成功后的调焦控制电流，追踪目标框的尺寸、去畸变后的中心点坐标以及四个角点坐标，并计算目标在相机坐标系下的空间坐标；
步骤3，借助追踪目标框的四个角点坐标生成移动目标掩膜，并通过V-SLAM***计算移动机器人上的相机坐标系相对于世界坐标系的变换矩阵；
步骤4，将移动目标在相机坐标系下的空间坐标变换至世界坐标系并记录其世界坐标，与上一时刻目标的世界坐标计算出目标的运动速度及方向，更新移动机器人的运动速度及方向；计算目标的运动速度过程为：计算当前时刻目标的世界坐标(Xwi，Ywi，Zwi)与上一时刻目标的世界坐标(Xwi-1，Ywi-1，Zwi-1)在时间间隔t内的各个方向上平均速度：
其中vi为目标在运动方向上的运动速度，vxi，vyi，vzi分别为目标在x,y,z方向上的运动速度；
更新移动机器人的运动速度及方向过程为：将移动目标当前时刻各个方向的运动速度作为移动机器人在世界坐标系中各个方向的运动速度：
vrxi＝vxi
vryi＝vyi
vrzi＝vzi
其中vrxi，vryi，vrzi分别为移动机器人在世界坐标系中x,y,z方向的移动速度；
步骤5，重复步骤2-4，持续追踪目标三维轨迹。
2.根据权利要求1所述的基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法，其特征在于，步骤1中标定过程为：使用标定方法，在多个调焦控制电流下对电液可调焦镜头进行标定，通过曲线拟合获得调焦控制电流与fx，fy的函数关系：
(fx，fy)＝H(I)
其中fx，fy为相机在像素平面x，y方向上的等效焦距，单位为像素；I为调焦控制电流；
获取相机光心在像素平面上的坐标，相机感光元件横边与纵边之间的倾斜参数。
3.根据权利要求2所述的基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法，其特征在于，在步骤1中建模过程为：建立电液可调焦镜头光学成像***模型，利用该模型，记录多个调焦控制电流下的最优成像物距，并对记录的调焦控制电流与其对应的最优成像物距数据进行曲线拟合，得到调焦控制电流与最优成像物距之间的关系：
u＝F(I)
其中u为最优成像物距。
4.根据权利要求3所述的基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法，其特征在于，在步骤2中，电液可调焦镜头对追踪目标自动对焦过程包括第一次自动对焦和后续自动对焦；
其中第一次自动对焦过程为：(1)以一定步长从初始调焦控制电流开始搜索，并同时对追踪目标框内部图像区域计算清晰度评价值，获得清晰度评价值最大时的调焦控制电流,以及最大的清晰度评价值，并设置清晰度评价阈值
K＝αDmax
其中α为预设的清晰度置信度，α＜1；Dmax为最大的清晰度评价值；
(2)对焦完成后记录图像中追踪目标框的尺寸、去畸变后的中心点坐标以及四个角点坐标。
5.根据权利要求4所述的基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法，其特征在于，在步骤2中，后续自动对焦过程为：计算追踪目标框内部图像区域的清晰度评价值，记为Di，若Di≥K,则直接记录此时的调焦控制电流Ii、图像中追踪目标框的尺寸sizei、去畸变后的中心点坐标以及四个角点坐标；若Di＜K,则读取此时图像中追踪目标框的尺寸sizei，并与上一次成功对焦时的追踪目标框尺寸sizei-1进行比较，若size′i＜sizei-1，则调焦控制电流以一定步长向最优成像物距变长的方向搜索，并计算追踪目标框内清晰度评价值，直到清晰度评价值大于或等于阈值K完成对焦；若size′i＞sizei-1，则调焦控制电流以一定步长n向最优成像物距变短的方向搜索，并计算追踪目标框内清晰度评价值，直到清晰度评价值大于或等于阈值完成对焦；对焦完成之后记录搜索得到的调焦控制电流以及对焦后的图像中追踪目标框的尺寸、去畸变后的中心点坐标以及四个角点坐标。
6.根据权利要求5所述的基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法，其特征在于，在步骤2中，去畸变过程为：根据步骤1中选用的标定方法所使用的畸变模型，计算当前帧图像的去畸变图像，在去畸变图像中读取并记录追踪目标框的中心点坐标。
7.根据权利要求6所述的基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法，其特征在于，在步骤2中计算目标在相机坐标系下的空间坐标过程为采用相机投影模型：
其中，(xi，yi)为去畸变后的追踪目标框中心点坐标，cx,cy为相机光心在像素平面上的坐标,s为相机感光元件横边与纵边之间的倾斜参数，fxi，fyi为将当前调焦控制电流Ii下的相机内参；Xci，Yci，Zci为所追踪目标的中心点在相机坐标系下的空间坐标，Zci＝ui，ui为将当前调焦控制电流Ii下获得的最优成像物距。
8.根据权利要求7所述的基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法，其特征在于，在步骤3中，计算变换矩阵的过程为：生成与相机获取的图像同尺寸的掩膜，根据追踪目标框的四个角点坐标对掩膜进行处理，使掩膜中与目标框对应的区域像素值全为0，其余区域像素值全为1；将相机采集的图像与处理后的掩膜相乘之后作为V-SLAM***的输入，计算出变换矩阵。
9.根据权利要求8所述的基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法，其特征在于，在步骤4中，将移动目标在相机坐标系下的空间坐标变换至世界坐标系并记录其世界坐标的过程为：
其中，(Xci,Yci,Zci)为移动目标在相机坐标系下的空间坐标，(Xwi，Ywi，Zwi)为移动目标在世界坐标系下的世界坐标，Ti为变换矩阵。
CN202111006409.0A 2021-08-30 2021-08-30 一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法 Active CN113724299B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111006409.0A CN113724299B (zh) 2021-08-30 2021-08-30 一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法
US17/899,264 US20230063939A1 (en) 2021-08-30 2022-08-30 Electro-hydraulic varifocal lens-based method for tracking three-dimensional trajectory of object by using mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111006409.0A CN113724299B (zh) 2021-08-30 2021-08-30 一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法

Publications (2)

Publication Number Publication Date
CN113724299A CN113724299A (zh) 2021-11-30
CN113724299B true CN113724299B (zh) 2023-09-19

Family

ID=78679259

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111006409.0A Active CN113724299B (zh) 2021-08-30 2021-08-30 一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法

Country Status (2)

Country Link
US (1) US20230063939A1 (zh)
CN (1) CN113724299B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115294508B (zh) * 2022-10-10 2023-01-06 成都唐米科技有限公司 一种基于静态空间三维重构的跟焦方法、***及摄像***
KR102646894B1 (ko) * 2022-12-19 2024-03-14 주식회사 딥엑스 고정된 기기 또는 이동가능한 기기에 장착되고, 인공지능 반도체를 탑재한 전자 장치
CN117315147B (zh) * 2023-09-25 2024-05-24 北京理工大学 一种基于单相机的雪车雪橇3d轨迹重建方法
CN117400256B (zh) * 2023-11-21 2024-05-31 扬州鹏顺智能制造有限公司 一种基于视觉图像的工业机器人连续轨迹控制方法
CN117615253B (zh) * 2024-01-22 2024-04-02 中国科学院合肥物质科学研究院 一种目标矩直接探测快速对焦的方法及设备

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102445756A (zh) * 2010-11-18 2012-05-09 微软公司 用于扩展现实显示的自动焦点改善
CN105527778A (zh) * 2016-01-16 2016-04-27 上海大学 电动可调焦液体镜头的自动对焦方法
CN106646694A (zh) * 2016-11-02 2017-05-10 北京信息科技大学 一种基于可见光及近红外的仿生视觉成像技术
CN107481284A (zh) * 2017-08-25 2017-12-15 京东方科技集团股份有限公司 目标物跟踪轨迹精度测量的方法、装置、终端及***
CN108519654A (zh) * 2018-04-13 2018-09-11 上海大学 一种基于电液可调焦镜头的自动对焦方法
CN108600620A (zh) * 2018-04-13 2018-09-28 上海大学 一种基于电液可调焦镜头的移动机器人的目标跟踪方法
CN109191504A (zh) * 2018-08-01 2019-01-11 南京航空航天大学 一种无人机目标跟踪方法
CN109816686A (zh) * 2019-01-15 2019-05-28 山东大学 基于物体实例匹配的机器人语义slam方法、处理器及机器人
CN109889728A (zh) * 2019-03-18 2019-06-14 上海大学 一种基于电液可调焦镜头的移动目标实时自动对焦方法
CN111199556A (zh) * 2019-12-31 2020-05-26 同济大学 基于摄像头的室内行人检测和跟踪方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102445756A (zh) * 2010-11-18 2012-05-09 微软公司 用于扩展现实显示的自动焦点改善
CN105527778A (zh) * 2016-01-16 2016-04-27 上海大学 电动可调焦液体镜头的自动对焦方法
CN106646694A (zh) * 2016-11-02 2017-05-10 北京信息科技大学 一种基于可见光及近红外的仿生视觉成像技术
CN107481284A (zh) * 2017-08-25 2017-12-15 京东方科技集团股份有限公司 目标物跟踪轨迹精度测量的方法、装置、终端及***
CN108519654A (zh) * 2018-04-13 2018-09-11 上海大学 一种基于电液可调焦镜头的自动对焦方法
CN108600620A (zh) * 2018-04-13 2018-09-28 上海大学 一种基于电液可调焦镜头的移动机器人的目标跟踪方法
CN109191504A (zh) * 2018-08-01 2019-01-11 南京航空航天大学 一种无人机目标跟踪方法
CN109816686A (zh) * 2019-01-15 2019-05-28 山东大学 基于物体实例匹配的机器人语义slam方法、处理器及机器人
CN109889728A (zh) * 2019-03-18 2019-06-14 上海大学 一种基于电液可调焦镜头的移动目标实时自动对焦方法
CN111199556A (zh) * 2019-12-31 2020-05-26 同济大学 基于摄像头的室内行人检测和跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于可见光及近红外的仿生视觉成像技术;褚翔;祝连庆;娄小平;孟晓辰;;半导体光电(第02期);全文 *

Also Published As

Publication number Publication date
US20230063939A1 (en) 2023-03-02
CN113724299A (zh) 2021-11-30

Similar Documents

Publication Publication Date Title
CN113724299B (zh) 一种基于电液可调焦镜头的移动机器人追踪目标三维轨迹方法
CN109308693B (zh) 由一台ptz相机构建的目标检测和位姿测量单双目视觉***
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN107948517B (zh) 预览画面虚化处理方法、装置及设备
CN113838150B (zh) 一种基于电液可调焦镜头的移动目标三维轨迹追踪方法
CN105184784B (zh) 基于运动信息的单目相机获取深度信息的方法
CN109727291B (zh) 一种变焦距摄像机的高精度在线标定方法
CN107845145B (zh) 一种电子显微场景下的三维重构***及方法
CN105791801A (zh) 图像处理装置、图像拾取装置和图像处理方法
CN113111715B (zh) 一种无人机目标跟踪与信息采集***及方法
CN110827321B (zh) 一种基于三维信息的多相机协同的主动目标跟踪方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
KR20230110618A (ko) 영상 보정 방법, 장치 및 시스템, 전자 장치
CN111398274B (zh) 一种微小目标物3d采集设备
KR101745493B1 (ko) 깊이 지도 생성 장치 및 방법
WO2017101292A1 (zh) 自动对焦的方法、装置和***
CN116958419A (zh) 一种基于波前编码的双目立体视觉三维重建***和方法
CN113538545B (zh) 一种基于电液可调焦镜头的单目深度估计方法及相应的相机和存储介质
CN109801309B (zh) 一种基于rgb-d相机的障碍物感知方法
CN105488780A (zh) 一种用于工业生产线的单目视觉测距追踪装置及其追踪方法
JP2006195790A (ja) レンズ歪推定装置、レンズ歪推定方法、及びレンズ歪推定プログラム
JP2016110312A (ja) 画像処理方法、画像処理装置及びプログラム
JP2019012497A (ja) 部位認識方法、装置、プログラム、及び撮像制御システム
CN113163112A (zh) 一种聚变焦控制方法及***
CN115037869A (zh) 自动对焦方法、装置、电子设备及计算机可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant