CN111340884B - 一种双目异构相机与rfid的双重目标定位与身份辨识方法 - Google Patents

一种双目异构相机与rfid的双重目标定位与身份辨识方法 Download PDF

Info

Publication number
CN111340884B
CN111340884B CN202010110245.5A CN202010110245A CN111340884B CN 111340884 B CN111340884 B CN 111340884B CN 202010110245 A CN202010110245 A CN 202010110245A CN 111340884 B CN111340884 B CN 111340884B
Authority
CN
China
Prior art keywords
camera
coordinate system
binocular
target
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010110245.5A
Other languages
English (en)
Other versions
CN111340884A (zh
Inventor
周海波
王硕
李晨铭
陈胜勇
杨守瑞
赵萌
沈创芸
刘彪
韩慧轩
刘淑键
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN202010110245.5A priority Critical patent/CN111340884B/zh
Publication of CN111340884A publication Critical patent/CN111340884A/zh
Application granted granted Critical
Publication of CN111340884B publication Critical patent/CN111340884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种双目异构相机与RFID的双重目标定位与身份辨识方法,该方法通过将RFID定位信息与双目相机立体视觉定位信息相结合的基础上,将目标的位置信息、身份信息与图像信息建立联系,从而在采集目标图像的同时能够得到目标的位置与身份信息。弥补了单靠视觉不能准确识别该畜禽身份的不足,同时弥补了单靠电子标签定位精度低且不能得到视频图像的不足。

Description

一种双目异构相机与RFID的双重目标定位与身份辨识方法
技术领域
本发明属于目标定位与身份辨识技术领域,具体涉及一种双目异构相机与RFID的双重目标定位与身份辨识方法。
背景技术
目标定位与身份辨识技术有着广泛的应用价值,尤其是应用于畜禽养殖行业。由于畜禽个体运动规律不确定,又需要人为对其进行观察,了解其身体状况,本发明对其有巨大的应用价值。
现有的目标定位与身份辨识技术通常使用单一技术实现,例如:在畜禽养殖行业中单纯使用电子标签对畜禽进行身份辨识,同时通过在电子标签中加装姿态传感器、计步器、体温计等传感器来检测畜禽活动情况;在人员流动监控中,使用监控相机获取图像信息,对图像中的人员进行定位与人脸识别,得到人员的身份信息与活动情况。
这两种方案都有其本身的技术缺陷:例如,前者虽然可以准确的辨别目标身份,但是无法获得目标的视频图像信息,若想获得更多相关信息只能在电子标签上加装更多传感器,这无疑增加了电子标签的体积、功耗与成本;后者可以得到目标的视频图像信息,信息量较为丰富,但是由于人脸识别技术还不够成熟,所以其身份辨别的准确性无法得到保证。
发明内容
本发明的目的在于克服现有技术的不足,提供一种双目异构相机与RFID的双重目标定位与身份辨识方法,该方法通过将RFID定位信息与双目相机立体视觉定位信息相结合的基础上,将目标的位置信息、身份信息与图像信息建立联系,从而在采集目标图像的同时能够得到目标的位置与身份信息。
本发明是通过以下技术方案实现的:
一种双目异构相机与RFID的双重目标定位与身份辨识方法,包括如下步骤:
步骤S1,对双目异构相机进行标定,建立图像坐标系与双目异构相机坐标系映射关系,得到其内参矩阵、外参矩阵和畸变参数;
步骤S2,根据相机与机器人之间位姿变换,机器人与养殖场之间位姿变换,获取相机坐标系到养殖场坐标系的位姿变换矩阵,利用该位姿变换矩阵实现双目相机三维坐标到养殖场三维坐标的转换;
步骤S3,采集双目图像,检测目标分别在双目相机图像中的区域,然后将两图像中相同目标匹配为一组,最后提取各组目标的局部图像;
步骤S4,根据目标图像坐标以及图像坐标系与世界坐标系的单应性矩阵,计算出目标的相机世界坐标,然后转换到养殖场世界坐标;
步骤S5,利用RFID定位信息,获得目标的养殖场世界坐标系坐标,以及其身份ID相关信息;
步骤S6,对双目视觉计算出的养殖场世界坐标与RFID得到的养殖场世界坐标进行坐标匹配,将坐标相同或相近的目标匹配为同一目标,从而将某一目标的位置信息、身份相关信息与图像信息联系到一起。
在上述技术方案中,步骤S1中,在双目相机标定过程中,主要包括单目相机标定和双目相机标定两个过程。通过单目相机标定获取:相机内参矩阵
Figure GDA0004264308650000021
(焦距:fx,fy;主点:cx,cy);与畸变参数:径向畸变系数k1,k2,k3;切向畸变系数:p1,p2;
通过双目相机标定获得相机的外参矩阵,包括旋转矩阵Rot,平移矩阵Trans,如下式:
Figure GDA0004264308650000022
在上述技术方案中,步骤S2中,针对养殖场巡检环境建立不同的坐标系,包括相机坐标系C、机器人坐标系R以及养殖场整体的世界坐标系w;
在各坐标系中分别建立位姿矩阵,包括旋转矩阵Rot和平移矩阵Trans,相机坐标系到养殖场坐标系的转换公式表示为:
Figure GDA0004264308650000023
在上述技术方案中,步骤S3中,首先将双目相机采集的图像利用步骤S1中标定出的畸变参数去除畸变,作为输入图像;然后使用目标检测神经网络检测模型对输入图像进行目标检测,得到目标在图像中所在的区域;最后将两幅图像中检测到的目标进行特征提取与匹配,找出其对应关系,得到目标图像坐标。
在上述技术方案中,步骤S4中,首先对步骤S3得到畸变校正后的图像进行立体校正,把消除畸变后的两幅图像在水平方向严格的对齐,使得两幅图像的对极线恰好在同一水平线上,这样一幅图像上任意一点与其在另一幅图像上的匹配点就必然具有相同的行号,只需要在该行进行一维搜索就可匹配到对应点;
之后,将步骤S3得到的目标图像坐标进行三维重建,得到目标在双目相机坐标系下的坐标;
最后,将目标在双目相机坐标系下的坐标转换到养殖场坐标系。
本发明的优点和有益效果为:
本发明通过将RFID定位信息与双目相机立体视觉定位信息相结合的基础上,将目标的位置信息、身份信息与图像信息建立联系,从而在采集目标图像的同时能够得到它的位置与身份信息。弥补了单靠视觉不能准确识别该畜禽身份的不足,同时弥补了单靠电子标签定位精度低且不能得到视频图像的不足。
附图说明
图1是本发明的双目异构相机与RFID的双重目标定位与身份辨识方法的拓扑图。
图2是相机坐标系到养殖场坐标系的位姿示意图。
图3是以车辆检测为例对步骤S3的说明图。
图4是步骤S5获得目标的养殖场世界坐标系坐标示意图。
图5是步骤S6的示意图。
对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,可以根据以上附图获得其他的相关附图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案,下面结合具体实施例进一步说明本发明的技术方案。
一种双目异构相机与RFID的双重目标定位与身份辨识方法,如图1所示,具体包括如下步骤:
步骤S1,对双目相机进行标定,建立图像坐标系与双目相机坐标系映射关系,得到其内参矩阵、外参矩阵和畸变参数。
在双目相机标定过程中,主要包括单目相机标定和双目相机标定两个过程。通过单目相机标定获取:相机内参矩阵
Figure GDA0004264308650000031
(焦距:fx,fy;主点:cx,cy);与畸变参数:径向畸变系数k1,k2,k3;切向畸变系数:p1,p2;
通过双目相机标定获得相机的外参矩阵,包括旋转矩阵Rot,平移矩阵Trans,如下式:
Figure GDA0004264308650000032
步骤S2,确定相机与机器人之间位姿变换,机器人与养殖场之间位姿变换,获取相机坐标系到养殖场坐标系的位姿变换矩阵,利用该位姿变换矩阵可以实现双目相机三维坐标到养殖场三维坐标的转换。
具体的说:为了将相机中目标在养殖场中的位置,需要针对养殖场巡检环境建立不同的坐标系,包括相机坐标系C、机器人坐标系R以及养殖场整体的世界坐标系w。
在各坐标系中分别建立位姿矩阵,包括旋转矩阵Rot和平移矩阵Trans。
相机坐标系到养殖场坐标系的位姿如图2所示,用下式表示:
Figure GDA0004264308650000041
步骤S3,采集双目图像,并使用图像检测技术,检测若干目标分别在双目相机图像中的区域,然后使用图像匹配技术,将两图像中相同目标匹配为一组,最后提取各组目标的局部图像。
具体的说:首先将双目相机采集的图像利用步骤S1中标定出的畸变参数去除畸变,作为输入图像;然后使用目标检测神经网络检测模型对输入图像进行目标检测,得到目标在图像中所在的区域;最后将两幅图像中检测到的目标进行特征提取与匹配,找出其对应关系,得到若干组经过去畸变后的目标图像坐标。以车辆检测为例,其过程如图3所示。
步骤S4,根据若干组经过去畸变后的目标图像坐标以及图像坐标系与世界坐标系的单应性矩阵,计算出若干目标的相机世界坐标,然后转换到养殖场世界坐标。
具体的说:首先对步骤S3得到畸变校正后的图像进行立体校正,把消除畸变后的两幅图像在水平方向严格的对齐,使得两幅图像的对极线恰好在同一水平线上,这样一幅图像上任意一点与其在另一幅图像上的匹配点就必然具有相同的行号,只需要在该行进行一维搜索就可匹配到对应点。
之后,将步骤S3匹配得到的目标图像坐标进行三维重建,得到目标在双目相机坐标系下的坐标。
最后,将相机坐标系的坐标,按照步骤S2的转换公式转换到养殖场坐标系。
步骤S5,通过现有的RFID定位技术,如蓝牙、UWB、RFID、WIFI等技术,可以获得任意目标的养殖场世界坐标系坐标,以及其身份ID相关信息。
例如,参见附图4,由(x1,y1)与(x2,y2)测量距目标的位置,由两圆相交可得出两个坐标,最后通过所测得(x3,y3)与目标的距离确定出最终的目标在养殖场上的二维坐标,由此可得出所有悬挂标签的畜禽在养殖场的二维坐标。
步骤S6,由步骤S4得出的目标在养殖场的世界坐标系的坐标通过降维得出目标在养殖场的二维坐标,随后与步骤S5得出的坐标进行匹配,将坐标相同或相近的目标匹配为同一目标,从而将某一目标的位置信息、身份相关信息与图像信息联系到一起。
进一步的说,由于目前RFID定位技术仍然存在一定误差,所以取最近的两个电子标签的信息,经多次实验测量数据所得,若两个最近的电子标签距目标的距离非常相近,则导致不能准确判别目标点是那个标签,由此引入置信度,以适应不同环境下的判别,经实验测得相应匹配结果的置信度与
Figure GDA0004264308650000051
(dmax,dmin分别为相距最远位置和相距最近位置)相关,根据在不同环境下测得的数据进行曲线拟合,得出相应的置信度函数。
将所测得距离最近的两个电子标签的置信度以及其所存储的信息,如电子标签ID等信息传回给计算机,则可在视频图像中的目标畜禽上标出其相应信息,如图5所示。
这样,弥补了单靠视觉不能准确识别该畜禽身份的不足,同时弥补了单靠电子标签定位精度低且不能得到视频图像的不足。
进一步的说,所述双目异构相机***可以使用异构相机组成双目***,如一个红外相机与一个彩色相机;也可使用相同相机组成双目***,如两个彩色相机。其相同点在于两种方式都需要两相机有一定的重合视场区域以满足双目定位的需求。相同点在于:(1)相同相机组成的双目***其左右相机目标检测可以采用同一种方法,异构相机组成双目***其左右相机目标检测需要采用不同方法;(2)相同相机组成的双目***其特征匹配中左右图像的特征提取与度量方法相同,异构相机组成双目***其特征匹配中左右图像的特征提取与度量方法不同。
进一步的说,所述RFID定位***可使用多种技术实现,包括基于信号强度(RSSI)的定位技术、基于飞行时间(TOF)的定位技术与基于到达时间差(TDOA)定位技术,但是要求使用的电子标签定位技术需要满足以下条件:(1)既能定位目标位置又能获取标签的编号(2)其定位范围应覆盖双目相机的定位范围(3)其定位速度与定位精度应满足实际应用需求。
以上对本发明做了示例性的描述,应该说明的是,在不脱离本发明的核心的情况下,任何简单的变形、修改或者其他本领域技术人员能够不花费创造性劳动的等同替换均落入本发明的保护范围。

Claims (1)

1.一种双目异构相机与RFID的双重目标定位与身份辨识方法,其特征在于:包括如下步骤:
步骤S1,对双目异构相机进行标定,建立图像坐标系与双目异构相机坐标系映射关系,得到其内参矩阵、外参矩阵和畸变参数;在双目异构相机进行标定中,主要包括单目相机标定和双目相机标定两个过程,通过单目相机标定获取:相机内参矩阵
Figure FDA0004264308640000011
与畸变参数:径向畸变系数k1,k2,k3;切向畸变系数:p1,p2;通过双目相机标定获得相机的外参矩阵,包括旋转矩阵Rot,平移矩阵Trans,如下式:
Figure FDA0004264308640000012
步骤S2,根据相机与机器人之间位姿变换,机器人与养殖场之间位姿变换,获取相机坐标系到养殖场坐标系的位姿变换矩阵,利用该位姿变换矩阵实现双目相机三维坐标到养殖场三维坐标的转换;针对养殖场巡检环境建立不同的坐标系,包括相机坐标系C、机器人坐标系R以及养殖场整体的世界坐标系w;
在各坐标系中分别建立位姿矩阵,包括旋转矩阵Rot和平移矩阵Trans,相机坐标系到养殖场坐标系的转换公式表示为:
Figure FDA0004264308640000013
步骤S3,采集双目图像,检测目标分别在双目相机图像中的区域,然后将两图像中相同目标进行匹配为一组,最后提取各组目标的局部图像;首先将双目相机采集的图像利用步骤S1中标定出的畸变参数去除畸变,作为输入图像;然后使用目标检测神经网络检测模型对输入图像进行目标检测,得到目标在图像中所在的区域;最后将两幅图像中检测到的目标进行特征提取与匹配,找出其对应关系,得到目标图像坐标;
步骤S4,根据目标图像坐标以及图像坐标系与世界坐标系的单应性矩阵,计算出目标的相机世界坐标,然后转换到养殖场世界坐标;首先对步骤S3得到畸变校正后的图像进行立体校正,把消除畸变后的两幅图像在水平方向严格的对齐,使得两幅图像的对极线恰好在同一水平线上,这样一幅图像上任意一点与其在另一幅图像上的匹配点就必然具有相同的行号,只需要在该行进行一维搜索就可匹配到对应点;
之后,将步骤S3得到的目标图像坐标进行三维重建,得到目标在双目相机坐标系下的坐标;
最后,将目标在双目相机坐标系下的坐标转换到养殖场坐标系;
步骤S5,利用RFID定位信息,获得目标的养殖场世界坐标系坐标,以及其身份ID相关信息;
步骤S6,对双目视觉计算出的养殖场世界坐标与RFID得到的养殖场世界坐标进行坐标匹配,将坐标相同或相近的目标匹配为同一目标,从而将某一目标的位置信息、身份相关信息与图像信息联系到一起。
CN202010110245.5A 2020-02-24 2020-02-24 一种双目异构相机与rfid的双重目标定位与身份辨识方法 Active CN111340884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010110245.5A CN111340884B (zh) 2020-02-24 2020-02-24 一种双目异构相机与rfid的双重目标定位与身份辨识方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010110245.5A CN111340884B (zh) 2020-02-24 2020-02-24 一种双目异构相机与rfid的双重目标定位与身份辨识方法

Publications (2)

Publication Number Publication Date
CN111340884A CN111340884A (zh) 2020-06-26
CN111340884B true CN111340884B (zh) 2023-07-07

Family

ID=71181849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010110245.5A Active CN111340884B (zh) 2020-02-24 2020-02-24 一种双目异构相机与rfid的双重目标定位与身份辨识方法

Country Status (1)

Country Link
CN (1) CN111340884B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112288801A (zh) * 2020-10-30 2021-01-29 天津理工大学 应用于巡检机器人的四位一体自适应跟踪拍摄方法及装置
CN112991465A (zh) * 2021-03-26 2021-06-18 禾多科技(北京)有限公司 相机标定方法、装置、电子设备和计算机可读介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527075A (zh) * 2016-06-20 2017-12-29 杭州海康威视数字技术股份有限公司 Rfid标签与人员对应关系建立及轨迹追踪方法及装置
CN109258479A (zh) * 2018-09-21 2019-01-25 贵州民族大学 基于图像识别的奶牛产奶量自动监测***

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7399220B2 (en) * 2002-08-02 2008-07-15 Kriesel Marshall S Apparatus and methods for the volumetric and dimensional measurement of livestock
CN102902271A (zh) * 2012-10-23 2013-01-30 上海大学 基于双目视觉的机器人目标识别与抓取***及方法
CN103884280A (zh) * 2014-03-14 2014-06-25 中国农业大学 一种移动式多猪圈猪体尺体重监测***
CN105432486B (zh) * 2015-11-03 2019-04-30 内蒙古农业大学 一种饲喂检测***及其饲喂检测方法
CN105784083B (zh) * 2016-04-05 2018-05-18 北京农业信息技术研究中心 基于立体视觉技术的奶牛体型测量方法和***
CN105973228A (zh) * 2016-06-28 2016-09-28 江苏环亚医用科技集团股份有限公司 一种基于单摄像头、rssi的室内目标定位***及方法
CN108010085B (zh) * 2017-11-30 2019-12-31 西南科技大学 基于双目可见光相机与热红外相机的目标识别方法
CN108614980A (zh) * 2018-04-16 2018-10-02 西南科技大学 一种融合rfid和激光信息的动态目标定位***及方法
CN108875647B (zh) * 2018-06-22 2021-08-31 成都睿畜电子科技有限公司 一种基于牲畜身份的移动轨迹监测方法和***
CN110597333B (zh) * 2019-10-24 2021-06-15 任明乐 一种基于物联网的猪舍环境监控***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107527075A (zh) * 2016-06-20 2017-12-29 杭州海康威视数字技术股份有限公司 Rfid标签与人员对应关系建立及轨迹追踪方法及装置
CN109258479A (zh) * 2018-09-21 2019-01-25 贵州民族大学 基于图像识别的奶牛产奶量自动监测***

Also Published As

Publication number Publication date
CN111340884A (zh) 2020-06-26

Similar Documents

Publication Publication Date Title
CN110411441B (zh) 用于多模态映射和定位的***和方法
CN110426051B (zh) 一种车道线绘制方法、装置及存储介质
CN103411553B (zh) 多线结构光视觉传感器的快速标定方法
CN109658457B (zh) 一种激光与相机任意相对位姿关系的标定方法
CN111815717B (zh) 一种多传感器融合外参联合半自主标定方法
CN111812649A (zh) 基于单目相机与毫米波雷达融合的障碍物识别与定位方法
CN111340884B (zh) 一种双目异构相机与rfid的双重目标定位与身份辨识方法
CN111735439A (zh) 地图构建方法、装置和计算机可读存储介质
CN110223355B (zh) 一种基于双重极线约束的特征标志点匹配方法
CN112862881B (zh) 基于众包多车摄像头数据的道路地图构建与融合的方法
Momeni-k et al. Height estimation from a single camera view
CN106991705B (zh) 一种基于p3p算法的位置参数估计方法
US20230236280A1 (en) Method and system for positioning indoor autonomous mobile robot
CN112033408B (zh) 一种贴纸式的物体空间定位***及定位方法
CN112518748A (zh) 面向运动物品的视觉机械臂自动抓取方法与***
CN107917700A (zh) 基于深度学习的小幅度目标三维姿态角测量方法
CN111583342A (zh) 一种基于双目视觉的目标快速定位方法及装置
CN108845289B (zh) 一种商超购物车定位方法、***及商超购物车
US20240085448A1 (en) Speed measurement method and apparatus based on multiple cameras
CN115457130A (zh) 一种基于深度关键点回归的电动汽车充电口检测定位方法
US20190362517A1 (en) Image database creation device, location and inclination estimation device, and image database creation method
CN111325802B (zh) 一种直升机风洞试验中圆形标记点识别匹配方法
CN114066972A (zh) 一种基于单目视觉的无人机自主定位方法
CN110135238B (zh) 一种基于移动ar的无标记物联网设备识别方法
Kheng et al. Stereo vision with 3D coordinates for robot arm application guide

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant