CN107301666B - 机器人自动射击方法 - Google Patents

机器人自动射击方法 Download PDF

Info

Publication number
CN107301666B
CN107301666B CN201710506256.3A CN201710506256A CN107301666B CN 107301666 B CN107301666 B CN 107301666B CN 201710506256 A CN201710506256 A CN 201710506256A CN 107301666 B CN107301666 B CN 107301666B
Authority
CN
China
Prior art keywords
shooting
shooting target
camera
picture
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201710506256.3A
Other languages
English (en)
Other versions
CN107301666A (zh
Inventor
何俐萍
张鹏飞
曾易寒
陈鹏
丁聪
代睿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN201710506256.3A priority Critical patent/CN107301666B/zh
Publication of CN107301666A publication Critical patent/CN107301666A/zh
Application granted granted Critical
Publication of CN107301666B publication Critical patent/CN107301666B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本发明公开了一种机器人自动射击方法；其包括采用双相机获取射击目标图片、分别对图片进行射击目标匹配、再对射击目标进行双相机匹配，采用双相机对射击目标进行双目测量、得到射击目标相对于机器人的三维坐标，选取距离机器人最近的射击目标进行锁定、利用主控***完成自动射击。本发明采用灯条匹配方法实现图片颜色与射击目标匹配，再进行双相机与射击目标匹配，根据双相机对射击目标的双目测量结果结合双相机与射击目标的匹配结果实现对射击目标的锁定，从而实现机器人自动射击。

Description

机器人自动射击方法
技术领域
本发明属于图像识别技术领域，尤其涉及一种机器人自动射击方法。
背景技术
全国大学生机器人大赛RoboMasters是由共青团中央、全国学联、深圳市人民政府联合主办的赛事，是中国最具影响力的机器人项目，是全球独创的机器人竞技平台，包含机器人赛事、机器人生态、以及工程文化等多项内容，正在全球范围内掀起一场机器人科技狂潮。作为国内首个激战类机器人竞技比赛，RoboMasters大赛在其诞生伊始就凭借其颠覆传统的比赛方式、震撼人心的视听冲击力、激烈硬朗的竞技风格，吸引到全国数百所高等院校、近千家高新科技企业以及数以万计的科技爱好者的深度关注。参赛队员将通过比赛获得宝贵的实践技能和战略思维，将理论与实践相结合，在激烈的竞争中打造先进的智能机器人。
在Robomasters全国大学生机器人大赛中，比赛双方的机器人需要发射弹丸射击对方机器人的“装甲板”，每射中一次，对方机器人扣除一定的“血量”，直至扣除完所有的血量。在这个过程中，可引入“自动射击”，即我方机器人自动识别攻击对方机器人。一般自动射击方案为，在己方机器人的枪管处加一个摄像头，摄像头光轴方向与枪管平行，摄像头采集到图像后，识别出目标机器人的“装甲板”，并根据目标在图像中距离图像中心点的误差调整枪管方向。此种方法无法测量出目标的精确距离，在面对多个目标时，难以精确锁定目标；难以解决远距离攻击时重力对弹丸的影响；难以攻击运动的目标。
发明内容
本发明的发明目的是：为了解决现有技术中存在的以上问题，本发明提出了一种机器人自动射击方法。
本发明的技术方案是：一种机器人自动射击方法，包括以下步骤：
A、采用双相机获取射击目标图片，分别对图片进行射击目标匹配，再对射击目标进行双相机匹配；
B、采用双相机对射击目标进行双目测量，得到射击目标相对于机器人的三维坐标；
C、选取距离机器人最近的射击目标进行锁定，将步骤B中射击目标相对于机器人的三维坐标转换为射击目标相对于射击云台的三维坐标，计算射击云台的竖直和水平轴角度，利用主控***根据射击云台的竖直和水平轴角度完成自动射击。
进一步地，所述步骤A中采用双相机获取射击目标图片，分别对图片进行射击目标匹配，具体包括以下分步骤：
A11、获取射击目标图片，提取目标灯条信息；
A12、依次计算并比较各个灯条的匹配误差；
A13、选取步骤A12中匹配误差最小的两个灯条匹配为一个射击目标，并将该射击目标信息存入链表。
进一步地，所述步骤A11获取射击目标图片，提取目标灯条信息，具体包括以下分步骤：
A111、将获取的射击目标图片进行灰度化处理，通过设置阈值提取灰度化图片的高亮部分，并标记为图片1；
A112、将图片中的RGB三通道划分为三种像素颜色图片，将需要提取颜色灯条对应像素颜色图片的像素值分别减去剩余两种像素颜色图片的像素值，并将得到的图片标记为图片2；
A113、计算步骤A111中图片1与步骤A112中图片2的交集，并将得到的图片标记为图片3；
A114、分别对步骤A113中的图片3进行面积筛选和角度筛选处理，得到需要提取颜色灯条的灯条信息并存入链表。
进一步地，所述步骤A12中计算各个灯条的匹配误差的计算方法为
E＝a*(L1-L2)+b*(theta1-theta2)+c*(Row1-Row2)
+d*((Col1-Col2)/(L1+L2)-e)
其中，E为匹配误差，a,b,c,d为匹配系数，L1,L2分别为灯条1和灯条2的长度，theta1,theta2分别为灯条1和灯条2的角度，Row1,Row2分别为灯条1和灯条2的行坐标，Col1,Col2分别为灯条1和灯条2的列坐标，e为射击目标的标准长宽比值。
进一步地，所述步骤A中对射击目标进行双相机匹配，具体包括以下分步骤：
A21、采用双相机分别对射击目标的三维坐标进行测量；
A22、将步骤A21中射击目标相对于双相机的左相机的三维坐标变换为射击目标相对于双相机的右相机的三维坐标；
A23、分别计算所有步骤A22中射击目标相对于左相机变换后的三维坐标与射击目标相对于右相机的三维坐标的欧式距离，选择距离最短的两个射击目标进行匹配。
进一步地，所述步骤A21采用双相机分别对射击目标的三维坐标进行测量，具体包括以下分步骤：
A211、采用单个相机测量射击目标与相机之间的距离，计算公式表示为：
D＝(f*L)/d*l
其中，D为射击目标距离相机的距离，f为相机焦距，L为射击目标实际高度，d为相机像原长度，l为射击目标在相机拍摄的图片上的长度；
A212、分别计算射击目标在相对于相机的坐标系中坐标轴方向的角度，计算公式分别表示为：
ThetaX＝((Col-Col0)/WIDHT)*ThetaW
ThetaY＝((Row-Row0)/HIGHT)*ThetaH
其中，ThetaX,ThetaY分别为射击目标沿坐标轴方向的角度，Row,Col分别为射击目标的行、列坐标，WIDHT,HIGHT分别为相机横向和纵向的总像素数，ThetaW,ThetaH为相机横向和纵向的视角；
A213、根据步骤A211和A212得到射击目标的极坐标，并将射击目标的极坐标转换为三维直角坐标。
本发明的有益效果是：本发明采用灯条匹配方法实现图片颜色与射击目标匹配，再进行双相机与射击目标匹配，根据双相机对射击目标的双目测量结果结合双相机与射击目标的匹配结果实现对射击目标的锁定，从而实现机器人自动射击。
附图说明
图1是本发明的机器人自动射击方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
如图1所示，为本发明的机器人自动射击方法的流程示意图。一种机器人自动射击方法，包括以下步骤：
A、采用双相机获取射击目标图片，分别对图片进行射击目标匹配，再对射击目标进行双相机匹配；
B、采用双相机对射击目标进行双目测量，得到射击目标相对于机器人的三维坐标；
C、选取距离机器人最近的射击目标进行锁定，将步骤B中射击目标相对于机器人的三维坐标转换为射击目标相对于射击云台的三维坐标，计算射击云台的竖直和水平轴角度，利用主控***根据射击云台的竖直和水平轴角度完成自动射击。
在步骤A中，本发明采用双相机获取射击目标图片，分别对图片进行射击目标匹配，具体包括以下分步骤：
A11、获取射击目标图片，提取目标灯条信息，具体包括以下分步骤：
A111、将获取的射击目标图片进行灰度化处理，通过设置阈值提取灰度化图片的高亮部分，并标记为图片1；
A112、将图片中的RGB三通道划分为三种像素颜色图片，将需要提取颜色灯条对应像素颜色图片的像素值分别减去剩余两种像素颜色图片的像素值，并将得到的图片标记为图片2；即当需要提取蓝色灯条信息时，用B图的像素值分别减去R图和G图的像素值，将得到的图片标记为图片2；当需要提取红色灯条信息时、用R图的像素值分别减去B图和G图的像素值，将得到的图片标记为图片2。
A113、计算步骤A111中图片1与步骤A112中图片2的交集，并将得到的图片标记为图片3；
A114、分别对步骤A113中的图片3进行面积筛选和角度筛选处理，得到需要提取颜色灯条的灯条信息并存入链表。这里对图片3进行角度筛选是指在竖直方向上进行处理，提取颜色灯条的灯条信息包括中心点行列坐标信息、长度信息、角度信息。
A12、依次计算并比较各个灯条的匹配误差，计算方法为
E＝a*(L1-L2)+b*(theta1-theta2)+c*(Row1-Row2)
+d*((Col1-Col2)/(L1+L2)-e)
其中，E为匹配误差，a,b,c,d为匹配系数，L1,L2分别为灯条1和灯条2的长度，theta1,theta2分别为灯条1和灯条2的角度，Row1,Row2分别为灯条1和灯条2的行坐标，Col1,Col2分别为灯条1和灯条2的列坐标，e为射击目标的标准长宽比值。优选地，e取值为射击目标的标准长宽比值的两倍。
A13、选取步骤A12中匹配误差最小的两个灯条匹配为一个射击目标，并将该射击目标信息存入链表。这里的射击目标信息包括中心点行列信息，高度信息。
本发明对射击目标进行双相机匹配，具体包括以下分步骤：
A21、采用双相机分别对射击目标的三维坐标进行测量，即采用左右两个相机分别对射击目标进行单目测量，具体包括以下分步骤：
A211、采用单个相机测量射击目标与相机之间的距离，计算公式表示为：
D＝(f*L)/d*l
其中，D为射击目标距离相机的距离，f为相机焦距，L为射击目标实际高度，d为相机像原长度，l为射击目标在相机拍摄的图片上的长度；
A212、分别计算射击目标在相对于相机的坐标系中坐标轴方向的角度，计算公式分别表示为：
ThetaX＝((Col-Col0)/WIDHT)*ThetaW
ThetaY＝((Row-Row0)/HIGHT)*ThetaH
其中，ThetaX,ThetaY分别为射击目标沿坐标轴方向的角度，Row,Col分别为射击目标的行、列坐标，WIDHT,HIGHT分别为相机横向和纵向的总像素数，ThetaW,ThetaH为相机横向和纵向的视角；
A213、根据步骤A211和A212得到射击目标的极坐标，并将射击目标的极坐标转换为三维直角坐标。
A22、将步骤A21中射击目标相对于双相机的左相机的三维坐标变换为射击目标相对于双相机的右相机的三维坐标，即将左相机在左相机坐标系下测得的三维坐标变换到右相机坐标系下；
A23、分别计算所有步骤A22中射击目标相对于左相机变换后的三维坐标与射击目标相对于右相机的三维坐标的欧式距离，即分别计算所有步骤A22中左相机变换后的三维坐标与右相机测得的三维坐标的欧氏距离，选择距离最短的两个射击目标进行匹配。
在步骤B中，本发明采用双相机对射击目标进行双目测量，得到射击目标相对于机器人的三维坐标，将射击目标相对于机器人的三维坐标按照目标1-n保存到链表中。
在步骤C中，本发明根据步骤A从多个射击目标中选择与双相机距离最近的射击目标进行匹配，实现选取距离机器人最近的射击目标进行锁定，使得一定距离范围内只攻击这一个目标；再将步骤B中射击目标相对于机器人的三维坐标转换为射击目标相对于射击云台的三维坐标，计算射击云台的竖直和水平轴角度，利用主控***根据射击云台的竖直和水平轴角度完成自动射击。为了进一步提高射击准确性，本发明在射击目标相对于射击云台的三维坐标的基础上，加入重力对弹丸的影响，再根据目标之前的坐标对目标下一时刻的位置坐标进行预判，具体为对最近的400ms内目标的运动坐标进行局部二次拟合，并预测100ms以后目标的位置，得到机器人所要攻击的射击目标的实际坐标点，解决了弹丸飞行过程中运动目标位移的问题，从而解算出云台应有的竖直和水平轴角度，将信息发送到主控***进行射击。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (3)

1.一种机器人自动射击方法，其特征在于，包括以下步骤：
A、采用双相机获取射击目标图片，分别对图片颜色进行射击目标匹配，再对射击目标进行双相机匹配；所述步骤A中采用双相机获取射击目标图片，分别对图片进行射击目标匹配，具体包括以下分步骤：
A11、获取射击目标图片，提取目标灯条信息；具体包括以下分步骤：
A111、将获取的射击目标图片进行灰度化处理，通过设置阈值提取灰度化图片的高亮部分，并标记为图1；
A112、将图片中的RGB三通道划分为三种像素颜色图片，将需要提取颜色灯条对应像素颜色图片的像素值分别减去剩余两种像素颜色图片的像素值，并将得到的图片标记为图2；
A113、计算步骤A111中图1与步骤A112中图2的交集，并将得到的图片标记为图3；
A114、分别对步骤A113中的图3进行面积筛选和角度筛选处理，得到需要提取颜色灯条的灯条信息并存入链表；
A12、依次计算并比较各个灯条之间的匹配误差；计算方法为
E＝a*(L1-L2)+b*(theta1-theta2)+c*(Row1-Row2)+d*((Col1-Col2)/(L1+L2)-e)
其中，E为匹配误差，a,b,c,d为匹配系数，L1,L2分别为灯条1和灯条2的长度，theta1,theta2分别为灯条1和灯条2的角度，Row1,Row2分别为灯条1和灯条2的行坐标，Col1,Col2分别为灯条1和灯条2的列坐标，e为射击目标的标准长宽比值；
A13、选取步骤A12中匹配误差最小的两个灯条匹配为一个射击目标，并将该射击目标信息存入链表；
B、采用双相机对射击目标进行双目测量，得到射击目标相对于机器人的三维坐标；
C、选取距离机器人最近的射击目标进行锁定，将步骤B中射击目标相对于机器人的三维坐标转换为射击目标相对于射击云台的三维坐标，计算射击云台的竖直和水平轴角度，利用主控***根据射击云台的竖直和水平轴角度完成自动射击。
2.如权利要求1所述的机器人自动射击方法，其特征在于，所述步骤A中对射击目标进行双相机匹配，具体包括以下分步骤：
A21、采用双相机分别对射击目标的三维坐标进行测量；
A22、将步骤A21中射击目标相对于双相机的左相机的三维坐标变换为射击目标相对于双相机的右相机的三维坐标；
A23、分别计算所有步骤A22中射击目标相对于左相机变换后的三维坐标与射击目标相对于右相机的三维坐标的欧式距离，选择距离最短的两个射击目标进行匹配。
3.如权利要求2所述的机器人自动射击方法，其特征在于，所述步骤A21采用双相机分别对射击目标的三维坐标进行测量，具体包括以下分步骤：
A211、采用单个相机测量射击目标与相机之间的距离，计算公式表示为：
D＝(f*L)/d*l
其中，D为射击目标距离相机的距离，f为相机焦距，L为射击目标实际高度，d为相机像原长度，l为射击目标在相机拍摄的图片上的长度；
A212、分别计算射击目标在相对于相机的坐标系中坐标轴方向的角度，计算公式分别表示为：
ThetaX＝((Col-Col0)/WIDHT)*ThetaW
ThetaY＝((Row-Row0)/HIGHT)*ThetaH
其中，ThetaX,ThetaY分别为射击目标沿坐标轴方向的角度，Row,Col分别为射击目标的行、列坐标，WIDHT,HIGHT分别为相机横向和纵向的总像素数，ThetaW,ThetaH为相机横向和纵向的视角；
A213、根据步骤A211和A212得到射击目标的极坐标，并将射击目标的极坐标转换为三维直角坐标。
CN201710506256.3A 2017-06-28 2017-06-28 机器人自动射击方法 Expired - Fee Related CN107301666B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710506256.3A CN107301666B (zh) 2017-06-28 2017-06-28 机器人自动射击方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710506256.3A CN107301666B (zh) 2017-06-28 2017-06-28 机器人自动射击方法

Publications (2)

Publication Number Publication Date
CN107301666A CN107301666A (zh) 2017-10-27
CN107301666B true CN107301666B (zh) 2021-04-13

Family

ID=60135970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710506256.3A Expired - Fee Related CN107301666B (zh) 2017-06-28 2017-06-28 机器人自动射击方法

Country Status (1)

Country Link
CN (1) CN107301666B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108961340A (zh) * 2018-08-09 2018-12-07 中央民族大学 一种目标物体的自动射击方法及装置
CN111450515B (zh) * 2020-03-20 2022-02-15 北京理工大学 一种用于机器人射击对抗比赛的自动识别打击***及方法
CN111985481A (zh) * 2020-07-24 2020-11-24 东南大学 一种基于灯条匹配的装甲板识别算法
CN113723269B (zh) * 2021-08-25 2024-06-14 深圳市领存技术有限公司 多目标自动射击方法、装置及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103198477B (zh) * 2013-03-25 2015-07-15 沈阳理工大学 一种采用苹果套袋机器人进行视觉定位的方法
CN104281148A (zh) * 2013-07-07 2015-01-14 哈尔滨点石仿真科技有限公司 基于双目立体视觉的移动机器人自主导航方法
CN106041937B (zh) * 2016-08-16 2018-09-14 河南埃尔森智能科技有限公司 一种基于双目立体视觉的机械手抓取控制***的控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Three-Dimensional Reconstruction Method Based on Target Recognition for Binocular Humanoid Robot;Junning Zhang1;《IEEE》;20170619;第355-359页 *

Also Published As

Publication number Publication date
CN107301666A (zh) 2017-10-27

Similar Documents

Publication Publication Date Title
CN107301666B (zh) 机器人自动射击方法
CN110849367B (zh) 基于融合uwb的视觉slam的室内定位与导航的方法
CN106091984B (zh) 一种基于线激光的三维点云数据获取方法
CN106295512B (zh) 基于标识的多纠正线室内视觉数据库构建方法以及室内定位方法
CN103886107B (zh) 基于天花板图像信息的机器人定位与地图构建***
CN108460779A (zh) 一种动态环境下的移动机器人图像视觉定位方法
CN109308719A (zh) 一种基于三维卷积的双目视差估计方法
CA2526105A1 (en) Image display method and image display apparatus
CN109523595A (zh) 一种建筑工程直线棱角间距视觉测量方法
CN106991690A (zh) 一种基于运动目标时序信息的视频序列同步方法
CN112907573B (zh) 一种基于3d卷积的深度补全方法
CN104182968B (zh) 宽基线多阵列光学探测***模糊动目标分割方法
CN107038714B (zh) 多型视觉传感协同目标跟踪方法
CN107038753B (zh) 立体视觉三维重建***及方法
CN111650968B (zh) 一种云台定位误差测定方法
CN108734655A (zh) 空中多节点实时侦查的方法及***
CN108765495A (zh) 一种基于双目视觉检测技术的快速标定方法及***
CN104318566B (zh) 可返回多个高程值的新型多视影像铅垂线轨迹匹配方法
CN110060304A (zh) 一种生物体三维信息采集方法
CN113012238B (zh) 一种多深度相机快速标定与数据融合的方法
CN106023139A (zh) 一种基于多摄像机的室内跟踪定位方法和***
CN108090930A (zh) 基于双目立体相机的障碍物视觉检测***及方法
CN113470049B (zh) 一种基于结构化彩色点云分割的完整目标提取方法
CN113034590B (zh) 基于视觉融合的auv动态对接定位方法
CN112598749B (zh) 大场景非共同视野多相机标定方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210413

CF01 Termination of patent right due to non-payment of annual fee