CN113268055A - 工程车辆避障控制方法、装置及机械设备 - Google Patents

工程车辆避障控制方法、装置及机械设备 Download PDF

Info

Publication number
CN113268055A
CN113268055A CN202110370610.0A CN202110370610A CN113268055A CN 113268055 A CN113268055 A CN 113268055A CN 202110370610 A CN202110370610 A CN 202110370610A CN 113268055 A CN113268055 A CN 113268055A
Authority
CN
China
Prior art keywords
information
obstacle
engineering vehicle
actuating mechanism
actuator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110370610.0A
Other languages
English (en)
Other versions
CN113268055B (zh
Inventor
隋少龙
李子实
樊建设
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Builder Intelligent Technology Co ltd
Original Assignee
Beijing Builder Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Builder Intelligent Technology Co ltd filed Critical Beijing Builder Intelligent Technology Co ltd
Priority to CN202110370610.0A priority Critical patent/CN113268055B/zh
Publication of CN113268055A publication Critical patent/CN113268055A/zh
Application granted granted Critical
Publication of CN113268055B publication Critical patent/CN113268055B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Operation Control Of Excavators (AREA)

Abstract

本申请提出一种工程车辆避障控制方法、装置及机械设备，该方法包括；获取工程车辆的的位置信息和图像信息；根据图像信息通过训练好的模型计算执行机构的第一位姿信息和执行机构周围的障碍物信息；获取执行机构的角度参数，并根据角度参数、位置信息及预设的工程车辆的初始模型参数计算执行机构的第二位姿信息；基于第一位姿信息和第二位姿信息对执行机构的位姿信息进行矫正，并根据矫正后的位姿信息和障碍物信息确定执行机构与障碍物的相对位置关系；采用预设的与相对位置关系对应的避障策略控制工程车辆进行避障。本申请可在低成本的基础上，大幅度提高工程车辆识别障碍物的准确率，提高其安全避障性能。

Description

工程车辆避障控制方法、装置及机械设备
技术领域
本申请属于视频处理技术领域，具体涉及一种工程车辆避障控制方法、装置及机械设备。
背景技术
随着科技的进步，工程机械领域的发展也进入了加速发展的时期。在工程车辆(例如挖掘机)在施工过程中，属于空间中大角度旋转过程，特别是在隧道挖掘、马路边开挖沟槽、整机正常回转、周边有架空电线等复杂工况下，很容易因为视野范围受限或机手操作失误等多种原因，意外造成自来水管道、燃气管道、电缆管道、架空高压线以及周边固定设施的严重损坏，甚至还可能出现人员伤亡等严重事故。所以，在挖掘机械作业期间，需要对工作装置移动范围内的障碍物进行判断与规避，防止碰撞以及可能造成的人员受伤、物品损坏以及自机损伤等问题。
发明内容
本申请提出一种工程车辆避障控制方法、装置及机械设备，获取工程车辆的作业信息和其执行机构的角度参数，并通过训练好的模型和角度参数及位置信息计算执行机构的位姿，并加以矫正，可在低成本的基础上，大幅度提高工程车辆识别障碍物的准确率，提高其安全避障性能。
本申请第一方面实施例提出了一种工程车辆避障控制方法，所述方法包括；
获取所述工程车辆的作业信息，所述作业信息包括所述工程车辆的执行机构的位置信息和图像信息，所述图像信息包含所述执行机构和所述执行机构周围指定区域及作业方向指定范围内的环境信息；
根据所述图像信息通过训练好的模型计算所述执行机构的第一位姿信息和所述执行机构周围的障碍物信息；
获取所述执行机构的角度参数，并根据所述角度参数、所述位置信息及预设的工程车辆的初始模型参数计算所述执行机构的第二位姿信息；
基于所述第一位姿信息和所述第二位姿信息对所述执行机构的位姿信息进行矫正，并根据矫正后的位姿信息和所述障碍物信息确定所述执行机构与障碍物的相对位置关系；
采用预设的与所述相对位置关系对应的避障策略控制所述工程车辆进行避障。
可选地，所述基于所述第一位姿信息和所述第二位姿信息对所述执行机构的位姿信息进行矫正，包括：
基于预设的所述工程车辆的模型坐标系，并根据所述第一位姿信息确定所述执行机构的末端的第一坐标，根据所述第二位姿信息确定所述执行机构的末端的第二坐标；
基于所述第一坐标和所述第二坐标对所述执行机构的末端的坐标进行矫正，确定所述执行机构的末端的矫正坐标；
基于所述矫正坐标和预设的所述工程车辆的初始模型参数，确定所述执行机构的各旋转轴处的坐标，以确定所述执行机构的矫正后的位姿信息。
可选地，所述通过对所述第一坐标和所述第二坐标对所述执行机构的末端的坐标进行矫正，确定所述执行机构的末端的矫正坐标，包括：
按照以下公式基于所述第一坐标和所述第二坐标对所述执行机构的末端的坐标进行矫正，确定所述执行机构末端的矫正坐标：
T＝α×Timu+(1-α)×Tstereo
其中，T为所述执行机构的末端的矫正坐标，Timu为所述第二坐标，Tstereo为所述第一坐标，α为∈(0，1)为置信度。
可选地，所述根据所述作业信息通过训练好的模型计算所述执行机构的第一位姿信息和所述执行机构周围的障碍物信息，包括：
根据所述执行机构的位置信息，通过训练好的卷积神经网络模型计算所述执行机构的第一位姿信息；
根据所述执行机构周围指定区域及作业方向指定范围内的环境信息，通过聚类算法识别所述执行机构周围的障碍物，并确定所述障碍物的形状信息和位置信息。
可选地，所述根据矫正后的位姿信息和所述障碍物信息确定所述执行机构与障碍物的相对位置关系，包括：
通过矫正后的位姿信息对所述障碍物的位置信息进行矫正，并根据矫正后的位姿信息和矫正后的障碍物的位置信息确定所述执行机构与障碍物的相对位置关系。
可选地，所述根据所述角度参数、所述执行机构的位置信息及预设的工程车辆的初始模型参数计算所述执行机构的第二位姿信息，包括：
根据所述角度参数、所述执行机构的位置信息及预设的工程车辆的初始模型参数，按照以下公式计算所述执行机构的第二位姿信息：
Figure BDA0003009156250000031
其中，所述Tn为沿远离工程车辆方向第n个旋转轴的矫正后坐标，所述θn为沿远离工程车辆方向的第n个旋转轴的角度，所述Sn为沿远离工程车辆方向的第n个旋转轴的运动旋量，[Sn]为Sn的李代数形式，M为所述执行机构的初始位姿矩阵。
可选地，所述采用预设的与所述相对位置关系对应的避障策略控制所述工程车辆进行避障，包括：
根据所述相对位置关系确定所述执行机构的起点位置和避开障碍物的目标点位置；
通过行运动学逆解原理得到执行机构自所述起点位置运动至所述目标点位置的目标角度；
通过所述目标角度和所述执行机构在所述起点位置的角度对所述执行机构进行路径规划；
按照规划好的路径控制所述工程车辆进行避障。
可选地，该方法通过远程遥控实现，则所述采用预设的与所述相对位置关系对应的避障策略控制所述工程车辆进行避障，包括：
若识别出当前视野内有障碍物，当所述障碍物与所述执行机构的距离小于第一预设阈值时，则提示司机小心驾驶；当所述障碍物与所述执行机构的距离小于第二预设阈值时，则停止对所述工程车辆的远程遥控控制；所述第二预设阈值小于所述第一预设阈值；
若识别出当前视野外有障碍物，且所述障碍物与所述执行机构的距离逐渐缩小，则在所述障碍物与所述执行机构的距离小于所述第一预设阈值时，提示司机小心驾驶；当所述障碍物与所述执行机构的距离小于第二预设阈值时，则停止对所述工程车辆的远程遥控。
可选地，所述方法还包括：
若相邻两帧所述图像信息的像素呈阶梯式变化，则确定当前视野内有障碍物，并控制所述执行机构向远离所述障碍物的方向运动。
可选地，所述获取所述工程车辆的作业信息，包括：
通过分别设置在所述工程车辆不同位置的多个双目摄像头获取所述工程车辆的作业信息。
可选地，所述角度参数包括角速度和转动加速度，所述获取所述执行机构的角度参数，包括：
通过设置在所述工程车辆上的惯性传感器获取所述执行机构的转动角度和转动加速度。
本申请第二方面的实施例提供了一种工程车辆避障控制装置，所述装置包括：
双目摄像头，设置在所述工程车辆上，用于摄制所述工程车辆的作业信息所述作业信息包括所述工程车辆的执行机构的位置信息和图像信息，所述图像信息包含所述执行机构和所述执行机构周围指定区域及作业方向指定范围内的环境信息；
惯性传感器，设置在所述工程车辆的执行机构上，用于获取所述执行机构的角度参数；
控制单元，所述控制单元分别与所述双目摄像头、所述惯性传感器及所述工程车辆连接，用于：
根据所述图像信息通过训练好的模型计算所述执行机构的第一位姿信息，以及根据聚类算法确定所述执行机构周围的障碍物信息；
根据所述角度参数、所述位置信息及预设的工程车辆的初始模型参数计算所述执行机构的第二位姿信息；
基于所述第一位姿信息和所述第二位姿信息对所述执行机构的位姿信息进行矫正，并根据矫正后的位姿信息和所述障碍物信息确定所述执行机构与障碍物的相对位置关系；
采用预设的与所述相对位置关系对应的避障策略控制所述工程车辆进行避障。
本申请第三方面的实施例提供了一种机械设备，包括工程车辆，还包括第二方面的工程车辆避障控制装置，所述工程车辆避障控制装置用于控制所述工程车进行安全避障。
可选地，所述工程车辆为挖掘机，所述挖掘机的执行机构包括依次转动连接的转台、大臂、小臂及挖斗；
所述双目摄像头包括至少一个，设置在所述转台上，并能够摄制出所述大臂的全貌、所述小臂的全貌及所述挖斗的全貌；
所述惯性传感器包括至少四个，分别设置在所述转台、所述大臂、所述小臂及所述挖斗上，以分别获取所述转台、所述大臂、所述小臂及所述挖斗的角度参数。
本申请实施例中提供的技术方案，至少具有如下技术效果或优点：
本申请实施例提供的工程车辆避障控制方法，分别获取工程车辆的作业信息及其执行机构的角度参数，并根据作业信息分别通过训练好的模型计算所述执行机构的第一位姿信息和所述执行机构周围的障碍物信息，根据所述角度参数、所述位置信息及预设的工程车辆的初始模型参数计算所述执行机构的第二位姿信息，并对该第一位姿信息和第二位姿信息加以矫正，得到矫正后的位姿；然后根据矫正后的位姿和障碍物信息获得执行机构与障碍物的相对位置关系，继而可采用与该相对位置关系相应的避障策略对工程车辆进行避障策略，以在低成本的基础上，大幅度提高工程车辆识别障碍物的准确率，从而提高其安全避障性能。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。
在附图中：
图1为本发明实施例提供的工程车辆避障控制方法的流程示意图；
图2为本发明实施例提供的工程车辆避障控制装置的结构及处理逻辑示意图；
图3为双目摄像头与挖掘机的各个旋转轴之间的位置关系的主视结构示意图；
图4为为双目摄像头与挖掘机的各个旋转轴之间的位置关系的侧视结构示意图；
图5a-5f为按照本方案提供的避障控制方法控制挖掘机进行避障的仿真模型演示过程图。
具体实施方式
下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。
需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。
下面结合附图来描述根据本申请实施例提出的一种工程车辆避障控制方法、装置及机械设备。
本申请实施例提供了一种工程车辆避障控制方法，该方法可应用于一工程车辆避障控制装置，该控制装置可以为一具有处理功能的处理器，该方法分别获取工程车辆的作业信息及其执行机构的角度参数，并根据作业信息分别通过训练好的模型和角度参数计算执行机构的位姿，并对两种方式计算的位姿加以矫正，得到矫正后的位姿；并根据作业信息通过训练好的模型识别障碍物，获得障碍物信息，并根据矫正后的位姿和障碍物信息获得执行机构与障碍物的相对位置关系，继而可采用与该相对位置关系相应的避障策略对工程车辆进行避障策略。如此，通过两种方式计算并矫正执行机构的位姿，并根据矫正后的位姿确定执行机构与障碍物的相对位置关系，可在低成本的基础上，大幅度提高工程车辆识别障碍物的准确率，从而提高其安全避障性能。
参见图1，该方法具体包括以下步骤；
步骤S1，获取工程车辆的作业信息。
其中，工程车辆可以是挖掘机、推土机、装载机等。作业信息可以包括工程车辆的执行机构的位置信息和图像信息，图像信息可以包含执行机构和执行机构周围指定区域及作业方向指定范围内的环境信息。工程车辆的执行机构可理解为进行作业操作时的运动机构的总称，每个运动机构可看做是执行机构的子执行机构。比如，工程车辆为挖掘机，其子执行机构可以包括转台、大臂、小臂及挖斗等；工程车辆若为装载机，则其子执行机构可以包括载台、升降机构及伸缩机构等。
在本实施例中，如图2所示，可以采用能够采集深度信息的双目摄像头获取工程车辆的作业信息，相应地，获取工程车辆的作业信息可以包括以下处理：通过分别设置在工程车辆不同位置的多个双目摄像头获取工程车辆的作业信息。如此，应用双目摄像头便可采集包括上述位置信息和图像信息的作业信息，使得控制装置可以根据预设作业信息计算执行机构的位姿。具体地，对于挖掘机而言，双目摄像头可以包括至少一个，设置在转台上，并能够摄制出大臂的全貌、小臂的全貌及挖斗的全貌，以保证作业信息的。
需要说明的是，上述采用双目摄像头只是本实施例的一较佳实施方式，本实施例并不以此为限，其也可以采用其他作业信息采集装置，只要能够采集到上述位置信息和图像信息即可。
步骤S2，根据图像信息通过训练好的模型计算执行机构的第一位姿信息和执行机构周围的障碍物信息。
其中，训练好的模型可以包括用于识别和计算执行机构的位姿信息的卷积神经网络模型和用于识别和计算障碍物信息的聚类算法模型。位姿可理解为执行机构的位置姿态，位姿信息可以包括各执行机构的姿态信息(如两个子执行机构之间的角度)、各子执行机构的坐标数据等。该第一位姿信息和下述的第二位姿信息只是通过两种方式计算的位姿信息，仅用于区分，而不进行限定。
在实际应用之前，可以进行模拟试验，通过双目摄像头采集实际操作过程中可能遇到的多种场景图像(即上述图像信息)，并通过深度学习，训练卷积神经网络模型，使该控制装置能够实时识别出图像信息中的障碍物和执行机构(可仅识别任一子执行机构，例如，可识别出挖掘机的挖斗，其他子执行机构可根据挖斗的信息通过计算得出)。并可以根据实际的工程车辆数据建立三维模型，可结合该三维模型训练上述卷积神经网络模型，以获得障碍物和执行机构的具体坐标数据。
于本实施例一具体实施方式中，根据作业信息通过训练好的模型计算执行机构的第一位姿信息和执行机构周围的障碍物信息，可包括以下处理：根据执行机构的位置信息，通过训练好的卷积神经网络模型计算执行机构的第一位姿信息；根据执行机构周围指定区域及作业方向指定范围内的环境信息，通过聚类算法识别执行机构周围的障碍物，并确定障碍物的形状信息和位置信息。
以挖掘机为例，在挖掘机作业过程中，该控制装置可采用双目摄像头持续采集视野范围内的作业信息，并可通过训练好的卷积神经网络模型计算执行机构的位姿信息。还可通过聚类算法模型(对其训练可理解为简单的模拟计算)采用聚类算法从作业信息中识别执行机构和障碍物(点云坐标中哪部分可能是障碍物)以及计算障碍物的形状、尺寸及位置信息等，并将障碍物的信息储存起来。如此，在作业过程中会逐渐构建出周围环境状况图，包含了图中哪个位置具体有什么大小形状的障碍物，如此，可使得挖掘机在看不到障碍物时也可及时发现障碍物的存在，并及时采取避障措施。
需要说明的是，本实施了并不限于采用卷积神经网络模型，只要在训练后能够根据图像信息计算执行机构的第一位姿信息和执行机构周围的障碍物信息即可，比如也可以是深度信任网络模型、堆栈自编码网络模型等。
步骤S3，获取执行机构的角度参数，并根据角度参数、位置信息及预设的工程车辆的初始模型参数计算执行机构的第二位姿信息。
其中，角度参数可以包括角速度和转动加速度，具体可以包括同一工程车辆的所有执行机构的角速度和转动加速度。
具体地，可以通过设置在工程车辆上的惯性传感器获取执行机构的角度参数，并可以对应具体子执行机构的个数，设置相应个数的惯性传感器，以能够准确获取每个子执行机构的角速度和转动加速度。例如，对于挖掘机，可以采用至少四个惯性传感器，并分别设置在转台、大臂、小臂及挖斗上，以分别获取转台、大臂、小臂及挖斗的角度参数。
以挖掘机为例，计算执行机构的第二位姿信息时，首先需要将各个惯性传感器的坐标统一起来，如图3和图4所示，图中标示了坐标系和各个子执行机构的之间的距离关系，其中L1为小臂的旋转轴与大臂的旋转轴之间距离，L2为挖斗的旋转轴与小臂的旋转轴之间的距离，L3为挖斗末端到挖斗的旋转轴之间的距离。A1、B1、C1分别为双目摄像头的三维坐标，L1、L2及L3与水平线的夹角分别为θ1、θ2及θ3，利用刚体运动旋量可以计算出，当所有旋转轴处于初始位置(所有旋转轴角度为0°)时，执行机构的初始位姿矩阵为：
Figure BDA0003009156250000091
考虑到每个旋转轴(比如转台大臂小臂挖斗)均为零节距的运动旋量，则上述每个旋转轴的运动旋量可以写为：
S1＝[0 0 1 -A1 B1 0]
S2＝[0 0 1 -A1 B1 -L1 0]
S3＝[0 0 1 -A1 B1 -L1 -L2 0]
其中，S1为沿远离工程车辆方向的第1个旋转轴的运动旋量，即大臂的旋转轴运动旋量；S2为沿远离工程车辆方向的第2个旋转轴的运动旋量，即小臂的旋转轴运动旋量；S3为沿远离工程车辆方向的第3个旋转轴的运动旋量，即挖斗的旋转轴运动旋量。
基于上述原理，根据角度参数、执行机构的位置信息及预设的工程车辆的初始模型参数计算执行机构的第二位姿信息，可以包括：
根据角度参数、执行机构的位置信息及预设的工程车辆的初始模型参数，按照以下公式计算执行机构的第二位姿信息：
Figure BDA0003009156250000092
其中，Tn为沿远离工程车辆方向第n个旋转轴的矫正后坐标，θn为沿远离工程车辆方向的第n个旋转轴的角度，Sn为沿远离工程车辆方向的第n个旋转轴的运动旋量，
Figure BDA0003009156250000093
为Sn的李代数形式(w为角速度，v为旋转加速度，[w]为w的李代数形式)，M为执行机构末端的初始位姿矩阵。
如此，将上述计算的挖斗末端的M与Sn和θn代入上述公式，可计算Tn，得出挖斗的末端坐标，然后根据预设的初始模型参数和检测到的L1、L2、L3及θ1、θ2及θ3，便可分别计算出大臂、小臂及转台的各转动轴的坐标，从而得到执行机构的完整的位姿信息。
步骤S4，基于第一位姿信息和第二位姿信息对执行机构的位姿信息进行矫正，并根据矫正后的位姿信息和障碍物信息确定执行机构与障碍物的相对位置关系。
在本实施例中，在进行障碍物识别时，先基于上述第一位姿信息和第二位姿信息对执行机构的位姿信息进行矫正，以在低成本情况下，得到更为准确的执行机构的位姿信息。如此，根据矫正后的位姿信息确定执行机构与障碍物的相对位置关系，则可提高对障碍物的识别准确性(采用精度不是很高的图像采集装置，如双目摄像头，也可达到采用昂贵的、高精度识别准确性所能达到的障碍物识别准确度)。
于本实施例另一具体实施方式中，可通过坐标数据对执行机构的位姿信息进行矫正，相应地，基于第一位姿信息和第二位姿信息对执行机构的位姿信息进行矫正，可以包括以下处理：基于预设的工程车辆的模型坐标系，并根据第一位姿信息确定执行机构的末端的第一坐标，根据第二位姿信息确定执行机构的末端的第二坐标；基于第一坐标和第二坐标对执行机构的末端的坐标进行矫正，确定执行机构的末端的矫正坐标；基于矫正坐标和预设的工程车辆的初始模型参数，确定执行机构的各旋转轴处的坐标，以确定执行机构的矫正后的位姿信息。
进一步地，通过对第一坐标和第二坐标对执行机构的末端的坐标进行矫正，确定执行机构的末端的矫正坐标，可以包括以下处理：按照以下公式基于第一坐标和第二坐标对执行机构的末端的坐标进行矫正，确定执行机构末端的矫正坐标：
T＝α×Timu+(1-α)×Tstereo
其中，T为执行机构的末端的矫正坐标，Timu为第二坐标，Tstereo为第一坐标，α为∈(0，1)为置信度。A的具体取值可通过试验获得，具体可在实际应用之前，先测量挖斗的真实三维坐标，代入上述公式中的T，然后根据获取的作业信息、角度参数等，分别计算Tstereo和Timu，代入公式，计算α，多次计算后，可从解得的多个值中选取出现频率最高的值，或者多个值的平均值确定为α的数值。
进一步地，鉴于T的取值更为准确，可以获得T的乘转换矩阵
Figure BDA0003009156250000101
并可以在通过该乘转换矩阵A，对根据双目摄像头获得的其他点坐标进行矫正，将障碍物坐标和执行机构的坐标进行统一。在确定执行机构与障碍物信息时，可以通过执行机构矫正后的坐标和矫正后的障碍物的坐标进行确定，以进一步提高障碍物的识别准确性。
步骤S5，采用预设的与相对位置关系对应的避障策略控制工程车辆进行避障。
在本实施例中，可以对应执行机构与障碍物之间的多种相对位置关系，预先设置对应的避障策略，以便在进行避障控制时可以针对不同的情况进行及时响应，避免都进行较大的数据处理而造成的时间误差，造成作业效率低下，甚至导致避障不及造成危险情况的发生。
基于上述位姿信息矫正原理，根据矫正后的位姿信息和障碍物信息确定执行机构与障碍物的相对位置关系，可以包括以下处理：通过矫正后的位姿信息对障碍物的位置信息进行矫正，并根据矫正后的位姿信息和矫正后的障碍物的位置信息确定执行机构与障碍物的相对位置关系。
于本实施例另一具体实施方式中，采用预设的与相对位置关系对应的避障策略控制工程车辆进行避障，可以包括以下处理：根据相对位置关系确定执行机构的起点位置和避开障碍物的目标点位置；通过行运动学逆解原理得到执行机构自起点位置运动至目标点位置的目标角度；通过目标角度和执行机构在起点位置的角度对执行机构进行路径规划；按照规划好的路径控制工程车辆进行避障。
具体地，以挖掘机自动驾驶为例，挖掘机的作业轨迹由该控制装置计算得出。例如设定一个目标点，可对从执行机构(如挖斗)从当前位置移动至目标点的路径进行规划，由目标点的三维坐标进行运动学逆解得到三个目标角度，三个目标角度和三个初始角度之间使用样条函数来进行路径规划，样条函数为：s(t)＝a0+a1t+a2t2+a3t3；为了更精确地控制执行机构，对上述样条函数添加四个约束：s(0)＝θ0，
Figure BDA0003009156250000111
s(T)＝θt，
Figure BDA0003009156250000112
其中，
Figure BDA0003009156250000113
为s(0)＝θ0导函数，θ0为初始角度，θt为目标角度。如此，便可得到T时间段内，每个时间点的角度。然后将规划好的角度分别传给挖掘机的各子执行机构，便可控制挖掘机进行自动作业。
在自动驾驶挖掘机进行作业过程中，如果视野中有障碍物，如图5a-5f，为采用本实施例提供的避障控制方法控制挖掘机进行避障的动作分解图，该避障控制装置可在路径规划时考虑到障碍物的位置信息，并在规划路径时，在起点和目标点之间添加若干个安全点来避开障碍物，相当于在路径规划时增加了更多的约束，比如s(t1)＝θt1和s(t2)＝θt2，如此，便可计算出避开障碍物的新路径，然后该避障控制装置按照计算出的新路径控制执行机构进行作业，便可实现作业过程中的安全避障。同理，如果视野外有障碍物：则可以通过之前储存的作业信息，获得障碍物的具体坐标，如果起点和目标点之间会经过该障碍物，则可以将该障碍物的坐标作为一个新的约束，使用上述相同的路径算法，添加安全点，重新进行路径规划，以避开障碍物。
于本实施例另一具体实施方式中，该方法也通过远程遥控实现，则该控制装置可与远程遥控端进行数据交互。上述采用预设的与相对位置关系对应的避障策略控制工程车辆进行避障，可具体包括以下处理：若识别出当前视野内有障碍物，当障碍物与执行机构的距离小于第一预设阈值时，则提示司机小心驾驶；当障碍物与执行机构的距离小于第二预设阈值时，则停止对工程车辆进行远程遥控控制；第二预设阈值小于第一预设阈值；若识别出当前视野外有障碍物，且障碍物与执行机构的距离逐渐缩小，则在障碍物与执行机构的距离小于第一预设阈值时，提示司机小心驾驶；当障碍物与执行机构的距离小于第二预设阈值时，则停止对工程车辆的远程遥控。
具体地，当障碍物与执行机构的距离小于第二预设阈值时，可通过操作台输出自动程序无效的指令，停止该控制装置对挖掘机进行控制，并进行示警，待司机注意到问题后，再通过解锁指令使该控制装置重新控制挖掘机。如此，可结合双目摄像头和imu传感器发送的数据及司机的经验对障碍物的位置及挖掘机挖斗的位姿进行更加准确的判断，并及时作出相应的避障策略，以提高远程遥控作业的安全避障性能及作业效率。
于本实施例另一具体实施方式中，方法还包括以下步骤：
若相邻两帧图像信息的像素差大于预设差值，则确定当前视野内有障碍物，并控制执行机构向远离障碍物的方向运动。如此，可通过相邻两帧图像信息的像素差快速识别障碍物(当相邻两帧图像信息的像素差小于预设差值时，可采用上述模型计算)，以进一步提高该控制装置的处理速度。
本实施例提供的工程车辆避障控制方法，分别获取工程车辆的作业信息及其执行机构的角度参数，并根据作业信息分别通过训练好的模型计算执行机构的第一位姿信息和执行机构周围的障碍物信息，根据角度参数、位置信息及预设的工程车辆的初始模型参数计算执行机构的第二位姿信息，并对该第一位姿信息和第二位姿信息加以矫正，得到矫正后的位姿；然后根据矫正后的位姿和障碍物信息获得执行机构与障碍物的相对位置关系，继而可采用与该相对位置关系相应的避障策略对工程车辆进行避障策略，以在低成本的基础上，大幅度提高工程车辆识别障碍物的准确率，从而提高其安全避障性能。
基于上述工程车辆避障控制相同的构思，本实施例还提供一种工程车辆避障控制装置，如图2所示，该装置包括：
双目摄像头，设置在工程车辆上，用于摄制工程车辆的作业信息作业信息包括工程车辆的执行机构的位置信息和图像信息，图像信息包含执行机构和执行机构周围指定区域及作业方向指定范围内的环境信息；
惯性传感器，设置在工程车辆的执行机构上，用于获取执行机构的角度参数；
控制单元，控制单元分别与双目摄像头、惯性传感器及工程车辆连接，用于：
根据图像信息通过训练好的模型计算执行机构的第一位姿信息和执行机构周围的障碍物信息；
根据角度参数、位置信息及预设的工程车辆的初始模型参数计算执行机构的第二位姿信息；
基于第一位姿信息和第二位姿信息对执行机构的位姿信息进行矫正，并根据矫正后的位姿信息和障碍物信息确定执行机构与障碍物的相对位置关系；
采用预设的与相对位置关系对应的避障策略控制工程车辆进行避障。
本实施例提供的工程车辆避障控制装置至少能够实现上述工程车辆避障控制方法能够实现的有益效果，在此不再赘述。
基于上述工程车辆避障控制相同的构思，本实施例还提供一种机械设备，包括工程车辆，还包括上述实施例的工程车辆避障控制装置，该工程车辆避障控制装置用于控制工程车进行安全避障。
本实施例提供的机械设备，包括上述的工程车辆避障控制装置，同样至少能够实现上述工程车辆避障控制方法能够实现的有益效果，在此不再赘述。
于本实施例一具体实施方式中，工程车辆为挖掘机，挖掘机的执行机构包括依次转动连接的转台、大臂、小臂及挖斗；
双目摄像头包括至少一个，设置在转台上，并能够摄制出大臂的全貌、小臂的全貌及挖斗的全貌；
惯性传感器包括至少四个，分别设置在转台、大臂、小臂及挖斗上，以分别获取转台、大臂、小臂及挖斗的角度参数。
应该注意的是上述实施例对本申请进行说明而不是对本申请进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本申请可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种工程车辆避障控制方法，其特征在于，所述方法包括：
获取所述工程车辆的作业信息，所述作业信息包括所述工程车辆的执行机构的位置信息和图像信息，所述图像信息包含所述执行机构和所述执行机构周围指定区域及作业方向指定范围内的环境信息；
根据所述图像信息通过训练好的模型计算所述执行机构的第一位姿信息和所述执行机构周围的障碍物信息；
获取所述执行机构的角度参数，并根据所述角度参数、所述位置信息及预设的工程车辆的初始模型参数计算所述执行机构的第二位姿信息；
基于所述第一位姿信息和所述第二位姿信息对所述执行机构的位姿信息进行矫正，并根据矫正后的位姿信息和所述障碍物信息确定所述执行机构与障碍物的相对位置关系；
采用预设的与所述相对位置关系对应的避障策略控制所述工程车辆进行避障。
2.根据权利要求1所述的方法，其特征在于，所述基于所述第一位姿信息和所述第二位姿信息对所述执行机构的位姿信息进行矫正，包括：
基于预设的所述工程车辆的模型坐标系，并根据所述第一位姿信息确定所述执行机构的末端的第一坐标，根据所述第二位姿信息确定所述执行机构的末端的第二坐标；
基于所述第一坐标和所述第二坐标对所述执行机构的末端的坐标进行矫正，确定所述执行机构的末端的矫正坐标；
基于所述矫正坐标和预设的所述工程车辆的初始模型参数，确定所述执行机构的各旋转轴处的坐标，以确定所述执行机构的矫正后的位姿信息。
3.根据权利要求2所述的方法，其特征在于，所述通过对所述第一坐标和所述第二坐标对所述执行机构的末端的坐标进行矫正，确定所述执行机构的末端的矫正坐标，包括：
按照以下公式基于所述第一坐标和所述第二坐标对所述执行机构的末端的坐标进行矫正，确定所述执行机构末端的矫正坐标：
T＝α×Timu+(1-α)×Tstereo
其中，T为所述执行机构的末端的矫正坐标，Timu为所述第二坐标，Tstereo为所述第一坐标，α为∈(0,1)为置信度。
4.根据权利要求1所述的方法，其特征在于，所述根据所述图像信息通过训练好的模型计算所述执行机构的第一位姿信息和所述执行机构周围的障碍物信息，包括：
根据所述执行机构的位置信息，通过训练好的卷积神经网络模型计算所述执行机构的第一位姿信息；
根据所述执行机构周围指定区域及作业方向指定范围内的环境信息，通过聚类算法识别所述执行机构周围的障碍物，并确定所述障碍物的形状信息和位置信息。
5.根据权利要求4所述的方法，其特征在于，所述根据矫正后的位姿信息和所述障碍物信息确定所述执行机构与障碍物的相对位置关系，包括：
通过矫正后的位姿信息对所述障碍物的位置信息进行矫正，并根据矫正后的位姿信息和矫正后的障碍物的位置信息确定所述执行机构与障碍物的相对位置关系。
6.根据权利要求1所述的方法，其特征在于，所述根据所述角度参数、所述执行机构的位置信息及预设的工程车辆的初始模型参数计算所述执行机构的第二位姿信息，包括：
根据所述角度参数、所述执行机构的位置信息及预设的工程车辆的初始模型参数，按照以下公式计算所述执行机构的第二位姿信息：
Figure FDA0003009156240000021
其中，所述Tn为沿远离工程车辆方向第n个旋转轴的矫正后坐标，所述θn为沿远离工程车辆方向的第n个旋转轴的角度，所述Sn为沿远离工程车辆方向的第n个旋转轴的运动旋量，[Sn]为Sn的李代数形式，M为所述执行机构的初始位姿矩阵。
7.根据权利要求1所述的方法，其特征在于，所述采用预设的与所述相对位置关系对应的避障策略控制所述工程车辆进行避障，包括：
根据所述相对位置关系确定所述执行机构的起点位置和避开障碍物的目标点位置；
通过行运动学逆解原理得到执行机构自所述起点位置运动至所述目标点位置的目标角度；
通过所述目标角度和所述执行机构在所述起点位置的角度对所述执行机构进行路径规划；
按照规划好的路径控制所述工程车辆进行避障。
8.根据权利要求1所述的方法，其特征在于，该方法通过远程遥控实现，则所述采用预设的与所述相对位置关系对应的避障策略控制所述工程车辆进行避障，包括：
若识别出当前视野内有障碍物，当所述障碍物与所述执行机构的距离小于第一预设阈值时，则提示司机小心驾驶；当所述障碍物与所述执行机构的距离小于第二预设阈值时，则停止对所述工程车辆的远程遥控控制；所述第二预设阈值小于所述第一预设阈值；
若识别出当前视野外有障碍物，且所述障碍物与所述执行机构的距离逐渐缩小，则在所述障碍物与所述执行机构的距离小于所述第一预设阈值时，提示司机小心驾驶；当所述障碍物与所述执行机构的距离小于第二预设阈值时，则停止对所述工程车辆的远程遥控。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
若相邻两帧所述图像信息的像素呈阶梯式变化，则确定当前视野内有障碍物，并控制所述执行机构向远离所述障碍物的方向运动。
10.根据权利要求1所述的方法，其特征在于，所述获取所述工程车辆的作业信息，包括：
通过分别设置在所述工程车辆不同位置的多个双目摄像头获取所述工程车辆的作业信息。
11.根据权利要求1所述的方法，其特征在于，所述角度参数包括角速度和转动加速度，所述获取所述执行机构的角度参数，包括：
通过设置在所述工程车辆上的惯性传感器获取所述执行机构的转动角度和转动加速度。
12.一种工程车辆避障控制装置，其特征在于，所述装置包括：
双目摄像头，设置在所述工程车辆上，用于摄制所述工程车辆的作业信息所述作业信息包括所述工程车辆的执行机构的位置信息和图像信息，所述图像信息包含所述执行机构和所述执行机构周围指定区域及作业方向指定范围内的环境信息；
惯性传感器，设置在所述工程车辆的执行机构上，用于获取所述执行机构的角度参数；
控制单元，所述控制单元分别与所述双目摄像头、所述惯性传感器及所述工程车辆连接，用于：
根据所述图像信息通过训练好的模型计算所述执行机构的第一位姿信息和所述执行机构周围的障碍物信息；
根据所述角度参数、所述位置信息及预设的工程车辆的初始模型参数计算所述执行机构的第二位姿信息；
基于所述第一位姿信息和所述第二位姿信息对所述执行机构的位姿信息进行矫正，并根据矫正后的位姿信息和所述障碍物信息确定所述执行机构与障碍物的相对位置关系；
采用预设的与所述相对位置关系对应的避障策略控制所述工程车辆进行避障。
13.一种机械设备，包括工程车辆，其特征在于，还包括权利要求12所述的工程车辆避障控制装置，所述工程车辆避障控制装置用于控制所述工程车进行安全避障。
14.根据权利要求13所述的机械设备，其特征在于，所述工程车辆为挖掘机，所述挖掘机的执行机构包括依次转动连接的转台、大臂、小臂及挖斗；
所述双目摄像头包括至少一个，设置在所述转台上，并能够摄制出所述大臂的全貌、所述小臂的全貌及所述挖斗的全貌；
所述惯性传感器包括至少四个，分别设置在所述转台、所述大臂、所述小臂及所述挖斗上，以分别获取所述转台、所述大臂、所述小臂及所述挖斗的角度参数。
CN202110370610.0A 2021-04-07 2021-04-07 工程车辆避障控制方法、装置及机械设备 Active CN113268055B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110370610.0A CN113268055B (zh) 2021-04-07 2021-04-07 工程车辆避障控制方法、装置及机械设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110370610.0A CN113268055B (zh) 2021-04-07 2021-04-07 工程车辆避障控制方法、装置及机械设备

Publications (2)

Publication Number Publication Date
CN113268055A true CN113268055A (zh) 2021-08-17
CN113268055B CN113268055B (zh) 2023-01-13

Family

ID=77228760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110370610.0A Active CN113268055B (zh) 2021-04-07 2021-04-07 工程车辆避障控制方法、装置及机械设备

Country Status (1)

Country Link
CN (1) CN113268055B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463932A (zh) * 2022-01-14 2022-05-10 国网江苏省电力工程咨询有限公司 非接触式施工安全距离主动动态识别预警***及方法
CN115903853A (zh) * 2023-01-06 2023-04-04 北京理工大学 一种基于有效障碍物的安全可行域生成方法及***
WO2023197668A1 (zh) * 2022-04-11 2023-10-19 北京京东乾石科技有限公司 机器人避障控制方法和装置
CN117066702A (zh) * 2023-08-25 2023-11-17 上海频准激光科技有限公司 一种基于激光器的激光打标控制***

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120114181A1 (en) * 2010-11-01 2012-05-10 Borthwick James R Vehicle pose estimation and load profiling
CN109483529A (zh) * 2018-10-12 2019-03-19 华南智能机器人创新研究院 一种基于螺旋理论的机械臂伺服控制方法、***及装置
CN110262508A (zh) * 2019-07-06 2019-09-20 深圳数翔科技有限公司 应用于封闭场地无人驾驶货运车辆上的自动引导***及方法
CN111360862A (zh) * 2020-02-29 2020-07-03 华南理工大学 一种基于卷积神经网络的生成最佳抓取位姿的方法
CN111622296A (zh) * 2020-04-22 2020-09-04 浙江大学 挖掘机安全避障***和方法
CN112115929A (zh) * 2020-11-23 2020-12-22 国网瑞嘉(天津)智能机器人有限公司 一种作业臂架移动位姿的确定方法、装置及存储介质
CN112164115A (zh) * 2020-09-25 2021-01-01 清华大学深圳国际研究生院 物***姿识别的方法、装置及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120114181A1 (en) * 2010-11-01 2012-05-10 Borthwick James R Vehicle pose estimation and load profiling
CN109483529A (zh) * 2018-10-12 2019-03-19 华南智能机器人创新研究院 一种基于螺旋理论的机械臂伺服控制方法、***及装置
CN110262508A (zh) * 2019-07-06 2019-09-20 深圳数翔科技有限公司 应用于封闭场地无人驾驶货运车辆上的自动引导***及方法
CN111360862A (zh) * 2020-02-29 2020-07-03 华南理工大学 一种基于卷积神经网络的生成最佳抓取位姿的方法
CN111622296A (zh) * 2020-04-22 2020-09-04 浙江大学 挖掘机安全避障***和方法
CN112164115A (zh) * 2020-09-25 2021-01-01 清华大学深圳国际研究生院 物***姿识别的方法、装置及计算机存储介质
CN112115929A (zh) * 2020-11-23 2020-12-22 国网瑞嘉(天津)智能机器人有限公司 一种作业臂架移动位姿的确定方法、装置及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114463932A (zh) * 2022-01-14 2022-05-10 国网江苏省电力工程咨询有限公司 非接触式施工安全距离主动动态识别预警***及方法
CN114463932B (zh) * 2022-01-14 2024-05-03 国网江苏省电力工程咨询有限公司 非接触式施工安全距离主动动态识别预警***及方法
WO2023197668A1 (zh) * 2022-04-11 2023-10-19 北京京东乾石科技有限公司 机器人避障控制方法和装置
CN115903853A (zh) * 2023-01-06 2023-04-04 北京理工大学 一种基于有效障碍物的安全可行域生成方法及***
CN115903853B (zh) * 2023-01-06 2023-05-30 北京理工大学 一种基于有效障碍物的安全可行域生成方法及***
CN117066702A (zh) * 2023-08-25 2023-11-17 上海频准激光科技有限公司 一种基于激光器的激光打标控制***
CN117066702B (zh) * 2023-08-25 2024-04-19 上海频准激光科技有限公司 一种基于激光器的激光打标控制***

Also Published As

Publication number Publication date
CN113268055B (zh) 2023-01-13

Similar Documents

Publication Publication Date Title
CN113268055B (zh) 工程车辆避障控制方法、装置及机械设备
EP3740352B1 (en) Vision-based sensor system and control method for robot arms
US11034026B2 (en) Utilizing optical data to dynamically control operation of a snake-arm robot
US8843236B2 (en) Method and system for training a robot using human-assisted task demonstration
CN104858876B (zh) 机器人任务的可视调试
CN110696000A (zh) 一种机械臂试探感知的避障方法
JP6826069B2 (ja) ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
CN113605483B (zh) 一种挖掘机自动作业控制方法和装置
US20080249659A1 (en) Method and system for establishing no-entry zone for robot
US11040451B2 (en) Teaching device and teaching method
JP5370128B2 (ja) ロボットの故障検出装置
CN118204972A (zh) 由远程操作员触发的机器人自主对象学习的方法及设备
CN113172659A (zh) 基于等效中心点识别的柔性机器人臂形测量方法及***
RU124622U1 (ru) Система управления мобильным роботом
AU2022256018A1 (en) Methods and systems for determining machine state
Emery et al. Behavior-based control of a non-holonomic robot in pushing tasks
CN110722547B (zh) 模型未知动态场景下移动机器人视觉镇定
Liu et al. A deep-learning based multi-modality sensor calibration method for usv
US10434650B2 (en) Programming device which generates operation program and method for generating program
Djelal et al. Target tracking by visual servoing
EP4284602A1 (en) Object-based robot control
JP5197647B2 (ja) 移動体画像追尾装置
Ma et al. Selection of observation position and orientation in visual servoing with eye-in-vehicle configuration for manipulator
TWI788253B (zh) 適應性移動操作設備及方法
JPH0795560A (ja) 遠隔操作システムの画像計測方法及びその装置並びに距離計測方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant