CN112991255B - 机器人平衡判定装置及机器人平衡判定方法 - Google Patents

机器人平衡判定装置及机器人平衡判定方法 Download PDF

Info

Publication number
CN112991255B
CN112991255B CN201911290091.6A CN201911290091A CN112991255B CN 112991255 B CN112991255 B CN 112991255B CN 201911290091 A CN201911290091 A CN 201911290091A CN 112991255 B CN112991255 B CN 112991255B
Authority
CN
China
Prior art keywords
image
robot
balance
judging
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911290091.6A
Other languages
English (en)
Other versions
CN112991255A (zh
Inventor
李宗益
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xinyang Technology Foshan Co ltd
Original Assignee
Xinyang Technology Foshan Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xinyang Technology Foshan Co ltd filed Critical Xinyang Technology Foshan Co ltd
Priority to CN201911290091.6A priority Critical patent/CN112991255B/zh
Priority to US16/853,966 priority patent/US20210178601A1/en
Publication of CN112991255A publication Critical patent/CN112991255A/zh
Application granted granted Critical
Publication of CN112991255B publication Critical patent/CN112991255B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C9/00—Measuring inclination, e.g. by clinometers, by levels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D57/00—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track
    • B62D57/02—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种机器人平衡判定装置，包括拍照设备和处理器，处理器与拍照设备耦接，处理器用于：接收来自拍照设备的图像集；获取每个初始图像的坐标；依据坐标排列并拼接多个初始图像，以生成图像模型；设定图像模型的平衡阈值；实时接收来自拍照设备的判定图像；比对判定图像和图像模型，以获取区别值；判断区别值是否超出平衡阈值，以判定机器人的平衡状态。本发明同时提供一种机器人平衡判定方法，本申请通过建立机器人保持平衡时的图像模型，设定图像模型的平衡阈值，并实时比对判定图像与图像模型，以获取区别值，依据区别值和平衡阈值判定机器人的平衡状态，以便于控制机器人及时进行状态调整。

Description

机器人平衡判定装置及机器人平衡判定方法
技术领域
本发明涉机器人领域，具体涉及一种机器人平衡判定装置及机器人平衡判定方法。
背景技术
机器人的运动过程中，由于从事多样性的动作时，会造成机器人的重心有所改变，容易使机器人进入不平衡的状态，如不能及时调整，易导致机器人跌倒而造成机器人损坏。
发明内容
鉴于以上问题，本发明提出一种机器人平衡判定装置及机器人平衡判定方法，以解决上述问题。
本申请的第一方面提供一种机器人平衡判定装置，包括
拍照设备；
处理器，与所述拍照设备耦接，用于：
接收来自所述拍照设备的图像集，所述图像集包括机器人保持平衡时所述拍照设备拍摄的多个初始图像；
获取每个所述初始图像的坐标；
依据所述坐标排列并拼接多个所述初始图像，以生成图像模型；
设定所述图像模型的平衡阈值；
实时接收来自所述拍照设备的判定图像；
比对所述判定图像和所述图像模型，以获取区别值；
判断所述区别值是否超出所述平衡阈值，以判定所述机器人的平衡状态。
进一步地，其中所述处理器进一步用于：
若所述机器人保持平衡，依据所述判定图像调整所述图像模型。
进一步地，其中所述区别值为：
所述判定图像的坐标与所述图像模型中相同的图像区域的坐标之间的差值，或
所述判定图像与所述图像模型中相同坐标区域图像的差异度。
进一步地，其中所述处理器进一步用于：
依据所述图像模型的模型特点确定判定坐标；
所述拍照设备进一步地用于：
依据所述判定坐标获取所述判定图像。
进一步地，机器人平衡判定装置还包括第一感应单元和第二感应单元，所述第一感应器用于感应所述机器人的速度和位移，以形成第一感应信息，所述第二感应器用于感应所述机器人的方位角度，以形成第二感应信息，
其中所述处理器进一步用于：
获取所述第一感应信息和第二感应信息；
依据所述第一感应信息和所述第二感应信息形成状态信息；
依据所述状态信息调整所述图像模型的重建周期。
本发明第二方面提供一种机器人平衡判定方法，包括：
获取图像集，所述图像集包括机器人保持平衡时获取的多个初始图像；
获取每个所述初始图像的坐标；
依据所述坐标排列并拼接多个所述初始图像，以生成图像模型；
设定所述图像模型的平衡阈值；
实时获取判定图像；
比对所述判定图像和所述图像模型，以获取区别值；
判断所述区别值是否超出所述平衡阈值，以判定所述机器人的平衡状态。
进一步地，所述方法还包括步骤：
若所述机器人保持平衡，依据所述判定图像调整所述图像模型。
进一步地，其中所述区别值为：
所述判定图像的坐标与所述图像模型中相同的图像区域的坐标之间的差值，或
所述判定图像与所述图像模型中相同坐标区域图像的差异度。
进一步地，其中“实时获取判定图像”具体包括步骤：
依据所述图像模型的模型特点确定判定坐标；
依据判定坐标获取所述判定图像。
进一步地，所述方法还包括步骤：
获取第一感应信息和第二感应信息，其中所述第一感应信息包括所述机器人的速度和位移信息，所述第二感应信息包括所述机器人的方位角度信息；
依据所述第一感应信息和所述第二感应信息形成状态信息；
依据所述状态信息调整所述图像模型的重建周期。
本发明通过建立机器人保持平衡时的图像模型，设定图像模型的平衡阈值，并实时比对判定图像与图像模型，以获取区别值，依据区别值和平衡阈值判定机器人的平衡状态，以便于控制机器人及时进行状态调整。
附图说明
图1为本发明一实施方式中的机器人平衡判定装置的硬件架构示意图。
图2为本发明一实施方式中的机器人平衡判定***的功能模块示意图。
图3为本发明一实施方式中的机器人平衡判定方法的方法流程图。
图4为本发明一实施方式中的图像模型的示意图。
主要元件符号说明
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
请参阅图1，为本发明一实施中提供的机器人平衡判定装置的示意图。
在本实施方式中，所述机器人平衡判定装置100包括拍照设备10、处理器20、存储器30、第一感应单元40、第二感应单元50及第三感应单元60。
拍照设备10用于拍摄机器人周边的图像。
本实施例中，机器人保持平衡时，拍照设备10拍摄的机器人周边的多张图像，即为初始图像，依据多张初始图像形成图像集。
在一实施例中，通过一个或多个拍照设备10，依据机器人为轴心，依据不同的拍摄角度，依次拍摄多个初始图像，可以通过多个初始图像获取保持平衡时的机器人周边的环境状况，例如是否包含标志性物体，标志性物体与机器人的相对位置。可以理解，可以依据环境状况选择拍摄图片的数量。
进一步地，各个初始图像之间可以部分重合，从而保证依据多个初始图像获取的图像模型的图像连续性。
进一步地，可以依据拍照设备10仅拍摄机器人正前方的多个初始图像，以获取机器人正前方环境状况。
可以理解，机器人保持平衡时，机器人可以为静止中或运动中。
在一实施例中，拍照设备10还用于依据判定坐标，拍摄对应坐标区域的图像，以获取判定图像。
在一实施例中，拍照设备10可以为CCD相机、双目摄像机等。
所述处理器20可以为中央处理器(CPU，Central Processing Unit)，还可以包括其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器20是机器人平衡判定装置100的控制中心，利用各种接口和线路连接整个机器人平衡判定装置100的各个部分。
所述存储器30用于存储机器人平衡判定装置100中的各类数据，例如图像集、图像模型等。在本实施方式中，所述存储器30可以包括但不限于只读存储器(Read-OnlyMemory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
所述第一感应单元40用于感应机器人的速度和位移，以获取第一感应信息。
本实施例中，所述第一感应单元40包括重力感应器，第一感应信息为机器人的速度和位移的信息。可以理解，第一感应单元40也可包括加速度感应器等，但不限于此。
所述第二感应单元50用于感应机器人的方位角度，以获取第二感应信息。
本实施例中，所述第二感应单元50包括陀螺仪，第二感应信息为机器人的方位角度的信息。可以理解，第二感应单元50也可包括磁力计等，但不限于此。
在另一实施例中，第一感应单元40在机器人保持平衡时获取第一感应信息，并依据多个第一感应信息形成第一信息集；第二感应单元50在机器人保持平衡时获取第二感应信息，并依据多个第二感应信息形成第二信息集。
第三感应单元60用于感应机器人与周围物体之间的距离，以获取第三感应信息。
本实施例中，所述第三感应单元60包括超声波感应器，第三感应信息为机器人与周围物体之间的距离信息。可以理解，第三感应单元60也可包括红外线感应器等，但不限于此。
请参阅图2，为本发明一实施方式中机器人平衡判定***200的功能模块示意图。
在本实施方式中，机器人平衡判定***200包括有一个或多个程序形式的计算机指令，所述一个或多个程序形式的计算机指令存储于所述存储器30中，并由所述处理器20执行，以实现本发明所提供的功能。
在本实施方式中，所述机器人平衡判定***200可以被分割成接收模块201、判定模块202、控制模块203、获取模块204、模型建立模块205、设定模块206比对模块207及更新模块208。各个功能模块的功能将在下面的实施例中进行详述。
接收模块201用于接收拍照设备10发送的图像集，其中图像集包括拍照设备10拍摄保持平衡时的机器人的周边，以获得的多个初始图像。
本实施例中，接收模块201还用于接收拍照设备10发送的判定图像。
进一步地，接收模块201还用于接收第一感应单元40发送的第一感应信息和第二感应单元50发送的第二感应信息。
在另一实施例中，接收模块201还用于接收第一信息集和第二信息集，其中所述第一信息集为第一感应单元40在机器人保持平衡时获取的多个第一感应信息的集合，所述第二信息集为第二感应单元50在机器人保持平衡时获取的多个第二感应信息的集合。
进一步地，接收模块201还用于接收第三感应单元60发送的第三感应信息。
判定模块202用于判断机器人的平衡状态。
在一实施例中，接收模块201接收第一感应单元40发送的第一感应信息和第二感应单元50发送的第二感应信息，判定模块202设定判定阈值，并依据第一感应信息、第二感应信息及平衡阈值，判断机器人的平衡状态，平衡状态包括保持平衡和失去平衡。
判定模块202还用于依据图像模型的模型特点确定判定区域，进而确定判定区域的判定坐标。
其中模型特点包括图像模型中各个区域图像的相似度、连贯度、是否包含明显特征等。例如，图像模型中的多个区域图像相似度较高，如果将该区域作为判定区域，容易造成判定误差；若图像模型中相邻区域图像具有连续性及重复性，不易发现相邻区域的区别点，则该区域不宜作为判定区域；若图像模型中具有突出的特征，例如一区域包含有明显区别于周围环境的动物图案，则该区域可以作为判定区域。
判定模块202还用于判定区别值是否超出平衡阈值，以判断机器人的平衡状态。
在另一实施例中，判定模块202还用于分别比对第一感应信息、第二感应信息和所述辅助平衡阈值，以判定所述机器人的平衡状态。
控制模块203用于发送拍照指令，以使拍照设备10拍摄图像。
进一步地，拍照指令包括第一拍照指令和第二拍照指令，控制模块203发送第一拍照指令，以使拍照设备10拍摄形成图像集的多个初始图像；控制模块203发送第二拍照指令，以使拍照设备10拍摄判定图像。
控制模块203还用于向机器人发送调整指令，以使机器人自我调整平衡。
获取模块204用于获取图像集中每个初始图像的坐标。
在一实施例中，获取模块204建立的坐标系，并依据每个初始图像与机器人的相对位置，设定相应的坐标，其中坐标系可以为直角坐标系或三维坐标系。
模型建立模块205用于依据坐标排列并拼接图像集中的多个初始图像，以生成图像模型。
在一实施例中，图像模型为依据坐标排列并拼接而成的全景图像。
在另一实施例中，图像模型如图4所示，图像模型由5*5矩阵排列的25个初始图像排列拼接而成，每个初始图像设有相应的坐标，分别为1～25。可以理解，每个初始图像的坐标及排列拼接方式可以依据实际应用场景进行调整。
在另一实施例中，模型建立模块205还用于依据第三信息更新图像模型中各个图像区域的三维坐标。
设定模块206用于设定图像模型的平衡阈值。
在一实施例中，平衡阈值为图像模型的特定图像区域的差异度。例如，依据指定坐标获取的图像与图像模型中相同坐标区域图像的差异度。
在另一实施例中，平衡阈值为坐标偏移量，例如，依据指定坐标获取的图像与图像模型中相同图像区域的坐标的差值，即为坐标偏移量。
在另一实施例中，设定模块206还用于依据第一信息集和第二信息集设定所述辅助平衡阈值。其中辅助平衡阈值可以为角度或方位范围。
比对模块207用于比对判定图像和图像模型，以获取区别值。
在一实施例中，比对模块207比对判定图像和图像模型中相同坐标的图像区域的差异度，差异度即为区别值。
在另一实施例中，比对模块207比对判定图像的坐标与图像模型中相同图像区域的坐标，以获取坐标差值，坐标差值即为区别值。
更新模块208用于依据第一感应信息和第二感应信息，以形成状态信息，并依据状态信息调整所述图像模型的重建周期。状态信息包括运动速度、加速度、方向变化、角度变化等。其中运动速度及加速度为机器人运动的速度变化情况，方向变化及角度变化为机器人运动过程中转向，变更移动方向的频率。例如，若机器人周围环境变动加大，或是机器人移动速度较快，则需要缩短图像模型的重建周期，以便于保证图像模型的准确性。若机器人速度较慢且环境变动较小，则需要增大图像模型的重建周期。
模型建立模块205还用于依据重建周期重新建立新的图像模型，以替换旧的图像模型。
其中重建周期为图像模型重新建立的时长，以保证图像模型与机器人周围的环境保持一致性。
请参阅图3，为本发明一个实施方式提供的机器人平衡判定的流程图。根据不同的需求，该流程图中步骤的顺序可以改变，某些步骤可以省略。为了便于说明，仅示出了与本发明实施例相关的部分。
如图3所示，所述机器人平衡判定方法包括以下步骤。
步骤S1：获取图像集。
具体地，接收模块201接收拍照设备10发送的图像集，其中图像集包括拍照设备10拍摄保持平衡时的机器人的周边，获得的多个初始图像。
步骤S1具体包括步骤：
判定机器人的平衡状态；
若保持平衡，获取多个初始图像；
依据多个初始图像形成图像集。
若失去平衡，发送调整指令，以使机器人自我调整。
具体地，判定模块202判断机器人的平衡状态；若保持平衡，控制模块203向拍照设备10发送拍照指令，以使拍照设备10拍摄多个初始图像，并依据多个初始图像形成图像集。若失去平衡，控制模块203向机器人发送调整指令，以使机器人自我调整平衡。
步骤S2：获取所述图像集中每个初始图像的坐标。
具体地，获取模块204获取图像集中每个初始图像的坐标。
在一实施例中，获取模块204建立的坐标系，并依据每个初始图像与机器人的相对位置，设定相应的坐标，其中坐标系可以为直角坐标系或三维坐标系。
步骤S3：依据所述坐标排列并拼接多个所述初始图像，以生成图像模型。
具体地，模型建立模块205依据坐标排列并拼接图像集中的多个初始图像，以生成图像模型。
在一实施例中，图像模型为依据坐标排列拼接而成的全景图像。
在另一实施例中，图像模型如图4所示，由5*5矩阵排列的25个初始图像排列拼接而成，每个初始图像设有相应的坐标，分别为1～25。可以理解，每个初始图像的坐标及排列拼接方式可以依据实际应用场景进行调整。
在另一实施例中，进一步地，步骤S3之后还包括步骤：
获取第三感应信息；
依据所述第三感应信息调整所述图像模型。
具体地，接收模块201接收第三感应单元60发送的第三感应信息，第三感应信息包括图像模型中显示的机器人周围的事物的距离，模型建立模块205依据第三感应信息更新图像模型中各个图像区域的三维坐标。
步骤S4：设定所述图像模型的平衡阈值。
具体地，设定模块206设定图像模型的平衡阈值。
在一实施例中，平衡阈值为图像模型的特定图像区域的差异度。例如，依据指定坐标获取的图像与图像模型中相同坐标区域图像的差异度。
在另一实施例中，平衡阈值为坐标偏移量，例如，依据指定坐标获取的图像与图像模型中相同图像区域的坐标的差值，即为坐标偏移量。
在一实施例中，平衡阈值的设定依据机器人的自适应调整能力，例如，机器人移动过程中，由于自身晃动产生的倾斜可以依据自身重力进行调整，则该倾斜属于正常范围，为平衡阈值范围内；机器人倾斜超过一定角度，依靠机器人自身的重力无法进行调整，机器人若不做状态调整，则将导致机器人失衡，甚至摔倒，则该状态超出平衡阈值范围。
步骤S5：实时获取判定图像。
具体地，接收模块201实时接收来自拍照设备10的判定图像。
在一实施例中，步骤S5具体包括步骤：
依据图像模型的模型特点确定判定坐标；
依据判定坐标获取判定图像。
具体地，判定模块202依据图像模型的模型特点确定判定区域，进而确定判定坐标，拍照设备10依据判定坐标拍摄该判定坐标的判定图像。
其中模型特点包括图像模型中各个区域的相似度、连贯度、是否包含明显特征等。例如，图像模型中的多个区域相似度较高，如果将该区域作为判定区域，容易造成判定误差；若图像模型中相邻区域具有连续性及重复性，不易发现相邻区域的区别点，则该区域不宜作为判定区域；若图像模型中具有突出的特征，例如一区域包含有明显区别于周围环境的动物图案，则该区域可以作为判定区域。
步骤S6：比对所述判定图像和所述图像模型，以获取区别值。
具体地，比对模块207比对判定图像和图像模型，以获取区别值。
在一实施例中，比对模块207比对判定图像和图像模型中相同坐标的图像区域的差异度，差异度即为区别值。
在另一实施例中，比对模块207比对判定图像的坐标与图像模型中相同图像区域的坐标，以获取坐标差值，坐标差值即为区别值。
步骤S7：判断所述区别值是否超出所述平衡阈值，以判定机器人的平衡状态。
若为是，执行步骤S8：判定机器人失去平衡，控制机器人调整；
若为否，执行步骤S9：判定机器人保持平衡，并依据所述判定图像调整所述图像模型。
例如，如图4所示，如果判定图像的坐标为8，但是坐标为8的判定图像位于图像模型中的坐标为24的图像区域，超出平衡阈值范围3、7、8、9及13，则判定机器人失去平衡。
具体地，判定模块202判断所述区别值是否超出所述平衡阈值，以判定机器人的平衡状态。若机器人失去平衡，则控制模块203向机器人发送调整指令，以使机器人进行平衡调整，若机器人保持平衡，模型建立模块205依据判定图像替换所述图像模型中相应区域的图案。
进一步地，所述方法还包括步骤：
实时获取第一感应信息和第二感应信息；
依据所述第一感应信息和第一感应信息，以形成状态信息；
依据状态信息调整所述图像模型的重建周期。
其中状态信息包括运动速度、加速度、方向变化、角度变化等。其中运动速度及加速度为机器人运动的速度变化情况，方向变化及角度变化为机器人运动过程中转向，变更移动方向的频率。
具体地，接收模块201接收第一感应信息和第二感应信息；更新模块208依据第一感应信息和第二感应信息，以形成状态信息，并依据状态信息调整所述图像模型的重建周期。例如，若机器人周围环境变动加大，或是机器人移动速度较快，则需要缩短图像模型的重建周期，以便于保证图像模型的准确性。若机器人速度较慢且环境变动较小，则需要增大图像模型的重建周期。
在一实施例中，依据重建周期，周期执行步骤S1至步骤S3，重新建立图像模型，以替换旧的图像模型。
在另一实施例中，所述方法还包括步骤：
获取第一信息集和第二信息集，其中所述第一信息集为第一感应单元40在机器人保持平衡时获取的多个第一感应信息的集合，所述第二信息集为第二感应单元50在机器人保持平衡时获取的多个第二感应信息的集合；
依据第一信息集和第二信息集设定所述辅助平衡阈值；
实时获取第一感应信息和第二感应信息；
分别比对第一感应信息、第二感应信息和所述辅助平衡阈值，以判定所述机器人的平衡状态。
机器人保持平衡时，通过第一感应单元40、第二感应单元50及拍照设备10获取图像集、第一信息集及第二信息集，并设定平衡阈值和辅助平衡阈值，实时获取判定图像、第一感应信息和第二感应信息，依据平衡阈值、辅助平衡阈值、判定图像、第一感应信息和第二感应信息判定机器人的平衡状态。通过结合多种判定方式，以增强平衡判定准确性，增强平衡判定的适应性。
上述机器人平衡判定方法通过建立机器人保持平衡时的图像模型，设定图像模型的平衡阈值，并实时比对判定图像与图像模型，以获取区别值，依据区别值和平衡阈值判定机器人的平衡状态，以便于控制机器人及时进行状态调整。
上述机器人平衡判定方法依据状态信息周期重建图像模型，以保证图像模型的准确性，进而提升机器人的平衡状态判定的准确率。
进一步地，上述机器人平衡判定方法可以结合其他的平衡判定方法，例如依据重力感应器和陀螺仪判定，以提升机器人平衡的判定的准确率，增强适应性。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。计算机装置权利要求中陈述的多个单元或计算机装置也可以由同一个单元或计算机装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (8)

1.一种机器人平衡判定装置，包括：
拍照设备；
处理器，与所述拍照设备耦接，用于：
接收来自所述拍照设备的图像集，所述图像集包括机器人保持平衡时所述拍照设备拍摄的多个初始图像；
获取每个所述初始图像的坐标；
依据所述坐标排列并拼接多个所述初始图像，以生成图像模型；
设定所述图像模型的平衡阈值；
实时接收来自所述拍照设备的判定图像；
比对所述判定图像和所述图像模型，以获取区别值；
判断所述区别值是否超出所述平衡阈值，以判定所述机器人的平衡状态；
第一感应单元和第二感应单元，所述第一感应单元用于感应所述机器人的速度和位移，以形成第一感应信息，所述第二感应单元用于感应所述机器人的方位角度，以形成第二感应信息，
其中所述处理器进一步用于：
获取所述第一感应信息和所述第二感应信息；
依据所述第一感应信息和所述第二感应信息形成状态信息；
依据所述状态信息调整所述图像模型的重建周期。
2.如权利要求1所述的机器人平衡判定装置，其中所述处理器进一步用于：
若所述机器人保持平衡，依据所述判定图像调整所述图像模型。
3.如权利要求1所述的机器人平衡判定装置，其中所述区别值为：
所述判定图像的坐标与所述图像模型中相同的图像区域的坐标之间的差值，或
所述判定图像与所述图像模型中相同坐标区域图像的差异度。
4.如权利要求1所述的机器人平衡判定装置，其中所述处理器进一步用于：
依据所述图像模型的模型特点确定判定坐标；
所述拍照设备进一步地用于：
依据所述判定坐标获取所述判定图像。
5.一种机器人平衡判定方法，包括：
获取图像集，所述图像集包括机器人保持平衡时获取的多个初始图像；
获取每个所述初始图像的坐标；
依据所述坐标排列并拼接多个所述初始图像，以生成图像模型；
设定所述图像模型的平衡阈值；
实时获取判定图像；
比对所述判定图像和所述图像模型，以获取区别值；
判断所述区别值是否超出所述平衡阈值，以判定所述机器人的平衡状态；
所述方法还包括步骤：
获取第一感应信息和第二感应信息，其中所述第一感应信息包括所述机器人的速度和位移信息，所述第二感应信息包括所述机器人的方位角度信息；
依据所述第一感应信息和所述第二感应信息形成状态信息；
依据所述状态信息调整所述图像模型的重建周期。
6.如权利要求5所述的机器人平衡判定方法，所述方法还包括步骤：
若所述机器人保持平衡，依据所述判定图像调整所述图像模型。
7.如权利要求5所述的机器人平衡判定方法，其中所述区别值为：
所述判定图像的坐标与所述图像模型中相同的图像区域的坐标之间的差值，或
所述判定图像与所述图像模型中相同坐标区域图像的差异度。
8.如权利要求5所述的机器人平衡判定方法，其中“实时获取判定图像”具体包括步骤：
依据所述图像模型的模型特点确定判定坐标；
依据所述判定坐标获取所述判定图像。
CN201911290091.6A 2019-12-16 2019-12-16 机器人平衡判定装置及机器人平衡判定方法 Active CN112991255B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911290091.6A CN112991255B (zh) 2019-12-16 2019-12-16 机器人平衡判定装置及机器人平衡判定方法
US16/853,966 US20210178601A1 (en) 2019-12-16 2020-04-21 Device to monitor state of balance of robot, method of operation for such device, and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911290091.6A CN112991255B (zh) 2019-12-16 2019-12-16 机器人平衡判定装置及机器人平衡判定方法

Publications (2)

Publication Number Publication Date
CN112991255A CN112991255A (zh) 2021-06-18
CN112991255B true CN112991255B (zh) 2023-11-28

Family

ID=76317393

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911290091.6A Active CN112991255B (zh) 2019-12-16 2019-12-16 机器人平衡判定装置及机器人平衡判定方法

Country Status (2)

Country Link
US (1) US20210178601A1 (zh)
CN (1) CN112991255B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114253132B (zh) * 2021-12-07 2024-02-09 吴会霞 一种举升装置的升降平衡控制方法
CN114979473A (zh) * 2022-05-16 2022-08-30 遥相科技发展(北京)有限公司 一种工业机器人控制方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010122705A1 (ja) * 2009-04-22 2010-10-28 トヨタ自動車株式会社 ロボット制御装置、ロボット制御方法、及び脚式ロボット
CN103699136A (zh) * 2014-01-14 2014-04-02 河海大学常州校区 基于蛙跳算法的智能家庭服务机器人***及服务方法
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
CN106525049A (zh) * 2016-11-08 2017-03-22 山东大学 一种基于计算机视觉的四足机器人本***姿跟踪方法
CN107943065A (zh) * 2017-12-08 2018-04-20 西安科技大学 机器人自平衡模拟实验***及方法
CN109848991A (zh) * 2019-02-14 2019-06-07 江门市国彬机器人有限公司 一种双足行走多关节机器人
JP2019089172A (ja) * 2017-11-15 2019-06-13 川崎重工業株式会社 ロボットシステム及びロボット制御方法
CN110370278A (zh) * 2019-07-16 2019-10-25 绍兴文理学院 一种基于工业机器人抖动分析的路线调整***及方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8417059B2 (en) * 2007-06-28 2013-04-09 Panasonic Corporation Image processing device, image processing method, and program
WO2018148195A1 (en) * 2017-02-08 2018-08-16 Marquette University Robotic tracking navigation with data fusion
JP6927727B2 (ja) * 2017-03-29 2021-09-01 本田技研工業株式会社 ロボットの制御装置
CN109144043A (zh) * 2017-06-27 2019-01-04 金宝电子工业股份有限公司 追踪目标物的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010122705A1 (ja) * 2009-04-22 2010-10-28 トヨタ自動車株式会社 ロボット制御装置、ロボット制御方法、及び脚式ロボット
US9070289B2 (en) * 2013-05-10 2015-06-30 Palo Alto Research Incorporated System and method for detecting, tracking and estimating the speed of vehicles from a mobile platform
CN103699136A (zh) * 2014-01-14 2014-04-02 河海大学常州校区 基于蛙跳算法的智能家庭服务机器人***及服务方法
CN106525049A (zh) * 2016-11-08 2017-03-22 山东大学 一种基于计算机视觉的四足机器人本***姿跟踪方法
JP2019089172A (ja) * 2017-11-15 2019-06-13 川崎重工業株式会社 ロボットシステム及びロボット制御方法
CN107943065A (zh) * 2017-12-08 2018-04-20 西安科技大学 机器人自平衡模拟实验***及方法
CN109848991A (zh) * 2019-02-14 2019-06-07 江门市国彬机器人有限公司 一种双足行走多关节机器人
CN110370278A (zh) * 2019-07-16 2019-10-25 绍兴文理学院 一种基于工业机器人抖动分析的路线调整***及方法

Also Published As

Publication number Publication date
US20210178601A1 (en) 2021-06-17
CN112991255A (zh) 2021-06-18

Similar Documents

Publication Publication Date Title
JP4931218B2 (ja) 撮像装置、物体検出方法及び姿勢パラメータの算出方法
JP4930927B2 (ja) ブレ測定システムおよびブレ測定方法
US8073206B2 (en) Face feature collator, face feature collating method, and program
TWI642903B (zh) 用於頭戴式顯示裝置的定位方法、***以及定位系統
CN112991255B (zh) 机器人平衡判定装置及机器人平衡判定方法
CN103907340A (zh) 图像生成装置和图像生成方法
CN108805938B (zh) 一种光学防抖模组的检测方法、移动终端及存储介质
WO2013184313A1 (en) Motion-based image stitching
CN113240615B (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN113194263B (zh) 枪球联动控制方法、装置、计算机设备和存储介质
WO2022242395A1 (zh) 图像处理方法、装置、电子设备和计算机可读存储介质
CN110944101A (zh) 摄像装置及图像记录方法
CN113365028A (zh) 一种巡检路径的生成方法、装置及***
JP2017529709A (ja) オプティカルフロー場を構築する方法
KR102138333B1 (ko) 파노라마 영상 생성 장치 및 방법
CN113747044A (zh) 一种全景拍摄方法及设备
KR102411612B1 (ko) 다수의 카메라를 이용한 열화상 감시 시스템
JP2020071854A (ja) 画像処理装置、画像処理方法及びプログラム
WO2019100216A1 (zh) 3d建模方法、电子设备、存储介质及程序产品
US11533430B2 (en) Image capturing device with display control, image communication system, and method for display control, and recording medium
US20200358960A1 (en) Control method and electronic device for capturing panoramic images
TW202125084A (zh) 機器人平衡判定裝置及機器人平衡判定方法
JP2008135996A (ja) 情報処理方法、情報処理装置
JP2020204973A (ja) 情報処理装置、プログラム及び情報処理システム
CN110290309A (zh) 影像处理方法、电子装置及非暂态电脑可读取存储媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230113

Address after: 528225 401-6, Floor 4, Block A, Software Science Park, Shishan Town, Nanhai District, Foshan City, Guangdong Province

Applicant after: Xinyang Technology (Foshan) Co.,Ltd.

Address before: Building B2, Foxconn B, 1216 Lanhua Road, Jincheng Development Zone, Shanxi Province 048000

Applicant before: Jincheng Sanying Precision Electronics Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant