JP6884312B1 - ロボット障害回避処理方法、装置、ロボット - Google Patents

ロボット障害回避処理方法、装置、ロボット Download PDF

Info

Publication number
JP6884312B1
JP6884312B1 JP2020193589A JP2020193589A JP6884312B1 JP 6884312 B1 JP6884312 B1 JP 6884312B1 JP 2020193589 A JP2020193589 A JP 2020193589A JP 2020193589 A JP2020193589 A JP 2020193589A JP 6884312 B1 JP6884312 B1 JP 6884312B1
Authority
JP
Japan
Prior art keywords
obstacle
image
sensing module
positioning
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020193589A
Other languages
English (en)
Other versions
JP2022035927A (ja
Inventor
張曉龍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Django Robotics Shanghai Co ltd
Shanghai Jiangge Robot Co Ltd
Original Assignee
Django Robotics Shanghai Co ltd
Shanghai Jiangge Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Django Robotics Shanghai Co ltd, Shanghai Jiangge Robot Co Ltd filed Critical Django Robotics Shanghai Co ltd
Application granted granted Critical
Publication of JP6884312B1 publication Critical patent/JP6884312B1/ja
Publication of JP2022035927A publication Critical patent/JP2022035927A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259—Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

【課題】ロボット障害回避処理方法、装置及びロボットを提供する。【解決手段】ロボット障害回避処理方法は、画像感知モジュールが採集した環境画像を取得し（Ｓ１０２）、前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定し（Ｓ１０４）、前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断し（Ｓ１０６）、ＹＥＳであれば、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行う（Ｓ１０８）。【選択図】図１

Description

本発明はロボット技術分野に関し、特に、ロボット障害回避処理方法、装置及びロボットに関する。
ロボット技術の発展に伴い、ロボットの作業環境は益々複雑化しており、このような複雑で変化が多く且つ予測不可能な作業環境において、ロボットが完了すべきタスクも益々複雑になるとと同時に、ユーザのロボットに対する要求も絶えず増大している。複雑で変化の多い作業環境に適用できるよう、周囲を感知でき且つ判断を下せるロボットが必要とされており、このようなロボットは周囲の環境パラメータに基づき、関連のアルゴリズムによりモデルを構築して意思決定でき、最終的にユーザが発したコマンドを実行できる。
ロボットについて言えば、作業過程において障害回避計画の処理は非常に基本的なことであり且つ極めて重要なタスクである。保管倉庫環境におけるロボットを例に、ロボットがオーダータスクを実行する時、コマンドに従って倉庫陳列棚の間を往来するが、その走行過程において、周囲には移動する仕分け作業員や、他のロボット等の移動する障害物だけでなく、陳列棚や壁等の固定の障害物も存在する。ロボットの作業走行過程においてロボットの衝突を避けられるよう、どのように速やかに判断を下せるかはロボットがオーダータスクを実行する上で重要な点となっており、また難しい点でもある。
本明細書の一つの又は複数の実施例はロボット障害回避処理方法を提供する。前記ロボット障害回避処理方法は、
画像感知モジュールが採集した環境画像を取得することと、
前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定することと、
前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することと、
もしYESなら、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うことを含む。
任意選択的に、上記の前記環境画像中の障害物を識別することは、
前記環境画像を画像識別モデルに入力し、前記画像識別モデルにより前記環境画像に対して特徴分割および特徴識別を行い、前記環境画像に含まれる障害物の障害物タイプを出力することを含む。
任意選択的に、上記の前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
前記障害物タイプが固定障害物である場合、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することを含み、
前記画像感知モジュールは単眼カメラを含み、
これに対応して、上記の前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記環境画像に基づき前記障害物に対応する画像座標位置を確定するとともに、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定することと、
前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
もしYESなら、上記の前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うステップを実行する。
任意選択的に、上記の前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
前記障害物タイプが移動障害物である場合、深度画像センサ及び前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することを含み、
これに対応して、上記の前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記環境画像及び前記深度画像センサが採集した深度画像に基づき、前記深度画像における、前記障害物に対応する画像座標位置を確定することと、
前記深度画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定することと、
前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
もしYESなら、上記の前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うステップを実行する。
任意選択的に、上記の前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
前記環境画像に基づき前記障害物の特徴占有率を確定することと、
前記障害物の特徴占有率は所定の特徴占有率閾値より大きいか否か判断することと、
もしYESなら、無線センサを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することと、
もしNOなら、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することを含み、
前記画像感知モジュールは単眼カメラを含む。
任意選択的に、上記の前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記無線センサが採集した前記障害物の位置データに基づき、前記位置データに対応する物理座標位置を確定することと、
前記物理座標位置は予め設置された物理障害エリア内にあるか否か判断することを含み、
もしYESなら、上記の前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うステップを実行する。
任意選択的に、上記の前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記環境画像に基づき前記障害物に対応する画像座標位置を確定するとともに、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定することと、
前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
もしYESなら、上記の前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うステップを実行する。
任意選択的に、上記の前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
前記環境画像に基づき前記障害物に対応する初期距離を計算することと、
予め確立された距離と位置決め感知モジュールの対応関係に基づき、前記初期距離に対応する第一位置決め感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールとして確定することを含む。
任意選択的に、前記ロボット障害回避処理方法はさらに、
前記距離に対応する位置決め感知モジュールが採集した前記障害物の位置決め特徴情報に基づき、前記障害物に対応する第二距離を計算することと、
距離と位置決め感知モジュールの対応関係において、前記第二距離に対応する第二位置決め感知モジュールは、前記初期距離に対応する位置決め感知モジュールと一致するか否か判断することと、
もしNOなら、前記位置決め感知モジュールを前記第一位置決め感知モジュールから前記第二位置決め感知モジュールに切り換えることを含む。
任意選択的に、上記の前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うことは、
減速走行する走行コマンドを生成して実行することと、
前記位置情報に基づき走行ルートを規定し、前記走行ルートに基づき元の走行ルートを更新することを含む。
任意選択的に、上記の前記位置情報に基づき走行ルートを規定することは、
前記環境画像に基づき、前記障害物の最大障害アウトラインを確定することと、
前記走行ルートの走行幅が前記最大障害アウトラインの数値より大きくなるように、前記最大障害アウトライン及び前記位置情報に基づき走行ルートを規定することを含む。
任意選択的に、前記画像感知モジュールが採集した環境画像を取得するステップの実行後、且つ上記の前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定するステップの実行前に、
前記環境画像に含まれる目標物体特徴を検出することと、
前記目標物体特徴は障害物であるか否か検出することをさらに含み、
もしYESなら、上記の前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定するステップを実行する。
本明細書の一つの又は複数の実施例はさらに、
画像感知モジュールが採集した環境画像を取得するように構成された環境画像取得モジュールと、
前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定するように構成された障害物識別モジュールと、
前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断するように構成された障害物判断モジュールと、を備え、
もしYESなら、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うように構成された障害回避処理モジュールを稼働する、ロボット障害回避処理装置を提供する。
本明細書の一つの又は複数の実施例はさらに、
プロセッサ、画像感知モジュール及び位置決め感知モジュールを備え、
前記画像感知モジュールは環境画像を採集するように構成され、
前記プロセッサは前記画像感知モジュールが採集した環境画像を取得し、前記環境画像中の障害物を識別し、前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断し、もしYESなら、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うように構成され、
前記位置決め感知モジュールは前記プロセッサにより確定され、前記障害物に対して位置決めを行うように構成される、ロボットを提供する。
任意選択的に、上記の前記環境画像中の障害物を識別することは、
前記環境画像を画像識別モデルに入力し、前記画像識別モデルにより前記環境画像に対して特徴分割および特徴識別を行い、前記環境画像に含まれる障害物の障害物タイプを出力することを含む。
任意選択的に、前記障害物タイプが固定障害物である場合、前記画像感知モジュールを前記位置決め感知モジュールであると確定し、
前記画像感知モジュールは単眼カメラを含み、
これに対応して、上記の前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記環境画像に基づき前記障害物に対応する画像座標位置を確定するとともに、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定することと、
前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
もしYESなら、次のステップを実行する。
任意選択的に、前記障害物タイプが移動障害物である場合、深度画像センサ及び前記画像感知モジュールを前記位置決め感知モジュールであると確定し、
これに対応して、上記の前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記環境画像及び前記深度画像センサが採集した深度画像に基づき、前記深度画像における、前記障害物に対応する画像座標位置を確定することと、
前記深度画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定することと、
前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
もしYESなら、次のステップを実行する。
任意選択的に、前記プロセッサは、
前記環境画像に基づき前記障害物の特徴占有率を確定し、
前記障害物の特徴占有率は所定の特徴占有率閾値より大きいか否か判断し、
もしYESなら、無線センサを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定し、
もしNOなら、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定する、
操作を実行することにより前記位置決め感知モジュールを確定し、
前記画像感知モジュールは単眼カメラを含む。
任意選択的に、上記の前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記無線センサが採集した前記障害物の位置データに基づき、前記位置データに対応する物理座標位置を確定することと、
前記物理座標位置は予め設置された物理障害エリア内にあるか否か判断することを含み、
もしYESなら、次のステップを実行する。
任意選択的に、上記の前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記環境画像に基づき前記障害物に対応する画像座標位置を確定するとともに、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定することと、
前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
もしYESなら、次のステップを実行する。
任意選択的に、前記プロセッサは、
前記環境画像に基づき前記障害物に対応する初期距離を計算し、
予め確立された、距離と位置決め感知モジュールの対応関係に基づき、前記初期距離に対応する第一位置決め感知モジュールを前記位置決め感知モジュールとして確定する、
操作を実行することにより前記位置決め感知モジュールを確定する。
任意選択的に、前記プロセッサはさらに、
前記距離に対応する位置決め感知モジュールが採集した前記障害物の位置決め特徴情報に基づき、前記障害物に対応する第二距離を計算し、
距離と位置決め感知モジュールの対応関係において、前記第二距離に対応する第二位置決め感知モジュールは、前記初期距離に対応する位置決め感知モジュールと一致するか否か判断し、
もしNOなら、前記位置決め感知モジュールを前記第一位置決め感知モジュールから前記第二位置決め感知モジュールに切り換えるように構成される。
任意選択的に、上記の前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うことは、
減速走行する走行コマンドを生成して実行することと、
前記位置情報に基づき走行ルートを規定し、前記走行ルートに基づき元の走行ルートを更新することを含む。
任意選択的に、上記の前記位置情報に基づき走行ルートを規定することは、
前記環境画像に基づき、前記障害物の最大障害アウトラインを確定することと、
前記走行ルートの走行幅が前記最大障害アウトラインの数値より大きくなるように、前記最大障害アウトライン及び前記位置情報に基づき走行ルートを規定することを含む。
任意選択的に、前記プロセッサはさらに、
前記環境画像に含まれる目標物体特徴を検出し、
前記目標物体特徴は障害物であるか否か検出し、
もしYESなら、次のステップに進むように構成される。
本明細書の一つの又は複数の実施例はさらに、コンピュータ実行可能なコマンドを記憶するための記憶媒体であって、
前記コンピュータ実行可能なコマンドは実行される時に、
画像感知モジュールが採集した環境画像を取得し、
前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定し、
前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断し、
もしYESなら、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行う、
フローを実現する、記憶媒体を提供する。
本明細書の一つの又は複数の実施例又は従来技術における技術方案をより明確に説明するために、以下に、実施例又は従来技術の説明に必要な図面について簡単に紹介する。以下に説明される図面は本明細書に記載の一部の実施例に過ぎず、当業者は創造的な労働を経ずに、これら図面に基づき、さらに他の図面を得られることは言うまでもない。
図１は本明細書の一つの又は複数の実施例が提供するロボット障害回避処理方法処理のフローチャートである。 図２は本明細書の一つの又は複数の実施例が提供する保管倉庫シーンに応用されるロボット障害回避処理方法処理のフローチャートである。 図３は本明細書の一つの又は複数の実施例が提供するロボット障害回避処理装置の概略図である。 図４は本明細書の一つの又は複数の実施例が提供するロボットの構造概略図である。
当業者が本明細書の一つの又は複数の実施例における技術方案をより理解できるように、以下に本明細書の一つの又は複数の実施例における図面と合わせて、本明細書の一つの又は複数の実施例における技術方案について明確に、完全に説明する。勿論、説明する実施例は単に本明細書の一部の実施例に過ぎず、全ての実施例ではない。本明細書の一つの又は複数の実施例に基づき、当業者が創造的な労働を経ずに得られる他の実施例もすべて本書類の保護範囲に属すと理解される。
本明細書が提供するロボット障害回避処理方法の実施例は以下のとおり：
図1は本実施例が提供するロボット障害回避処理方法処理のフローチャートを示す。図2は本実施例が提供する保管倉庫シーンに応用されるロボット障害回避処理方法処理のフローチャートを示す。
図1を参照し、本実施例が提供するロボット障害回避処理方法は具体的に下記のステップS102〜ステップS108を含む。
ステップS102、画像感知モジュールが採集した環境画像を取得する。
本明細書が提供するロボット障害回避処理方法は、まず画像感知モジュールによりロボットがいる作業環境の環境画像を採集し、環境画像に含まれる障害物を識別した場合において、障害物のタイプ、障害物の高さまたは障害物とロボットの距離から、障害物に対して位置決めを行う位置決め感知モジュールを確定し、こうして異なる障害物の状況に対して異なる位置決め感知モジュールを採用してより精確な位置決めを行い、障害物に対して位置決めを行った後、さらに障害物はロボット作業に影響する目標障害エリア内にあるか否か判断し、障害物が当該目標障害エリア内にいれば、障害物の位置情報からロボットに対して障害回避処理を行い、ロボットの作業がスムーズに行われることを確保する。
本実施例の前記画像センサとはロボット自体に設けられた画像センサを指し、例えばロボットに設けられた単眼カメラである。前記画像センサが採集したロボットがいる作業環境の画像とは前記環境画像であり、環境画像を採集する目的はロボット走行過程における障害物を検出するためであるため、ここにおける画像センサが採集した環境画像とはロボット走行ルートの前方作業環境エリアの環境画像であると理解できる。
この他、前記画像センサはさらにロボットがいる作業環境内において、ロボットと協働作業する可動カメラとすることができ、またはロボット作業環境内の異なる位置に設けられ且つ互いに協働する複数の固定カメラとすることができる。
実際の応用において、ロボットの障害物に対する検出の迅速性及び正確性を高めるために、採用される方式は往々にしてロボットに設けられた画像センサの周波数を高めることであり、より高周波の画像採集及び障害物検出位置決めによりロボットと作業環境内の障害物がぶつかり合うのを回避するが、より高周波の画像採集及び障害物検出位置決め識別はロボットに対して処理圧力をもたらし、本実施例が提供する任意選択的な実施形態においては、ロボットの作業効率を高めるために、前記画像感知モジュールが環境画像を採集した後、まず環境画像に含まれる目標物体特徴を検出し、その後さらに前記目標物体特徴は障害物であるか否か検出し、もしYESなら、下記ステップS104を実行し、もしNOなら、現在のロボットに設けられた画像センサが採集した環境画像中に障害物が存在しないことを表し、つまりロボットが現在いる作業環境にその走行に対して影響を及ぼす障害物はないことを表し、処理しないでよい。
ステップS104、前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定する。
上記の画像採集モジュールが採集した環境画像を基に、前記環境画像中の障害物を識別する。または上記の前記環境画像に含まれる障害物を検出した場合において障害物に対して識別を行う。具体的に、識別過程において、前記環境画像を画像識別モデルに入力し、前記画像識別モデルにより前記環境画像に対して特徴分割および特徴識別を行い、前記環境画像に含まれる障害物の障害物タイプを出力する。
例えば、識別効率及び識別正確率を高めるために、YOLOアルゴリズムを採用した画像識別モデルを学習させ、画像識別モデルを用いて採集した環境画像に対して障害物識別を行う。画像識別モデルは環境画像に対して障害物識別を行う過程において、識別前に往往にして特徴分割を行う必要がある。即ち、環境画像の複雑画像特徴の中で障害物特徴を分割し、特徴分割で取得した障害物特徴により障害物識別を行う。同様に、効率向上の角度から、さらに、画像識別モデルに環境画像に対して特徴分割を行うモジュールを追加し、当該モジュールが出力した障害物特徴を後で行う障害物識別の入力とすることで、環境画像を画像識別モデルに入力し特徴分割及び障害物識別を行い、取得した障害物タイプ、例えば人の脚（仕分け作業員）、ロボット、充電器、陳列棚および壁等を出力識別することを実現できる。
本実施例の前記位置決め感知モジュールとは、ロボットに設けられたセンサにおいて位置決め用として用いられるセンサを指す。例えばロボットに設けられた単眼カメラ、深度カメラ及び赤外線センサである。位置決め過程において単眼カメラが採集した環境画像に基づき位置決めを行う場合、単眼カメラを位置決め感知モジュールであると確定する。同様に、位置決め過程において深度カメラが採集した深度画像または赤外線センサが採集した位置データに基づき位置決めを行う場合、深度カメラまたは赤外線センサを位置決め感知モジュールであると確定する。
実際の応用において、ロボット作業環境には様々なタイプの障害物、例えば仕分け作業員、他のロボット等の移動障害物、また、陳列棚、壁等の固定障害物が存在する可能性がある。異なるタイプの障害物の異なる特性に基づき、本実施例が提供する任意選択的な実施形態において、障害物タイプに基づき相応の位置決め感知モジュールを確定する。つまり障害物タイプに基づき相応の位置決め方式を選択して障害物に対して位置決めを行う。こうして障害物の位置決めの正確性を高める。
具体的に、もし画像識別モデルが出力した障害物タイプが固定障害物である場合、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定する。例えば、陳列棚、壁等といったタイプの固定障害物については、依然として前の環境画像を採集する単眼カメラを障害物に対して位置決めを行う位置決め感知モジュールとして採用する。つまり単眼カメラが採集した環境画像に基づき障害物に対して位置決めを行う。
もし前記障害物タイプが移動障害物である場合、深度画像センサ及び前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定する。例えば、仕分け作業員、他のロボットといったタイプの移動障害物については、ロボットに設けられた深度カメラ及び単眼カメラを同時に採用することで障害物に対して位置決めを行う。つまり深度カメラが採集した深度画像及び単眼カメラが採集した環境画像を合わせて障害物に対して位置決めを行う。
具体的に実施する時、多くのシーンにおいて障害物の高さは障害物の識別位置決めに対して一定の影響があることを考慮し、例えば保管倉庫シーンにおいて仕分けロボットの高さは低く、相対的に、仕分けロボットに設けられた画像センサの視野範囲も低い可能性があり、この状況に対して、本実施例が提供する任意選択的な実施形態において、障害物の高さに基づき相応の位置決め感知モジュールを確定し、異なる高さの障害物に対して異なる位置決め方式を採用し、こうして障害物の位置決めの正確性を高める。具体的に以下のように実現する：
前記環境画像に基づき前記障害物の特徴占有率を確定し、
前記障害物の特徴占有率は所定の特徴占有率閾値より大きいか否か判断し、
もしYESなら、無線センサを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定し、
もしNOなら、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定する。
例えば、保管倉庫シーンにおいて仕分けロボットが採集した作業環境の環境画像において、ある障害物（陳列棚）の画像特徴の当該環境画像中の高さ占有率が1/2を超える場合、保管倉庫ロボット前方の陳列棚という障害物の高さは高いことを表す。このような場合において、無線探知及び測距センサ（レーダ）、超音波波センサまたは赤外線センサにより陳列棚という障害物に対して位置決めすればより正確になる。ある障害物（他の仕分けロボット）の高さ占有率が1/2未満である場合、保管倉庫ロボット前方の仕分けロボットという障害物の高さは低いことを表し、依然としてロボットに設けられた単眼カメラを用いて位置決めを行えばよい。
この他、具体的に実施する時、多くのシーンにおいて障害物とロボットの距離も同様に障害物の識別位置決めに対して一定の影響があることを考慮し、この状況に対して、本実施例が提供する任意選択的な実施形態において、障害物の距離に基づき相応の位置決め方式を選択し、こうして障害物の位置決めの正確性を高める。具体的に、前記環境画像に基づき前記障害物が対応する初期距離を計算し、その後予め確立された距離と位置決め感知モジュールの対応関係に基づき、前記初期距離が対応する第一位置決め感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールとして確定する。
例えば、障害物とロボットの間の距離が6mより大きい時、対応する位置決め感知モジュールは無線探知及び測距センサ（レーダ）、超音波波センサまたは赤外線センサ等の遠距離探知センサである。障害物とロボットの間の距離が6m以下である時、対応の位置決め感知モジュールは深度カメラである。このような場合において、深度カメラが採集した深度画像に基づき障害物に対して位置決めを行うだけでなく、深度画像及び単眼カメラが採集した環境画像を合わせて精度のより高い障害物の位置決めを行うことができる。
なお、同一障害物に対して障害回避処理を行う異なる段階において、異なる位置決め感知モジュールを採用して障害物に対して位置決めを行う正確度はより高くなる可能性があり、ロボットの作業走行過程における位置決めの正確度をさらに高めるために、本実施例はさらに、下記位置決め感知モジュールの切換操作を提供する。具体的に、前記距離が対応する位置決め感知モジュールが採集した前記障害物の位置決め特徴情報に基づき、前記障害物が対応する第二距離を計算し、これを基に、距離と位置決め感知モジュールの対応関係において、前記第二距離に対応する第二位置決め感知モジュールは、前記初期距離が対応する位置決め感知モジュールと一致するか否か判断し、もしYESなら、処理しないでよく、もしNOなら、前記位置決め感知モジュールを前記第一位置決め感知モジュールから前記第二位置決め感知モジュールに切り換える。
ステップS106、前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断する。
上記のステップS104で位置決め感知モジュールを確定したことを基に、ここで、確定した位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断し、もしYESなら、ステップS108を実行し、前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行い、もしNOなら、障害物はロボットの目標障害エリア内にないことを表し、処理しないでよい。
なお、前記位置決め感知モジュールが採集した位置決め特徴情報は、位置決めセンサ確定後、確定した位置決めセンサが採集した位置決め特徴情報とすることができ、例えば、確定した位置決め感知モジュールが深度カメラである場合、位置決め感知モジュールが採集した位置決め特徴情報は深度カメラが採集した深度画像となり、また、例えば、確定した位置決め感知モジュールが単眼カメラである場合、位置決め感知モジュールが採集した位置決め特徴情報は単眼カメラが採集した環境画像となり、当該環境画像は単眼カメラが位置決め感知モジュールであると確定する前に採集した環境画像でも、単眼カメラが位置決め感知モジュールであると確定した後に新たに採集した環境画像でもよい。
本実施例の前記目標障害エリアとは空間緯度においてロボット走行前方の特定エリアを指し、例えばロボットの正面前方の幅0.7m、長さ1.2mの矩形エリアを目標障害エリアに指定できる。この他、前記目標障害エリアはさらに画像緯度における画像中の特定エリアを含むことができる。例えば単眼カメラが採集した環境画像中の矩形エリアまたは扇形エリアを目標障害エリアに指定でき、または深度カメラが採集した深度画像中の矩形エリアまたは扇形エリアを目標障害エリアに指定できる。
上記の障害物タイプに基づき位置決め感知モジュールを確定する実現方式に対応して、もし上記画像識別モデルが出力した障害物タイプが固定障害物である場合、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定した後、以下の方式で障害物が目標障害エリア内にあるか否かの判断を行う：
前記環境画像に基づき前記障害物が対応する画像座標位置を確定し、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定し、
前記画像座標位置は前記目標画像エリア内にあるか否か判断し、
もしYESなら、下記ステップS108を実行し、前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行い、
もしNOなら、障害物はロボットの目標障害エリア内にないことを表し、処理しないでよい。
これと同様、もし上記画像識別モデルが出力した障害物タイプが移動障害物である場合、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定した後、以下の方式で障害物が目標障害エリア内にあるか否かの判断を行う：
前記環境画像に基づき前記障害物が対応する画像座標位置を確定し、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定し、
その後、前記画像座標位置は前記目標画像エリア内にあるか否か判断し、
もしYESなら、下記ステップS108を実行し、前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行い、
もしNOなら、障害物はロボットの目標障害エリア内にないことを表し、処理しないでよい。
この他、上記の障害物の高さに基づき相応の位置決め感知モジュールを確定する実現方式に対応して、もし上記確定した位置決め感知モジュールが無線センサである場合、以下の方式で障害物が目標障害エリア内にあるか否かの判断を行う：
前記無線センサが採集した前記障害物の位置データに基づき、前記位置データが対応する物理座標位置を確定し、
前記物理座標位置は予め設置された物理障害エリア内にあるか否か判断し、
もしYESなら、下記ステップS108を実行し、前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行い、
もしNOなら、障害物はロボットの目標障害エリア内にないことを表し、処理しないでよい。
これと同様、もし上記確定した位置決め感知モジュールが画像センサである場合、以下の方式で障害物が目標障害エリア内にあるか否かの判断を行う：
前記環境画像に基づき前記障害物が対応する画像座標位置を確定し、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定し、
前記画像座標位置は前記目標画像エリア内にあるか否か判断し、
もしYESなら、下記ステップS108を実行し、前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行い、
もしNOなら、障害物はロボットの目標障害エリア内にないことを表し、処理しないでよい。
ステップS108、前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行う。
本ステップが実施される前提は、上記ステップS106で前記障害物は目標障害エリア内にあるか否か判断した判断結果がYESであることであり、具体的に前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行う過程において、まず減速走行する走行コマンドを生成して実行し、その後、前記位置情報に基づき走行ルートを規定し、前記走行ルートに基づき元の走行ルートを更新することである。
実際の応用において、ロボットの作業シーンにおいて往往にして様々な複雑な状況が存在し、保管倉庫シーンを例に、仕分けロボット上に置かれる貨物の体積は仕分けロボットの体積より大きい可能性があり、仕分けロボットの間で障害物との衝突は生じないが、仕分けロボット上に置かれた貨物は衝突を生じる可能性があり、または障害物と衝突を生じる可能性がある。このような状況に対して、本実施例は走行ルート規定過程において、まず前記環境画像に基づき、前記障害物の最大障害アウトラインを確定し、前記走行ルートの走行幅が前記最大障害アウトライン数値より大きくなるように、前記最大障害アウトライン及び前記位置情報に基づき走行ルートを規定する。こうして降低ロボット走行過程において障害物と衝突する確率を低くし、ロボットの複雑シーンに対する対応力を高める。
下記に、本実施例が提供するロボット障害回避処理方法の保管倉庫シーンにおける応用を例に、本実施例が提供するロボット障害回避処理方法についてさらに説明する。図2を参照し、保管倉庫シーンに応用されるロボット障害回避処理方法は具体的にステップS202〜ステップS226を含む。
ステップS202、仕分けロボットに設けられた単眼カメラが採集した環境画像を取得する。
この他、単眼カメラはさらに仕分けロボットがいる作業環境において、仕分けロボットと協働作業する可動カメラとすることができ、または仕分けロボット作業環境内の異なる位置に設けられ且つ互いに協働する複数の固定カメラとすることができる。
ステップS204、環境画像に含まれる目標物体特徴を検出する。
ステップS206、目標物体特徴は障害物であるか否か検出する。
もし目標物体特徴の検出結果はそれが障害物であると表す場合、下記ステップS208を実行し、逆の場合は、現在の仕分けロボットに設けられた単眼カメラが採集した環境画像中に障害物が存在しないことを表し、つまり仕分けロボットは現在のいる作業環境にその走行に対して影響を及ぼす障害物がないことを表し、処理しないでよい。
ステップS208、環境画像を画像識別モデルに入力し、特徴分割および特徴識別を行い、環境画像に含まれる障害物の障害物タイプを出力する。
ステップS210、もし障害物タイプが固定障害物である場合、単眼カメラを障害物に対して位置決めを行う位置決め感知モジュールであると確定する。
ステップS212、環境画像に基づき障害物が対応する空間座標位置を確定する。
ステップS214、空間座標位置が空間障害エリア内にあるか否か判断し、もしYESなら、ステップS224を実行し、もしNOなら、処理しないでよい。
ステップS216、もし障害物タイプが移動障害物である場合、深度カメラ及び単眼カメラの両方を障害物に対して位置決めを行う位置決め感知モジュールであると確定する。
ステップS218、環境画像及び深度カメラが採集した深度画像に基づき、障害物の融合画像中の対応する画像座標位置を確定する。そのうち、融合画像は環境画像及び深度画像により融合された後に取得できる。
ステップS220、融合画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定する。
ステップS222、画像座標位置は目標画像エリア内にあるか否か判断し、もしYESなら、ステップS224を実行し、もしNOなら、処理しないでよい。
ステップS224、減速走行する走行コマンドを生成して実行する。
ステップS226、位置情報に基づき走行ルートを規定し、仕分けロボットに対してルート更新を行う。
本明細書が提供するロボット障害回避処理装置の実施例は以下のとおり：
上記の実施例においてロボット障害回避処理方法を提供した。これに対応して、ロボット障害回避処理装置をさらに提供する。以下に図面と合わせて説明する。
図3は本実施例が提供するロボット障害回避処理装置の概略図を示す。
装置実施例は方法実施例に対応するため、比較的簡単に説明する。関連部分は上記提供した方法実施例の対応説明を参照できる。以下に説明する装置実施例は単に概略的なものである。
本実施例はロボット障害回避処理装置を提供する。
画像感知モジュールが採集した環境画像を取得するように構成された環境画像取得モジュール302と、
前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定するように構成された障害物識別モジュール304と、
前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断するように構成された障害物判断モジュール306と、を備え、
もしYESなら、前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行うように構成された障害回避処理モジュール308を稼働する。
任意選択的に、前記障害物識別モジュール304は、
前記環境画像を画像識別モデルに入力し、前記画像識別モデルにより前記環境画像に対して特徴分割および特徴識別を行い、前記環境画像に含まれる障害物の障害物タイプを出力するように構成された識別子モジュールを含む。
任意選択的に、前記障害物識別モジュール304は、
前記障害物タイプが固定障害物である場合において、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定するように構成された第一確定子モジュールを含み、
前記画像感知モジュールは単眼カメラを備え、
これに対応して、前記障害物判断モジュール306は、具体的に、前記環境画像に基づき前記障害物が対応する画像座標位置を確定し、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定し、前記画像座標位置は前記目標画像エリア内にあるか否か判断するように構成され、
もしYESなら、前記障害回避処理モジュール308を稼働する。
任意選択的に、前記障害物識別モジュール304は、
前記障害物タイプが移動障害物である場合において、深度画像センサ及び前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定するように構成された第二確定子モジュールを含み、
これに対応して、前記障害物判断モジュール306は、具体的に、前記環境画像及び前記深度画像センサが採集した深度画像に基づき、前記障害物は前記深度画像中の対応する画像座標位置にあると確定し、前記深度画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定し、前記画像座標位置は前記目標画像エリア内にあるか否か判断するように構成され、
もしYESなら、前記障害回避処理モジュール308を稼働する。
任意選択的に、前記障害物識別モジュール304は、
前記環境画像に基づき前記障害物の特徴占有率を確定するように構成された特徴占有率確定子モジュールと、
前記障害物の特徴占有率は所定の特徴占有率閾値より大きいか否か判断するように構成された特徴占有率判断子モジュールと、を含み、
もしYESなら、無線センサを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定し、
もしNOなら、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定し、
前記画像感知モジュールは単眼カメラを備える。
任意選択的に、前記障害物判断モジュール306は、具体的に、前記無線センサが採集した前記障害物の位置データに基づき、前記位置データが対応する物理座標位置を確定し、前記物理座標位置は予め設置された物理障害エリア内にあるか否か判断するように構成され、
もしYESなら、前記障害回避処理モジュール308を稼働する。
任意選択的に、前記障害物判断モジュール306は、具体的に、前記環境画像に基づき前記障害物が対応する画像座標位置を確定し、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定し、前記画像座標位置は前記目標画像エリア内にあるか否か判断するように構成され、
もしYESなら、前記障害回避処理モジュール308を稼働する。
任意選択的に、前記障害物識別モジュール304は、
前記環境画像に基づき前記障害物が対応する初期距離を計算するように構成された初期距離計算子モジュールと、
予め確立された距離と位置決め感知モジュールの対応関係に基づき、前記初期距離が対応する第一位置決め感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールとして確定するように構成された第一位置決め感知モジュール確定子モジュールと、を含む。
任意選択的に、前記ロボット障害回避処理装置は、
前記距離が対応する位置決め感知モジュールが採集した前記障害物の位置決め特徴情報に基づき、前記障害物が対応する第二距離を計算するように構成された第二距離確定モジュールと、
距離と位置決め感知モジュールの対応関係において、前記第二距離に対応する第二位置決め感知モジュールは、前記初期距離が対応する位置決め感知モジュールと一致するか否か判断するように構成された第二距離判断モジュールと、をさらに備え、
もしNOなら、前記位置決め感知モジュールを前記第一位置決め感知モジュールから前記第二位置決め感知モジュールに切り換える。
任意選択的に、前記障害回避処理モジュール308は、
減速走行する走行コマンドを生成して実行するように構成された走行コマンド実行子モジュールと、
前記位置情報に基づき走行ルートを規定し、前記走行ルートに基づき元の走行ルートを更新するように構成された走行ルート規定子モジュールと、を含む。
任意選択的に、前記走行ルート規定子モジュールは、
前記環境画像に基づき、前記障害物の最大障害アウトラインを確定するように構成された最大障害アウトライン確定ユニットと、
前記走行ルートの走行幅が前記最大障害アウトライン数値より大きくなるように、前記最大障害アウトライン及び前記位置情報に基づき走行ルートを規定するように構成された走行ルート規定ユニットと、を備える。
任意選択的に、前記ロボット障害回避処理装置は、
前記環境画像に含まれる目標物体特徴を検出するように構成された目標物体特徴検出モジュールと、
前記目標物体特徴は障害物であるか否か検出するように構成された障害物検出モジュールと、をさらに備え、
もしYESなら、障害物識別モジュール304を稼働する。
本明細書が提供するロボットの実施例は以下のとおり：
上記説明したロボット障害回避処理方法に対応して、同じ技術構想に基づき、本明細書の一つの又は複数の実施例はさらにロボットを提供する。当該ロボットは上記のロボット障害回避処理方法を実行するために用いられる。図4は本明細書の一つの又は複数の実施例が提供するロボットの構造概略図である。
本実施例が提供するロボットは、
プロセッサ401、画像感知モジュール402及び位置決め感知モジュール403を備え、
前記画像感知モジュール402は環境画像を採取するように構成され、
前記プロセッサ401は前記画像感知モジュール402が採集した環境画像を取得し、前記環境画像中の障害物を識別し、前記位置決め感知モジュール403が採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断し、
もしYESなら、前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行うように構成され、
前記位置決め感知モジュール403は前記プロセッサ401により確定され、前記障害物に対して位置決めを行うように構成された。
任意選択的に、上記の前記環境画像中の障害物を識別することは、
前記環境画像を画像識別モデルに入力し、前記画像識別モデルにより前記環境画像に対して特徴分割および特徴識別を行い、前記環境画像に含まれる障害物の障害物タイプを出力することを含む。
任意選択的に、もし前記障害物タイプが固定障害物である場合、前記画像感知モジュール402を前記位置決め感知モジュール403であると確定し、
前記画像感知モジュール402は単眼カメラを備え、
これに対応して、上記の前記位置決め感知モジュール403が採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記環境画像に基づき前記障害物が対応する画像座標位置を確定し、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定し、
前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
もしYESなら、次を実行する。
任意選択的に、もし前記障害物タイプが移動障害物である場合、深度画像センサ及び前記画像感知モジュール402を前記位置決め感知モジュール403であると確定し、
これに対応して、上記の前記位置決め感知モジュール403が採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記環境画像及び前記深度画像センサが採集した深度画像に基づき、前記障害物は前記深度画像中の対応する画像座標位置にあると確定し、
前記深度画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定し、
前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
もしYESなら、次を実行する。
任意選択的に、前記プロセッサは、
前記環境画像に基づき前記障害物の特徴占有率を確定し、
前記障害物の特徴占有率は所定の特徴占有率閾値より大きいか否か判断し、
もしYESなら、無線センサを前記位置決め感知モジュール403であると確定し、
もしNOなら、前記画像感知モジュール402を前記位置決め感知モジュール403であると確定する、
操作を実行することにより前記位置決め感知モジュール403を確定し、
前記画像感知モジュール402は単眼カメラを備える。
任意選択的に、上記の前記位置決め感知モジュール403が採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記無線センサが採集した前記障害物の位置データに基づき、前記位置データが対応する物理座標位置を確定し、
前記物理座標位置は予め設置された物理障害エリア内にあるか否か判断することを含み、
もしYESなら、次を実行する。
任意選択的に、上記の前記位置決め感知モジュール403が採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記環境画像に基づき前記障害物が対応する画像座標位置を確定し、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定し、
前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
もしYESなら、次を実行する。
任意選択的に、前記プロセッサは、
前記環境画像に基づき前記障害物が対応する初期距離を計算し、
予め確立された距離と位置決め感知モジュールの対応関係に基づき、前記初期距離が対応する第一位置決め感知モジュールを前記位置決め感知モジュール403として確定する、
操作を実行することにより前記位置決め感知モジュール403を確定する。
任意選択的に、前記プロセッサ401はさらに、
前記距離が対応する位置決め感知モジュールが採集した前記障害物の位置決め特徴情報に基づき、前記障害物が対応する第二距離を計算し、
距離と位置決め感知モジュールの対応関係において、前記第二距離に対応する第二位置決め感知モジュールは、前記初期距離が対応する位置決め感知モジュールと一致するか否か判断し、
もしNOなら、前記位置決め感知モジュール403を前記第一位置決め感知モジュールから前記第二位置決め感知モジュールに切り換えるように構成される。
任意選択的に、上記の前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行うことは、
減速走行する走行コマンドを生成して実行し、
前記位置情報に基づき走行ルートを規定し、前記走行ルートに基づき元の走行ルートを更新することを含む。
任意選択的に、上記の前記位置情報に基づき走行ルートを規定することは、
前記環境画像に基づき、前記障害物の最大障害アウトラインを確定し、
前記走行ルートの走行幅が前記最大障害アウトライン数値より大きくなるように、前記最大障害アウトライン及び前記位置情報に基づき走行ルートを規定することを含む。
任意選択的に、前記プロセッサはさらに、
前記環境画像に含まれる目標物体特徴を検出し、
前記目標物体特徴は障害物であるか否か検出し、
もしYESなら、次に進むように構成される。
本明細書が提供する記憶媒体の実施例は以下のとおり：
上記説明したロボット障害回避処理方法に対応して、同じ技術構想に基づき、本明細書の一つの又は複数の実施例はさらに記憶媒体を提供する。
本実施例が提供する記憶媒体はコンピュータ実行可能なコマンドを記憶するために用いられ、前記コンピュータ実行可能なコマンドは実行される時に、
画像感知モジュールが採集した環境画像を取得し、
前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定し、
前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断し、
もしYESなら、前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行う、フローを実現する。
任意選択的に、上記の前記環境画像中の障害物を識別することは、
前記環境画像を画像識別モデルに入力し、前記画像識別モデルにより前記環境画像に対して特徴分割および特徴識別を行い、前記環境画像に含まれる障害物の障害物タイプを出力することを含む。
任意選択的に、上記の前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
もし前記障害物タイプが固定障害物である場合、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することを含み、
前記画像感知モジュールは単眼カメラを備え、
これに対応して、上記の前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記環境画像に基づき前記障害物が対応する画像座標位置を確定し、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定し、
前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
もしYESなら、上記の前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行うフローを実行する。
任意選択的に、上記の前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
もし前記障害物タイプが移動障害物である場合、深度画像センサ及び前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することを含み、
これに対応して、上記の前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記環境画像及び前記深度画像センサが採集した深度画像に基づき、前記障害物は前記深度画像中の対応する画像座標位置にあると確定し、
前記深度画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定し、
前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
もしYESなら、上記の前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行うフローを実行する。
任意選択的に、上記の前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
前記環境画像に基づき前記障害物の特徴占有率を確定し、
前記障害物の特徴占有率は所定の特徴占有率閾値より大きいか否か判断し、
もしYESなら、無線センサを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定し、
もしNOなら、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することを含み、
前記画像感知モジュールは単眼カメラを備える。
任意選択的に、上記の前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記無線センサが採集した前記障害物の位置データに基づき、前記位置データが対応する物理座標位置を確定し、
前記物理座標位置は予め設置された物理障害エリア内にあるか否か判断することを含み、
もしYESなら、上記の前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行うフローを実行する。
任意選択的に、上記の前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
前記環境画像に基づき前記障害物が対応する画像座標位置を確定し、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定し、
前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
もしYESなら、上記の前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行うフローを実行する。
任意選択的に、上記の前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
前記環境画像に基づき前記障害物が対応する初期距離を計算し、
予め確立された距離と位置決め感知モジュールの対応関係に基づき、前記初期距離が対応する第一位置決め感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールとして確定することを含む。
任意選択的に、前記コンピュータ実行可能なコマンドは実行される時にさらに、
前記距離が対応する位置決め感知モジュールが採集した前記障害物の位置決め特徴情報に基づき、前記障害物が対応する第二距離を計算し、
距離と位置決め感知モジュールの対応関係において、前記第二距離に対応する第二位置決め感知モジュールは、前記初期距離が対応する位置決め感知モジュールと一致するか否か判断し、
もしNOなら、前記位置決め感知モジュールを前記第一位置決め感知モジュールから前記第二位置決め感知モジュールに切り換える、
フローを実現する。
任意選択的に、上記の前記位置決め特徴情報が確定した位置情報に基づき障害回避処理を行うことは、
減速走行する走行コマンドを生成して実行し、
前記位置情報に基づき走行ルートを規定し、前記走行ルートに基づき元の走行ルートを更新することを含む。
任意選択的に、上記の前記位置情報に基づき走行ルートを規定することは、
前記環境画像に基づき、前記障害物の最大障害アウトラインを確定し、
前記走行ルートの走行幅が前記最大障害アウトライン数値より大きくなるように、前記最大障害アウトライン及び前記位置情報に基づき走行ルートを規定することを含む。
任意選択的に、前記コンピュータ実行可能なコマンドは実行される時にさらに、
前記環境画像に含まれる目標物体特徴を検出し、
前記目標物体特徴は障害物であるか否か検出し、
もしYESなら、上記の前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定する、
フローを実行する。
なお、本明細書において記憶媒体に関する実施例と本明細書においてロボット障害回避処理方法に関する実施例は同じ発明構想に基づく。よって当該実施例の具体的な実施は前述の対応方法の実施を参照できるため、繰り返しとなる説明は省略する。
以上、本明細書の特定の実施例について説明した。その他の実施例は付属の請求の範囲の範囲内に入る。一部の場合において、請求の範囲に記載の動作又はステップは実施例における順序と異なる順番で実行でき、且つ所望の結果を実現できる。また、図面で図示する過程は必ずしも特定の順番または連続した順番でないと所望の結果を実現できないわけではない。一部の実施形態においてはマルチタスク処理及びパラレル処理でもよく、または、これらが有益である可能性がある。
20世紀30年代、一つの技術の改良に関して、非常に明らかなのはハードウエア上の改良である（例えば、ダイオード、トランジスタ、スイッチ等の回路構造に対する改良）またはソフトウエア上の改良である（方法フローに対する改良）。しかし、技術の発展に伴い、現在の多くの方法フローの改良は既にハードウエア回路構造の直接的な改良であると見なすことができる。設計者はほぼ改良した方法フローをハードウエア回路にプログラムすることにより相応のハードウエア回路構造を得ることができる。よって、一つの方法フローの改良はハードウエア実体モジュールにより実現できないとは言えない。例えば、プログラム可能な論理デバイス、（Programmable Logic Device、PLD）（例えばフィールドプログラマブルゲートアレイ（Field Programmable Gate Array、FPGA））はこのような集積回路であり、その論理機能はユーザがデバイスをプログラミングすることにより確定する。設計者が自らプログラミングすることにより一つのデジタルシステムを一枚のPLDに“集積”でき、チップ製造メーカに専用の集積回路チップの設計及び制作を依頼する必要はない。また、現在、集積回路チップのマニュアル製造に代わり、このようなプログラミングも多くは“論理コンパイラ（logic compiler）”ソフトウエアに変えて実現され、これはプログラム開発作成時に用いるソフトウエアコンパイラに似ており、コンパイルする前の原コードも特定のプログラミング言語により作成されなければならず、ここではハードウエア記述言語（Hardware Description Language、HDL）と称するが、HDLも一種類でだけでなく、多くの種類があり、例えばABEL（Advanced Boolean Expression Language）、AHDL（Altera Hardware Description Language）、Confluence、CUPL（Cornell University Programming Language）、HDCal、JHDL（Java Hardware Description Language）、Lava、Lola、MyHDL、PALASM、RHDL（Ruby Hardware Description Language）等であり、現在最も普及しているのはVHDL（Very-High-Speed Integrated Circuit Hardware Description Language）とVerilogである。当業者にとって、方法フローを上記何種類かのハードウエア記述言語で少し論理プログラミングして集積回路にプログラミングすれば、当該論理方法フローを実現するハードウエア回路を容易に得られることは明らかである。
コントローラは如何なる適切な方式でも実現でき、例えばマイクロプロセッサ又はプロセッサおよび当該（マイクロ）プロセッサにより実行可能なコンピュータ読み取り可能なプログラムコード（例えばソフトウエア又はファームウエア）を記憶するコンピュータ読み取り可能な媒体、論理ゲート、スイッチ、専用集積回路（Application Specific Integrated Circuit、ASIC）、プログラム可能な論理コントローラ及び組み込みマイクロコントローラの形式を採用でき、コントローラの例は以下のマイクロコントローラ、即ちARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 およびSilicone Labs C8051F320を含むがこれらに限られず、メモリコントローラはさらにメモリの制御論理の一部として実現されてもよい。当業者は、純粋なコンピュータ読み取り可能なプログラムコード方式でコントローラを実現する以外、方法ステップを論理プログラミングすることにより、コントローラを論理ゲート、スイッチ、専用集積回路、プログラム可能な論理コントローラ及び組み込みマイクロコントローラ等の形式により同じ機能を完全に実現できることも理解している。よって、このようなコントローラは一種のハードウエア部材と見なすことができ、その内に含まれる各機能を実現するための装置もハードウエア部材内の構造と見なすことができる。または、各機能を実現するための装置を、方法を実現するソフトウエアモジュールでもあり、ハードウエア部材内の構造でもあると見なすこともできる。
上記実施例で説明したシステム、装置、モジュール又はユニットは、具体的に、コンピュータチップ又は実体により実現でき、または、ある機能を有する製品により実現でき、一つの典型的な実現デバイスはコンピュータである。具体的に、コンピュータは、例えば、パーソルコンピュータ、ラップトップコンピュータ、セルラーフォン、テレビ電話、スマートフォン、パーソナルデジタルアシスタント、メディアプレイヤー、ナビゲーションデバイス、電子メールデバイス、ゲームコンソール、タブレットコンピュータ、ウェアラブルデバイス、またはこれらデバイスにおける如何なるデバイスの組み合わせとすることができる。
説明しやすいように、以上の装置を説明する時、機能により各ユニットに分けてそれぞれ説明する。当然、本明細書の実施例を実施する時、各ユニットの機能を同一の又は複数のソフトウエア及び/又はハードウエアにおいて実現できる。
当業者にとって、本明細書の一つの又は複数の実施例は方法、システム又はコンピュータプログラム製品として提供できることは明らかである。よって、本明細書の一つの又は複数の実施例は完全なハードウエア実施例、完全なソフトウエア実施例、又はソフトウエアとハードウエアを組み合わせた実施例の形式を採用できる。また、本明細書は一つの又は複数の、コンピュータ使用可能なプログラムコードを含むコンピュータ使用可能な記憶媒体（磁気ディスクメモリ、CD-ROM、光学メモリ等を含むが、これらに限られない）で実施されるコンピュータプログラム製品の形式を採用できる。
本明細書は本明細書の実施例に基づく方法、機器（システム）、及びコンピュータプログラム製品のフローチャート及び/又はブロック図を参照して説明するものである。コンピュータプログラムコマンドによりフローチャート及び/又はブロック図中の各フロー及び/又はブロック、およびフローチャート及び/又はブロック図中のフロー及び/又はブロックの組み合わせを実現すると理解できる。一つの機器を製造するように、これらコンピュータプログラムコマンドを汎用コンピュータ、専用コンピュータ、組み込み処理機又は他のプログラム可能なデータ処理機器のプロセッサに提供でき、これにより、コンピュータ又は他のプログラム可能なデータ処理機器のプロセッサにより実行されるコマンドはフローチャートの一つのフロー又は複数のフロー及び/又はブロック図一つのブロック又は複数のブロックで指定された機能を実現するための装置を製造する。
これらコンピュータプログラムコマンドはコンピュータ又は他のプログラム可能なデータ処理機器を特定方式で動作するように導けるコンピュータ読み取り可能なメモリに記憶してもよく、これにより当該コンピュータ読み取り可能なメモリに記憶されたコマンドはコマンド装置を含む製造品が製造され、当該コマンド装置はフローチャートの一つのフロー又は複数のフロー及び/又はブロック図の一つのブロック又は複数のブロックで指定された機能を実現する。
これらコンピュータプログラムコマンドはコンピュータ又は他のプログラム可能なデータ処理機器にロードすることもでき、これにより、コンピュータが実現する処理を発生させるように、コンピュータ又は他のプログラム可能な機器で一系列の操作ステップを実行させ、こうして、コンピュータ又は他のプログラム可能な機器で実行するコマンドは、フローチャートの一つのフロー又は複数のフロー及び/又はブロック図の一つのブロック又は複数のブロックで指定された機能を実現するためのステップを提供する。
一つの典型的な配置において、計算機器は一つの又は複数のプロセッサ（CPU）、入力/出力インタフェース、ネットワークインタフェース及び内部メモリを含む。
内部メモリはコンピュータ読み取り可能な媒体における非永久性メモリ、ランダムアクセスメモリ（RAM）及び/又は不揮発性内部メモリ等の形式、例えばリードオンリーメモリ（ROM）又はフラッシュメモリ（flash RAM）を含む可能性がある。内部メモリはコンピュータ読み取り可能な媒体の例である。
コンピュータ読み取り可能な媒体は永久性及び非永久性、可動性及び非可動性の媒体を含み、如何なる方法又は技術によっても情報記憶を実現できる。情報はコンピュータ読み取り可能な指令、データ構造、プログラムのモジュール又は他のデータとすることができる。コンピュータの記憶媒体の例としては、相変化メモリ(PRAM)、スタティックランダムアクセスメモリ(SRAM)、ダイナミックランダムアクセスメモリ(DRAM)、他のタイプのランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、書き換え可能なリードオンリーメモリ(EEPROM)、フラッシュROM又は他の内部メモリ技術、コンパクトディスクリードオンリーメモリ(CD-ROM)、デジタルバーサタイル・ディスクディスク(DVD)又は他の光学メモリ、カセット磁気テープ、磁気テープ磁気ディスクメモリ又は他の磁気記憶装置又は他の如何なる非伝送媒体を含むが、これらに限られず、これらは計算機器にアクセスされる情報を記憶するために用いることができる。本文の画定に従って、コンピュータ読み取り可能な媒体は一時的なコンピュータ読み取り可能な媒体(transitory media)、例えば変調されたデータ信号及び搬送波を含まない。
なお、用語“備える”、“含む”又はその如何なる他の代替用語は非排他的な包含をカバーすることを意味し、一系列の要素を含むプロセス、方法、商品又は機器はそれら要素だけでなく、明確に挙げていない他の要素も含み、若しくは、これらのプロセス、方法、商品又は機器に固有の要素も含む。より多くの制限がない場合において、用語“一つの……を含む”で限定される要素は、前記要素を含むプロセス、方法、商品又は機器において更に別の同じ要素が存在することを排除しない。
本明細書の一つの又は複数の実施例は、コンピュータにより実行されるコンピュータ実行可能なコマンドの一般的な文脈において説明できる。例えばプログラムモジュール。一般的に、プログラムモジュールは特定のタスクを実行する又は特定の抽象データ類を実現するルーチン、プログラム、対象、アセンブリ、データ構造等を含む。また、分散計算環境において明細書の一つ又は複数の実施例を実践してもよく、これら分散計算環境においては、通信ネットワークにより接続されるリモート処理装置によりタスクを実行できる。分散計算環境において、プログラムモジュールは記憶装置を含むローカル及びリモートコンピュータ記憶媒体に位置することができる。
本出願における各実施例はいずれも累加方式により説明しており、各実施例同士で同一類似部分は互いに参照すればよく、実施例毎に重点的に説明するのは、みな他の実施例と異なる部分である。特に、システム実施例について言えば、その基本は方法実施例に似ているため、比較的簡単に説明しており、関連個所は方法実施例の部分的説明を参照すればよい。
以上の内容は本出願を限定するためのものではなく、単に本出願の実施例に過ぎない。当業者にとって、本出願は各種変更や変形を有することができる。本出願の思想及び原理の範囲内において行われる如何なる修正、均等な差し替え、改良等もすべて本出願の請求項の範囲に入る。

Claims (24)

  1. 画像感知モジュールが採集した環境画像を取得することと、
    前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定することと、
    前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することと、
    もしYESなら、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うことと、を含み、
    前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
    前記環境画像に基づき前記障害物の特徴占有率を確定することと、
    前記障害物の特徴占有率は所定の特徴占有率閾値より大きいか否か判断することと、
    もしYESなら、無線センサを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することと、
    もしNOなら、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することを含み、
    前記画像感知モジュールは単眼カメラを含む、
    ことを特徴とするロボット障害回避処理方法。
  2. 前記環境画像中の障害物を識別することは、
    前記環境画像を画像識別モデルに入力し、前記画像識別モデルにより前記環境画像に対して特徴分割および特徴識別を行い、前記環境画像に含まれる障害物の障害物タイプを出力することを含む、
    ことを特徴とする請求項１に記載のロボット障害回避処理方法。
  3. 前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
    前記障害物タイプが固定障害物である場合、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することを含み、
    前記画像感知モジュールは単眼カメラを含み、
    これに対応して、前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
    前記環境画像に基づき前記障害物に対応する画像座標位置を確定するとともに、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定することと、
    前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
    もしYESなら、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うステップを実行する、
    ことを特徴とする請求項２に記載のロボット障害回避処理方法。
  4. 前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
    前記障害物タイプが移動障害物である場合、深度画像センサ及び前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することを含み、
    これに対応して、前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
    前記環境画像及び前記深度画像センサが採集した深度画像に基づき、前記深度画像における、前記障害物に対応する画像座標位置を確定することと、
    前記深度画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定することと、
    前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
    もしYESなら、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うステップを実行する、
    ことを特徴とする請求項２に記載のロボット障害回避処理方法。
  5. 前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
    前記無線センサが採集した前記障害物の位置データに基づき、前記位置データに対応する物理座標位置を確定することと、
    前記物理座標位置は予め設置された物理障害エリア内にあるか否か判断することを含み、
    もしYESなら、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うステップを実行する、
    ことを特徴とする請求項１に記載のロボット障害回避処理方法。
  6. 前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
    前記環境画像に基づき前記障害物に対応する画像座標位置を確定するとともに、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定することと、
    前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
    もしYESなら、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うステップを実行する、
    ことを特徴とする請求項１に記載のロボット障害回避処理方法。
  7. 前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
    前記環境画像に基づき前記障害物に対応する初期距離を計算することと、
    予め確立された距離と位置決め感知モジュールの対応関係に基づき、前記初期距離に対応する第一位置決め感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールとして確定することを含む、
    ことを特徴とする請求項１に記載のロボット障害回避処理方法。
  8. 前記距離に対応する位置決め感知モジュールが採集した前記障害物の位置決め特徴情報に基づき、前記障害物に対応する第二距離を計算することと、
    距離と位置決め感知モジュールの対応関係において、前記第二距離に対応する第二位置決め感知モジュールは、前記初期距離に対応する位置決め感知モジュールと一致するか否か判断することと、
    もしNOなら、前記位置決め感知モジュールを前記第一位置決め感知モジュールから前記第二位置決め感知モジュールに切り換えることをさらに含む、
    ことを特徴とする請求項７に記載のロボット障害回避処理方法。
  9. 前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うことは、
    減速走行する走行コマンドを生成して実行することと、
    前記位置情報に基づき走行ルートを規定し、前記走行ルートに基づき元の走行ルートを更新することを含む、
    ことを特徴とする請求項１に記載のロボット障害回避処理方法。
  10. 前記位置情報に基づき走行ルートを規定することは、
    前記環境画像に基づき、前記障害物の最大障害アウトラインを確定することと、
    前記走行ルートの走行幅が前記最大障害アウトラインの数値より大きくなるように、前記最大障害アウトライン及び前記位置情報に基づき走行ルートを規定することを含む、
    ことを特徴とする請求項９に記載のロボット障害回避処理方法。
  11. 前記画像感知モジュールが採集した環境画像を取得するステップの実行後、且つ前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定するステップの実行前に、
    前記環境画像に含まれる目標物体特徴を検出することと、
    前記目標物体特徴は障害物であるか否か検出することをさらに含み、
    もしYESなら、前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定するステップを実行する、
    ことを特徴とする請求項１に記載のロボット障害回避処理方法。
  12. 画像感知モジュールが採集した環境画像を取得するように構成された環境画像取得モジュールと、
    前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定するように構成された障害物識別モジュールと、
    前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断するように構成された障害物判断モジュールと、を備え、
    もしYESなら、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うように構成された障害回避処理モジュールを稼働し、
    前記障害物に対して位置決めを行う位置決め感知モジュールを確定することは、
    前記環境画像に基づき前記障害物の特徴占有率を確定することと、
    前記障害物の特徴占有率は所定の特徴占有率閾値より大きいか否か判断することと、
    もしYESなら、無線センサを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することと、
    もしNOなら、前記画像感知モジュールを前記障害物に対して位置決めを行う位置決め感知モジュールであると確定することを含み、
    前記画像感知モジュールは単眼カメラを含む、
    ことを特徴とするロボット障害回避処理装置。
  13. プロセッサ、画像感知モジュール及び位置決め感知モジュールを備え、
    前記画像感知モジュールは環境画像を採集するように構成され、
    前記プロセッサは前記画像感知モジュールが採集した環境画像を取得し、前記環境画像中の障害物を識別し、前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断し、もしYESなら、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うように構成され、
    前記位置決め感知モジュールは前記プロセッサにより確定され、前記障害物に対して位置決めを行うように構成され、
    前記プロセッサは、
    前記環境画像に基づき前記障害物の特徴占有率を確定し、
    前記障害物の特徴占有率は所定の特徴占有率閾値より大きいか否か判断し、
    もしYESなら、無線センサを前記位置決め感知モジュールであると確定し、
    もしNOなら、前記画像感知モジュールを前記位置決め感知モジュールであると確定する、
    操作を実行することにより前記位置決め感知モジュールを確定し、
    前記画像感知モジュールは単眼カメラを含む、
    ことを特徴とするロボット。
  14. 前記環境画像中の障害物を識別することは、
    前記環境画像を画像識別モデルに入力し、前記画像識別モデルにより前記環境画像に対して特徴分割および特徴識別を行い、前記環境画像に含まれる障害物の障害物タイプを出力することを含む、
    ことを特徴とする請求項１３に記載のロボット。
  15. 前記障害物タイプが固定障害物である場合、前記画像感知モジュールを前記位置決め感知モジュールであると確定し、
    前記画像感知モジュールは単眼カメラを含み、
    これに対応して、前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
    前記環境画像に基づき前記障害物に対応する画像座標位置を確定するとともに、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定することと、
    前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
    もしYESなら、次のステップを実行する、
    ことを特徴とする請求項１４に記載のロボット。
  16. 前記障害物タイプが移動障害物である場合、深度画像センサ及び前記画像感知モジュールを前記位置決め感知モジュールであると確定し、
    これに対応して、前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
    前記環境画像及び前記深度画像センサが採集した深度画像に基づき、前記深度画像における、前記障害物に対応する画像座標位置を確定することと、
    前記深度画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定することと、
    前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
    もしYESなら、次のステップを実行する、
    ことを特徴とする請求項１４に記載のロボット。
  17. 前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
    前記無線センサが採集した前記障害物の位置データに基づき、前記位置データに対応する物理座標位置を確定することと、
    前記物理座標位置は予め設置された物理障害エリア内にあるか否か判断することを含み、
    もしYESなら、次のステップを実行する、
    ことを特徴とする請求項１６に記載のロボット。
  18. 前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断することは、
    前記環境画像に基づき前記障害物に対応する画像座標位置を確定するとともに、前記環境画像における、予め設置された基準画像エリアに対応する目標画像エリアを確定することと、
    前記画像座標位置は前記目標画像エリア内にあるか否か判断することを含み、
    もしYESなら、次のステップを実行する、
    ことを特徴とする請求項１６に記載のロボット。
  19. 前記プロセッサは、
    前記環境画像に基づき前記障害物に対応する初期距離を計算し、
    予め確立された、距離と位置決め感知モジュールの対応関係に基づき、前記初期距離に対応する第一位置決め感知モジュールを前記位置決め感知モジュールとして確定する、
    操作を実行することにより前記位置決め感知モジュールを確定する、
    ことを特徴とする請求項１３に記載のロボット。
  20. 前記プロセッサはさらに、
    前記距離に対応する位置決め感知モジュールが採集した前記障害物の位置決め特徴情報に基づき、前記障害物に対応する第二距離を計算し、
    距離と位置決め感知モジュールの対応関係において、前記第二距離に対応する第二位置決め感知モジュールは、前記初期距離に対応する位置決め感知モジュールと一致するか否か判断し、
    もしNOなら、前記位置決め感知モジュールを前記第一位置決め感知モジュールから前記第二位置決め感知モジュールに切り換えるように構成された、
    ことを特徴とする請求項１９に記載のロボット。
  21. 前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を行うことは、
    減速走行する走行コマンドを生成して実行することと、
    前記位置情報に基づき走行ルートを規定し、前記走行ルートに基づき元の走行ルートを更新することを含む、
    ことを特徴とする請求項１３に記載のロボット。
  22. 前記位置情報に基づき走行ルートを規定することは、
    前記環境画像に基づき、前記障害物の最大障害アウトラインを確定することと、
    前記走行ルートの走行幅が前記最大障害アウトラインの数値より大きくなるように、前記最大障害アウトライン及び前記位置情報に基づき走行ルートを規定することを含む、
    ことを特徴とする請求項２１に記載のロボット。
  23. 前記プロセッサはさらに、
    前記環境画像に含まれる目標物体特徴を検出し、
    前記目標物体特徴は障害物であるか否か検出し、
    もしYESなら、次のステップに進むように構成された、
    ことを特徴とする請求項１３に記載のロボット。
  24. コンピュータ実行可能なコマンドを記憶するための記憶媒体であって、
    前記コンピュータ実行可能なコマンドは実行される時に、
    画像感知モジュールが採集した環境画像を取得し、
    前記環境画像中の障害物を識別し、前記障害物に対して位置決めを行う位置決め感知モジュールを確定し、
    前記位置決め感知モジュールが採集した位置決め特徴情報に基づき、前記障害物は目標障害エリア内にあるか否か判断し、
    もしYESなら、前記位置決め特徴情報で確定した位置情報に基づき障害回避処理を実行し、
    前記環境画像に基づき前記障害物の特徴占有率を確定し、
    前記障害物の特徴占有率は所定の特徴占有率閾値より大きいか否か判断し、
    もしYESなら、無線センサを前記位置決め感知モジュールであると確定し、
    もしNOなら、前記画像感知モジュールを前記位置決め感知モジュールであると確定する、
    操作を実行することにより前記位置決め感知モジュールを確定する、
    フローを実現し、
    前記画像感知モジュールは単眼カメラを含む、
    ことを特徴とする記憶媒体。
JP2020193589A 2020-08-20 2020-11-20 ロボット障害回避処理方法、装置、ロボット Active JP6884312B1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010843699.3 2020-08-20
CN202010843699.3A CN112068553A (zh) 2020-08-20 2020-08-20 机器人避障处理方法、装置及机器人

Publications (2)

Publication Number Publication Date
JP6884312B1 true JP6884312B1 (ja) 2021-06-09
JP2022035927A JP2022035927A (ja) 2022-03-04

Family

ID=73662546

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020193589A Active JP6884312B1 (ja) 2020-08-20 2020-11-20 ロボット障害回避処理方法、装置、ロボット

Country Status (2)

Country Link
JP (1) JP6884312B1 (ja)
CN (1) CN112068553A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113467468A (zh) * 2021-07-23 2021-10-01 合肥工业大学 一种基于嵌入式的机器人智能避障***及方法
CN113848895A (zh) * 2021-09-16 2021-12-28 北京空间飞行器总体设计部 一种火面巡视器长距离安全移动和高效探测方法及装置
CN114879701A (zh) * 2022-06-23 2022-08-09 池州市安安新材科技有限公司 一种机器人轨道避障方法及***
CN115147738A (zh) * 2022-06-24 2022-10-04 中国人民公安大学 一种定位方法、装置、设备及存储介质
CN116203970A (zh) * 2023-04-27 2023-06-02 泰坦(天津)能源技术有限公司 一种巡检机器人的智能避障方法及***

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113655793A (zh) * 2021-08-12 2021-11-16 上海三一重机股份有限公司 一种基于融合策略的避障控制方法、装置及工程机械
CN113741472B (zh) * 2021-09-10 2024-03-08 上海伯镭智能科技有限公司 一种基于多图像采集的障碍回避方法及装置
CN114740867A (zh) * 2022-05-10 2022-07-12 丰疆智能(深圳)有限公司 基于双目视觉的智能避障方法、装置、机器人及介质
CN115019216B (zh) * 2022-08-09 2022-10-21 江西师范大学 实时地物检测和定位计数方法、***及计算机

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5722127B2 (ja) * 2011-06-07 2015-05-20 株式会社小松製作所 作業車両の周辺監視装置
WO2016009585A1 (ja) * 2014-07-18 2016-01-21 パナソニックＩｐマネジメント株式会社 自律移動体とその制御方法
JP2017220057A (ja) * 2016-06-08 2017-12-14 株式会社リコー 障害物回避装置、障害物回避システムおよびプログラム
CN110442120B (zh) * 2018-05-02 2022-08-05 深圳市优必选科技有限公司 控制机器人在不同场景下移动的方法、机器人及终端设备
CN109116841B (zh) * 2018-07-23 2021-09-14 昆明理工大学 一种基于蚁群算法的路径规划平滑优化方法
JP2020017206A (ja) * 2018-07-27 2020-01-30 ソニー株式会社 情報処理装置、行動決定方法及びプログラム
US11036232B2 (en) * 2018-09-14 2021-06-15 Huawei Technologies Co., Ltd Iterative generation of adversarial scenarios
JP7044694B2 (ja) * 2018-12-27 2022-03-30 ヤンマーパワーテクノロジー株式会社 作業車両用の障害物検知システム
CN110609546B (zh) * 2019-08-15 2023-06-30 浙江国自机器人技术股份有限公司 拣货装置的防护方法、***、计算机设备和可读存储介质
CN110502019A (zh) * 2019-09-06 2019-11-26 北京云迹科技有限公司 一种室内机器人的避障方法及装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113467468A (zh) * 2021-07-23 2021-10-01 合肥工业大学 一种基于嵌入式的机器人智能避障***及方法
CN113467468B (zh) * 2021-07-23 2024-03-29 合肥工业大学 一种基于嵌入式的机器人智能避障***及方法
CN113848895A (zh) * 2021-09-16 2021-12-28 北京空间飞行器总体设计部 一种火面巡视器长距离安全移动和高效探测方法及装置
CN113848895B (zh) * 2021-09-16 2023-06-06 北京空间飞行器总体设计部 一种火面巡视器长距离安全移动和高效探测方法及装置
CN114879701A (zh) * 2022-06-23 2022-08-09 池州市安安新材科技有限公司 一种机器人轨道避障方法及***
CN115147738A (zh) * 2022-06-24 2022-10-04 中国人民公安大学 一种定位方法、装置、设备及存储介质
CN116203970A (zh) * 2023-04-27 2023-06-02 泰坦(天津)能源技术有限公司 一种巡检机器人的智能避障方法及***

Also Published As

Publication number Publication date
JP2022035927A (ja) 2022-03-04
CN112068553A (zh) 2020-12-11

Similar Documents

Publication Publication Date Title
JP6884312B1 (ja) ロボット障害回避処理方法、装置、ロボット
EP4131062A1 (en) Trajectory prediction method and apparatus for obstacle
JP6494331B2 (ja) ロボット制御装置およびロボット制御方法
CN109709945B (zh) 一种基于障碍物分类的路径规划方法、装置及机器人
JP6598090B2 (ja) 記憶媒体、ロボット動作を計画する方法、ロボット動作を計画するハードウェア、及びロボット
US10049578B2 (en) Travel command generation device
CN107436148A (zh) 一种基于多地图的机器人导航方法及装置
WO2022252574A1 (zh) 一种故障检测的方法、装置、存储介质及电子设备
Kenk et al. Human-aware Robot Navigation in Logistics Warehouses.
CN111062372A (zh) 一种预测障碍物轨迹的方法及装置
US12019447B2 (en) Method and apparatus for trajectory planning, storage medium, and electronic device
CN114077252B (zh) 机器人碰撞障碍区分装置及方法
CN114740842A (zh) 一种多传感器融合的机器人避障的方法、设备及介质
CN117008615A (zh) 一种策略切换的无人车轨迹规划方法和***
CN115880685B (zh) 一种基于votenet模型的三维目标检测方法和***
US20220314980A1 (en) Obstacle tracking method, storage medium and unmanned driving device
US11967157B2 (en) Robot and method for controlling thereof
US20220319189A1 (en) Obstacle tracking method, storage medium, and electronic device
CN116149362A (zh) 一种飞行器避障轨迹任意时间优化方法和***
CN117095371A (zh) 一种目标检测方法及检测装置
CN114690771A (zh) 机器人的路径规划方法及装置
CN113885531A (zh) 用于移动机器人的方法、移动机器人、电路、介质和程序
KR20110046291A (ko) 로봇 주행 방법 및 장치
Cheng et al. Dynamic path planning in human-shared environments for low-resource mobile agents
Bis et al. Velocity occupancy space for differential drive vehicles

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210108

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210108

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210318

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210330

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210414

R150 Certificate of patent or registration of utility model

Ref document number: 6884312

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250