JP7314411B2 - 移動ロボットの障害物情報感知方法、装置 - Google Patents
移動ロボットの障害物情報感知方法、装置 Download PDFInfo
- Publication number
- JP7314411B2 JP7314411B2 JP2022517836A JP2022517836A JP7314411B2 JP 7314411 B2 JP7314411 B2 JP 7314411B2 JP 2022517836 A JP2022517836 A JP 2022517836A JP 2022517836 A JP2022517836 A JP 2022517836A JP 7314411 B2 JP7314411 B2 JP 7314411B2
- Authority
- JP
- Japan
- Prior art keywords
- mobile robot
- dimensional
- data
- point
- obstacle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 34
- 230000001131 transforming effect Effects 0.000 claims description 23
- 239000011159 matrix material Substances 0.000 claims description 17
- 238000004590 computer program Methods 0.000 claims description 13
- 230000010339 dilation Effects 0.000 claims description 10
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013501 data transformation Methods 0.000 claims description 6
- 238000006243 chemical reaction Methods 0.000 claims description 5
- 230000000717 retained effect Effects 0.000 claims description 5
- 238000001914 filtration Methods 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000012216 screening Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000003672 processing method Methods 0.000 description 5
- 230000007547 defect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000000916 dilatatory effect Effects 0.000 description 3
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
- B25J9/1666—Avoiding collision or forbidden zones
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/18—Extraction of features or characteristics of the image
- G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Automation & Control Theory (AREA)
- Computer Networks & Wireless Communication (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Description
本願は、2019年9月20日に中国国家知的財産権局に出願された、出願番号が201910892943.2であり、発明名称が「移動ロボットの障害物情報感知方法、装置」である中国特許出願に基づき優先権を主張する。ここで、その全ての内容は、援用により本願に組み込まれる。
深度画像データを取得することと、
深度画像データを移動ロボット座標系におけるデータに変換することと、
前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、
移動ロボットの走行経路の範囲内で二次元データを検出することと、
検出された二次元データに基づいて障害物情報を取得することとを含む。
深度画像データにおけるいずれかのピクセルに対して、カメラの外部パラメーターと、ピクセルの深度値と、カメラの内部パラメーターと、ピクセルの座標値とによって、当該ピクセルの移動ロボット座標系における三次元点の座標を得ることと、
深度画像データにおける全てのピクセルを移動ロボット座標系における三次元点の座標に変換して、移動ロボット座標系における三次元点からなる三次元点群を得ることとを含み、
移動ロボットの走行経路の範囲内で二次元データを検出することは、
移動ロボットの走行経路の範囲内の障害物を検出するための検索ウィンドウを構築し、検索ウィンドウの範囲内で二次元データを検索することを含む。
深度カメラの外部パラメーターに基づいて、移動ロボット座標系から深度カメラ座標系への変換関係マトリクスを得ることと、
前記変換関係マトリクスと、ピクセルの深度値と、カメラの内部パラメーターマトリクスの逆マトリクスと、ピクセル座標値からなるマトリクスとの積を計算し、得られた結果をピクセルの移動ロボット座標系における三次元点の座標とすることとを含み、
ピクセル座標値からなるマトリクスは
であり、u、vはそれぞれ画像座標系におけるピクセルの座標である。
移動ロボット座標系におけるいずれかの三次元点の座標に対して、三次元点の座標における移動ロボットの移動平面に垂直する座標値を切り捨て、当該三次元点の移動ロボットの移動平面における二次元投影を得、または、三次元点の座標における移動ロボットの移動平面に垂直する座標値を0に設定し、当該三次元点の移動ロボットの移動平面における二次元投影を得ることと、
移動ロボット座標系における全ての三次元点の座標を移動ロボットの移動平面における二次元投影に変換して、二次元投影からなる二次元点群を得ることとを含む。
移動ロボットの前進方向に前記検索ウィンドウを構築し、前記検索ウィンドウと移動ロボットとの相対位置を固定させることを含み、
前記検出された二次元データに基づいて障害物情報を取得することは、
検索ウィンドウの範囲内に二次元点群があるかを検出し、二次元点群がある場合、障害物が検出されたと判断することを含む。
変換された移動ロボット座標系におけるデータを選別し、運動中衝突する可能性がある障害物に対応するデータを保留することと、
保留された運動中衝突する可能性がある障害物に対応するデータを、移動ロボットの移動平面における投影に変換して、二次元データを得ることとを含む。
移動ロボット本体の載置面への投影中心を起点として、等角度に少なくとも1本の射線を引き、射線において前記起点に最も近い二次元点を障害物の輪郭として、障害物の輪郭の二次元点を得ることと、
障害物の輪郭の任意な二次元点に対して、当該二次元点を円心とし、延在距離を半径として膨張円周を設定することと、前記起点を通って前記膨張円周に接する2本の接線を取得することと、2本の接線で挟まれる円弧を当該障害物の輪郭の二次元点の膨張境界とし、挟まれる円弧の中心角は180°以下であり、前記延在距離は少なくとも移動ロボット本体の載置面への投影中心と輪郭との最大距離であることと、
全ての障害物の輪郭の二次元点の膨張境界を取得し、全ての二次元点の膨張境界の包絡を膨張輪郭とし、膨張輪郭を境界に、移動ロボットに近い側の領域を走行領域とし、他の側を走行不可領域とすることとを含む。
現在の障害物の輪郭の二次元点の座標を極座標に変換することと、
変換された極座標と延在距離とに基づいて、膨張円周の極座標系における方程式を確定することとを含み、
前記起点を通って前記膨張円周に接する2本の接線を取得することは、
前記膨張円周の極座標系における方程式に基づいて、現在の障害物の輪郭の二次元点の膨張円周の接線角度の範囲を確定することを含み、
前記2本の接線で挟まれる円弧を当該障害物の輪郭の二次元点の膨張境界とすることは、
前記接線角度の範囲内において、設定された現在の極角値を前記膨張円周の極座標系における方程式に代入し、円弧上の点の動径ベクトル値を求めることと、動径ベクトル値における小さい値を抽出し、接線で挟まれる円弧上の点の極座標を得ることと、
接線で挟まれる円弧区間における円弧座標点の計算が終わるまで、次の極角値を設定し、前記設定された現在の極角値を前記膨張円周の極座標系における方程式に代入するステップに戻ることと、
円弧上の点に基づいて、現在の二次元点の膨張境界を生成することとを含む。
前記円弧上の点に基づいて、現在の二次元点の膨張境界を生成することは、
現在のグリッド内に膨張輪郭の二次元点がない場合、計算された円弧座標点のうち当該グリッドに位置する円弧座標点を当該グリッドの膨張輪郭の二次元点とすることと、
現在のグリッド内に膨張輪郭を有する二次元点がある場合、計算された円弧座標点のうち当該グリッドに位置する円弧座標点と、膨張輪郭を有する二次元点とは、どちらが移動ロボット本体の載置面への投影中心に近いかを判断し、前記投影中心に近い点を当該グリッドの膨張輪郭の二次元点とすることと、
全てのグリッドの膨張輪郭の二次元点を現在の二次元点の膨張境界とすることとを含む。
深度画像データを移動ロボット座標系におけるデータに変換することに用いられる、第1データ変換モジュールと、
前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることに用いられる、第2データ変換モジュールと、
移動ロボットの走行経路の範囲内で二次元データを検出し、障害物情報を取得することに用いられる、感知モジュールとを含む。
深度画像データを取得ことに用いられる、移動ロボット本体に取り付けている深度カメラと、
深度画像データを移動ロボット座標系におけるデータに変換することと、前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、移動ロボットの視野範囲内で二次元データを検出し、障害物情報を取得することとに用いられる、障害物感知モジュールと、
障害物情報に基づいて、移動コマンドを生成することに用いられる、移動制御モジュールと、
前記移動コマンドを実行することに用いられる、実行機構モジュールとを含む。
深度画像データを取得することと、深度画像データを移動ロボット座標系におけるデータに変換することと、前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、移動ロボットの走行経路の範囲内で二次元データを検出することと、検出された二次元データに基づいて障害物情報を取得することとを含む。
当該ステップにおいて、移動ロボット本体に取り付けている深度カメラにより、現在の物理空間の深度画像データをリアルタイムで取得し、密な深度マップを取得する。ここで、深度カメラは、立体視に基づく深度カメラまたは飛行時間(Time of Flight,ToF)に基づく深度カメラであってよい。
ここで、移動ロボット座標系の原点と移動ロボットの中心とは重なり合い、移動ロボット座標系がロボット本体の座標系であり、ロボットの前進方向をx軸とし、x軸と同一平面において、x軸に垂直であり、且つ左に向かう方向をy軸とし、x、y軸が位置する平面において、垂直に上に向かう方向をz軸とする。ここで、x、y軸が位置する平面は、移動ロボットの移動平面と見なしてよく、移動ロボット本体の載置面と平行する。例えば、一般的に、移動ロボット本体の載置面は地面であり、x軸、y軸が位置する平面は地面と平行する。
は、ピクセル座標値からなるマトリクスであり、u、vは、それぞれ、ピクセルの深度画像における画素行座標と画素列座標である。
現在の障害物の輪郭の二次元点PP(x,y)を抽出し、極座標P(R,θp)に変換する。
二次元点の極座標と膨張円周の半径rとに基づいて、膨張円周の方程式は以下の通り確定される。
極角θは、
深度画像データを移動ロボット座標系におけるデータに変換することに用いられる、第1データ変換モジュールと、
前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることに用いられる、第2データ変換モジュールと、
移動ロボットの走行経路の範囲内で二次元データを検出し、検出された二次元データに基づいて障害物情報を取得することに用いられる、感知モジュールとを含み、
移動ロボット座標系におけるデータは移動ロボット座標系における三次元点である。
第1データ変換モジュールで変換されたデータを選別し、移動ロボットの移動平面におけるデータを保留することに用いられる、選別モジュールをさらに含む。つまり、移動ロボットが運動中衝突する可能性がある障害物に対応するデータを保留する。
移動ロボット本体の載置面への投影中心を起点として、少なくとも1本の射線を引き、射線において前記起点に最も近い二次元点を障害物の輪郭として、障害物の輪郭の二次元点を得ることと、
障害物の輪郭に含まれる任意な二次元点に対して、当該二次元点を円心とし、延在距離を半径として膨張円周を設定することと、前記起点を通って前記膨張円周に接する2本の接線を取得することと、2本の接線で挟まれる円弧を当該障害物の輪郭の二次元点の膨張境界とし、挟まれる円弧の中心角は180°以下であり、前記延在距離は少なくともロボット本体の載置面への投影中心と輪郭との最大距離であることと、
全ての障害物の輪郭の二次元点の膨張境界を取得し、全ての二次元点の膨張境界の包絡を膨張輪郭の二次元点とし、移動ロボットが走行することが可能な走行領域と走行不可領域とを得ることとに用いられる、走行領域取得モジュールをさらに含む。
深度画像データにおけるいずれかのピクセルに対して、深度カメラの外部パラメーターと、ピクセルの深度値と、深度カメラの内部パラメーターと、ピクセルの座標値とによって、当該ピクセルの移動ロボット座標系における三次元点の座標を得ることと、
深度画像データにおける全てのピクセルを移動ロボット座標系における三次元点の座標に変換して、移動ロボット座標系における三次元点からなる三次元点群を得ることとに用いられる。
移動ロボット座標系におけるいずれかの三次元点の座標に対して、三次元点の座標における移動ロボットの移動平面に垂直する座標値を切り捨て、または、三次元点の座標における移動ロボットの移動平面に垂直する座標値を0に設定し、当該三次元点の移動ロボットの移動平面における二次元投影を得ることと、
移動ロボット座標系における全ての三次元点の座標を移動ロボットの移動平面における二次元投影に変換して、二次元投影からなる二次元点群を得ることとに用いられる。
移動ロボットの前進方向に検索ウィンドウを構築し、前記検索ウィンドウと移動ロボットとの相対位置を固定させることと、
検索ウィンドウの範囲内に二次元点群があるかを検出し、二次元点群がある場合、障害物が検出されたと判断することと、
検索ウィンドウの範囲内における移動ロボットに最も近い障害物の位置に基づいて、移動ロボットが障害物を回避する必要があるかを判断し、回避する必要がある場合、走行領域取得モジュールをトリガして、移動ロボットが走行することが可能な走行領域を取得することとに用いられる。
現在の障害物の輪郭の二次元点の座標を極座標に変換することと、
変換された二次元点の極座標と延在距離とに基づいて、膨張円周の極座標系における方程式を確定することと、
前記膨張円周の極座標系における方程式に基づいて、現在の障害物の輪郭の二次元点の膨張円周の接線角度の範囲を確定することと、
前記接線角度の範囲内において、設定された現在の極角値を前記膨張円周の極座標系における方程式に代入し、円弧上の点の動径ベクトル値を求めることと、動径ベクトル値における小さい値を抽出し、接線で挟まれる円弧上の点の極座標を得ることと、
接線で挟まれる円弧区間における座標点を求めたまで、次の極角値を設定し、前記設定された現在の極角値を前記膨張円周の極座標系における方程式に代入するステップに戻ることと、
全ての円弧上の点に基づいて生成された円弧を現在の二次元点の膨張境界とすることとに用いられる。
移動ロボット本体に取り付けけられ、深度画像データを取得することに用いられる深度カメラと、
深度画像データを取得することと、前記深度画像データを移動ロボット座標系におけるデータに変換することと、前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、移動ロボットの走行経路の範囲内で前記二次元データを検出することと、検出された二次元データに基づいて障害物情報を取得することとに用いられる、障害物感知モジュールと、
前記障害物情報に基づいて、移動コマンドを生成することに用いられる、移動制御モジュールと、
前記移動コマンドを実行することに用いられる、実行機構モジュールとを含む。
深度画像データを取得することと、
深度画像データを移動ロボット座標系におけるデータに変換することと、
前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、
移動ロボットの走行経路の範囲内で二次元データを検出し、検出された二次元データに基づいて障害物情報を取得することと、を実行する。
Claims (14)
- 深度画像データを取得することと、
深度画像データを移動ロボット座標系におけるデータに変換することと、
前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、
移動ロボットの走行経路の範囲内で二次元データを検出することと、
検出された二次元データに基づいて障害物情報を取得することとを含み、
前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることは、
変換された移動ロボット座標系におけるデータを選別し、運動中衝突する可能性がある障害物に対応するデータを保留することと、
保留された運動中衝突する可能性がある障害物に対応するデータを、移動ロボットの移動平面における投影に変換して、二次元データを得ることとを含む、
移動ロボットの障害物情報感知方法。 - 前記深度画像データを移動ロボット座標系におけるデータに変換することは、
深度画像データにおけるいずれかのピクセルに対して、カメラの外部パラメーターと、ピクセルの深度値と、カメラの内部パラメーターと、ピクセルの座標値とによって、当該ピクセルの移動ロボット座標系における三次元点の座標を得ることと、
深度画像データにおける全てのピクセルを移動ロボット座標系における三次元点の座標に変換して、移動ロボット座標系における三次元点からなる三次元点群を得ることとを含み、
前記移動ロボットの走行経路の範囲内で二次元データを検出することは、
移動ロボットの走行経路の範囲内の障害物を検出するための検索ウィンドウを構築し、検索ウィンドウの範囲内で二次元データを検索することを含む、
請求項1に記載の方法。 - 前記カメラの外部パラメーターと、ピクセルの深度値と、カメラの内部パラメーターと、ピクセルの座標値とによって、当該ピクセルの移動ロボット座標系における三次元点の座標を得ることは、
深度カメラの外部パラメーターに基づいて、移動ロボット座標系から深度カメラ座標系への変換関係マトリクスを得ることと、
前記変換関係マトリクスと、ピクセルの深度値と、カメラの内部パラメーターマトリクスの逆マトリクスと、ピクセル座標値からなるマトリクスとの積を計算し、得られた結果をピクセルの移動ロボット座標系における三次元点の座標とすることとを含み、
ピクセル座標値からなるマトリクスは
であり、u、vはそれぞれ画像座標系におけるピクセルの座標である、
請求項2に記載の方法。 - 前記移動ロボット座標系におけるデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることは、
移動ロボット座標系におけるいずれかの三次元点の座標に対して、三次元点の座標における移動ロボットの移動平面に垂直する座標値を切り捨て、当該三次元点の移動ロボットの移動平面における二次元投影を得、または、三次元点の座標における移動ロボットの移動平面に垂直する座標値を0に設定し、当該三次元点の移動ロボットの移動平面における二次元投影を得ることと、
移動ロボット座標系における全ての三次元点の座標を移動ロボットの移動平面における二次元投影に変換して、二次元投影からなる二次元点群を得ることとを含む、
請求項2に記載の方法。 - 前記移動ロボットの走行経路の範囲内の障害物を検出するための検索ウィンドウを構築し、検索ウィンドウの範囲内で二次元データを検索することは、
移動ロボットの前進方向に前記検索ウィンドウを構築し、前記検索ウィンドウと移動ロボットとの相対位置を固定させることを含み、
前記検出された二次元データに基づいて障害物情報を取得することは、
検索ウィンドウの範囲内で二次元点群があるかを検出し、二次元点群がある場合、障害物が検出されたと判断することを含む、
請求項2に記載の方法。 - 前記移動ロボットの載置面は地面であり、前記運動中衝突する可能性がある障害物に対応するデータを保留することは、前記移動ロボット座標系における三次元点の座標において、z値が第1閾値より大きく、且つ第2閾値より小さい三次元点を保留することを含む、
請求項1に記載の方法。 - 検索ウィンドウ内の最も近い障害物の位置に基づいて、移動ロボットが障害物を回避する必要があるかを判断し、回避する必要がある場合、移動ロボットが走行することが可能な走行領域を取得することをトリガすることをさらに含む、
請求項2乃至5のいずれかに記載の方法。 - 前記移動ロボットが走行することが可能は走行領域を取得することは、
移動ロボット本体の載置面への投影中心を起点として、等角度に少なくとも1本の射線を引き、射線において前記起点に最も近い二次元点を障害物の輪郭として、障害物の輪郭の二次元点を得ることと、
障害物の輪郭の任意な二次元点に対して、当該二次元点を円心とし、延在距離を半径として膨張円周を設定することと、前記起点を通って前記膨張円周に接する2本の接線を取得することと、2本の接線で挟まれる円弧を当該障害物の輪郭の二次元点の膨張境界とし、挟まれる円弧の中心角は180°以下であり、前記延在距離は少なくとも移動ロボット本体の載置面への投影中心と輪郭との最大距離であることと、
全ての障害物の輪郭の二次元点の膨張境界を取得し、全ての二次元点の膨張境界の包絡を膨張輪郭とし、膨張輪郭を境界に、移動ロボットに近い側の領域を走行領域とし、他の側を走行不可領域とすることとを含む、
請求項7に記載の方法。 - 前記障害物の輪郭の任意な二次元点に対して、当該二次元点を円心とし、延在距離を半径として膨張円周を設定することは、
現在の障害物の輪郭の二次元点の座標を極座標に変換することと、
変換された極座標と延在距離に基づいて、膨張円周の極座標系における方程式を確定することとを含み、
前記起点を通って前記膨張円周に接する2本の接線を取得することは、
前記膨張円周の極座標系における方程式に基づいて、現在の障害物の輪郭の二次元点の膨張円周の接線角度の範囲を確定することを含み、
前記2本の接線で挟まれる円弧を当該障害物の輪郭の二次元点の膨張境界とすることは、
前記接線角度の範囲内において、
設定された現在の極角値を前記膨張円周の極座標系における方程式に代入し、円弧上の点の動径ベクトル値を求めることと、動径ベクトル値における小さい値を抽出し、接線で挟まれる円弧上の点の極座標を得ることと、
接線で挟まれる円弧区間における円弧座標点の計算が終わるまで、次の極角値を設定し、前記設定された現在の極角値を前記膨張円周の極座標系における方程式に代入するステップに戻ることと、
円弧上の点に基づいて、現在の二次元点の膨張境界を生成することとを含む、
請求項8に記載の方法。 - 前記移動ロボット本体の載置面への投影中心を起点として、等角度に少なくとも1本の射線を引くことは、画像視野の境界から、移動ロボット本体の載置面への投影中心を起点として等角度に射線を引き、グリッドを生成し、
前記円弧上の点に基づいて、現在の二次元点の膨張境界を生成することは、
現在のグリッド内に膨張輪郭の二次元点がない場合、計算された円弧座標点のうち当該グリッドに位置する円弧座標点を当該グリッドの膨張輪郭の二次元点とすることと、
現在のグリッド内に膨張輪郭を有する二次元点がある場合、計算され円弧座標点のうち当該グリッドに位置する円弧座標点と、膨張輪郭を有する二次元点とは、どちらが移動ロボット本体の載置面への投影中心に近いかを判断し、前記投影中心に近い点を当該グリッドの膨張輪郭の二次元点とすることと、
全てのグリッドの膨張輪郭の二次元点を現在の二次元点の膨張境界とすることとを含む、
請求項9に記載の方法。 - 深度画像データを移動ロボット座標系におけるデータに変換することに用いられる、第1データ変換モジュールと、
前記第1データ変換モジュールで変換されたデータを選別し、移動ロボットが運動中衝突する可能性がある障害物に対応するデータを保留することに用いられる、選別モジュールと、
保留された運動中衝突する可能性がある障害物に対応するデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることに用いられる、第2データ変換モジュールと、
移動ロボットの走行経路の範囲内で二次元データを検出し、検出された二次元データに基づいて障害物情報を取得することに用いられる、感知モジュールとを含む、
移動ロボットに障害物情報を感知する装置。 - 移動ロボット本体に取り付けられ、深度画像データを取得することに用いられる深度カメラと、
深度画像データを取得することと、深度画像データを移動ロボット座標系におけるデータに変換することと、変換された移動ロボット座標系におけるデータを選別し、運動中衝突する可能性がある障害物に対応するデータを保留することと、保留された運動中衝突する可能性がある障害物に対応するデータを移動ロボットの移動平面における投影に変換して、二次元データを得ることと、移動ロボットの走行経路の範囲内で二次元データを検出することと、検出された二次元データに基づいて障害物情報を取得することとに用いられる、障害物感知モジュールと、
障害物情報に基づいて、移動コマンドを生成することに用いられる、移動制御モジュールと、
前記移動コマンドを実行することに用いられる、実行機構モジュールとを含む、
移動ロボット。 - コンピュータプログラムが記録されており、前記コンピュータプログラムはプロセッサによって実行されると、請求項1乃至10のいずれかに記載の移動ロボットの障害物情報感知方法のステップを実行するコンピュータ可読記憶媒体。
- コマンドを含むコンピュータプログラム製品であって、
前記コンピュータプログラム製品がコンピュータで実行されると、前記コンピュータに請求項1乃至10のいずれかに記載の移動ロボットの障害物情報感知方法のステップを実現するコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910892943.2 | 2019-09-20 | ||
CN201910892943.2A CN112631266A (zh) | 2019-09-20 | 2019-09-20 | 一种移动机器人感知障碍信息的方法、装置 |
PCT/CN2020/115818 WO2021052403A1 (zh) | 2019-09-20 | 2020-09-17 | 一种移动机器人感知障碍信息的方法、装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022548743A JP2022548743A (ja) | 2022-11-21 |
JP7314411B2 true JP7314411B2 (ja) | 2023-07-25 |
Family
ID=74883386
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022517836A Active JP7314411B2 (ja) | 2019-09-20 | 2020-09-17 | 移動ロボットの障害物情報感知方法、装置 |
Country Status (5)
Country | Link |
---|---|
EP (1) | EP4033324B1 (ja) |
JP (1) | JP7314411B2 (ja) |
KR (1) | KR20220066325A (ja) |
CN (1) | CN112631266A (ja) |
WO (1) | WO2021052403A1 (ja) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113110457B (zh) * | 2021-04-19 | 2022-11-15 | 杭州视熵科技有限公司 | 在室内复杂动态环境中智能机器人的自主覆盖巡检方法 |
CN113190003B (zh) * | 2021-05-06 | 2024-05-31 | 珠海格力智能装备有限公司 | Agv避障方法、装置、计算机可读存储介质和处理器 |
CN113568003B (zh) * | 2021-07-26 | 2022-11-01 | 奥特酷智能科技(南京)有限公司 | 一种用于机场地勤车的防撞预警***及方法 |
CN114265412B (zh) * | 2021-12-29 | 2023-10-24 | 深圳创维数字技术有限公司 | 车辆控制方法、装置、设备及计算机可读存储介质 |
CN114509064A (zh) * | 2022-02-11 | 2022-05-17 | 上海思岚科技有限公司 | 一种自主扩展传感器数据处理的方法、接口及设备 |
CN114255252B (zh) * | 2022-02-28 | 2022-05-17 | 新石器慧通(北京)科技有限公司 | 障碍物轮廓获取方法、装置、设备及计算机可读存储介质 |
CN115406445B (zh) * | 2022-08-18 | 2024-05-17 | 四川华丰科技股份有限公司 | 多传感器数据融合处理方法及机器人避障方法 |
CN116009559B (zh) * | 2023-03-24 | 2023-06-13 | 齐鲁工业大学(山东省科学院) | 一种输水管道内壁巡检机器人及检测方法 |
CN116185044B (zh) * | 2023-04-26 | 2023-06-27 | 威康(深圳)智能有限公司 | 一种机器人集群***的控制方法、装置、设备及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005092820A (ja) | 2003-09-19 | 2005-04-07 | Sony Corp | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 |
JP2014197403A (ja) | 2010-05-20 | 2014-10-16 | アイロボット コーポレイション | 自動推進式テレビ会議プラットホーム |
CN106441275A (zh) | 2016-09-23 | 2017-02-22 | 深圳大学 | 一种机器人规划路径的更新方法及装置 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140031980A1 (en) * | 2011-11-11 | 2014-01-30 | Jens-Steffen Gutmann | Systems and methods for extending slam to multiple regions |
CN105629989B (zh) * | 2015-12-28 | 2018-04-17 | 电子科技大学 | 基于最小外包圆和最大内接圆的障碍区域划分方法 |
CN106599108B (zh) * | 2016-11-30 | 2019-12-31 | 浙江大学 | 一种三维环境中多模态环境地图构建方法 |
CN106969770B (zh) * | 2017-05-31 | 2021-04-06 | 深圳中智卫安机器人技术有限公司 | 一种机器人及其导航方法、计算机可读存储介质 |
WO2019026715A1 (ja) * | 2017-08-04 | 2019-02-07 | ソニー株式会社 | 制御装置、および制御方法、プログラム、並びに移動体 |
CN108733045B (zh) * | 2017-09-29 | 2022-01-04 | 北京猎户星空科技有限公司 | 机器人及其避障方法以及计算机可读存储介质 |
CN108256430B (zh) * | 2017-12-20 | 2021-01-29 | 北京理工大学 | 障碍物信息获取方法、装置及机器人 |
CN109048926A (zh) * | 2018-10-24 | 2018-12-21 | 河北工业大学 | 一种基于立体视觉的机器人智能避障***及方法 |
CN109407705A (zh) * | 2018-12-14 | 2019-03-01 | 厦门理工学院 | 一种无人机躲避障碍物的方法、装置、设备和存储介质 |
CN109947097B (zh) * | 2019-03-06 | 2021-11-02 | 东南大学 | 一种基于视觉和激光融合的机器人定位方法及导航应用 |
CN110202577A (zh) * | 2019-06-15 | 2019-09-06 | 青岛中科智保科技有限公司 | 一种实现障碍物检测的自主移动机器人及其方法 |
-
2019
- 2019-09-20 CN CN201910892943.2A patent/CN112631266A/zh active Pending
-
2020
- 2020-09-17 KR KR1020227012806A patent/KR20220066325A/ko unknown
- 2020-09-17 JP JP2022517836A patent/JP7314411B2/ja active Active
- 2020-09-17 EP EP20865409.5A patent/EP4033324B1/en active Active
- 2020-09-17 WO PCT/CN2020/115818 patent/WO2021052403A1/zh unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005092820A (ja) | 2003-09-19 | 2005-04-07 | Sony Corp | 環境認識装置及び方法、経路計画装置及び方法、並びにロボット装置 |
JP2014197403A (ja) | 2010-05-20 | 2014-10-16 | アイロボット コーポレイション | 自動推進式テレビ会議プラットホーム |
CN106441275A (zh) | 2016-09-23 | 2017-02-22 | 深圳大学 | 一种机器人规划路径的更新方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2021052403A1 (zh) | 2021-03-25 |
EP4033324A4 (en) | 2022-11-02 |
EP4033324B1 (en) | 2024-05-01 |
CN112631266A (zh) | 2021-04-09 |
JP2022548743A (ja) | 2022-11-21 |
EP4033324A1 (en) | 2022-07-27 |
KR20220066325A (ko) | 2022-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7314411B2 (ja) | 移動ロボットの障害物情報感知方法、装置 | |
JP7345504B2 (ja) | Lidarデータと画像データの関連付け | |
US11301697B2 (en) | Analysis of point cloud data using depth maps | |
US11086016B2 (en) | Method and apparatus for tracking obstacle | |
CN111665842B (zh) | 一种基于语义信息融合的室内slam建图方法及*** | |
JP5430456B2 (ja) | 幾何特徴抽出装置、幾何特徴抽出方法、及びプログラム、三次元計測装置、物体認識装置 | |
KR102284565B1 (ko) | 포인트 클라우드에서의 모션 기반 부정확성의 정정 | |
KR102121764B1 (ko) | 회귀 분석으로 2d 바운딩 박스에서 수도(pseudo)-3d박스를 획득하는 방법 및 이를 이용한 학습 장치 및 테스트 장치 | |
JP6632208B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
CN110674705A (zh) | 基于多线激光雷达的小型障碍物检测方法及装置 | |
JP6747665B2 (ja) | ロボット | |
CN110705385B (zh) | 一种障碍物角度的检测方法、装置、设备及介质 | |
JP2017526083A (ja) | 位置特定およびマッピングの装置ならびに方法 | |
US11629963B2 (en) | Efficient map matching method for autonomous driving and apparatus thereof | |
CN114842106A (zh) | 栅格地图的构建方法及构建装置、自行走装置、存储介质 | |
Dos Santos et al. | Building boundary extraction from LiDAR data using a local estimated parameter for alpha shape algorithm | |
CN112308033A (zh) | 一种基于深度数据的障碍物碰撞警告方法及视觉芯片 | |
CN115683109B (zh) | 基于cuda和三维栅格地图的视觉动态障碍物检测方法 | |
JP2021099689A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
KR101392222B1 (ko) | 표적 윤곽을 추출하는 레이저 레이더, 그것의 표적 윤곽 추출 방법 | |
Sun et al. | Triangular mesh construction based on point cloud matrix and edge feature extraction | |
KR101784584B1 (ko) | 레이저 회전을 이용하여 3차원 물체를 판별하는 장치 및 방법 | |
CN113592976A (zh) | 地图数据的处理方法、装置、家用电器和可读存储介质 | |
EP3731130B1 (en) | Apparatus for determining an occupancy map | |
JPWO2019111323A1 (ja) | 折れ線作画装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220527 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230516 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230712 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7314411 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |