JP6594008B2 - 移動体制御装置、ランドマーク、および、プログラム - Google Patents
移動体制御装置、ランドマーク、および、プログラム Download PDFInfo
- Publication number
- JP6594008B2 JP6594008B2 JP2015059275A JP2015059275A JP6594008B2 JP 6594008 B2 JP6594008 B2 JP 6594008B2 JP 2015059275 A JP2015059275 A JP 2015059275A JP 2015059275 A JP2015059275 A JP 2015059275A JP 6594008 B2 JP6594008 B2 JP 6594008B2
- Authority
- JP
- Japan
- Prior art keywords
- landmark
- information
- time
- candidate
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 84
- 238000012545 processing Methods 0.000 claims description 39
- 230000007613 environmental effect Effects 0.000 claims description 35
- 238000000034 method Methods 0.000 claims description 35
- 238000003384 imaging method Methods 0.000 claims description 20
- 101000880124 Homo sapiens SERTA domain-containing protein 3 Proteins 0.000 description 17
- 102100037366 SERTA domain-containing protein 3 Human genes 0.000 description 17
- 238000010586 diagram Methods 0.000 description 16
- 238000003860 storage Methods 0.000 description 15
- 101100299505 Schizosaccharomyces pombe (strain 972 / ATCC 24843) ptn1 gene Proteins 0.000 description 8
- 238000009826 distribution Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010191 image analysis Methods 0.000 description 5
- 239000002245 particle Substances 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000004891 communication Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0234—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
- G05D1/0236—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
- G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/01—Mobile robot
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S901/00—Robots
- Y10S901/46—Sensing device
- Y10S901/47—Optical
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Radar, Positioning & Navigation (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Optics & Photonics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Geometry (AREA)
- Medical Informatics (AREA)
- Game Theory and Decision Science (AREA)
- Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Manipulator (AREA)
Description
第1実施形態について、図面を参照しながら、以下、説明する。
図1は、第1実施形態に係る移動体制御装置1000の概略構成図である。
ランドマーク検出部2は、観測取得部1から出力される観測データD1を入力する。ランドマーク検出部2は、観測データD1(画像データD1_imgおよび距離画像D1_d)から、ロボットRbt1からランドマークまでの距離および方向(角度)に関する情報を取得し、その取得した情報を含む信号を、ランドマーク検出信号LMtとして、候補領域取得部3と、状態推定部4の状態更新部41と、環境地図更新部42とに出力する。
以上のように構成された移動体制御装置1000の動作について、以下、説明する。
移動体制御装置1000では、ロボットRbt1の内部状態を示すデータXtとして、時刻tにおけるロボットRbt1の位置および角度に関する内部状態データXtが設定される。
Xt=(x0t,y0t,θt)
x0t:時刻tにおけるロボットRbt1のx座標値の期待値
y0t:時刻tにおけるロボットRbt1のy座標値の期待値
θt:時刻tにおけるロボットRbt1のx軸正方向とのなす角度(ロボットRbt1の向き)の期待値
として表現される。
移動体制御装置1000では、環境地図に関するデータとして、時刻tにおける環境地図データmtが設定される。
mt=[LM1APt,LM1BPt,....,LMkAPt,LMkBPt]
k:自然数
LMkAPtは、時刻tにおけるk組目のランドマークセットを構成する一方のランドマークの位置に関する内部状態データであり、LMkBPtは、時刻tにおけるk組目のランドマークセットを構成する他方のランドマークの位置に関する内部状態データである。なお、1組のランドマークセットは、2つのランドマークから構成される。
mt=[LM1APt,LM1BPt]
である。
ランドマークLM1A:
LM1APt=(d1At,θ1At)
d1At:ロボットRbt1からランドマークLM1Aまでの距離
θ1At:平面視において、ロボットRbt1からランドマークLM1Aへ引いた直線とx軸とのなす角度
ランドマークLM1B:
LM1BPt=(d1Bt,θ1Bt)
d1Bt:ロボットRbt1からランドマークLM1Bまでの距離
θ1Bt:平面視において、ロボットRbt1からランドマークLM1Bへ引いた直線とx軸とのなす角度
なお、以下では、説明便宜のため、図2、図3に示すように、移動体制御装置1000を搭載したロボットRbt1が1つのランドマークセットに含まれる2つのランドマークLMA1、LMB1により、ロボットRbt1の内部状態データ、および、環境地図データが取得される場合について、説明する。
次に、移動体制御装置1000の具体的処理について、説明する。
時刻tにおいて、ロボットRbt1、ランドマークLM1A、LM1Bの状態は、図2に示す状態である。なお、移動体制御装置1000に搭載された距離センサー付き撮像装置では、図2に示す領域ARcpの撮像画像(画像データ)と、距離画像(距離データ)とが取得される。
ランドマークLM1A:
LM1APt=(d1At,θ1At)
d1At:ロボットRbt1からランドマークLM1Aまでの距離
θ1At:平面視において、ロボットRbt1からランドマークLM1Aへ引いた直線とx軸とのなす角度
ランドマークLM1B:
LM1BPt=(d1Bt,θ1Bt)
d1Bt:ロボットRbt1からランドマークLM1Bまでの距離
θ1Bt:平面視において、ロボットRbt1からランドマークLM1Bへ引いた直線とx軸とのなす角度
上記により取得されたランドマークLM1A、LM1BについてのデータLM1APt、LM1BPtを含めた信号が、ランドマーク検出信号LMtとして、ランドマーク検出部2から、候補領域取得部3、状態推定部4の状態更新部41、および、環境地図更新部42に出力される。
x1At=x0t+d1At×cos(θ1At)
y1At=y0t+d1At×sin(θ1At)
x1Bt=x0t+d1Bt×cos(θ1Bt)
y1Bt=y0t+d1Bt×sin(θ1Bt)
により、時刻tにおけるランドマークLM1A、LM1Bのxy平面上の位置座標(位置情報)を取得する。
時刻t+1において、ロボットRbt1は、時刻tの制御入力データUtにより、図3に点C1t+1で示す位置、あるいは、図3に点C2_NGt+1で示す位置に移動していると予測される。
ランドマークLM1A:
LM1APt+1=(d1At+1,θ1At+1)
d1At+1:ロボットRbt1からランドマークLM1Aまでの距離
θ1At+1:平面視において、ロボットRbt1からランドマークLM1Aへ引いた直線とx軸とのなす角度
ランドマークLM1B:
LM1BPt+1=(d1Bt+1,θ1Bt+1)
d1Bt+1:ロボットRbt1からランドマークLM1Bまでの距離
θ1Bt+1:平面視において、ロボットRbt1からランドマークLM1Bへ引いた直線とx軸とのなす角度
上記により取得されたランドマークLM1A、LM1BについてのデータLM1APt+1、LM1BPt+1を含めた信号が、ランドマーク検出信号LMt+1として、ランドマーク検出部2から、候補領域取得部3、状態推定部4の状態更新部41、および、環境地図更新部42に出力される。
x1At+1=x0t+1+d1At+1×cos(θ1At+1)
y1At+1=y0t+1+d1At+1×sin(θ1At+1)
x1Bt+1=x0t+1+d1Bt+1×cos(θ1Bt+1)
y1Bt+1=y0t+1+d1Bt+1×sin(θ1Bt+1)
により、時刻tにおけるランドマークLM1A、LM1Bのxy平面上の位置座標(位置情報)を取得する。
時刻t+2以降において、上記と同様の処理が繰り返し実行される。
次に、第2実施形態について、説明する。
図5は、時刻tにおけるロボットRbt1の位置の候補となる領域AR_C1と、本実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img1とを模式的に示した図である。なお、画像D1_img1は、ランドマーク検出部2Aから候補領域取得部3Aに出力される画像(画像データ)である。
図6は、時刻tにおけるロボットRbt1の位置の候補となる領域AR_C2と、本実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img2とを模式的に示した図である。なお、画像D1_img2は、ランドマーク検出部2Aから候補領域取得部3Aに出力される画像(画像データ)である。
図7は、時刻tにおけるロボットRbt1の位置の候補となる領域AR_C3と、本実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img3とを模式的に示した図である。なお、画像D1_img3は、ランドマーク検出部2Aから候補領域取得部3Aに出力される画像(画像データ)である。
図8は、時刻tにおけるロボットRbt1の位置の候補となる領域AR_C4と、本実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img4とを模式的に示した図である。なお、画像D1_img4は、ランドマーク検出部2Aから候補領域取得部3Aに出力される画像(画像データ)である。
図9は、は、時刻tにおけるロボットRbt1の位置の候補となる領域AR_C5と、本実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img5とを模式的に示した図である。なお、画像D1_img5は、ランドマーク検出部2Aから候補領域取得部3Aに出力される画像(画像データ)である。
上記実施形態では、距離センサー付き撮像装置をロボットRbt1に搭載し、カラーの撮像画像と、距離画像を取得する場合について、説明したが、これに限定されることはない。例えば、3次元計測用のカメラをロボットRbt1に搭載し、3次元計測用のカメラから取得した2つの画像から、距離画像を取得するようにしてもよい。また、レンジファインダー等の距離センサーをロボットRbt1に搭載し、ランドマークまでの距離を測定するようにしてもよい。
1 観測取得部
2、2A ランドマーク検出部
3、3A 候補領域取得部
4 状態推定部
5 記憶部
Claims (6)
- 2個以上のランドマークを1組として含むランドマークの組であるランドマークセットが設置されている環境内を移動する移動体を制御するために、前記ランドマークの情報を用いて表現される環境地図の作成処理と、前記移動体の自己の内部状態の推定処理とを実行する移動体制御装置であって、
観測可能な事象から得られる観測データを取得する観測取得部と、
前記観測取得部により取得された前記観測データに基づいて、(1)前記移動体と前記ランドマークセットに含まれる2個以上のランドマークのそれぞれとの距離を、ランドマーク距離情報として取得し、(2)前記移動体と前記ランドマークセットに含まれる2個以上のランドマークのそれぞれとを結ぶ直線と所定の軸とのなす角度をランドマーク角度情報として取得するランドマーク検出部と、
前記ランドマーク検出部により取得された前記ランドマーク距離情報に基づいて、前記移動体の自己位置の候補領域を決定し、決定した前記候補領域についての情報を候補領域情報として取得する候補領域取得部と、
前記観測取得部により取得された前記観測データと、前記ランドマーク検出部により生成された前記ランドマーク距離情報および前記ランドマーク角度情報と、前記候補領域取得部により取得された前記候補領域情報とに基づいて、前記移動体の内部状態を推定することで、自己内部状態推定データを取得するとともに、前記候補領域情報と、前記ランドマーク距離情報と、前記ランドマーク角度情報とに基づいて、前記環境地図を推定することで、環境地図データを取得する状態推定部と、
を備え、
前記候補領域取得部は、
前記ランドマーク検出部により時刻tにおいて取得された前記ランドマーク距離情報に基づいて、平面視において、前記2個以上のランドマークを中心とする、時刻tにおける、円の交点を求め、求めた時刻tの前記円の交点を含む領域を、前記移動体の自己位置の時刻tの候補領域に決定し、決定した時刻tの前記候補領域についての情報を時刻tの候補領域情報として取得し、
時刻tの前記候補領域は、前記2個以上のランドマークのそれぞれを中心とする円であって、それぞれ対応するランドマークと前記移動体との間の時刻tでの距離を半径とする前記円の時刻tの複数の交点の情報を含み、
さらに、前記候補領域取得部は、時刻t+1において、前記ランドマーク検出部により取得された前記ランドマーク距離情報に基づいて、前記2個以上のランドマークをそれぞれ中心とする円の、時刻tの次の時刻である時刻t+1の交点を求め、
時刻t+1の交点を含む1個以上の領域を前記移動体の位置の候補領域に決定し、決定した当該候補領域を示す情報を時刻t+1の候補領域情報として取得し、
時刻t+1の前記候補領域情報は、2個以上の前記ランドマークを中心とする円の時刻t+1の複数の交点についての情報を含んでおり、前記時刻t+1の2個以上の前記ランドマークを中心とする円は、それぞれ、前記移動体と各ランドマークとの間の時刻t+1の距離を半径としており、
前記状態推定部は、(1)時刻tの前記候補領域情報と、(2)時刻t+1の前記候補領域情報と、(3)時刻tの制御入力データとに基づいて、前記移動体の内部状態および前記環境地図を推定することで、時刻t+1の前記移動体の位置を予測するものであり、
時刻tの前記制御入力データは、時刻tの前記移動体の位置から前記移動体を所定の方向に移動させるための制御入力データであり、前記時刻t+1は、前記移動体が前記所定の方向に移動が完了したときの時刻である、
移動体制御装置。 - 円柱状のランドマークであって、
前記ランドマークを設置した状態の平面視において、前記ランドマークの表面の一方の半円に相当する円周上の表面である第1表面領域は、第1パターンを有し、
前記ランドマークを設置した状態の平面視において、前記ランドマークの表面の他方の半円に相当する円周上の表面である第2表面領域は、前記第1パターンとは異なる第2パターンを有している前記ランドマークが設置されている環境内を移動する移動体を制御するために、前記ランドマークの情報を用いて表現される環境地図の作成処理と、前記移動体の自己の内部状態の推定処理とを実行する移動体制御装置であって、
観測可能な事象から得られる観測データを取得する観測取得部であって、前記ランドマークを撮像した画像をランドマーク撮像画像として、前記観測データに含めて取得する前記観測取得部と、
前記観測取得部により取得された前記観測データに基づいて、(1)前記移動体と前記ランドマークとの距離を、ランドマーク距離情報として取得し、(2)前記移動体と前記ランドマークとを結ぶ直線と所定の軸とのなす角度をランドマーク角度情報として取得するランドマーク検出部と、
前記ランドマーク検出部により取得された前記ランドマーク距離情報と、前記ランドマーク撮像画像上での前記ランドマークの前記第1パターンと前記第2パターンとの視認状態とに基づいて、前記移動体の自己位置の候補領域を決定し、決定した前記候補領域についての情報を候補領域情報として取得する候補領域取得部と、
前記観測取得部により取得された前記観測データと、前記ランドマーク検出部により生成された前記ランドマーク距離情報および前記ランドマーク角度情報と、前記候補領域取得部により取得された前記候補領域情報とに基づいて、前記移動体の内部状態を推定することで、自己内部状態推定データを取得するとともに、前記候補領域情報と、前記ランドマーク距離情報と、前記ランドマーク角度情報とに基づいて、前記環境地図を推定することで、環境地図データを取得する状態推定部と、
を備え、
前記ランドマークの前記第1パターンと前記第2パターンとの境界線は、前記ランドマークの上面の中心点と底面の中心点とを結ぶ直線である前記ランドマークの中心軸と平行であり、
前記候補領域取得部は、
(1)前記ランドマーク検出部により取得された前記ランドマーク距離情報と、(2)前記ランドマーク撮像画像上の前記中心軸と直交する方向における、前記ランドマークの前記第1パターンと前記第2パターンの占有比率に基づいて、前記移動体の自己位置の候補領域を決定する、
移動体制御装置。 - 前記候補領域取得部は、
前記ランドマーク距離情報と、前記ランドマーク撮像画像上での前記ランドマークの前記第1パターンと前記第2パターンとの占有比率とに基づいて、前記移動体の自己位置の候補領域を決定し、決定した前記候補領域についての情報を候補領域情報として取得する、
請求項2に記載の移動体制御装置。 - 請求項2または3に記載の移動体制御装置とともに用いられる3次元形状を有するランドマークであって、
前記ランドマークの表面の一部の領域である第1表面領域は、第1パターンを有し、
前記ランドマークの表面の一部の領域であって、前記第1表面領域以外の領域である第2表面領域は、前記第1パターンとは異なる第2パターンを有している、
ランドマーク。 - 2個以上のランドマークを1組として含むランドマークの組であるランドマークセットが設置されている環境内を移動する移動体を制御するために、前記ランドマークの情報を用いて表現される環境地図の作成処理と、前記移動体の自己の内部状態の推定処理とを実行する移動体制御方法をコンピュータで実行させるためのプログラムであって、
観測可能な事象から得られる観測データを取得する観測取得ステップと、
前記観測取得ステップにより取得された前記観測データに基づいて、(1)前記移動体と前記ランドマークセットに含まれる2個以上のランドマークのそれぞれとの距離を、ランドマーク距離情報として取得し、(2)前記移動体と前記ランドマークセットに含まれる2個以上のランドマークのそれぞれとを結ぶ直線と所定の軸とのなす角度をランドマーク角度情報として取得するランドマーク検出ステップと、
前記ランドマーク検出ステップにより取得された前記ランドマーク距離情報に基づいて、前記移動体の自己位置の候補領域を決定し、決定した前記候補領域についての情報を候補領域情報として取得する候補領域取得ステップと、
前記観測取得ステップにより取得された前記観測データと、前記ランドマーク検出ステップにより生成された前記ランドマーク距離情報および前記ランドマーク角度情報と、前記候補領域取得ステップにより取得された前記候補領域情報とに基づいて、前記移動体の内部状態を推定することで、自己内部状態推定データを取得するとともに、前記候補領域情報と、前記ランドマーク距離情報と、前記ランドマーク角度情報とに基づいて、前記環境地図を推定することで、環境地図データを取得する状態推定ステップと、
を備え
前記候補領域取得ステップでは、
前記ランドマーク検出ステップにより時刻tにおいて取得された前記ランドマーク距離情報に基づいて、平面視において、前記2個以上のランドマークを中心とする、時刻tにおける、円の交点を求め、求めた時刻tの前記円の交点を含む領域を、前記移動体の自己位置の時刻tの候補領域に決定し、決定した時刻tの前記候補領域についての情報を時刻tの候補領域情報として取得し、
時刻tの前記候補領域は、前記2個以上のランドマークのそれぞれを中心とする円であって、それぞれ対応するランドマークと前記移動体との間の時刻tでの距離を半径とする前記円の時刻tの複数の交点の情報を含み、
さらに、前記候補領域取得ステップでは、時刻t+1において、前記ランドマーク検出ステップにより取得された前記ランドマーク距離情報に基づいて、前記2個以上のランドマークをそれぞれ中心とする円の、時刻tの次の時刻である時刻t+1の交点を求め、
時刻t+1の交点を含む1個以上の領域を前記移動体の位置の候補領域に決定し、決定した当該候補領域を示す情報を時刻t+1の候補領域情報として取得し、
時刻t+1の前記候補領域情報は、2個以上の前記ランドマークを中心とする円の時刻t+1の複数の交点についての情報を含んでおり、前記時刻t+1の2個以上の前記ランドマークを中心とする円は、それぞれ、前記移動体と各ランドマークとの間の時刻t+1の距離を半径としており、
前記状態推定ステップは、(1)時刻tの前記候補領域情報と、(2)時刻t+1の前記候補領域情報と、(3)時刻tの制御入力データとに基づいて、前記移動体の内部状態および前記環境地図を推定することで、時刻t+1の前記移動体の位置を予測するものであり、
時刻tの前記制御入力データは、時刻tの前記移動体の位置から前記移動体を所定の方向に移動させるための制御入力データであり、前記時刻t+1は、前記移動体が前記所定の方向に移動が完了したときの時刻である、
移動体制御方法をコンピュータで実行させるためのプログラム。 - 円柱状のランドマークであって、
前記ランドマークを設置した状態の平面視において、前記ランドマークの表面の一方の半円に相当する円周上の表面である第1表面領域は、第1パターンを有し、
前記ランドマークを設置した状態の平面視において、前記ランドマークの表面の他方の半円に相当する円周上の表面である第2表面領域は、前記第1パターンとは異なる第2パターンを有している前記ランドマークが設置されている環境内を移動する移動体を制御するために、前記ランドマークの情報を用いて表現される環境地図の作成処理と、前記移動体の自己の内部状態の推定処理とを実行する移動体制御方法をコンピュータで実行させるためのプログラムであって、
観測可能な事象から得られる観測データを取得する観測取得ステップであって、前記ランドマークを撮像した画像をランドマーク撮像画像として、前記観測データに含めて取得する前記観測取得ステップと、
前記観測取得ステップにより取得された前記観測データに基づいて、(1)前記移動体と前記ランドマークとの距離を、ランドマーク距離情報として取得し、(2)前記移動体と前記ランドマークとを結ぶ直線と所定の軸とのなす角度をランドマーク角度情報として取得するランドマーク検出ステップと、
前記ランドマーク検出ステップにより取得された前記ランドマーク距離情報と、前記ランドマーク撮像画像上での前記ランドマークの前記第1パターンと前記第2パターンとの視認状態とに基づいて、前記移動体の自己位置の候補領域を決定し、決定した前記候補領域についての情報を候補領域情報として取得する候補領域取得ステップと、
前記観測取得ステップにより取得された前記観測データと、前記ランドマーク検出ステップにより生成された前記ランドマーク距離情報および前記ランドマーク角度情報と、前記候補領域取得ステップにより取得された前記候補領域情報とに基づいて、前記移動体の内部状態を推定することで、自己内部状態推定データを取得するとともに、前記候補領域情報と、前記ランドマーク距離情報と、前記ランドマーク角度情報とに基づいて、前記環境地図を推定することで、環境地図データを取得する状態推定ステップと、
を備え、
前記ランドマークの前記第1パターンと前記第2パターンとの境界線は、前記ランドマークの上面の中心点と底面の中心点とを結ぶ直線である前記ランドマークの中心軸と平行であり、
前記候補領域取得ステップでは、
(1)前記ランドマーク検出部により取得された前記ランドマーク距離情報と、(2)前記ランドマーク撮像画像上の前記中心軸と直交する方向における、前記ランドマークの前記第1パターンと前記第2パターンの占有比率に基づいて、前記移動体の自己位置の候補領域を決定する、
移動体制御方法をコンピュータで実行させるためのプログラム。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015059275A JP6594008B2 (ja) | 2015-03-23 | 2015-03-23 | 移動体制御装置、ランドマーク、および、プログラム |
EP16156694.8A EP3088983B1 (en) | 2015-03-23 | 2016-02-22 | Moving object controller and program |
EP18189952.7A EP3425470A1 (en) | 2015-03-23 | 2016-02-22 | Moving object controller, landmark, and program |
US15/076,778 US10248131B2 (en) | 2015-03-23 | 2016-03-22 | Moving object controller, landmark, and moving object control method |
US16/224,858 US10902610B2 (en) | 2015-03-23 | 2018-12-19 | Moving object controller, landmark, and moving object control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015059275A JP6594008B2 (ja) | 2015-03-23 | 2015-03-23 | 移動体制御装置、ランドマーク、および、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2016177742A JP2016177742A (ja) | 2016-10-06 |
JP2016177742A5 JP2016177742A5 (ja) | 2018-04-26 |
JP6594008B2 true JP6594008B2 (ja) | 2019-10-23 |
Family
ID=55409775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015059275A Active JP6594008B2 (ja) | 2015-03-23 | 2015-03-23 | 移動体制御装置、ランドマーク、および、プログラム |
Country Status (3)
Country | Link |
---|---|
US (2) | US10248131B2 (ja) |
EP (2) | EP3425470A1 (ja) |
JP (1) | JP6594008B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018146803A1 (ja) | 2017-02-10 | 2018-08-16 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッド | 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体 |
EP3929690A1 (en) * | 2020-06-22 | 2021-12-29 | Carnegie Robotics, LLC | A method and a system for analyzing a scene, room or venueby determining angles from imaging elements to visible navigation elements |
CN113064805A (zh) * | 2021-03-29 | 2021-07-02 | 联想(北京)有限公司 | 一种电子设备的控制方法以及控制装置 |
EP4235337A1 (en) * | 2022-02-23 | 2023-08-30 | Volvo Autonomous Solutions AB | A method for localizing and/or mapping during operation of a vehicle in an environment |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5491670A (en) * | 1993-01-21 | 1996-02-13 | Weber; T. Jerome | System and method for sonic positioning |
JPH10109290A (ja) * | 1996-09-30 | 1998-04-28 | Sony Corp | 位置検出装置及び方法並びにロボツト装置 |
US8896660B2 (en) * | 2003-05-30 | 2014-11-25 | Alcatel Lucent | Method and apparatus for computing error-bounded position and orientation of panoramic cameras in real-world environments |
US7689321B2 (en) * | 2004-02-13 | 2010-03-30 | Evolution Robotics, Inc. | Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system |
US8577538B2 (en) * | 2006-07-14 | 2013-11-05 | Irobot Corporation | Method and system for controlling a remote vehicle |
JP4882575B2 (ja) * | 2006-07-27 | 2012-02-22 | トヨタ自動車株式会社 | 自己位置推定装置 |
KR100809352B1 (ko) | 2006-11-16 | 2008-03-05 | 삼성전자주식회사 | 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치 |
JP4788722B2 (ja) * | 2008-02-26 | 2011-10-05 | トヨタ自動車株式会社 | 自律移動ロボット、自己位置推定方法、環境地図の生成方法、環境地図の生成装置、及び環境地図のデータ構造 |
JP5024128B2 (ja) * | 2008-03-10 | 2012-09-12 | トヨタ自動車株式会社 | 移動ロボットの制御システム |
TW201022700A (en) * | 2008-12-15 | 2010-06-16 | Ind Tech Res Inst | Localization and detecting system applying sensors, and method thereof |
US20100215216A1 (en) * | 2009-02-25 | 2010-08-26 | Samsung Electronics Co., Ltd. | Localization system and method |
WO2010097921A1 (ja) * | 2009-02-26 | 2010-09-02 | 三菱電機株式会社 | 移動体撮像システム及び移動体及び地上局装置及び移動体撮像方法 |
JP5444952B2 (ja) | 2009-08-28 | 2014-03-19 | 富士通株式会社 | センサフュージョンによる地図の自動生成、およびそのように自動生成された地図を用いて移動体の移動をするための、装置、方法、ならびにプログラム |
US8494225B2 (en) * | 2010-02-19 | 2013-07-23 | Julian L. Center | Navigation method and aparatus |
JP5560978B2 (ja) * | 2010-07-13 | 2014-07-30 | 村田機械株式会社 | 自律移動体 |
US9031782B1 (en) * | 2012-01-23 | 2015-05-12 | The United States Of America As Represented By The Secretary Of The Navy | System to use digital cameras and other sensors in navigation |
US9463574B2 (en) * | 2012-03-01 | 2016-10-11 | Irobot Corporation | Mobile inspection robot |
US9233472B2 (en) * | 2013-01-18 | 2016-01-12 | Irobot Corporation | Mobile robot providing environmental mapping for household environmental control |
US9037396B2 (en) * | 2013-05-23 | 2015-05-19 | Irobot Corporation | Simultaneous localization and mapping for a mobile robot |
US10274958B2 (en) * | 2015-01-22 | 2019-04-30 | Bae Systems Information And Electronic Systems Integration Inc. | Method for vision-aided navigation for unmanned vehicles |
EP3519651B1 (en) * | 2016-09-30 | 2021-11-24 | ETH Singapore Sec Ltd | System for placing objects on a surface and method thereof |
-
2015
- 2015-03-23 JP JP2015059275A patent/JP6594008B2/ja active Active
-
2016
- 2016-02-22 EP EP18189952.7A patent/EP3425470A1/en not_active Ceased
- 2016-02-22 EP EP16156694.8A patent/EP3088983B1/en active Active
- 2016-03-22 US US15/076,778 patent/US10248131B2/en active Active
-
2018
- 2018-12-19 US US16/224,858 patent/US10902610B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3088983B1 (en) | 2022-06-01 |
US20190122371A1 (en) | 2019-04-25 |
US20160282875A1 (en) | 2016-09-29 |
JP2016177742A (ja) | 2016-10-06 |
EP3088983A1 (en) | 2016-11-02 |
US10248131B2 (en) | 2019-04-02 |
EP3425470A1 (en) | 2019-01-09 |
US10902610B2 (en) | 2021-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11003939B2 (en) | Information processing apparatus, information processing method, and storage medium | |
JP3735344B2 (ja) | キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム | |
KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
JP5803367B2 (ja) | 自己位置推定装置、自己位置推定方法およびプログラム | |
KR101776620B1 (ko) | 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
Rodríguez Flórez et al. | Multi-modal object detection and localization for high integrity driving assistance | |
US10902610B2 (en) | Moving object controller, landmark, and moving object control method | |
CN111060946A (zh) | 用于估计位置的方法和装置 | |
Deng et al. | Global optical flow-based estimation of velocity for multicopters using monocular vision in GPS-denied environments | |
US20090226094A1 (en) | Image correcting device and method, and computer program | |
JP6651295B2 (ja) | 移動体制御装置、プログラムおよび集積回路 | |
JP2016177742A5 (ja) | ||
Chen et al. | Perception system design for low-cost commercial ground robots: Sensor configurations, calibration, localization and mapping | |
CN110832280A (zh) | 地图处理方法、设备、计算机可读存储介质 | |
Pirahansiah et al. | Camera Calibration and Video Stabilization Framework for Robot Localization | |
Feng | Camera Marker Networks for Pose Estimation and Scene Understanding in Construction Automation and Robotics. | |
Mattoccia et al. | A compact, lightweight and energy efficient system for autonomous navigation based on 3D vision | |
JP6670712B2 (ja) | 自己位置推定装置、移動体及び自己位置推定方法 | |
Nilsson et al. | Object level fusion of extended dynamic objects | |
Li et al. | Indoor Localization for an Autonomous Model Car: A Marker-Based Multi-Sensor Fusion Framework | |
Kowalczuk et al. | Three-dimensional mapping for data collected using variable stereo baseline | |
US20230032367A1 (en) | Information processing apparatus and information processing method | |
KR20190070235A (ko) | 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치 | |
Arturo et al. | Cooperative simultaneous localisation and mapping using independent rao–blackwellised filters | |
Scheideman | Estimating Robot Localization Error Using Visual Marker Pose Estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180313 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180313 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190405 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190823 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190910 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190924 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6594008 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |