JP6594008B2 - 移動体制御装置、ランドマーク、および、プログラム - Google Patents

移動体制御装置、ランドマーク、および、プログラム Download PDF

Info

Publication number
JP6594008B2
JP6594008B2 JP2015059275A JP2015059275A JP6594008B2 JP 6594008 B2 JP6594008 B2 JP 6594008B2 JP 2015059275 A JP2015059275 A JP 2015059275A JP 2015059275 A JP2015059275 A JP 2015059275A JP 6594008 B2 JP6594008 B2 JP 6594008B2
Authority
JP
Japan
Prior art keywords
landmark
information
time
candidate
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015059275A
Other languages
English (en)
Other versions
JP2016177742A (ja
JP2016177742A5 (ja
Inventor
健太 永峰
哲一 生駒
史也 新宮
弘 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyushu Institute of Technology NUC
MegaChips Corp
Original Assignee
Kyushu Institute of Technology NUC
MegaChips Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyushu Institute of Technology NUC, MegaChips Corp filed Critical Kyushu Institute of Technology NUC
Priority to JP2015059275A priority Critical patent/JP6594008B2/ja
Priority to EP16156694.8A priority patent/EP3088983B1/en
Priority to EP18189952.7A priority patent/EP3425470A1/en
Priority to US15/076,778 priority patent/US10248131B2/en
Publication of JP2016177742A publication Critical patent/JP2016177742A/ja
Publication of JP2016177742A5 publication Critical patent/JP2016177742A5/ja
Priority to US16/224,858 priority patent/US10902610B2/en
Application granted granted Critical
Publication of JP6594008B2 publication Critical patent/JP6594008B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0234Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons
    • G05D1/0236Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using optical markers or beacons in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/01Mobile robot
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00Robots
    • Y10S901/46Sensing device
    • Y10S901/47Optical

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Game Theory and Decision Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Description

本発明は、SLAM(Simultaneous Localization and Mapping)技術を用いて移動体を制御する技術に関する。
自律走行ロボット等の移動体が自律的に移動しながら、自己位置の推定と環境地図の作成とを同時に行うための技術として、SLAM(Simultaneous Localization and Mapping)が知られている。
SLAM技術により自律走行するロボット(移動体)では、ロボットに搭載されたセンサーから得られる観測、および、ロボットに対する制御入力のみを使用して、ロボットの周囲の環境地図を作成しながら、作成した環境地図中でのロボットの自己の位置および姿勢を推定する。言い換えれば、この推定処理は、ロボットがシステムモデルx〜g(x|xt−1,U)(U:制御入力)に従い、観測が観測モデルZ〜h(Z|x,m)(m:環境地図)に従う状態空間モデルに対して、制御入力系列U1:t={U,U,・・・,U}、および、観測系列Z1:t={Z,Z,・・・,Z}が与えられたときに、ロボットの自己位置および姿勢X(あるいは、X1:t={X,X,・・・,X})と、環境地図mとを推定する処理である。
この推定処理において、パーティクルフィルタを用いて、ロボットの姿勢を高精度で推定する技術が開発されている(例えば、特許文献1)。
観測を取得するためのセンサーとしては、可視光用イメージセンサーを用いたRGBカメラや、赤外線やレーザーを使用して距離情報を取得するレンジファインダー等がよく使用される。また、観測を取得するために、2種類以上のセンサーを組み合わせて用いられることもある。
SLAM技術により自律走行するロボット(移動体)において、取得される環境地図は、幾何学的な地図ではなく、トポロジカルな地図として、取得されることが多い。環境地図は、例えば、ランドマークに基づく情報により、取得される。この場合、環境地図は、ランドマークの情報の集合として表現される。それぞれのランドマークのパラメータは、例えば、(1)ランドマークの位置情報、および、(2)ランドマークの位置情報の不確実性を表す共分散行列である。
SLAM技術により自律走行するロボットにおいて、RGBカメラをセンサーとして使用する場合、例えば、何らかの特徴を持つ点や線等、あるいは、判別可能なマーカーを貼付した物体等をランドマークとして設定し、RGBカメラにより撮像された画像中において、ランドマークに相当する画像領域を検出(特定)することで、ランドマークの情報を取得する。この場合、ロボットの実際の位置と、ランドマークの実際の位置との相対関係を、RGBカメラで取得した画像から特定し、特定した結果に基づいて、現時刻における観測が取得される。
特開2008−126401号公報
しかしながら、上記のように、RGBカメラで撮像した画像からランドマークの位置を取得する場合、ロボットの実際の位置と、ランドマークの実際の位置とを精度よく推定することが困難な場合がある。RGBカメラやレンジファインダーは指向性が高く観測できる範囲が制限されるため、ロボットの周囲に多くのランドマークが設置されている場合であっても、RGBカメラやレンジファインダーにより取得されたデータから、一度に発見することができるランドマークの数は少ない。そして、例えば、(1)ロボットから発見したランドマークまでの距離と、(2)ロボットが移動する環境を、例えば、上方から見たときのロボットから発見したランドマークまでの直線と所定の基準軸とのなす角度と、をランドマークの情報として取得する場合、取得したランドマークの情報からロボットの位置を精度良く推定することが困難である場合がある。これは、発見されたランドマークの位置を中心として、ロボットから発見したランドマークまでの距離を半径とする円周上の点の全てが、ロボットの位置の候補点となるためである。つまり、ロボットの位置の候補点が多いので、現時刻のロボットの位置を推定するための処理量が多くなり、ロボットの位置を精度良く推定することが難しい。このように、自律走行ロボットにおいて、ロボットの位置を精度良く推定できないと、実際のロボットの内部状態と推定結果との間の誤差が大きくなり、ロボット(移動体)の安定した自律走行が困難になる。
そこで、本発明は、上記問題点に鑑み、ランドマークの情報から、移動体(ロボット)の位置を精度良く推定し、高精度な状態推定処理を高速かつ適切に実行することで、移動体の制御を適切に行う移動体制御装置、プログラム、および、それらに用いられるランドマークを実現することを目的とする。
上記課題を解決するために、第1の発明は、2個以上のランドマークを1組として含むランドマークの組であるランドマークセットが設置されている環境内を移動する移動体を制御するために、ランドマークの情報を用いて表現される環境地図の作成処理と、移動体の自己の内部状態の推定処理とを実行する移動体制御装置であって、観測取得部と、ランドマーク検出部と、候補領域取得部と、状態推定部と、を備える。
観測取得部は、観測可能な事象から得られる観測データを取得する。
ランドマーク検出部は、観測取得部により取得された観測データに基づいて、(1)移動体とランドマークセットに含まれる2個以上のランドマークのそれぞれとの距離を、ランドマーク距離情報として取得し、(2)移動体とランドマークセットに含まれる2個以上のランドマークのそれぞれとを結ぶ直線と所定の軸とのなす角度をランドマーク角度情報として取得する。
候補領域取得部は、ランドマーク検出部により取得されたランドマーク距離情報に基づいて、移動体の自己位置の候補領域を決定し、決定した候補領域についての情報を候補領域情報として取得する。
状態推定部は、観測取得部により取得された観測データと、ランドマーク検出部により生成されたランドマーク距離情報およびランドマーク角度情報と、候補領域取得部により取得された候補領域情報とに基づいて、移動体の内部状態を推定することで、自己内部状態推定データを取得するとともに、候補領域情報と、ランドマーク距離情報と、ランドマーク角度情報とに基づいて、環境地図を推定することで、環境地図データを取得する。
この移動体制御装置では、2つ以上のランドマークを1組とするランドマークセットを用いて、移動体から2つ以上のランドマークまでの距離を測定することで、移動体の位置を少ない候補点に絞り、高速かつ高精度に、移動体の位置情報を含む内部状態データを推定することができる。つまり、この移動体制御装置では、ランドマークの情報から、移動体の位置を精度良く推定し、高精度な状態推定処理を高速かつ適切に実行することができる。その結果、この移動体制御装置では、移動体の制御を適切に行うことができる。
さらに、この移動体制御装置では、上記の通り、1つのランドマークセットに含まれる2つ以上のランドマークと、移動体との距離を取得するだけで、移動体の位置を高速かつ高精度に推定することができる。このため、この移動体制御装置では、多くの内部状態変数を用いた複雑な処理をすることなく、少ない演算量で推定処理を実現することができる。
第2の発明は、3次元形状を有するランドマークであって、ランドマークの表面の一部の領域である第1表面領域は、第1パターンを有し、ランドマークの表面の一部の領域であって、第1表面領域以外の領域である第2表面領域は、第1パターンとは異なる第2パターンを有しているランドマークが設置されている環境内を移動する移動体を制御するために、ランドマークの情報を用いて表現される環境地図の作成処理と、移動体の自己の内部状態の推定処理とを実行する移動体制御装置である。移動体制御装置は、観測取得部と、ランドマーク検出部と、候補領域取得部と、状態推定部と、を備える。
観測取得部は、観測可能な事象から得られる観測データを取得し、ランドマークを撮像した画像をランドマーク撮像画像として、観測データに含めて取得する。
ランドマーク検出部は、観測取得部により取得された観測データに基づいて、(1)移動体とランドマークとの距離を、ランドマーク距離情報として取得し、(2)移動体とランドマークとを結ぶ直線と所定の軸とのなす角度をランドマーク角度情報として取得する。
候補領域取得部は、ランドマーク検出部により取得されたランドマーク距離情報と、ランドマーク撮像画像上でのランドマークの第1パターンと第2パターンとの視認状態とに基づいて、移動体の自己位置の候補領域を決定し、決定した候補領域についての情報を候補領域情報として取得する。
状態推定部は、観測取得部により取得された観測データと、ランドマーク検出部により生成されたランドマーク距離情報およびランドマーク角度情報と、候補領域取得部により取得された候補領域情報とに基づいて、移動体の内部状態を推定することで、自己内部状態推定データを取得するとともに、候補領域情報と、ランドマーク距離情報と、ランドマーク角度情報とに基づいて、環境地図を推定することで、環境地図データを取得する。
この移動体制御装置では、所定のパターンを有するランドマークを撮像した画像を実際の観測データとして取得し、撮像画像上のランドマークの見え方を解析することで、移動体の位置を精度良く推定し、高精度な状態推定処理を高速かつ適切に実行することができる。その結果、この移動体制御装置では、移動体の制御を適切に行うことができる。
さらに、この移動体制御装置では、ランドマークと、移動体との距離を取得するだけで、移動体の位置を高速かつ高精度に推定することができる。このため、この移動体制御装置では、多くの内部状態変数を用いた複雑な処理をすることなく、少ない演算量で推定処理を実現することができる。
なお、ランドマークの第1パターンと第2パターンとの「視認状態」とは、例えば、撮像画像上における、ランドマークの第1パターンに相当する画像領域、および、第2パターンに相当する画像領域の(1)位置、(2)形状、(3)面積等で特定される状態のことをいう。
第3の発明は、第2の発明であって、候補領域取得部は、ランドマーク距離情報と、ランドマーク撮像画像上でのランドマークの第1パターンと第2パターンとの占有比率とに基づいて、移動体の自己位置の候補領域を決定し、決定した候補領域についての情報を候補領域情報として取得する。
これにより、この移動体制御装置では、ランドマーク撮像画像上でのランドマークの第1パターンと第2パターンとの占有比率とに基づいて、移動体の自己位置の候補領域を決定することができる。
第4の発明は、第2または第3の発明である移動体制御装置とともに用いられる3次元形状を有するランドマークである。ランドマークは、ランドマークの表面の一部の領域である第1表面領域は、第1パターンを有し、ランドマークの表面の一部の領域であって、第1表面領域以外の領域である第2表面領域は、第1パターンとは異なる第2パターンを有している。
これにより、第2または第3の発明である移動体制御装置により効率良く移動体の内部状態データの推定処理、環境地図の取得処理を実現するためのランドマークを実現することができる。
第5の発明は、2個以上のランドマークを1組として含むランドマークの組であるランドマークセットが設置されている環境内を移動する移動体を制御するために、ランドマークの情報を用いて表現される環境地図の作成処理と、移動体の自己の内部状態の推定処理とを実行する移動体制御方法をコンピュータで実行させるためのプログラムである。移動体制御方法は、観測取得ステップと、ランドマーク検出ステップと、候補領域取得ステップと、状態推定ステップと、を備える。
観測取得ステップは、観測可能な事象から得られる観測データを取得する。
ランドマーク検出ステップは、観測取得ステップにより取得された観測データに基づいて、(1)移動体とランドマークセットに含まれる2個以上のランドマークのそれぞれとの距離を、ランドマーク距離情報として取得し、(2)移動体とランドマークセットに含まれる2個以上のランドマークのそれぞれとを結ぶ直線と所定の軸とのなす角度をランドマーク角度情報として取得する。
候補領域取得ステップは、ランドマーク検出ステップにより取得されたランドマーク距離情報に基づいて、移動体の自己位置の候補領域を決定し、決定した候補領域についての情報を候補領域情報として取得する。
状態推定ステップは、観測取得ステップにより取得された観測データと、ランドマーク検出ステップにより生成されたランドマーク距離情報およびランドマーク角度情報と、候補領域取得ステップにより取得された候補領域情報とに基づいて、移動体の内部状態を推定することで、自己内部状態推定データを取得するとともに、候補領域情報と、ランドマーク距離情報と、ランドマーク角度情報とに基づいて、環境地図を推定することで、環境地図データを取得する。
これにより、第1の発明と同様の効果を奏する移動体制御方法をコンピュータで実行させるためのプログラムを実現することができる。
第6の発明は、3次元形状を有するランドマークであって、ランドマークの表面の一部の領域である第1表面領域は、第1パターンを有し、ランドマークの表面の一部の領域であって、第1表面領域以外の領域である第2表面領域は、第1パターンとは異なる第2パターンを有しているランドマークが設置されている環境内を移動する移動体を制御するために、ランドマークの情報を用いて表現される環境地図の作成処理と、移動体の自己の内部状態の推定処理とを実行する移動体制御方法をコンピュータで実行させるためのプログラムである。
移動体制御方法は、観測取得ステップと、ランドマーク検出ステップと、候補領域取得ステップと、状態推定ステップと、を備える。
観測取得ステップは、観測可能な事象から得られる観測データを取得する観測取得ステップであって、ランドマークを撮像した画像をランドマーク撮像画像として、観測データに含めて取得する。
ランドマーク検出ステップは、観測取得ステップにより取得された観測データに基づいて、(1)移動体とランドマークとの距離を、ランドマーク距離情報として取得し、(2)移動体とランドマークとを結ぶ直線と所定の軸とのなす角度をランドマーク角度情報として取得する。
候補領域取得ステップは、ランドマーク検出ステップにより取得されたランドマーク距離情報と、ランドマーク撮像画像上でのランドマークの第1パターンと第2パターンとの視認状態とに基づいて、移動体の自己位置の候補領域を決定し、決定した候補領域についての情報を候補領域情報として取得する。
状態推定ステップは、観測取得ステップにより取得された観測データと、ランドマーク検出ステップにより生成されたランドマーク距離情報およびランドマーク角度情報と、候補領域取得ステップにより取得された候補領域情報とに基づいて、移動体の内部状態を推定することで、自己内部状態推定データを取得するとともに、候補領域情報と、ランドマーク距離情報と、ランドマーク角度情報とに基づいて、環境地図を推定することで、環境地図データを取得する。
これにより、第2の発明と同様の効果を奏する移動体制御方法をコンピュータで実行させるためのプログラムを実現することができる。
本発明によれば、ランドマークの情報から、移動体(ロボット)の位置を精度良く推定し、高精度な状態推定処理を高速かつ適切に実行することで、移動体の制御を適切に行う移動体制御装置、プログラム、および、それらに用いられるランドマークを実現することができる。
第1実施形態に係る移動体制御装置1000の概略構成図。 時刻tにおけるロボットRbt1の位置の候補となる点C1、C2と、1組のランドマークLM1AおよびランドマークLM1との位置関係を示す図(上方から見た図)。 時刻t+1におけるロボットRbt1の位置の候補となる点C1t+1、C2 +1と、1組のランドマークLM1AおよびランドマークLM1との位置関係を示す図(上方から見た図)。 第2実施形態に係る移動体制御装置2000の概略構成図。 時刻tにおけるロボットRbt1の位置の候補となる領域AR_C1と、第2実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img1とを模式的に示した図。 時刻tにおけるロボットRbt1の位置の候補となる領域AR_C2と、第2実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img2とを模式的に示した図。 時刻tにおけるロボットRbt1の位置の候補となる領域AR_C3と、第2実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img3とを模式的に示した図。 時刻tにおけるロボットRbt1の位置の候補となる領域AR_C4と、第2実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img4とを模式的に示した図。 は、時刻tにおけるロボットRbt1の位置の候補となる領域AR_C5と、第2実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img5とを模式的に示した図。 ランドマークLM3を模式的に示す図(上方から見た図)。
[第1実施形態]
第1実施形態について、図面を参照しながら、以下、説明する。
<1.1:移動体制御装置の構成>
図1は、第1実施形態に係る移動体制御装置1000の概略構成図である。
移動体制御装置1000は、移動体(例えば、自律走行ロボットRbt1)(不図示)に搭載される装置である。
移動体制御装置1000は、図1に示すように、観測取得部1と、ランドマーク検出部2と、候補領域取得部3と、状態推定部4と、記憶部5とを備える。
なお、説明便宜のため、観測取得部1により取得される観測データD1は、移動体(ロボットRbt1)に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)と、距離センサー付き撮像装置により取得された距離画像(距離データ)であるものとして、以下、説明する。
観測取得部1は、移動体(ロボットRbt1)に搭載された距離センサー付き撮像装置(不図示)により取得されたデータを入力データDinとして入力とする。観測取得部1は、入力データDinから観測データD1、すなわち、画像(画像データ)D1_imgと距離画像(距離データ)D1_dとを取得し、取得した観測データD1をランドマーク検出部2と、状態推定部4の状態更新部41とに出力する。
ランドマーク検出部2は、観測取得部1から出力される観測データD1を入力する。ランドマーク検出部2は、観測データD1(画像データD1_imgおよび距離画像D1_d)から、ロボットRbt1からランドマークまでの距離および方向(角度)に関する情報を取得し、その取得した情報を含む信号を、ランドマーク検出信号LMとして、候補領域取得部3と、状態推定部4の状態更新部41と、環境地図更新部42とに出力する。
候補領域取得部3は、ランドマーク検出部2から出力されるランドマーク検出信号LMを入力する。候補領域取得部3は、ランドマーク検出信号LMに基づいて、ロボットRbt1の現時刻の位置の候補位置を推定するための情報である自己位置候補情報Cdtを取得する。そして、候補領域取得部3は、取得した自己位置候補情報Cdtを状態推定部4の状態更新部41に出力する。
状態推定部4は、図1に示すように、状態更新部41と、環境地図更新部42とを備える。
状態更新部41は、観測取得部1から出力される観測データD1と、ランドマーク検出部2から出力されるランドマーク検出信号LMと、候補領域取得部3から出力される自己位置候補情報Cdtと、移動体(ロボットRbt1)に対する制御入力データUと、記憶部5から読み出した移動体(ロボットRbt1)の時刻t−1の内部状態データXt−1とを入力する。状態更新部41は、観測データD1、ランドマーク検出信号LM、自己位置候補情報Cdt、制御入力データU、および、ロボットRbt1の時刻t−1の内部状態データXt−1基づいて、ロボットRbt1の内部状態を推定し、推定結果を移動体の現時刻tの内部状態データXとして、取得する(内部状態データを更新する)。そして、状態更新部41は、取得した移動体の現時刻tの内部状態データXを、状態推定部4から外部に出力するとともに、記憶部5に出力する。なお、状態推定部4から外部に出力された内部状態データXは、移動体(自動走行ロボットRbt1)を制御するためのデータとして、例えば、移動体(自動走行ロボットRbt1)の全体を制御する機能部(全体制御部)(不図示)等により使用される。
また、状態更新部41は、現時刻tのロボットRbt1の位置に関する内部状態データXを、環境地図更新部42に出力する。
また、状態更新部41は、現時刻tのロボットRbt1に対する制御入力データUを記憶部5に出力する。
環境地図更新部42は、ランドマーク検出部2から出力されるランドマーク検出信号LMと、記憶部5から読み出した時刻t−1の環境地図データmt−1と、状態更新部41から出力される現時刻tのロボットRbt1の内部状態データXとを入力する。環境地図更新部42は、ランドマーク検出信号LMから、検出されたランドマークについての情報を取得し、取得したランドマークの情報と、時刻t−1の環境地図データmt−1と、現時刻tのロボットRbt1の内部状態データXとに基づいて、環境地図データを更新し、現時刻tの環境地図データmを取得する。そして、環境地図更新部2は、更新した環境地図データmを状態推定部4から外部に出力するとともに、記憶部5に出力する。なお、状態推定部4から外部に出力された環境地図データmは、移動体(自動走行ロボットRbt1)を制御するためのデータとして、例えば、移動体(自動走行ロボットRbt1)の全体を制御する機能部(全体制御部)(不図示)等により使用される。
記憶部5は、状態推定部4の状態更新部41から出力される移動体の現時刻tの内部状態データXと、環境地図データmと、状態更新部41から出力される制御入力データUとを入力し、記憶する。記憶部5に記憶されたデータは、状態推定部4により、所定のタイミングで読み出される。なお、記憶部5は、複数の時刻の内部状態データと、環境地図データとを記憶することができる。
なお、現時刻tのデータとは、移動体制御装置1000において、処理対象となっている観測データD1から取得されたデータ(移動体の内部状態データX、および、環境地図データm)のことをいい、現時刻tの1つ前の時刻t−1のデータとは、現時刻tのデータを取得する1つ前に、移動体制御装置1000において取得されたデータ(移動体の内部状態データXt−1、および、環境地図データmt−1)のことをいう。つまり、現時刻tのk個前の時刻t−k(k:自然数)のデータとは、現時刻tのデータを取得するk個前に、移動体制御装置1000において取得されたデータ(移動体の内部状態データXt−k、および、環境地図データmt−k)のことをいう。
また、上記データは、同期タイミングにより取得されるものであってもよいし、非同期タイミングにより取得されるものであってもよい。
<1.2:移動体制御装置の動作>
以上のように構成された移動体制御装置1000の動作について、以下、説明する。
なお、以下では、自律走行する移動体をロボットRbt1とし、ロボットRbt1に搭載された可視光用イメージセンサーと距離センサーとを備える撮像装置(不図示)により撮像された画像(撮像画像)と、距離画像(距離データ)とを入力データDinとし、ランドマークの情報により環境地図が生成される場合について、説明する。
また、移動体制御装置1000により環境地図を生成するために、2つのランドマークを1組のセットとして、ロボットRbt1が移動する環境に設置されているものとする。また、1組のセットを構成するランドマークは、他の組のランドマークと識別できるように、例えば、カラーコードや特定の模様が付されている。これにより、発見されたランドマークがどの組(どのランドマーク・セット)に属するランドマークであるかを特定することができる。
図2は、時刻tにおけるロボットRbt1の位置の候補となる点C1、C2と、1組のランドマークLM1AおよびランドマークLM1Bとの位置関係を示す図(上方から見た図)である。なお、図2において、図2に示すようにx軸、y軸をとるものとし、図2に「0」で示した位置を原点とする。なお、以下では、図2に示すように、説明便宜のため、2次元平面(xy平面)におけるロボットRbt1、ランドマークLM1A、LM1Bの位置関係に基づいて、移動体制御装置の処理について説明するが、これに限定されることはなく、移動体制御装置の処理については、3次元空間におけるロボットRbt1、ランドマークLM1A、LM1Bの位置関係に基づいて、実行されるものであってもよい。
図3は、時刻t+1におけるロボットRbt1の位置の候補となる点C1t+1、C2t+1と、1組のランドマークLM1AおよびランドマークLM1Bとの位置関係を示す図(上方から見た図)である。なお、図3においても、図2と同様に、図3に示すようにx軸、y軸をとるものとし、図3に「0」で示した位置を原点とする。
以下では、時刻tにおいて、図2に点C1で示す位置に存在するロボットRbt1に対して、図3に示す矢印Dir1方向に移動させるための制御データが入力され、時刻t+1において、図3に点C1t+1で示す位置にロボットRbt1が移動する場合を一例として、説明する。
ここで、移動体制御装置1000において使用される、(1)ロボットRbt1の内部状態を示すデータ、および、(2)環境地図に関するデータについて、説明する。
(1.2.1:ロボットRbt1の内部状態データ)
移動体制御装置1000では、ロボットRbt1の内部状態を示すデータXとして、時刻tにおけるロボットRbt1の位置および角度に関する内部状態データXが設定される。
時刻tにおけるロボットRbt1の位置および角度に関する内部状態データXは、3次元の状態ベクトルであり、
=(x0,y0,θ
x0:時刻tにおけるロボットRbt1のx座標値の期待値
y0:時刻tにおけるロボットRbt1のy座標値の期待値
θ:時刻tにおけるロボットRbt1のx軸正方向とのなす角度(ロボットRbt1の向き)の期待値
として表現される。
移動体制御装置1000では、ロボットRbt1の内部状態を推定するために、パーティクルフィルタ(モンテカルロ近似)を用いるものとする。
つまり、パーティクルフィルタ処理では、時刻t−1の状態ベクトルXt−1の事後確率分布を現時刻tの状態ベクトルXの事前確率分布とし、現時刻tの状態ベクトルXの事前確率分布から予測処理により現時刻tの状態ベクトルXの予測確率分布を取得する。そして、取得した予測確率分布と実際の観測データ(現時刻tの観測データ)とに基づいて、尤度を算出する。そして、算出した尤度に比例する割合で、粒子(パーティクル)を復元抽出する。このように処理することで、ロボットRbt1の内部状態を推定することができる。
以上のように、移動体制御装置1000では、ロボットRbt1の内部状態を示すデータXが設定される。
(1.2.2:環境地図に関するデータ)
移動体制御装置1000では、環境地図に関するデータとして、時刻tにおける環境地図データmが設定される。
環境地図データmは、ランドマークの情報により構成される。ロボットRbt1によりランドマークが発見された場合、発見されたランドマークの情報は、環境地図データmに追加される。
時刻tにおける環境地図データmは、移動体制御装置1000において、以下のように、設定される。
=[LM1AP,LM1BP,....,LMkAP,LMkBP
k:自然数
LMkAPは、時刻tにおけるk組目のランドマークセットを構成する一方のランドマークの位置に関する内部状態データであり、LMkBPは、時刻tにおけるk組目のランドマークセットを構成する他方のランドマークの位置に関する内部状態データである。なお、1組のランドマークセットは、2つのランドマークから構成される。
つまり、移動体制御装置1000では、k組のランドマークセットに含まれる2×k個のランドマークについての内部状態データの集合が、時刻tにおける環境地図データmとして、設定される。
図2の場合において、環境地図データmは、1組のランドマークセットを構成する2つのランドマークLM1A、LM1Bの情報により構成される。図2の場合、環境地図データmは、
=[LM1AP,LM1BP
である。
なお、ランドマークLM1A、LM1Bの情報(位置に関する内部状態データ)LM1AP、LM1BPは、例えば、以下のように設定される。
ランドマークLM1A:
LM1AP=(d1A,θ1A
d1A:ロボットRbt1からランドマークLM1Aまでの距離
θ1A:平面視において、ロボットRbt1からランドマークLM1Aへ引いた直線とx軸とのなす角度
ランドマークLM1B:
LM1BP=(d1B,θ1B
d1B:ロボットRbt1からランドマークLM1Bまでの距離
θ1B:平面視において、ロボットRbt1からランドマークLM1Bへ引いた直線とx軸とのなす角度
なお、以下では、説明便宜のため、図2、図3に示すように、移動体制御装置1000を搭載したロボットRbt1が1つのランドマークセットに含まれる2つのランドマークLMA1、LMB1により、ロボットRbt1の内部状態データ、および、環境地図データが取得される場合について、説明する。
(1.2.3:具体的処理)
次に、移動体制御装置1000の具体的処理について、説明する。
(時刻tの処理):
時刻tにおいて、ロボットRbt1、ランドマークLM1A、LM1Bの状態は、図2に示す状態である。なお、移動体制御装置1000に搭載された距離センサー付き撮像装置では、図2に示す領域ARcの撮像画像(画像データ)と、距離画像(距離データ)とが取得される。
観測取得部1は、移動体制御装置1000に搭載された距離センサー付き撮像装置からの入力データDinから観測データD1、すなわち、領域ARcの画像(画像データ)D1_imgと距離画像(距離データ)D1_dとを取得し、取得した観測データD1をランドマーク検出部2と、状態推定部4の状態更新部41とに出力する。
ランドマーク検出部2では、観測データD1(画像データD1_imgおよび距離画像D1_d)から、ロボットRbt1からランドマークLM1A、LM1Bまでの距離および方向(角度)に関する情報が取得される。具体的には、以下のデータLM1AP、LM1BPが、ランドマーク検出部2により取得される。
ランドマークLM1A:
LM1AP=(d1A,θ1A
d1A:ロボットRbt1からランドマークLM1Aまでの距離
θ1A:平面視において、ロボットRbt1からランドマークLM1Aへ引いた直線とx軸とのなす角度
ランドマークLM1B:
LM1BP=(d1B,θ1B
d1B:ロボットRbt1からランドマークLM1Bまでの距離
θ1B:平面視において、ロボットRbt1からランドマークLM1Bへ引いた直線とx軸とのなす角度
上記により取得されたランドマークLM1A、LM1BについてのデータLM1AP、LM1BPを含めた信号が、ランドマーク検出信号LMとして、ランドマーク検出部2から、候補領域取得部3、状態推定部4の状態更新部41、および、環境地図更新部42に出力される。
候補領域取得部3では、ランドマーク検出信号LMに基づいて、ロボットRbt1の現時刻tの位置の候補位置を推定するための情報が取得される。
具体的には、候補領域取得部3は、図2に示すように、(1)点LM1Aを中心とし、半径をロボットRbt1からランドマークLM1Aまでの距離d1Aとする円と、(2)点LM1Bを中心とし、半径をロボットRbt1からランドマークLM1Bまでの距離d1Bとする円との2つの交点C1、C2とを求める。そして、候補領域取得部3は、求めた2つの交点C1、C2に関する情報(交点C1、C2を特定するための情報)を自己位置候補情報Cdtとして、状態推定部4の状態更新部41に出力する。
なお、候補領域取得部3での処理において、誤差やランドマーク位置の推定精度(ランドマークについての内部状態データの精度)を考慮して、候補領域取得部3は、求めた2つの交点C1、C2を含む所定の面積を有する領域に関する情報を、自己位置候補情報Cdtとして、状態推定部4の状態更新部41に出力するようにしてもよい。
状態推定部4の状態更新部41は、観測データD1、ランドマーク検出信号LM、自己位置候補情報Cdt、制御入力データU、および、ロボットRbt1の時刻t−1の内部状態データXt−1基づいて、ロボットRbt1の内部状態を推定し、推定結果をロボットRbt1の現時刻tの内部状態データXとして、取得する(内部状態データを更新する)。
具体的には、自己位置候補情報Cdtから、ロボットRbt1の自己位置の2つの候補点である点C1、C2のうちのどちらか1つの点を、時刻tのロボットRbt1の位置であると推定する。ここでは、状態更新部41により、点C1が、時刻tのロボットRbt1の位置であると推定されたものとして、以下、説明する。
状態更新部41により取得された時刻tのロボットRbt1の内部状態データXは、状態更新部41から記憶部5に出力され、記憶部5で記憶される。
環境地図更新部42は、ランドマーク検出部2から出力されるランドマーク検出信号LMから、検出されたランドマークについての情報を取得し、取得したランドマークの情報と、時刻t−1の環境地図データmt−1と、現時刻tのロボットRbt1の内部状態データXとに基づいて、環境地図データを更新し、現時刻tの環境地図データmを取得する。
具体的には、時刻tにおけるランドマークLM1Aのxy平面上の位置座標を(x1A,y1A)とし、時刻tにおけるランドマークLM1Bのxy平面上の位置座標を(x1B,y1B)とすると、環境地図更新部42は、
x1A=x0+d1A×cos(θ1A
y1A=y0+d1A×sin(θ1A
x1B=x0+d1B×cos(θ1B
y1B=y0+d1B×sin(θ1B
により、時刻tにおけるランドマークLM1A、LM1Bのxy平面上の位置座標(位置情報)を取得する。
そして、環境地図更新部2は、上記により取得したデータにより、環境地図データmを更新する。
また、時刻tにおいて、ロボットRbt1には、制御入力Uが入力される。なお、制御入力Uは、図3に矢印Dir1で示す方向にロボットRbt1を移動させるための制御入力データであるとして、以下、説明する。
(時刻t+1の処理):
時刻t+1において、ロボットRbt1は、時刻tの制御入力データUにより、図3に点C1t+1で示す位置、あるいは、図3に点C2_NGt+1で示す位置に移動していると予測される。
観測取得部1は、移動体制御装置1000に搭載された距離センサー付き撮像装置からの入力データDinから観測データD1、すなわち、領域ARcの画像(画像データ)D1_imgと距離画像(距離データ)D1_dとを取得し、取得した観測データD1をランドマーク検出部2と、状態推定部4の状態更新部41とに出力する。
ランドマーク検出部2では、観測データD1(画像データD1_imgおよび距離画像D1_d)から、ロボットRbt1からランドマークLM1A、LM1Bまでの距離および方向(角度)に関する情報が取得される。具体的には、以下のデータLM1AP、LM1BPが、ランドマーク検出部2により取得される。
ランドマークLM1A:
LM1APt+1=(d1At+1,θ1At+1
d1At+1:ロボットRbt1からランドマークLM1Aまでの距離
θ1At+1:平面視において、ロボットRbt1からランドマークLM1Aへ引いた直線とx軸とのなす角度
ランドマークLM1B:
LM1BPt+1=(d1Bt+1,θ1Bt+1
d1Bt+1:ロボットRbt1からランドマークLM1Bまでの距離
θ1Bt+1:平面視において、ロボットRbt1からランドマークLM1Bへ引いた直線とx軸とのなす角度
上記により取得されたランドマークLM1A、LM1BについてのデータLM1APt+1、LM1BPt+1を含めた信号が、ランドマーク検出信号LMt+1として、ランドマーク検出部2から、候補領域取得部3、状態推定部4の状態更新部41、および、環境地図更新部42に出力される。
候補領域取得部3では、ランドマーク検出信号LMt+1に基づいて、ロボットRbt1の現時刻tの位置の候補位置を推定するための情報が取得される。
具体的には、候補領域取得部3は、図3に示すように、(1)点LM1Aを中心とし、半径をロボットRbt1からランドマークLM1Aまでの距離d1At+1とする円と、(2)点LM1Bを中心とし、半径をロボットRbt1からランドマークLM1Bまでの距離d1Bt+1とする円との2つの交点C1t+1、C2t+1とを求める。そして、候補領域取得部3は、求めた2つの交点C1t+1、C2t+1に関する情報(交点C1t+1、C2t+1を特定するための情報)を自己位置候補情報Cdtt+1として、状態推定部4の状態更新部41に出力する。
なお、候補領域取得部3での処理において、誤差やランドマーク位置の推定精度(ランドマークについての内部状態データの精度)を考慮して、候補領域取得部3は、求めた2つの交点C1t+1、C2t+1を含む所定の面積を有する領域に関する情報を、自己位置候補情報Cdtt+1として、状態推定部4の状態更新部41に出力するようにしてもよい。
状態推定部4の状態更新部41は、観測データD1、ランドマーク検出信号LMt+1、自己位置候補情報Cdtt+1、制御入力データUt+1、および、ロボットRbt1の時刻tの内部状態データX基づいて、ロボットRbt1の内部状態を推定し、推定結果をロボットRbt1の現時刻t+1の内部状態データXt+1として、取得する(内部状態データを更新する)。
具体的には、自己位置候補情報Cdtt+1から、ロボットRbt1の自己位置の2つの候補点である点C1t+1、C2t+1のうちのどちらか1つの点を、時刻tのロボットRbt1の位置であると推定する。
移動体制御装置1000は、(1)時刻tのロボットRbt1の位置の2つの候補点として、点C1、点C2を取得し、(2)時刻t+1のロボットRbt1の位置の2つの候補点として、点C1t+1、点C2t+1を取得している。そして、時刻tのロボットRbt1への制御入力Uが、ロボットRbt1を図3の矢印Dir1への方向への移動をするためのデータである。
状態更新部41は、時刻tのロボットRbt1への制御入力Uと、移動体制御装置1000により推定された時刻tのロボットRbt1の位置の2つの候補点C1、C2とから、時刻tにおいて、ロボットRbt1が、図3の点C1t+1、あるいは、点C2_NGt+1のいずれかに存在すると予測する(予測処理1)。
また、状態更新部41は、時刻t+1の実際の観測より、時刻t+1において、ロボットRbt1とLM1Aとの距離は、d1At+1であり、ロボットRbt1とLM2Aとの距離は、d2At+1であるので、時刻t+1の実際の観測から求められる時刻t+1のロボットRbt1の位置は、候補点C1t+1、あるいは、候補点C2t+1であると予測する(予測処理2)。
つまり、状態更新部41は、上記予測処理1、および、予測処理2の両方において、時刻t+1のロボットRbt1の位置の候補点であると予測された点C1t+1を、時刻t+1のロボットRbt1の位置であると推定する。そして、状態更新部41は、時刻t+1のロボットRbt1の位置についての内部状態データ(座標データ(x0At+1,y0At+1))を、点C1t+1の座標情報により更新する。
以上のようにして、状態更新部41により取得された時刻t+1のロボットRbt1の内部状態データXt+1は、状態更新部41から記憶部5に出力され、記憶部5で記憶される。
環境地図更新部42は、ランドマーク検出部2から出力されるランドマーク検出信号LMから、検出されたランドマークについての情報を取得し、取得したランドマークの情報と、時刻tの環境地図データmと、現時刻t+1のロボットRbt1の内部状態データXt+1とに基づいて、環境地図データを更新し、現時刻t+1の環境地図データmt+1を取得する。
具体的には、時刻t+1におけるランドマークLM1Aのxy平面上の位置座標を(x1At+1,y1At+1)とし、時刻t+1におけるランドマークLM1Bのxy平面上の位置座標を(x1Bt+1,y1Bt+1)とすると、環境地図更新部42は、
x1At+1=x0t+1+d1At+1×cos(θ1At+1
y1At+1=y0t+1+d1At+1×sin(θ1At+1
x1Bt+1=x0t+1+d1Bt+1×cos(θ1Bt+1
y1Bt+1=y0t+1+d1Bt+1×sin(θ1Bt+1
により、時刻tにおけるランドマークLM1A、LM1Bのxy平面上の位置座標(位置情報)を取得する。
そして、環境地図更新部2は、上記により取得したデータにより、環境地図データmt+1を更新する。
(時刻t+2以降の処理):
時刻t+2以降において、上記と同様の処理が繰り返し実行される。
このように、移動体制御装置1000では、2つのランドマークを1組とするランドマークセットを用いて、ロボットRbt1から2つのランドマークまでの距離を測定することで、ロボットRbt1の位置を少ない候補点(上記では2点)に絞り、高速かつ高精度に、ロボットRbt1の位置情報を含む内部状態データを推定することができる。例えば、上記で示した例では、移動体制御装置1000において、時刻t、時刻t+1の2回の推定処理を実行することで、ロボットRbt1の位置を1点に絞り込むことができる。
以上のように処理することで、移動体制御装置1000では、ランドマークの情報から、移動体(ロボットRbt1)の位置を精度良く推定し、高精度な状態推定処理を高速かつ適切に実行することができる。その結果、移動体制御装置1000では、移動体(ロボットRbt1)の制御を適切に行うことができる。
さらに、移動体制御装置1000では、上記の通り、1つのランドマークセットに含まれる2つのランドマークと、ロボットRbt1との距離を取得するだけで、ロボットRbt1の位置を高速かつ高精度に推定することができる。このため、移動体制御装置1000では、多くの内部状態変数を用いた複雑な処理をすることなく、少ない演算量で推定処理を実現することができる。
[第2実施形態]
次に、第2実施形態について、説明する。
第2実施形態において、第1実施形態と同様の部分については、同一符号を付し、詳細な説明を省略する。
図4は、第2実施形態に係る移動体制御装置2000の概略構成図である。
第2実施形態の移動体制御装置2000では、図4に示すように、第1実施形態の移動体制御装置1000において、ランドマーク検出部2をランドマーク検出部2Aに置換し、候補領域取得部3を候補領域取得部3Aに置換した構成を有している。
ランドマーク検出部2Aは、ランドマーク検出部2の機能に加えて、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)からランドマークを含む画像領域を抽出し、抽出した画像を画像D1_imgとして、候補領域取得部3に出力する。また、ランドマーク検出部2Aは、ランドマーク検出信号LMを、候補領域取得部3A、状態更新部41、および、環境地図更新部42に出力する。
候補領域取得部3Aは、図4に示すように、ランドマーク検出部2から出力されるランドマーク検出信号LMおよび画像D1_imgと、ランドマークパターン情報LM_ptnとを入力する。ランドマークパターン情報LM_ptnは、予め設定されている情報であり、ロボットRbt1が移動する環境に設置されているランドマークの表面に付されているパターン(色、模様等)についての情報である。候補領域取得部3は、ランドマークパターン情報LM_ptnと、画像D1_imgとに基づいて、ロボットRbt1の現時刻の位置の候補位置を推定するための情報である自己位置候補情報Cdtを取得する。そして、候補領域取得部3Aは、取得した自己位置候補情報Cdtを状態推定部4の状態更新部41に出力する。
本実施形態において使用されるランドマーク(一例)は、細長い円筒形状であり、ランドマークの表面が、(1)第1パターンを付された第1パターン領域と、(2)第2パターンを付された第2パターン領域と、の2つの領域からなる。そして、ランドマークを設置した状態の平面視において、一方の半円に相当する円周上の表面が第1パターン領域であり、他方の半円に相当する円周上の表面が第2パターン領域であるものとする。
なお、ランドマークの形状および表面のパターンは、上記に限定されることはない。移動体制御装置2000によりランドマークを発見したときに、当該ランドマークの形状、および/または、パターンを認識(特定)することで、移動体(ロボットRbt1)と、ランドマークとの位置関係(ランドマークがどの方向から観測されたかを知る手掛かりになる情報)を取得できるものであれば、ランドマークの形状および/またはパターンは、他のものであってもよい。
≪図5の場合≫
図5は、時刻tにおけるロボットRbt1の位置の候補となる領域AR_C1と、本実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img1とを模式的に示した図である。なお、画像D1_img1は、ランドマーク検出部2Aから候補領域取得部3Aに出力される画像(画像データ)である。
候補領域取得部3Aは、ランドマークLM2のランドマークパターン情報LM_ptnに基づいて、図5に示す画像D1_img1を解析する。具体的には、候補領域取得部3Aは、ランドマークLM2のランドマークパターン情報LM_ptnから、ランドマークLM2の平面視において一方の半円に相当する円周上の表面が第1パターン領域(黒色一色のパターン)(図5において、ptn1(LM2)と表記している領域)であり、ランドマークLM2の平面視において他方の半円に相当する円周上の表面が第2パターン領域(白色一色のパターン)(図5において、ptn2(LM2)と表記している領域)であることを認識する。
そして、候補領域取得部3Aは、画像D1_img1上において、ランドマークの中央付近に、第1パターン領域(黒色一色のパターン)と第2パターン領域(白色一色のパターン)が存在し、かつ、左側に第1パターン領域(黒色一色のパターン)が存在し、右側に第2パターン領域(白色一色のパターン)が存在することを認識する。そして、候補領域取得部3Aは、上記画像解析結果に基づいて、画像D1_img1が撮像された位置の候補領域AR_C1を求める。つまり、図5に示すように、平面視において、ランドマークLM2の位置(中心点)から、ランドマークLM2の第1パターン領域ptn1(LM2)と第2パターン領域ptn2(LM2)との境界点を通る直線のy軸負方向に、距離d2だけ離れた領域が、時刻tのロボットRbt1の位置の候補領域AR_C1であると判定する。なお、候補領域取得部3Aは、ランドマーク検出信号LMから、ランドマークLM2とロボットRbt1との距離d2を取得する。
候補領域取得部3Aは、上記のようにして取得した時刻tのロボットRbt1の位置の候補領域AR_C1についての情報を、自己位置候補情報Cdtに含めて、状態更新部41に出力する。
状態更新部41は、自己位置候補情報Cdtから、時刻tのロボットRbt1の位置が、候補領域AR_C1である可能性が高いと判定し、ロボットRbt1の位置に関する内部状態データを更新する。
≪図6の場合≫
図6は、時刻tにおけるロボットRbt1の位置の候補となる領域AR_C2と、本実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img2とを模式的に示した図である。なお、画像D1_img2は、ランドマーク検出部2Aから候補領域取得部3Aに出力される画像(画像データ)である。
候補領域取得部3Aは、ランドマークLM2のランドマークパターン情報LM_ptnに基づいて、図6に示す画像D1_img1を解析する。具体的には、候補領域取得部3Aは、ランドマークLM2のランドマークパターン情報LM_ptnから、ランドマークLM2の平面視において一方の半円に相当する円周上の表面が第1パターン領域(黒色一色のパターン)(図6において、ptn1(LM2)と表記している領域)であり、ランドマークLM2の平面視において他方の半円に相当する円周上の表面が第2パターン領域(白色一色のパターン)(図6において、ptn2(LM2)と表記している領域)であることを認識する。
そして、候補領域取得部3Aは、画像D1_img2上において、ランドマークの中央付近に、第1パターン領域(黒色一色のパターン)と第2パターン領域(白色一色のパターン)が存在し、かつ、右側に第1パターン領域(黒色一色のパターン)が存在し、左側に第2パターン領域(白色一色のパターン)が存在することを認識する。そして、候補領域取得部3Aは、上記画像解析結果に基づいて、画像D1_img2が撮像された位置の候補領域AR_C2を求める。つまり、図6に示すように、平面視において、ランドマークLM2の位置(中心点)から、ランドマークLM2の第1パターン領域ptn1(LM2)と第2パターン領域ptn2(LM2)との境界点を通る直線のy軸正方向に、距離d2だけ離れた領域が、時刻tのロボットRbt1の位置の候補領域AR_C2であると判定する。なお、候補領域取得部3Aは、ランドマーク検出信号LMから、ランドマークLM2とロボットRbt1との距離d2を取得する。
候補領域取得部3Aは、上記のようにして取得した時刻tのロボットRbt1の位置の候補領域AR_C2についての情報を、自己位置候補情報Cdtに含めて、状態更新部41に出力する。
状態更新部41は、自己位置候補情報Cdtから、時刻tのロボットRbt1の位置が、候補領域AR_C2である可能性が高いと判定し、ロボットRbt1の位置に関する内部状態データを更新する。
≪図7の場合≫
図7は、時刻tにおけるロボットRbt1の位置の候補となる領域AR_C3と、本実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img3とを模式的に示した図である。なお、画像D1_img3は、ランドマーク検出部2Aから候補領域取得部3Aに出力される画像(画像データ)である。
候補領域取得部3Aは、ランドマークLM2のランドマークパターン情報LM_ptnに基づいて、図7に示す画像D1_img3を解析する。具体的には、候補領域取得部3Aは、ランドマークLM2のランドマークパターン情報LM_ptnから、ランドマークLM2の平面視において一方の半円に相当する円周上の表面が第1パターン領域(黒色一色のパターン)(図7において、ptn1(LM2)と表記している領域)であり、ランドマークLM2の平面視において他方の半円に相当する円周上の表面が第2パターン領域(白色一色のパターン)(図7において、ptn2(LM2)と表記している領域)であることを認識する。
そして、候補領域取得部3Aは、画像D1_img3上において、ランドマークLM2の第2パターン領域(白色一色のパターン)のみが存在することを認識する。そして、候補領域取得部3Aは、上記画像解析結果に基づいて、画像D1_img3が撮像された位置の候補領域AR_C3を求める。つまり、図7に示すように、平面視において、ランドマークLM2の位置(中心点)から、ランドマークLM2の第2パターン領域ptn2(LM2)の中央付近の点を通る直線のx軸正方向に、距離d2だけ離れた領域が、時刻tのロボットRbt1の位置の候補領域AR_C3であると判定する。なお、候補領域取得部3Aは、ランドマーク検出信号LMから、ランドマークLM2とロボットRbt1との距離d2を取得する。
候補領域取得部3Aは、上記のようにして取得した時刻tのロボットRbt1の位置の候補領域AR_C3についての情報を、自己位置候補情報Cdtに含めて、状態更新部41に出力する。
状態更新部41は、自己位置候補情報Cdtから、時刻tのロボットRbt1の位置が、候補領域AR_C3である可能性が高いと判定し、ロボットRbt1の位置に関する内部状態データを更新する。
≪図8の場合≫
図8は、時刻tにおけるロボットRbt1の位置の候補となる領域AR_C4と、本実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img4とを模式的に示した図である。なお、画像D1_img4は、ランドマーク検出部2Aから候補領域取得部3Aに出力される画像(画像データ)である。
候補領域取得部3Aは、ランドマークLM2のランドマークパターン情報LM_ptnに基づいて、図8に示す画像D1_img4を解析する。具体的には、候補領域取得部3Aは、ランドマークLM2のランドマークパターン情報LM_ptnから、ランドマークLM2の平面視において一方の半円に相当する円周上の表面が第1パターン領域(黒色一色のパターン)(図8において、ptn1(LM2)と表記している領域)であり、ランドマークLM2の平面視において他方の半円に相当する円周上の表面が第2パターン領域(白色一色のパターン)(図8において、ptn2(LM2)と表記している領域)であることを認識する。
そして、候補領域取得部3Aは、画像D1_img4上において、ランドマークの中央付近に、第1パターン領域(黒色一色のパターン)のみが存在することを認識する。そして、候補領域取得部3Aは、上記画像解析結果に基づいて、画像D1_img4が撮像された位置の候補領域AR_C4を求める。つまり、図8に示すように、平面視において、ランドマークLM2の位置(中心点)から、ランドマークLM2の第2パターン領域ptn2(LM2)の中央付近の点を通る直線のx軸負方向に、距離d2だけ離れた領域が、時刻tのロボットRbt1の位置の候補領域AR_C4であると判定する。なお、候補領域取得部3Aは、ランドマーク検出信号LMから、ランドマークLM2とロボットRbt1との距離d2を取得する。
候補領域取得部3Aは、上記のようにして取得した時刻tのロボットRbt1の位置の候補領域AR_C4についての情報を、自己位置候補情報Cdtに含めて、状態更新部41に出力する。
状態更新部41は、自己位置候補情報Cdtから、時刻tのロボットRbt1の位置が、候補領域AR_C4である可能性が高いと判定し、ロボットRbt1の位置に関する内部状態データを更新する。
≪図9の場合≫
図9は、は、時刻tにおけるロボットRbt1の位置の候補となる領域AR_C5と、本実施形態のランドマークLM2との位置関係を示す図(上方から見た図)と、時刻tにおいて、ロボットRbt1に搭載された距離センサー付き撮像装置(不図示)により撮像された画像(画像データ)D1_img5とを模式的に示した図である。なお、画像D1_img5は、ランドマーク検出部2Aから候補領域取得部3Aに出力される画像(画像データ)である。
候補領域取得部3Aは、ランドマークLM2のランドマークパターン情報LM_ptnに基づいて、図9に示す画像D1_img5を解析する。具体的には、候補領域取得部3Aは、ランドマークLM2のランドマークパターン情報LM_ptnから、ランドマークLM2の平面視において一方の半円に相当する円周上の表面が第1パターン領域(黒色一色のパターン)(図9において、ptn1(LM2)と表記している領域)であり、ランドマークLM2の平面視において他方の半円に相当する円周上の表面が第2パターン領域(白色一色のパターン)(図9において、ptn2(LM2)と表記している領域)であることを認識する。
そして、候補領域取得部3Aは、画像D1_img5上において、ランドマークの左寄りの領域に、第1パターン領域(黒色一色のパターン)と第2パターン領域(白色一色のパターン)が存在し、かつ、左側に第1パターン領域(黒色一色のパターン)が存在し、右側に第2パターン領域(白色一色のパターン)が存在することを認識する。また、候補領域取得部3Aは、画像上の水平方向において、第1パターン領域が占める割合と、第2パターン領域が占める割合とを求める。そして、候補領域取得部3Aは、上記画像解析結果に基づいて、画像D1_img5が撮像された位置の候補領域AR_C5を求める。つまり、図9に示すように、平面視において、ランドマークLM2の位置(中心点)から、距離d2だけ離れた点からランドマークを見たときに、画像D1_img5のランドマークの見え方と一致する点を求める。図9では、平面視において、ランドマークLM2の中心点と、点A1とを通る直線の図9の斜め下方向に距離d2だけ離れた領域が、時刻tのロボットRbt1の位置の候補領域AR_C5であると判定する。なお、候補領域取得部3Aは、ランドマーク検出信号LMから、ランドマークLM2とロボットRbt1との距離d2を取得する。
候補領域取得部3Aは、上記のようにして取得した時刻tのロボットRbt1の位置の候補領域AR_C5についての情報を、自己位置候補情報Cdtに含めて、状態更新部41に出力する。
状態更新部41は、自己位置候補情報Cdtから、時刻tのロボットRbt1の位置が、候補領域AR_C5である可能性が高いと判定し、ロボットRbt1の位置に関する内部状態データを更新する。
以上のように、移動体制御装置2000では、所定のパターンを有するランドマークを撮像した画像を実際の観測データとして取得し、撮像画像上のランドマークの見え方を解析することで、移動体(ロボットRbt1)の位置を精度良く推定し、高精度な状態推定処理を高速かつ適切に実行することができる。その結果、移動体制御装置2000では、移動体(ロボットRbt1)の制御を適切に行うことができる。
さらに、移動体制御装置2000では、上記の通り、ランドマークと、ロボットRbt1との距離を取得するだけで、ロボットRbt1の位置を高速かつ高精度に推定することができる。このため、移動体制御装置2000では、多くの内部状態変数を用いた複雑な処理をすることなく、少ない演算量で推定処理を実現することができる。
なお、本実施形態において、ランドマークは、第1パターン領域(黒色一色のパターン)と第2パターン領域(白色一色のパターン)とを有するものとして、説明したが、これに限定されることはなく、例えば、ランドマークは、図10に示すランドマークLM3のように、平面視において、第1パターン領域(図10のパターンptn1(LM3))、第2パターン領域(図10のパターンptn2(LM3))、および、(図10のパターンptn3(LM3))の3つのパターンを有するものであってもよい。さらに、ランドマークは、4パターン以上のパターンを有するものであってもよい。
[他の実施形態]
上記実施形態では、距離センサー付き撮像装置をロボットRbt1に搭載し、カラーの撮像画像と、距離画像を取得する場合について、説明したが、これに限定されることはない。例えば、3次元計測用のカメラをロボットRbt1に搭載し、3次元計測用のカメラから取得した2つの画像から、距離画像を取得するようにしてもよい。また、レンジファインダー等の距離センサーをロボットRbt1に搭載し、ランドマークまでの距離を測定するようにしてもよい。
さらに、複数のセンサーをロボットRbt1に搭載し、複数のセンサーから取得される信号から、実際の観測データを取得するようにしてもよい。
上記実施形態において、環境地図データを作成するために設定した座標は、図2、図3、および、図5〜図9に示すようにxy座標であったが、これに限定されることはなく、例えば、極座標等を用いてもよい。また、上記実施形態では、絶対座標を前提として説明したが、これに限定されることはなく、上記実施形態の処理を実行するために、例えば、ロボットRbt1の位置を原点とする相対座標を用いてもよい。
また、上記実施形態では、移動体(ロボットRbt1)の位置、ランドマークの位置が、2次元データ(x座標値、y座標値)により特定される場合について説明したが、これに限定あれることはなく、移動体(ロボットRbt1)の位置、ランドマークの位置を、3次元データ(例えば、x座標値、y座標値、z座標値)により特定するようにしてもよい。移動体(ロボットRbt1)の位置、ランドマークの位置を、3次元データにより特定する場合であって、例えば、ランドマークLM1Aが3次元空間内の1点に配置され、ランドマークLM1が3次元空間内の他の1点に配置されている場合、ランドマークLM1Aを中心とする半径d1Aの球と、ランドマークLM1Bを中心とする半径d1Bの球とが交差してできる円上が、時刻tにおけるロボットRbt1の位置の候補となる。
上記実施形態の一部または全部を組み合わせて移動体制御装置を構成するようにしてもよい。
また、上記実施形態で説明した移動体制御装置において、各ブロックは、LSIなどの半導体装置により個別に1チップ化されても良いし、一部又は全部を含むように1チップ化されても良い。
なお、ここでは、LSIとしたが、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
また、集積回路化の手法はLSIに限るものではなく、専用回路又は汎用プロセサで実現してもよい。LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
また、上記各実施形態の各機能ブロックの処理の一部または全部は、プログラムにより実現されるものであってもよい。そして、上記各実施形態の各機能ブロックの処理の一部または全部は、コンピュータにおいて、中央演算装置(CPU)、マイクロプロセッサ、プロセッサ等により行われる。また、それぞれの処理を行うためのプログラムは、ハードディスク、ROMなどの記憶装置に格納されており、ROMにおいて、あるいはRAMに読み出されて実行される。
また、上記実施形態の各処理をハードウェアにより実現してもよいし、ソフトウェア(OS(オペレーティングシステム)、ミドルウェア、あるいは、所定のライブラリとともに実現される場合を含む。)により実現してもよい。さらに、ソフトウェアおよびハードウェアの混在処理により実現しても良い。
また、上記実施形態における処理方法の実行順序は、必ずしも、上記実施形態の記載に制限されるものではなく、発明の要旨を逸脱しない範囲で、実行順序を入れ替えることができるものである。
前述した方法をコンピュータに実行させるコンピュータプログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体は、本発明の範囲に含まれる。ここで、コンピュータ読み取り可能な記録媒体としては、例えば、フレキシブルディスク、ハードディスク、CD−ROM、MO、DVD、DVD−ROM、DVD−RAM、大容量DVD、次世代DVD、半導体メモリを挙げることができる。
上記コンピュータプログラムは、上記記録媒体に記録されたものに限られず、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク等を経由して伝送されるものであってもよい。
なお、本発明の具体的な構成は、前述の実施形態に限られるものではなく、発明の要旨を逸脱しない範囲で種々の変更および修正が可能である。
1000、2000 移動体制御装置
1 観測取得部
2、2A ランドマーク検出部
3、3A 候補領域取得部
4 状態推定部
5 記憶部

Claims (6)

  1. 2個以上のランドマークを1組として含むランドマークの組であるランドマークセットが設置されている環境内を移動する移動体を制御するために、前記ランドマークの情報を用いて表現される環境地図の作成処理と、前記移動体の自己の内部状態の推定処理とを実行する移動体制御装置であって、
    観測可能な事象から得られる観測データを取得する観測取得部と、
    前記観測取得部により取得された前記観測データに基づいて、(1)前記移動体と前記ランドマークセットに含まれる2個以上のランドマークのそれぞれとの距離を、ランドマーク距離情報として取得し、(2)前記移動体と前記ランドマークセットに含まれる2個以上のランドマークのそれぞれとを結ぶ直線と所定の軸とのなす角度をランドマーク角度情報として取得するランドマーク検出部と、
    前記ランドマーク検出部により取得された前記ランドマーク距離情報に基づいて、前記移動体の自己位置の候補領域を決定し、決定した前記候補領域についての情報を候補領域情報として取得する候補領域取得部と、
    前記観測取得部により取得された前記観測データと、前記ランドマーク検出部により生成された前記ランドマーク距離情報および前記ランドマーク角度情報と、前記候補領域取得部により取得された前記候補領域情報とに基づいて、前記移動体の内部状態を推定することで、自己内部状態推定データを取得するとともに、前記候補領域情報と、前記ランドマーク距離情報と、前記ランドマーク角度情報とに基づいて、前記環境地図を推定することで、環境地図データを取得する状態推定部と、
    を備え、
    前記候補領域取得部は、
    前記ランドマーク検出部により時刻tにおいて取得された前記ランドマーク距離情報に基づいて、平面視において、前記2個以上のランドマークを中心とする、時刻tにおける、円の交点を求め、求めた時刻tの前記円の交点を含む領域を、前記移動体の自己位置の時刻tの候補領域に決定し、決定した時刻tの前記候補領域についての情報を時刻tの候補領域情報として取得し、
    時刻tの前記候補領域は、前記2個以上のランドマークのそれぞれを中心とする円であって、それぞれ対応するランドマークと前記移動体との間の時刻tでの距離を半径とする前記円の時刻tの複数の交点の情報を含み、
    さらに、前記候補領域取得部は、時刻t+1において、前記ランドマーク検出部により取得された前記ランドマーク距離情報に基づいて、前記2個以上のランドマークをそれぞれ中心とする円の、時刻tの次の時刻である時刻t+1の交点を求め、
    時刻t+1の交点を含む1個以上の領域を前記移動体の位置の候補領域に決定し、決定した当該候補領域を示す情報を時刻t+1の候補領域情報として取得し、
    時刻t+1の前記候補領域情報は、2個以上の前記ランドマークを中心とする円の時刻t+1の複数の交点についての情報を含んでおり、前記時刻t+1の2個以上の前記ランドマークを中心とする円は、それぞれ、前記移動体と各ランドマークとの間の時刻t+1の距離を半径としており、
    前記状態推定部は、(1)時刻tの前記候補領域情報と、(2)時刻t+1の前記候補領域情報と、(3)時刻tの制御入力データとに基づいて、前記移動体の内部状態および前記環境地図を推定することで、時刻t+1の前記移動体の位置を予測するものであり、
    時刻tの前記制御入力データは、時刻tの前記移動体の位置から前記移動体を所定の方向に移動させるための制御入力データであり、前記時刻t+1は、前記移動体が前記所定の方向に移動が完了したときの時刻である、
    移動体制御装置。
  2. 円柱状のランドマークであって、
    前記ランドマークを設置した状態の平面視において、前記ランドマークの表面の一方の半円に相当する円周上の表面である第1表面領域は、第1パターンを有し、
    前記ランドマークを設置した状態の平面視において、前記ランドマークの表面の他方の半円に相当する円周上の表面である第2表面領域は、前記第1パターンとは異なる第2パターンを有している前記ランドマークが設置されている環境内を移動する移動体を制御するために、前記ランドマークの情報を用いて表現される環境地図の作成処理と、前記移動体の自己の内部状態の推定処理とを実行する移動体制御装置であって、
    観測可能な事象から得られる観測データを取得する観測取得部であって、前記ランドマークを撮像した画像をランドマーク撮像画像として、前記観測データに含めて取得する前記観測取得部と、
    前記観測取得部により取得された前記観測データに基づいて、(1)前記移動体と前記ランドマークとの距離を、ランドマーク距離情報として取得し、(2)前記移動体と前記ランドマークとを結ぶ直線と所定の軸とのなす角度をランドマーク角度情報として取得するランドマーク検出部と、
    前記ランドマーク検出部により取得された前記ランドマーク距離情報と、前記ランドマーク撮像画像上での前記ランドマークの前記第1パターンと前記第2パターンとの視認状態とに基づいて、前記移動体の自己位置の候補領域を決定し、決定した前記候補領域についての情報を候補領域情報として取得する候補領域取得部と、
    前記観測取得部により取得された前記観測データと、前記ランドマーク検出部により生成された前記ランドマーク距離情報および前記ランドマーク角度情報と、前記候補領域取得部により取得された前記候補領域情報とに基づいて、前記移動体の内部状態を推定することで、自己内部状態推定データを取得するとともに、前記候補領域情報と、前記ランドマーク距離情報と、前記ランドマーク角度情報とに基づいて、前記環境地図を推定することで、環境地図データを取得する状態推定部と、
    を備え
    前記ランドマークの前記第1パターンと前記第2パターンとの境界線は、前記ランドマークの上面の中心点と底面の中心点とを結ぶ直線である前記ランドマークの中心軸と平行であり、
    前記候補領域取得部は、
    (1)前記ランドマーク検出部により取得された前記ランドマーク距離情報と、(2)前記ランドマーク撮像画像上の前記中心軸と直交する方向における、前記ランドマークの前記第1パターンと前記第2パターンの占有比率に基づいて、前記移動体の自己位置の候補領域を決定する、
    移動体制御装置。
  3. 前記候補領域取得部は、
    前記ランドマーク距離情報と、前記ランドマーク撮像画像上での前記ランドマークの前記第1パターンと前記第2パターンとの占有比率とに基づいて、前記移動体の自己位置の候補領域を決定し、決定した前記候補領域についての情報を候補領域情報として取得する、
    請求項2に記載の移動体制御装置。
  4. 請求項2または3に記載の移動体制御装置とともに用いられる3次元形状を有するランドマークであって、
    前記ランドマークの表面の一部の領域である第1表面領域は、第1パターンを有し、
    前記ランドマークの表面の一部の領域であって、前記第1表面領域以外の領域である第2表面領域は、前記第1パターンとは異なる第2パターンを有している、
    ランドマーク。
  5. 2個以上のランドマークを1組として含むランドマークの組であるランドマークセットが設置されている環境内を移動する移動体を制御するために、前記ランドマークの情報を用いて表現される環境地図の作成処理と、前記移動体の自己の内部状態の推定処理とを実行する移動体制御方法をコンピュータで実行させるためのプログラムであって、
    観測可能な事象から得られる観測データを取得する観測取得ステップと、
    前記観測取得ステップにより取得された前記観測データに基づいて、(1)前記移動体と前記ランドマークセットに含まれる2個以上のランドマークのそれぞれとの距離を、ランドマーク距離情報として取得し、(2)前記移動体と前記ランドマークセットに含まれる2個以上のランドマークのそれぞれとを結ぶ直線と所定の軸とのなす角度をランドマーク角度情報として取得するランドマーク検出ステップと、
    前記ランドマーク検出ステップにより取得された前記ランドマーク距離情報に基づいて、前記移動体の自己位置の候補領域を決定し、決定した前記候補領域についての情報を候補領域情報として取得する候補領域取得ステップと、
    前記観測取得ステップにより取得された前記観測データと、前記ランドマーク検出ステップにより生成された前記ランドマーク距離情報および前記ランドマーク角度情報と、前記候補領域取得ステップにより取得された前記候補領域情報とに基づいて、前記移動体の内部状態を推定することで、自己内部状態推定データを取得するとともに、前記候補領域情報と、前記ランドマーク距離情報と、前記ランドマーク角度情報とに基づいて、前記環境地図を推定することで、環境地図データを取得する状態推定ステップと、
    を備え
    前記候補領域取得ステップでは、
    前記ランドマーク検出ステップにより時刻tにおいて取得された前記ランドマーク距離情報に基づいて、平面視において、前記2個以上のランドマークを中心とする、時刻tにおける、円の交点を求め、求めた時刻tの前記円の交点を含む領域を、前記移動体の自己位置の時刻tの候補領域に決定し、決定した時刻tの前記候補領域についての情報を時刻tの候補領域情報として取得し、
    時刻tの前記候補領域は、前記2個以上のランドマークのそれぞれを中心とする円であって、それぞれ対応するランドマークと前記移動体との間の時刻tでの距離を半径とする前記円の時刻tの複数の交点の情報を含み、
    さらに、前記候補領域取得ステップでは、時刻t+1において、前記ランドマーク検出ステップにより取得された前記ランドマーク距離情報に基づいて、前記2個以上のランドマークをそれぞれ中心とする円の、時刻tの次の時刻である時刻t+1の交点を求め、
    時刻t+1の交点を含む1個以上の領域を前記移動体の位置の候補領域に決定し、決定した当該候補領域を示す情報を時刻t+1の候補領域情報として取得し、
    時刻t+1の前記候補領域情報は、2個以上の前記ランドマークを中心とする円の時刻t+1の複数の交点についての情報を含んでおり、前記時刻t+1の2個以上の前記ランドマークを中心とする円は、それぞれ、前記移動体と各ランドマークとの間の時刻t+1の距離を半径としており、
    前記状態推定ステップは、(1)時刻tの前記候補領域情報と、(2)時刻t+1の前記候補領域情報と、(3)時刻tの制御入力データとに基づいて、前記移動体の内部状態および前記環境地図を推定することで、時刻t+1の前記移動体の位置を予測するものであり、
    時刻tの前記制御入力データは、時刻tの前記移動体の位置から前記移動体を所定の方向に移動させるための制御入力データであり、前記時刻t+1は、前記移動体が前記所定の方向に移動が完了したときの時刻である、
    移動体制御方法をコンピュータで実行させるためのプログラム。
  6. 円柱状のランドマークであって、
    前記ランドマークを設置した状態の平面視において、前記ランドマークの表面の一方の半円に相当する円周上の表面である第1表面領域は、第1パターンを有し、
    前記ランドマークを設置した状態の平面視において、前記ランドマークの表面の他方の半円に相当する円周上の表面である第2表面領域は、前記第1パターンとは異なる第2パターンを有している前記ランドマークが設置されている環境内を移動する移動体を制御するために、前記ランドマークの情報を用いて表現される環境地図の作成処理と、前記移動体の自己の内部状態の推定処理とを実行する移動体制御方法をコンピュータで実行させるためのプログラムであって、
    観測可能な事象から得られる観測データを取得する観測取得ステップであって、前記ランドマークを撮像した画像をランドマーク撮像画像として、前記観測データに含めて取得する前記観測取得ステップと、
    前記観測取得ステップにより取得された前記観測データに基づいて、(1)前記移動体と前記ランドマークとの距離を、ランドマーク距離情報として取得し、(2)前記移動体と前記ランドマークとを結ぶ直線と所定の軸とのなす角度をランドマーク角度情報として取得するランドマーク検出ステップと、
    前記ランドマーク検出ステップにより取得された前記ランドマーク距離情報と、前記ランドマーク撮像画像上での前記ランドマークの前記第1パターンと前記第2パターンとの視認状態とに基づいて、前記移動体の自己位置の候補領域を決定し、決定した前記候補領域についての情報を候補領域情報として取得する候補領域取得ステップと、
    前記観測取得ステップにより取得された前記観測データと、前記ランドマーク検出ステップにより生成された前記ランドマーク距離情報および前記ランドマーク角度情報と、前記候補領域取得ステップにより取得された前記候補領域情報とに基づいて、前記移動体の内部状態を推定することで、自己内部状態推定データを取得するとともに、前記候補領域情報と、前記ランドマーク距離情報と、前記ランドマーク角度情報とに基づいて、前記環境地図を推定することで、環境地図データを取得する状態推定ステップと、
    を備え
    前記ランドマークの前記第1パターンと前記第2パターンとの境界線は、前記ランドマークの上面の中心点と底面の中心点とを結ぶ直線である前記ランドマークの中心軸と平行であり、
    前記候補領域取得ステップでは、
    (1)前記ランドマーク検出部により取得された前記ランドマーク距離情報と、(2)前記ランドマーク撮像画像上の前記中心軸と直交する方向における、前記ランドマークの前記第1パターンと前記第2パターンの占有比率に基づいて、前記移動体の自己位置の候補領域を決定する、
    移動体制御方法をコンピュータで実行させるためのプログラム。

JP2015059275A 2015-03-23 2015-03-23 移動体制御装置、ランドマーク、および、プログラム Active JP6594008B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015059275A JP6594008B2 (ja) 2015-03-23 2015-03-23 移動体制御装置、ランドマーク、および、プログラム
EP16156694.8A EP3088983B1 (en) 2015-03-23 2016-02-22 Moving object controller and program
EP18189952.7A EP3425470A1 (en) 2015-03-23 2016-02-22 Moving object controller, landmark, and program
US15/076,778 US10248131B2 (en) 2015-03-23 2016-03-22 Moving object controller, landmark, and moving object control method
US16/224,858 US10902610B2 (en) 2015-03-23 2018-12-19 Moving object controller, landmark, and moving object control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015059275A JP6594008B2 (ja) 2015-03-23 2015-03-23 移動体制御装置、ランドマーク、および、プログラム

Publications (3)

Publication Number Publication Date
JP2016177742A JP2016177742A (ja) 2016-10-06
JP2016177742A5 JP2016177742A5 (ja) 2018-04-26
JP6594008B2 true JP6594008B2 (ja) 2019-10-23

Family

ID=55409775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015059275A Active JP6594008B2 (ja) 2015-03-23 2015-03-23 移動体制御装置、ランドマーク、および、プログラム

Country Status (3)

Country Link
US (2) US10248131B2 (ja)
EP (2) EP3425470A1 (ja)
JP (1) JP6594008B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018146803A1 (ja) 2017-02-10 2018-08-16 エスゼット ディージェイアイ テクノロジー カンパニー リミテッド 位置処理装置、飛行体、位置処理システム、飛行システム、位置処理方法、飛行制御方法、プログラム、及び記録媒体
EP3929690A1 (en) * 2020-06-22 2021-12-29 Carnegie Robotics, LLC A method and a system for analyzing a scene, room or venueby determining angles from imaging elements to visible navigation elements
CN113064805A (zh) * 2021-03-29 2021-07-02 联想(北京)有限公司 一种电子设备的控制方法以及控制装置
EP4235337A1 (en) * 2022-02-23 2023-08-30 Volvo Autonomous Solutions AB A method for localizing and/or mapping during operation of a vehicle in an environment

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5491670A (en) * 1993-01-21 1996-02-13 Weber; T. Jerome System and method for sonic positioning
JPH10109290A (ja) * 1996-09-30 1998-04-28 Sony Corp 位置検出装置及び方法並びにロボツト装置
US8896660B2 (en) * 2003-05-30 2014-11-25 Alcatel Lucent Method and apparatus for computing error-bounded position and orientation of panoramic cameras in real-world environments
US7689321B2 (en) * 2004-02-13 2010-03-30 Evolution Robotics, Inc. Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system
US8577538B2 (en) * 2006-07-14 2013-11-05 Irobot Corporation Method and system for controlling a remote vehicle
JP4882575B2 (ja) * 2006-07-27 2012-02-22 トヨタ自動車株式会社 自己位置推定装置
KR100809352B1 (ko) 2006-11-16 2008-03-05 삼성전자주식회사 파티클 필터 기반의 이동 로봇의 자세 추정 방법 및 장치
JP4788722B2 (ja) * 2008-02-26 2011-10-05 トヨタ自動車株式会社 自律移動ロボット、自己位置推定方法、環境地図の生成方法、環境地図の生成装置、及び環境地図のデータ構造
JP5024128B2 (ja) * 2008-03-10 2012-09-12 トヨタ自動車株式会社 移動ロボットの制御システム
TW201022700A (en) * 2008-12-15 2010-06-16 Ind Tech Res Inst Localization and detecting system applying sensors, and method thereof
US20100215216A1 (en) * 2009-02-25 2010-08-26 Samsung Electronics Co., Ltd. Localization system and method
WO2010097921A1 (ja) * 2009-02-26 2010-09-02 三菱電機株式会社 移動体撮像システム及び移動体及び地上局装置及び移動体撮像方法
JP5444952B2 (ja) 2009-08-28 2014-03-19 富士通株式会社 センサフュージョンによる地図の自動生成、およびそのように自動生成された地図を用いて移動体の移動をするための、装置、方法、ならびにプログラム
US8494225B2 (en) * 2010-02-19 2013-07-23 Julian L. Center Navigation method and aparatus
JP5560978B2 (ja) * 2010-07-13 2014-07-30 村田機械株式会社 自律移動体
US9031782B1 (en) * 2012-01-23 2015-05-12 The United States Of America As Represented By The Secretary Of The Navy System to use digital cameras and other sensors in navigation
US9463574B2 (en) * 2012-03-01 2016-10-11 Irobot Corporation Mobile inspection robot
US9233472B2 (en) * 2013-01-18 2016-01-12 Irobot Corporation Mobile robot providing environmental mapping for household environmental control
US9037396B2 (en) * 2013-05-23 2015-05-19 Irobot Corporation Simultaneous localization and mapping for a mobile robot
US10274958B2 (en) * 2015-01-22 2019-04-30 Bae Systems Information And Electronic Systems Integration Inc. Method for vision-aided navigation for unmanned vehicles
EP3519651B1 (en) * 2016-09-30 2021-11-24 ETH Singapore Sec Ltd System for placing objects on a surface and method thereof

Also Published As

Publication number Publication date
EP3088983B1 (en) 2022-06-01
US20190122371A1 (en) 2019-04-25
US20160282875A1 (en) 2016-09-29
JP2016177742A (ja) 2016-10-06
EP3088983A1 (en) 2016-11-02
US10248131B2 (en) 2019-04-02
EP3425470A1 (en) 2019-01-09
US10902610B2 (en) 2021-01-26

Similar Documents

Publication Publication Date Title
US11003939B2 (en) Information processing apparatus, information processing method, and storage medium
JP3735344B2 (ja) キャリブレーション装置、キャリブレーション方法、及びキャリブレーション用プログラム
KR101776621B1 (ko) 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
JP5803367B2 (ja) 自己位置推定装置、自己位置推定方法およびプログラム
KR101776620B1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
Rodríguez Flórez et al. Multi-modal object detection and localization for high integrity driving assistance
US10902610B2 (en) Moving object controller, landmark, and moving object control method
CN111060946A (zh) 用于估计位置的方法和装置
Deng et al. Global optical flow-based estimation of velocity for multicopters using monocular vision in GPS-denied environments
US20090226094A1 (en) Image correcting device and method, and computer program
JP6651295B2 (ja) 移動体制御装置、プログラムおよび集積回路
JP2016177742A5 (ja)
Chen et al. Perception system design for low-cost commercial ground robots: Sensor configurations, calibration, localization and mapping
CN110832280A (zh) 地图处理方法、设备、计算机可读存储介质
Pirahansiah et al. Camera Calibration and Video Stabilization Framework for Robot Localization
Feng Camera Marker Networks for Pose Estimation and Scene Understanding in Construction Automation and Robotics.
Mattoccia et al. A compact, lightweight and energy efficient system for autonomous navigation based on 3D vision
JP6670712B2 (ja) 自己位置推定装置、移動体及び自己位置推定方法
Nilsson et al. Object level fusion of extended dynamic objects
Li et al. Indoor Localization for an Autonomous Model Car: A Marker-Based Multi-Sensor Fusion Framework
Kowalczuk et al. Three-dimensional mapping for data collected using variable stereo baseline
US20230032367A1 (en) Information processing apparatus and information processing method
KR20190070235A (ko) 비전 기반 위치 추정 기법을 이용한 6-자유도 상대 변위 추정 방법 및 그 장치
Arturo et al. Cooperative simultaneous localisation and mapping using independent rao–blackwellised filters
Scheideman Estimating Robot Localization Error Using Visual Marker Pose Estimation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180313

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20180313

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190910

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190924

R150 Certificate of patent or registration of utility model

Ref document number: 6594008

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250