JPWO2019116784A1 - 情報処理装置、移動体、制御システム、情報処理方法及びプログラム - Google Patents

情報処理装置、移動体、制御システム、情報処理方法及びプログラム Download PDF

Info

Publication number
JPWO2019116784A1
JPWO2019116784A1 JP2019558969A JP2019558969A JPWO2019116784A1 JP WO2019116784 A1 JPWO2019116784 A1 JP WO2019116784A1 JP 2019558969 A JP2019558969 A JP 2019558969A JP 2019558969 A JP2019558969 A JP 2019558969A JP WO2019116784 A1 JPWO2019116784 A1 JP WO2019116784A1
Authority
JP
Japan
Prior art keywords
information
control
unit
vehicle
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019558969A
Other languages
English (en)
Other versions
JP7200946B2 (ja
Inventor
江島　公志
公志 江島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019116784A1 publication Critical patent/JPWO2019116784A1/ja
Application granted granted Critical
Publication of JP7200946B2 publication Critical patent/JP7200946B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • G05D1/0282—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal generated in a local control room
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D3/00—Control of position or direction
    • G05D3/12—Control of position or direction using feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

【課題】外乱要素による影響を低減させることができる情報処理装置、移動体、制御システム、情報処理方法及びプログラムを提供すること。【解決手段】情報処理装置は、情報取得部と、制御予測部とを具備する。上記情報取得部は、センシングデバイスを備える第１の移動体の位置・姿勢情報を取得する。上記制御予測部は、上記取得部により取得された上記位置・姿勢情報と地図情報を基に、上記センシングデバイスに係る制御を予測する。【選択図】図１

Description

本技術は、情報処理装置、移動体、制御システム、情報処理方法及びプログラムに関し、特に、移動体の自己位置推定時に適切な画像を得るのに最適な情報処理装置、移動体、システム、情報処理方法及びプログラムに関する。
従来、自律的に行動する移動体の自己位置推定を、例えば、移動体の周囲をカメラによって撮影した画像から複数の特徴点（ランドマークとも呼ばれる。）を抽出し、これらの特徴点の３次元位置を推定することによって行うことが提案されている（例えば特許文献１参照。）。
特開２００５−３１５７４６号公報
画像を用いて自己位置推定をする場合、周囲環境に存在する様々な外乱要素のためにランドマークを見失ったり誤認識したりすることにより、自己位置の推定精度が低下するおそれがある。
以上のような事情に鑑み、本技術の目的は、外乱要素による影響を低減させることができる情報処理装置、移動体、制御システム、情報処理方法及びプログラムを提供することにある。
上記目的を達成するため、本技術に係る情報処理装置は、情報取得部と、制御予測部とを具備する。
上記情報取得部は、センシングデバイスを備える第１の移動体の位置・姿勢情報を取得する。
上記制御予測部は、上記情報取得部により取得された上記位置・姿勢情報と地図情報を基に、上記センシングデバイスに係る制御を予測する。
このような構成によれば、時刻Ｔにおける第１の移動体の位置・姿勢情報と、地図情報を基に、Ｎ秒後のＴ＋Ｎ時の移動体に適したセンシングデバイスに係る制御が予測される。この制御予測情報を基に、移動体では、Ｔ＋Ｎ時にセンシングデバイスに係る制御が行われるので、時間のずれがない制御が可能となる。
上記センシングデバイスは撮像装置を含み、上記情報処理装置は、上記情報取得部により取得された上記位置・姿勢情報を基に上記第１の移動体の位置・姿勢を予測する移動***置・姿勢予測部と、上記地図情報、及び、上記移動***置・姿勢予測部による予測結果を基に、上記撮像装置により撮影される画像上の外乱要素の位置を予測する外乱要素の位置予測部とを更に具備し、上記制御予測部は、上記外乱要素の位置予測部による予測結果を基に、上記撮像装置の制御を予測してもよい。
このような構成によれば、時刻Ｔにおける第１の移動体の位置・姿勢情報と、地図情報を基に、Ｎ秒後のＴ＋Ｎ時に撮像装置により撮影されると予測される画像上の外乱要素の位置が予測される。そして、この外乱要素の位置の予測結果を基に、外乱要素による影響が低減される画像となる撮像装置の制御が予測される。
第１の移動体では、この制御予測情報を基に、Ｔ＋Ｎ時の移動体を撮影する撮像装置の制御条件が設定されることにより、Ｔ＋Ｎ時に、Ｔ＋Ｎ時の移動体の状況に適した、外乱要素による影響が低減された画像を、時間のずれなく得ることができる。
上記制御予測部は、上記撮像装置の露光制御を予測してもよい。
上記制御予測部は、上記撮像装置の測光領域制御を予測してもよい。
上記センシングデバイスは撮像装置を含み、上記第１の移動体は、上記撮像装置からの画像情報から抽出した特徴点を用いて、上記第１の移動体の位置・姿勢を推定する自己位置推定システムを備え、上記情報処理装置は、上記情報取得部により取得された上記位置・姿勢情報を基に上記第１の移動体の位置・姿勢を予測する移動***置・姿勢予測部と、上記地図情報、及び、上記移動***置・姿勢予測部による予測結果を基に、上記撮像装置により撮影される画像上の外乱要素の位置を予測する外乱要素の位置予測部とを更に具備し、上記制御予測部は、上記外乱要素の位置予測部による予測結果を基に、上記自己位置推定システムに係る制御を予測してもよい。
このような構成によれば、時刻Ｔにおける第１の移動体の位置・姿勢情報と、地図情報を基に、Ｎ秒後のＴ＋Ｎ時に撮像装置により撮影されると予測される画像上の外乱要素の位置が予測される。そして、この外乱要素の位置の予測結果を基に、外乱要素による影響が低減されるように、自己位置推定システムに係る制御が予測される。
第１の移動体では、この制御予測情報を基に、Ｔ＋Ｎ時の自己位置推定システムに係る制御が設定されることにより、Ｔ＋Ｎ時に、Ｔ＋Ｎ時の移動体の状況に適した、外乱要素による影響が低減された画像情報等を用いて自己位置・姿勢の推定処理を行うことが可能となり、推定精度が向上する。
上記制御予測部は、上記外乱要素の位置予測部による予測結果を基に、上記自己位置推定システムでの上記画像上の上記特徴点の抽出をしない領域を予測してもよい。
上記センシングデバイスは、上記撮像装置と、上記第１の移動体の状態を検出する移動体状態検出センサを含み、上記第１の移動体は、上記画像情報と、上記移動体状態検出センサからの移動体状態情報の少なくとも一方を用いて、上記第１の移動体の位置・姿勢を推定する上記位置推定システムを備え、上記制御予測部は、上記外乱要素の位置予測部による予測結果を基に、上記自己位置推定システムでの上記第１の移動体の位置・姿勢の推定時に用いる上記画像情報と上記移動体状態情報それぞれの重みづけを予測してもよい。
上記センシングデバイスは複数の撮像装置を含み、上記制御予測部は、上記外乱要素の位置予測部による予測結果を基に、上記自己位置推定システムでの上記第１の移動体の位置・姿勢の推定時に用いる複数の上記撮像装置からの各画像情報の重みづけを予測してもよい。
上記制御予測部は、上記外乱要素の位置予測部による予測結果を基に上記撮像装置の制御を予測してもよい。
上記外乱要素は太陽であり、上記外乱要素の位置予測部は、上記地図情報、上記移動***置・姿勢予測部による予測結果、及び、太陽位置情報を基に、上記撮像装置により撮影される画像における太陽位置を予測してもよい。
上記外乱要素はトンネルであり、上記外乱要素の位置予測部は、上記地図情報、及び、上記移動***置・姿勢予測部による予測結果を基に、上記撮像装置により撮影される画像におけるトンネル位置を予測してもよい。
上記外乱要素は構造物の影であり、上記外乱要素の位置予測部は、上記地図情報、上記移動***置・姿勢予測部による予測結果、及び、太陽位置情報を基に、上記撮像装置により撮影される画像における構造物による影の位置を予測してもよい。
上記情報取得部は、センシングデバイスを備え、上記第１の移動体とは異なる第２の移動体の位置・姿勢情報を取得し、上記制御予測部は、上記情報取得部により取得された上記第１の移動体の位置・姿勢情報と地図情報を基に予測した上記第１の移動体のセンシングデバイスに係る制御予測を、上記第２の移動体のセンシングデバイスに係る制御予測としてもよい。
上記目的を達成するため、本技術に係る移動体は、センシングデバイスと、取得部とを具備する。
上記取得部は、自己の位置・姿勢情報を取得する。
上記センシングデバイスは、上記取得部により取得された上記位置・姿勢情報と地図情報を基に予測された上記センシングデイバスに係る制御予測情報により制御される。
上記目的を達成するため、本技術に係る制御システムは、移動体と、取得部と、制御予測部と、制御部とを具備する。
上記移動体は、センシングデバイスを備える。
上記取得部は、上記移動体の位置・姿勢情報を取得する
上記制御予測部は、上記取得部により取得された上記位置・姿勢情報と地図情報を基に、上記センシングデバイスに係る制御を予測する。
上記制御部は、上記制御予測部による制御予測情報を基に、上記センシングデバイスに係る制御を行う。
上記目的を達成するため、本技術に係る情報処理方法は、センシングデバイスを備える移動体の位置・姿勢情報を取得し、上記位置・姿勢情報と地図情報に基づいて、上記センシングデバイスに係る制御を予測する。
上記目的を達成するため、本技術に係るプログラムは、センシングデバイスを備える移動体の位置・姿勢情報を取得するステップと、上記位置・姿勢情報と地図情報に基づいて、上記センシングデバイスに係る制御を予測するステップとを情報処理装置に実行させる。
以上のように、本技術によれば、外乱要素による影響を低減させることができる情報処理装置、移動体、システム、情報処理方法及びプログラムを提供することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第１の実施形態に係るセンシングデバイス制御システムを表す概略図である。 上記センシングデバイス制御システムにおける車両制御システムの概略的な機能の構成例を示すブロック図である。 上記自己位置推定システムにおける自己位置推定部の概略的な機能の構成例を示すブロック図である。 車両に備えられるカメラの概略的な機能の構成例を示すブロック図である。 上記センシングデバイス制御システムにおけるサーバ装置の概略的な機能の構成例を示すブロック図である。 上記情報処理装置における制御信号生成処理を説明するためのフローチャートである。 本技術の第２の実施形態に係るセンシングデバイス制御システムにおけるサーバ装置の概略的な機能の構成例を示すブロック図である。 第２の実施形態の情報処理装置における制御信号生成処理を説明するためのフローチャートである。 本技術の第３の実施形態に係るセンシングデバイス制御システムにおける情報処理装置の概略的な機能の構成例を示すブロック図である。 第３の実施形態の情報処理装置における制御信号生成処理を説明するためのフローチャートである。
以下、本技術を実施するための形態について説明する。
本技術では、移動体の時刻Ｔでの自己位置・姿勢情報と地図情報とを基に、Ｎ秒後のＴ＋Ｎ（Ｎ＞０）時での移動体の位置が予測され、Ｔ＋Ｎ時における移動体に備えられたセンシングデバイスに係る制御が予測される。
以下の第１〜第３の各実施形態では、第１の移動体として自動車等の車両を、センシングデバイスとしてカメラ（撮像装置）、車両状態検出センサを例にあげて説明する。
尚、ここでは、移動体として自動車を用いて説明するが、これに限定されない。例えば移動体として、自転車、自動二輪車、ドローンを含む無人航空機（UAV:Unmanned Aerial Vehicle）、種々のロボット等がある。
車両には、カメラ、車両状態検出センサ、車両の自動運転走行支援に用いられる自己位置推定システムが備えられている。
以下の第１、第３の実施形態では、車両の時刻Ｔでの自己位置・姿勢情報と地図情報とを基に、Ｎ秒後のＴ＋Ｎ時での車両の位置が予測される。
次に、この移動体の位置予測情報と、地図情報と、日時・天候情報を基に、Ｔ＋Ｎ時に撮影されると予測される画像上における外乱要素の位置が予測される。
次に、この外乱要素の位置の予測結果を基に、カメラに係る制御、自己位置推定システムに係る制御が予測される。外乱要素として、第１の実施形態では太陽を、第３の実施形態ではビル等の構造物の影を例にあげて説明する。
また、第２の実施形態では、移動体の時刻Ｔでの自己位置情報と地図情報とを基に、Ｎ秒後のＴ＋Ｎ時での車両の位置・姿勢が予測される。
次に、この移動体の位置予測情報と、地図情報とを基に、Ｔ＋Ｎ時に撮影されると予測される画像上における外乱要素としてのトンネルの位置が予測される。
次に、この外乱要素の位置の予測結果を基に、カメラに係る制御、自己位置推定システムに係る制御が予測される。
以下、各実施形態について詳細に説明する。
＜第１の実施形態＞
［制御システムの構成例］
図１は、本技術が適用され得るセンシングデバイスの制御システム１の概略的な機能の構成例を示すブロック図である。ここでは、主要な構成についてのみ記載し、詳細な構成については図２以降の図面を用いて後述する。
制御システム１は、移動体である車両１０に搭載される車両制御システム１００と、情報処理装置としてのサーバ装置５００と、を含む。車両制御システム１００とサーバ装置５００とは例えば無線通信ネットワークを介して通信可能に構成される。
尚、本実施形態では、情報処理装置としてのサーバ装置５００を車両１０の外部に設ける例をあげるが、車両１０に搭載してもよい。
車両制御システム１００は、自己位置推定システム２００とデータ取得部１０２とを含む。
データ取得部１０２は、センシングデバイスとしてのカメラ３００と車両状態検出センサ４００を含む。カメラ３００は車両１０の外部を撮影するものであり、車両１０に複数搭載される。
自己位置推定システム２００では、自動運転の実行に必要な車両１０の自己位置・姿勢が推定される。自己位置推定システム２００では、カメラ３００により撮影された画像情報や車両状態検出センサ４００からの車両状態検出情報といったセンシングデバイスからの情報を用いて車両１０の自己位置・姿勢が推定される。
自己位置推定システム２００では、カメラ３００からの画像情報を基に車両１０の自己位置・姿勢が推定される場合、画像上の特徴点（ランドマーク）の追跡結果を基に位置推定が行われる。
サーバ装置５００は、情報取得部５０２と、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３と、画像上の外乱要素の位置予測部５０４と、制御予測部５０５を含む。
車両１０のデータ取得部１０２では、カメラ３００及び車両状態検出センサ４００で、車両１０の時刻Ｔにおける車両１０に関する情報が取得される。時刻Ｔにおける車両１０に関する情報は、サーバ装置５００に送信される。
サーバ装置５００の情報取得部５０２は、車両制御システム１００から送信された、時刻Ｔにおける車両１０に関する情報を取得する。
移動***置・姿勢予測部としてのＴ＋Ｎ時の車両位置・姿勢予測部５０３は、情報取得部５０２で取得した時刻Ｔにおける車両１０に関する情報を基に、Ｎ秒後のＴ＋Ｎ時における車両１０の自己位置・姿勢を予測する。
本実施形態では、画像上の外乱要素の位置予測部５０４は、画像上の外乱要素としての太陽の位置を予測する。
画像上の外乱要素（太陽）の位置予測部（以下、画像上の太陽の位置予測部と称す。）５０４は、予測されたＴ＋Ｎ時の車両１０の自己位置・姿勢情報と、地図情報と、日時・天候情報とを基に、Ｔ＋Ｎ時に撮影される画像上における太陽位置を予測する。
制御予測部５０５は、Ｔ＋Ｎ時に撮影される画像上における太陽位置の予測結果を基に、Ｔ＋Ｎ時におけるカメラ３００に係る制御、自己位置推定システム２００に係る制御を予測する。この制御予測情報は、車両１０に送信される。車両１０では、この制御予測情報を基に、Ｔ＋Ｎ時に、カメラ３００に係る制御、自己位置推定システム２００に係る制御が行われる。
カメラ３００に係る制御としては、露光制御、測光領域制御等がある。
自己位置推定システム２００に係る制御は、車両１０の自己位置・姿勢を推定する際のセンシングデバイスに係る制御等がある。
具体的には、制御予測部５０５は、自己位置推定システム２００で、カメラ３００からの画像情報と車両状態検出センサ４００からの検出情報とをそれぞれどのような重みづけで用いて、車両の位置・姿勢を推定するかを予測する。
また、制御予測部５０５は、自己位置推定システム２００で、カメラ３００により撮影された画像情報を基に自己位置・姿勢が推定される場合、自己位置・姿勢推定のための特徴点抽出に用いない特徴点抽出領域のマスク領域をどのように設定するかを予測する。
また、制御予測部５０５は、自己位置推定システム２００で、カメラ３００により撮影された画像情報を基に自己位置が推定される場合、自己位置・姿勢推定時に、複数のカメラ３００からの画像情報をそれぞれどのような重みづけで用いるかを予測する。る。
以上のように、サーバ装置５００から送信された、車両１０に搭載されるカメラ３００や車両状態検出センサ４００といったセンシングデバイスに係る制御予測情報を基に、車両１０のセンシングデバイスに関する動作が制御される。
これにより、太陽という外乱要素による影響が低減された、ロバスト性の高い制御システムが得られる。
以下、各構成について詳細に説明する。
［車両制御システムの構成例］
図２は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。
なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
［自己位置推定システムの構成例］
図３は、本技術を適用した自己位置推定システム２００の構成例を示すブロック図である。自己位置推定システム２００は、車両制御システム１００のうち、主に自己位置推定部１３２、車外情報検出部１４１、及び、状況認識部１５３の処理、並びに、自己位置推定処理に用いられる地図の生成処理に関連する。
自己位置推定システム２００は、車両１０の自己位・姿勢を推定するシステムである。
自己位置推定システム２００は、制御部２０１と、画像取得部２０２と、車両状態情報取得部２０３と、特徴点抽出部２０４と、特徴点追跡部２０５と、地図生成部２０６と、推定部２０７と、地図情報記憶部２０８と、を備える。
自己位置推定システム２００では、車両制御システム１００の制御処理の実行に必要な自己（車両１０）の位置が推定される。自己位置推定システム２００では、カメラ３００により撮影された画像情報や車両状態検出センサ４００からの車両状態情報等が用いられて、車両１０の位置が推定される。
制御部２０１は、サーバ装置５００からの制御予測情報に基づいて、画像情報と車両状態検出情報とをそれぞれどのような重みづけで用いて車両１０の自己位置・姿勢を推定するかの、推定時における重みづけ情報を推定部２０７に出力する。
また、制御部２０１は、制御予測情報に基づいて、複数のカメラ３００から取得される画像情報をそれぞれどのような重みづけで用いて車両１０の自己位置・姿勢の推定をするかを制御する。制御部２０１は、各カメラの重みづけ情報を画像取得部２０２に出力する。
また、制御部２０１は、制御予測情報に基づいて、車両１０の自己位置・姿勢推定のための特徴点抽出に用いない特徴抽出領域をマスクする制御を行う。制御部２０１は、特徴点抽出領域マスク情報を特徴点抽出部２０４に出力する。
画像取得部２０２は、車両１０に搭載されたセンシングデバイスとしてのカメラ３００により撮影された画像を時系列に取得する。本実施形態においては、カメラ３００は、複数台設置され、視差による距離画像が取得可能である。尚、カメラを１台設置し、時系列に撮影された複数フレームの画像から距離画像を取得してもよい。カメラは、上述のデータ取得部１０２に含まれる。
画像取得部２０２は、制御部２０１からの各カメラの重みづけ情報とともに、選択画像の時系列画像を特徴点抽出部２０４に出力する。
カメラ３００の重みづけには、例えば、複数のカメラ３００のうち自己位置・姿勢推定時に使用しないカメラ３００の選択も含まれる。この場合、使用しないカメラ３００による画像情報の重みづけはゼロとなる。
車両状態情報取得部２０３は、車両１０に搭載された車両状態検出センサ４００の車両状態検出結果を時系列に取得する。
車両状態検出センサ４００には、車両１０の現在位置を検出するＧＮＳＳ、車両１０の状態等を検出する、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等がある。
特徴点抽出部２０４は、制御部２０１からの特徴点抽出領域マスク情報を基に、画像取得部２０２から入力された時系列画像の特徴点抽出領域を必要に応じマスクする。
例えば、画像上の太陽位置の領域が特徴点抽出領域マスク領域となり、この領域内に位置する特徴点は抽出されない。
特徴点抽出部２０４は、画像の特徴点抽出領域マスク領域以外の領域から静止物体の特徴点を抽出して、特徴点追跡部２０５に出力する。
特徴点抽出部２０４は、具体的には、連続して入力される時系列画像から静止物体（ランドマーク）を抽出し、抽出した静止物体の特徴点を抽出する。
特徴点追跡部２０５は、順に入力された時系列画像で、特徴点抽出部２０４で抽出された特徴点を追跡して、その情報を地図生成部２０６に受け渡す。
地図生成部２０６は、静止物体（特徴点）の世界座標系における物体の３次元座標（３次元点）を含んだ、自己位置推定に適用可能な地図情報を生成する。
地図生成部２０６は、予め設定された間隔で初期の地図を更新する。つまり地図生成部２０６は、予め設定された間隔で地図情報記憶部２０８に記憶されている物体の地図情報（世界座標系における物体の座標）を初期化して地図情報を更新する。
推定部２０７は、制御部２０１から出力された、推定時における重みづけ情報を基に、地図生成部２０６で生成された地図情報と、車両状態情報取得部２０３から出力された車両状態検出情報とをそれぞれ重みづけて、これらの情報から車両１０の自己位置・姿勢を推定する。
推定部２０７は、世界座標系における物体の座標（特徴点の３次元座標）に基づいて、世界座標系からカメラを基準とした座標系を示すカメラ座標系への変換行列を推定し、該変換行列に基づいて車両１０の静止物体（特徴点）に対する位置及び姿勢を示す回転角を推定する。
例えば、画像情報が１００で車両状態検出情報が０という重みづけ情報であれば、推定部２０７は、画像情報を基に地図生成部２０６で生成した地図情報のみに基づいて車両１０の自己位置・姿勢を推定する。
一方、画像情報が０で車両状態検出情報が１００という重みづけ情報であれば、推定部２０７は、車両状態検出情報のみに基づいて車両１０の自己位置・姿勢を推定する。
例えば、画像に太陽が映り込んで太陽光により自己位置・姿勢推定に適した画像がカメラ３００により取得しにくい場合、車両状態検出情報を画像情報より重みをつけて用い、車両１０の自己位置・推定が行われる。
地図情報記憶部２０８は、物体の世界座標系における座標を含む地図情報を記憶する。
［カメラの構成例］
図４は、撮像装置としてのカメラ３００の一構成例を示すブロック部である。
カメラ３００は、車両１０の周辺の画像を所定のフレームレートで撮影し、車両１０の周辺の画像情報を検出する画像センサである。
車両１０には、例えば、車両１０の前方の視野を撮影する車体前方の左右それぞれに設けられたフロントカメラが２台と、後方の視野を撮影する車体後方の左右それぞれに設けられたリアカメラ２台が搭載される。
カメラ３００としては、例えばＣＣＤやＣＭＯＳ等のイメージセンサを備えたＲＧＢカメラ等が用いられる。これに限定されず、赤外光や偏光光を検出する画像センサ等が適宜用いられてもよい。赤外光や偏光光を用いることで、例えば天候が変化した場合でも見え方が大きく変わらない画像情報等を生成することが可能である。
本実施形態におけるカメラ３００では、サーバ装置５００からの制御予測情報を基に、露光制御、測光領域制御等が行われて、画像情報が生成される。
カメラ３００は、カメラ制御部３０１と、レンズ部駆動回路３０２と、レンズ部３０３と、メカニカルシャッタ（以下、メカシャッタと略記し、図においても同様に略記する。）駆動回路３０４と、メカシャッタ３０５と、イメージセンサ駆動回路３０６と、イメージセンサ３０７と、ＡＧＣ（Automatic Gain Control）回路３０８と、信号処理部３０９と、測光部３１０と、を具備する。
カメラ制御部３０１は、露光制御部３０１１と、測光領域制御部３０１２とを有する。
露光制御部３０１１は、サーバ装置５００から供給された制御予測情報、測光部３１０での測光結果を基に、露光量を制御する制御信号を生成する。
露光制御部３０１１は、サーバ装置５００から供給された制御予測情報を基に、レンズ部駆動回路３０２を介してレンズ部３０３のレンズ位置、絞りを制御し、メカシャッタ駆動回路３０４を介してメカシャッタ３０５の駆動を制御し、イメージセンサ駆動回路３０６を介してイメージセンサ３０７の電気的動作を制御するとともに、ＡＧＣ回路３０８の動作タイミングを制御する制御信号を生成する。これにより、露光量が制御される。
測光領域制御部３０１２は、サーバ装置５００から供給された制御予測情報を基に、測光部３１０に対し、測光領域を規定する制御信号を供給する。
例えば、サーバ装置５００によって太陽が映り込むと予測された画像上の領域については測光の対象とせず（測光領域のマスク処理）、他の領域を測光の対象とする、という制御予測情報に従って、測光部３１０の領域を規定する制御信号を生成する。
レンズ部駆動回路３０２は、モータ等により構成され、カメラ制御部３０１により供給された制御信号に基づいて、レンズ部３０３のレンズ位置を移動させて焦点位置を調整したり、絞りを調整する。
メカシャッタ駆動回路３０４は、カメラ制御部３０１により供給された制御信号に基づいて、メカシャッタ３０５のシャッタスピードやシャッタタイミングを制御する。
メカシャッタ３０５は、イメージセンサ３０７の全面に配置されており、メカシャッタ駆動回路３０４の制御に従って開閉し、レンズ部３０３を通過してきた光を通過させたり、遮断したりする。
尚、本実施形態では、メカシャッタを用いる例をあげたが、電子シャッタを用いてもよい。
イメージセンサ駆動回路３０６は、カメラ制御部３０１により供給されたタイミング信号等に基づいてイメージセンサ３０７を駆動させる信号を生成し、画像の取り込みタイミング等を調整する。
イメージセンサ３０７は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサやＣＣＤ（Charged Coupled Device）イメージセンサ等の個体撮像素子から構成される。
イメージセンサ３０７は、レンズ部３０３を介して入射する被写体からの光を受光して光電変換を行い、光の受光量に応じたアナログの画像信号をＡＧＣ回路３０８及び測光部３１０に出力する。
ＡＧＣ回路３０８は、露光制御部３０１１からの制御信号に基づき、画像信号のゲインを調整し、そのゲインが調整された画像信号を信号処理部３０９に出力する。
信号処理部３０９は、ＡＧＣ回路３０８からのアナログの画像信号をＡ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換する。また、信号処理部３０９は、Ａ／Ｄ変換により得られるデジタル信号で示される画像データに対し、ノイズ除去処理等を適用し、その結果得られる画像データ（画像情報）を、自己位置推定システム２００の画像取得部２０２に出力する。
測光部３１０は、イメージセンサ３０７からの画像信号に基づく測光を行う。測光に際し、測光部３１０は、カメラ制御部３０１から供給された制御信号を基に、規定された測光領域で測光を行う。測光部３１０は、測光結果をカメラ制御部３０１に出力する。
［サーバ装置の構成例］
図５は、サーバ装置５００の構成例を示すブロック図である。
図５に示すように、サーバ装置５００は、通信部５０１と、情報取得部５０２と、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３と、画像上の外乱要素（太陽）の位置予測部５０４と、制御予測部５０５とを含む。
通信部５０１は、基地局又はアクセスポイントを介して、車両１０や外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。
通信部５０１は、車両１０から各種情報を受信し、情報取得部５０２に出力する。通信部５０１は、制御予測部５０５から受信した制御予測情報を車両１０に送信する。
情報取得部５０２は、通信部５０１を介して、車両１０から、カメラ３００が持つパラメータ情報、時刻Ｔの時点での車両１０の位置・姿勢情報、車両の状態情報を取得する。
カメラ３００が持つパラメータ情報は、画像上の太陽の位置予測部５０４に出力される。
車両１０の時刻Ｔの時点での車両１０の位置・姿勢情報、車両状態情報は、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３に出力される。
車両１０の位置情報は、車両のデータ取得部１０２で検出されたＧＮＳＳ信号の情報等である。
車両状態情報は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等の情報である。
カメラ３００が持つパラメータには、内部パラメータと外部パラメータがある。
カメラ３００の内部パラメータは、カメラレンズの焦点距離やレンズの歪特性、レンズ取付け位置誤差等の車両のステータスに依存しないで定まるカメラの固有情報である。
カメラ３００の外部パラメータとは、車両１０の自己位置・姿勢を車両１０の中心としたときの各カメラ３００の取付け位置、向きの情報、すなわち車両１０の中心を基準とするカメラ３００の位置・姿勢情報である。
Ｔ＋Ｎ時の車両位置・姿勢予測部５０３は、情報取得部５０２から出力された、車両１０の時刻Ｔの時点での位置・姿勢情報及び車両状態情報を基に、Ｔ＋Ｎ時の車両位置・姿勢を予測する。Ｔ＋Ｎ時の車両位置・姿勢予測部５０３は、予測結果を画像上の太陽の位置予測部５０４に出力する。
画像上の太陽の位置予測部５０４は、カメラ３００のパラメータ情報と、Ｔ＋Ｎ時の車両位置・姿勢情報と、日時・天候情報５０６と、地図情報５０７とを基に、Ｔ＋Ｎ時にカメラ３００によって撮影されると予測される画像上の太陽の位置を予測する。
詳細には、まず、画像上の太陽の位置予測部５０４は、日時情報、予測されたＴ＋Ｎ時の車両１０の位置・姿勢情報、地図情報５０７とからＴ＋Ｎ時の車両１０が存在すると予測される位置における太陽の高度（仰角）と方位角とを算出する。
次に、Ｔ＋Ｎ時の車両１０が存在すると予測される位置での天候情報から、太陽がでているか否かを判定する。
例えば、天候情報により晴天で太陽が出ていると判定すると、Ｔ＋Ｎ時における太陽の高度と方位角の情報、車両１０の位置・姿勢情報、カメラ３００のパラメータ情報を基に、Ｔ＋Ｎ時にカメラ３００により撮影されると予測される画像上での太陽の位置を予測する。
一方、天候情報により雨で太陽が出ていないと判定すると、Ｔ＋Ｎ時にカメラ３００により撮影される画像上に太陽は映し出されないとの予測をする。
ここで、日時・天候情報５０６は、例えば、サーバ装置５００が、外部ネットワーク上に存在するアプリケーションサーバと通信することにより、取得することができる。
地図情報５０７は、予めサーバ装置５００に格納され、予め設定された間隔で随時更新される。
画像上の太陽の位置予測部５０４で予測された画像上での太陽位置予測結果は、制御予測部５０５に出力される。
制御予測部５０５は、入力された画像上での太陽位置予測結果を基に、センシングデバイスに係る制御を予測する。制御予測部５０５で予測された制御予測情報は通信部５０１を介して車両１０に送信される。
センシングデバイスに係る制御には、カメラ３００に係る制御と、自己位置推定システム２００におけるセンシングデバイスに係る制御とがある。
カメラ３００に係る制御には、露光制御、測光領域制御がある。
まず、カメラ３００に係る制御である露光制御について説明する。
一般的に、カメラ３００では、カメラ３００に搭載されているイメージセンサが被写体からの光を受光し、光の受光量に応じた画像信号が測光部に供給される。測光部では、画像信号に基づく測光が行われ、測光値として得られる輝度値に基づき適正な露出値が算出される。この露出値を基に露光制御が行われる。
時刻Ｔの時点で算出された露出値を基に露光制御が行われると、時刻Ｔの時点で適切な露光条件で撮影される画像は、時刻Ｔの時点からＭ（Ｍ＞０）秒経過したＴ＋Ｍ時に得られることになる。つまり、時刻Ｔの時点で適切な露光条件で、時刻Ｔの時点ぴったりの画像を得ることができず、時間ずれが生じてしまうことになる。
これに対し、車両１０のカメラ３００では、サーバ装置５００により予測されたＴ＋Ｎ時のカメラ３００の露光制御の制御予測情報を基に、Ｔ＋Ｎ時のカメラ３００の露光条件が予め設定されて撮影されることが可能となるので、時間ずれがなく、Ｔ＋Ｎ時の状況に適切な露光条件でＴ＋Ｎ時に撮影することができる。
露光制御としては、例えば、シャッタスピード、画像信号のゲインの調整等の制御がある。例えば、画像上に太陽が映り込む場合、太陽により画像が明るくなりすぎるため、制御予測部５０５は、シャッタスピードを上げる、ゲインを下げるといった露光制御を予測する。
この制御予測情報は、車両１０に送信され、この情報を基に、カメラ３００の露光制御が行われ、これが、Ｔ＋Ｎ時の撮影における露光条件となる。
ここで、自己位置推定システム２００において、画像を用いて自己位置・姿勢を推定する場合、特徴点抽出時に、画像に太陽が映り込んで画像上の特徴点を見失ったり誤認識したりすることがあり、自己位置・姿勢の推定精度が低下するおそれがある。
これに対し、本実施形態では、事前に、Ｔ＋Ｎ時の画像上の太陽の映り込みを予測して、適切な画像となるように露光制御が予測され、この予測情報を基にした露光条件でＴ＋Ｎ時の画像が撮影可能となっている。
これにより、車両１０では、Ｔ＋Ｎ時の状況に適切な、適正露出で撮影された画像を得ることできる。従って、画像を用いた自己位置・姿勢を推定する際に、特徴点が見失いにくい、適切な露光条件で撮影された画像を用いることができ、自己位置・姿勢の推定精度が向上する。
次に、カメラ３００に係る制御である測光領域制御について説明する。
例えば、画像上に太陽が映り込む場合、制御予測部５０５は、画像上の太陽が映り込む領域を測光領域から除外するという測光領域制御を予測する。制御予測部５０５で予測された制御予測情報は通信部５０１を介して車両１０に送信される。
ここで、画像上に太陽が映り込む場合、画像上の太陽が映り込む領域及びその近辺は過剰に明るくなり、それ以外の領域は暗くなり黒つぶれしてしまう。このような画像を用いて、自己位置推定システム２００において、自己位置・姿勢を推定する場合、画像上の特徴点を見失ったり誤認識したりすることがある。
これに対し、本実施形態では、事前に太陽の映り込みを予測して、画像上の太陽が映り込む領域を測光領域から除外して測光し、黒つぶれのない適切な画像を得ることができる。したがって、画像を用いた自己位置・姿勢を推定する際に、特徴点を見失いにくい適正な画像を提供することができ、自己位置・姿勢の推定精度が向上する。
自己位置推定システム２００におけるセンシングデバイスに係る制御には、自己位置・姿勢推定時における、画像情報と車両状態検出情報との重みづけに関する制御、特徴点抽出マスク領域の制御、複数のカメラ３００からの画像情報のそれぞれの重みづけに関する制御がある。
まず、画像情報と車両状態検出情報との重みづけに関する制御について説明する。
例えば、画像上に太陽が映り込む場合、画像上の太陽が映り込む領域及びその近辺は過剰に明るくなり、それ以外の領域は暗くなり黒つぶれしてしまう。このような画像を用いて、自己位置推定システム２００にて自己位置・姿勢を推定する場合、特徴点を見失ったり誤認識したりすることがある。
制御予測部５０５は、このような場合、自己位置推定システム２００で、画像情報よりも車両状態検出情報に重みをおいて自己位置・姿勢推定を行う制御を予測する。車両１０では、この制御予測情報を基に自己位置・姿勢推定が行なわれるので、自己位置・姿勢の推定精度が向上する。
次に、特徴点抽出マスク領域の制御について説明する。
例えば、画像上に太陽が映り込む場合、画像上の太陽が映り込む領域では、太陽の明るさにより画像上の特徴点を見失ったり誤認識したりすることがある。
制御予測部５０５は、このような場合、自己位置推定システム２００で、画像を用いて自己位置・姿勢が推定される際、画像上の太陽が映り込む領域を、特徴点を抽出する際に用いない領域（特徴点抽出マスク領域）とする制御を予測する。
車両１０では、この制御予測情報を基に、太陽が映り込む領域を初めからマスクして特徴点を抽出しない領域として、特徴点を抽出し、自己位置・姿勢推定が行われるので、画像を用いた自己位置・姿勢の推定精度が向上する。
次に、複数のカメラ３００からの画像情報のそれぞれの重みづけに関する制御について説明する。
例えば、制御予測部５０５は、画像を用いた自己位置・姿勢推定時に、太陽が映り込む画像を撮影するカメラ３００からの画像情報の重みづけを低くし、それ以外のカメラ３００からの画像情報の重みづけを高くする制御を予測する。
車両１０では、この制御予測情報を基に、太陽が映り込まない画像を撮影するカメラ３００で取得された画像を主に用いて自己位置・姿勢推定が行われるので、画像を用いた自己位置・姿勢の推定精度が向上する。
［制御予測処理］
図６は、サーバ装置５００における、センシングデバイスに係る制御予測情報を生成する制御予測処理のフローである。Ｓはステップを示す。
制御予測処理がスタートすると、情報取得部５０２は、通信部５０１を介して、車両１０から、カメラ３００が持つパラメータ情報、車両１０の位置・姿勢情報、車両１０の状態情報等の車両１０に係る情報を取得する（Ｓ１）。
次に、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３は、情報取得部５０２から出力された、車両１０の時刻Ｔの時点での位置・姿勢情報及び車両状態情報を基に、Ｔ＋Ｎ時の車両１０の位置・姿勢を予測する（Ｓ２）。
次に、画像上の太陽の位置予測部５０４は、カメラ３００のパラメータ情報と、Ｔ＋Ｎ時の車両位置・姿勢情報と、日時・天候情報５０６と、地図情報５０７とを基に、Ｔ＋Ｎ時にカメラ３００によって撮影されると予測される画像上の太陽の位置を予測する（Ｓ３）。
次に、制御予測部５０５は、予測された画像上での太陽位置情報を基に、センシングデバイスに係る制御を予測し、制御予測情報（制御予測信号）を生成する（Ｓ４）。
次に、通信部５０１は、生成された制御予測情報を車両１０へ送信する（Ｓ５）。
サーバ装置５００は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等のコンピュータの構成に必要なハードウェアを有する。
サーバ装置５００では、ＲＯＭに保存されたプログラムをＲＡＭにロードして実行することにより、上述のセンシングデバイスに係る制御予測情報を生成する制御予測処理が実行される。
以上のように、本実施形態の制御システム１では、時刻Ｔの車両１０の位置・姿勢情報と、地図情報５０７と、日時・天候情報５０６とを基に、Ｔ＋Ｎ時に撮影される画像上の太陽の映り込みによる影響が低減されるように車両１０に搭載されるカメラ３００及び自己位置推定システム２００に係る制御が予測される。
車両１０では、この制御予測情報に基づいて、車両１０に搭載されるカメラ３００や自己位置推定システム２００に係る制御が行われるので、Ｔ＋Ｎ時に、Ｔ＋Ｎ時の車両の状況に適した、外乱要素である太陽の映り込みによる影響が低減された画像を、時間のずれなく得ることができる。これにより、ロバスト性の高い制御システムが得られる。
＜第２の実施形態＞
［制御システムの構成例］
本実施形態では、外乱要素としてトンネルを例にあげて説明する。
図１は、本技術が適用され得るセンシングデバイスの制御システム１０００の概略的な機能の構成例を示すブロック図である。
図８は、制御システム１０００におけるサーバ装置（情報処理装置）の機能の構成例を示すブロック図である。
以下、第１の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
制御システム１０００は、移動体である車両１０に搭載される車両制御システム１００と、情報処理装置としてのサーバ装置１５００と、を具備する。車両制御システム１００とサーバ装置１５００とは例えば無線通信ネットワークを介して通信可能に構成される。
サーバ装置１５００は、通信部５０１と、情報取得部５０２と、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３と、画像上の外乱要素（トンネル）の位置予測部（以下、画像上のトンネルの位置予測部と称す。）１５０４と、制御予測部１５０５を含む。
情報取得部５０２は、通信部５０１を介して、車両１０から、カメラ３００が持つパラメータ情報、車両１０の自己位置・姿勢情報、車両の状態情報を取得する。
カメラ３００が持つパラメータ情報は、画像上のトンネルの位置予測部５０４に出力される。
本実施形態では、画像上のトンネルの位置予測部１５０４は、画像上の外乱要素としてのトンネルの位置を予測する。
画像上のトンネルの位置予測部１５０４は、予測されたＴ＋Ｎ時の車両１０の自己位置・姿勢情報と、地図情報５０７とを基に、Ｔ＋Ｎ時に撮影される画像上におけるトンネル位置を予測する。トンネルの位置予測情報は、制御予測部１５０５に出力される。地図情報５０７には、トンネルの位置情報が含まれる。
制御予測部１５０５は、入力された画像上でのトンネルの位置情報を基に、センシングデバイスに係る制御を予測する。制御予測部１５０５で予測された制御予測情報は通信部５０１を介して車両１０に送信される。
センシングデバイスに係る制御には、カメラ３００に係る制御と、自己位置推定システム２００におけるセンシングデバイスに係る制御と、カメラ３００と自己位置推定システム２００双方に係る制御がある。
カメラ３００に係る制御には、露光制御、測光領域制御がある。
制御予測部１５０５は、Ｔ＋Ｎ時に撮影される画像上におけるトンネル位置の予測結果を基に、Ｔ＋Ｎ時におけるカメラ３００の露光制御を予測する。この制御予測情報は、車両１０に送信される。車両１０では、この情報を基に、カメラ３００の露光制御が行われ、これが、Ｔ＋Ｎ時の撮影における露光条件となる。
例えば、トンネル内では暗くなるため、画像が暗くならないようにトンネル内が適切な画像で映し出されるように、シャッタスピードをさげる、ゲインを上げるといった露光制御が予測される。
また、制御予測部１５０５は、Ｔ＋Ｎ時に撮影される画像上におけるトンネル位置の予測結果を基に、Ｔ＋Ｎ時におけるカメラ３００の測光領域の制御を予測する。この制御予測情報は、車両１０に送信され、この情報を基に、カメラ３００の測光領域制御が行われ、これが、Ｔ＋Ｎ時の撮影における測光領域条件となる。
例えば、制御予測部１５０５は、車両１０がトンネルに入る前、トンネルの入口と車両１０との間にある程度の距離がある場合には、トンネル内の領域以外を測光領域とし、画像上のトンネルが位置する領域が黒つぶれした画像となっても、トンネル内の領域以外が適切な画像で映し出される制御を予測する。すなわち、トンネル内ではなくトンネルの外の明るさを基準とした画像となる制御を予測する。
同様に、制御予測部１５０５は、車両がトンネル内に位置する状態で、画像上にトンネルの出口が映し出され、車両がトンネルの出口にある程度近づいた場合には、トンネル内の領域以外が測光領域となる制御を予測する。
制御予測部１５０５は、車両１０がトンネルの入口に近づき、トンネルと車両１０との間が一定以上近づいた場合には、トンネル内領域を測光領域として、トンネル内が適切な画像で映し出される制御を予測する。すなわち、トンネル内の明るさを基準とした画像となる制御を予測する。
同様に、制御予測部１５０５は、車両がトンネル内に位置する状態で、画像上にトンネルの出口が映し出されない、或いは、映し出されていても、トンネルの出口までまだ距離がある場合には、トンネル内領域が測光領域となる制御を予測する。
トンネル外領域を測光領域とするかトンネル内領域を測光領域とするかの制御は、例えば画像内におけるトンネルが映し出される領域の割合により判定されてもよい。
また、制御予測部１５０５は、トンネル外領域を測光領域として撮影される画像と、トンネル内領域を測光領域として撮影される画像とが急激に変化しないように、両者の画像間を補間する制御を予測する。
尚、トンネル外領域を測光領域とする場合、上述の第１の実施形態や後述する第３の実施形態に示す太陽位置又は構造物の影を基に行われるカメラや自己位置推定システムにかかわる制御がなされる。
これにより、車両１０では、Ｔ＋Ｎ時の状況に適切な測光条件、露光条件で画像を撮影することができる。
自己位置推定システム２００におけるセンシングデバイスに係る制御には、自己位置・姿勢推定時における、画像情報と車両状態検出情報との重みづけに関する制御、複数のカメラ３００それぞれから取得される画像情報の重みづけに関する制御がある。
制御予測部１５０５は、自己位置推定システム２００において、画像情報と車両状態検出情報とをそれぞれどのような重みづけで用いて、車両１０の位置を推定するかを予測する。
例えば、トンネル内では暗くなるため、自己位置推定システム２００にて画像情報を用いて自己位置・姿勢を推定する場合、特徴点を見失ったり誤認識したりすることがある。このような場合、制御予測部１５０５は、自己位置推定システム２００での自己位置・姿勢推定時に、画像情報からの推定結果の重みづけを低くし、車両状態情報からの推定結果の重みづけを高くする制御を予測する。
車両１０では、この制御予測情報を基に自己位置・姿勢推定が行なわれるので、車両１０の自己位置・姿勢の推定精度が向上する。
また、制御予測部１５０５は、自己位置推定システム２００において、複数のカメラ３００によって得られるそれぞれの画像情報をどのような重みづけで用いて、車両１０の自己位置・姿勢を推定するかの制御を予測する。カメラ３００の重みづけの制御の例として、自己位置・姿勢推定時に用いるカメラ３００の選択がある。
例えば、トンネル方向を向いているカメラ３００で撮影された画像情報は用いない、或いは、トンネル方向を向いているカメラ３００によって撮影された画像情報の重みづけを低くする制御が予測される。
次に、カメラ３００と自己位置推定システム２００の双方に係る制御について説明する。
制御予測部１５０５は、カメラ３００に第１のモードと第２のモードとをフレーム毎に切り替えて交互に撮影させるという制御を予測する。これに加えて、自己位置推定システム２００において、第１のモードと第２のモードのうちどちらのモードで撮影された画像を用いてＴ＋Ｎ時における自己位置を推定するかという制御を予測する。
この制御予測情報は、車両１０に送信される。車両１０では、この情報を基に、自己位置推定システム２００で車両１０の自己位置・姿勢が推定される。
第１のモードは、トンネル内の領域以外を測光領域とした撮影モードである。このモードでは、画像上のトンネルが位置する領域が黒つぶれした画像となっても、トンネル内の領域以外が適正露出で撮影された画像で映し出されるように設定される。
第２のモードは、トンネル内領域を測光領域とした撮影モードである。このモードでは、トンネル内が適正露出で撮影された画像で映し出されるように設定される。第２のモードでは、シャッタスピードを下げ、ゲインを上げるという制御が行われる。
第１のモードと第２のモードとでは、シャッタスピード及びゲインのパターンが切り替わる。
車両１０では、第１のモードと第２のモードとをフレーム毎に切り替えて交互に撮影して得られる画像情報と、どちらのモードで撮影された画像を自己位置推定時に用いるかの情報とを含む制御予測情報を基に、車両１０の自己位置・姿勢の推定処理が行われる。
制御予測情報が第１のモードにより撮影された画像を用いた自己位置・姿勢推定処理である場合、自己位置推定システム２００では、取得した画像情報から第１のモードで撮影された画像を抽出し、この画像を基に自己位置・姿勢推定処理が行われる。
一方、制御予測情報が第２のモードにより撮影された画像を用いた自己位置・指定推定処理である場合、自己位置推定システム２００では、取得した画像情報から第２のモードで撮影された画像を抽出し、この画像を基に自己位置・姿勢推定処理が行われる。
尚、ここでは、制御予測情報は、どちらのモードで撮影された画像を自己位置・推定処理時に用いるかの情報を含んでおり、自己位置推定時に、第１のモードの画像又は第２のモードの画像のいずれか一方の画像を用いる例をあげた。
これに加え、制御予測情報は、第１のモードの画像を用いた自己位置・姿勢推定処理結果と第２のモードの画像を用いた自己位置・姿勢推定処理結果をどのような重みづけで統合するかの情報を含んでもよい。
この制御予測情報の場合、自己位置推定システム２００では、第１のモードで撮影された画像情報、第２のモードで撮影された画像情報それぞれを用いてモード別に自己位置・姿勢推定処理が行われ、それぞれのモードでの処理結果を重みづけして統合した結果を用いて自己位置・姿勢推定処理が行われる。
［制御予測処理］
図８は、サーバ装置１５００における、センシンググデバイスに係る制御予測情報を生成する制御予測処理のフローである。
制御予測処理がスタートすると、情報取得部５０２は、通信部５０１を介して、車両１０から、カメラ３００が持つパラメータ情報、車両１０の時刻Ｔの時点での位置・姿勢情報、車両の状態情報を取得する（Ｓ１１）。
次に、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３は、情報取得部５０２から出力された、車両１０の時刻Ｔの時点での位置・姿勢情報及び車両状態情報を基に、Ｔ＋Ｎ時の車両位置・姿勢を予測する（Ｓ１２）。
次に、画像上のトンネルの位置予測部１５０４は、カメラ３００のパラメータ情報と、Ｔ＋Ｎ時の車両位置・姿勢情報と、地図情報５０７とを基に、Ｔ＋Ｎ時にカメラ３００によって撮影されると予測される画像上のトンネルの位置を予測し、画像上にトンネルが映し出されるか否かを予測する（Ｓ１３）。
Ｓ１３で、Ｎｏと判定されると、Ｓ１１に戻り処理が繰り返される。
Ｓ１３で、Ｙｅｓと判定されると、Ｓ１４に進む。
Ｓ１４で、制御予測部１５０５は、トンネル位置情報を基に、センシングデバイスに係る制御を予測し、制御予測情報（制御予測信号）を生成する。
次に、通信部５０１は、生成された制御予測情報を車両１０へ送信する（Ｓ１５）。
サーバ装置１５００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のコンピュータの構成に必要なハードウェアを有する。
サーバ装置１５００では、ＲＯＭに保存されたプログラムをＲＡＭにロードして実行することにより、上述のセンシングデバイスに係る制御予測情報を生成する制御予測処理が実行される。
以上のように、本実施形態の制御システム１０００では、時刻Ｔの車両１０の位置・姿勢情報と、地図情報５０７とを基に、Ｔ＋Ｎ時での画像上のトンネルの映り込みによる影響が低減されるように車両１０に搭載されるカメラ３００及び自己位置推定システム２００に係る制御が予測される。
車両１０では、この制御予測情報に基づいて、車両１０に搭載されるカメラ３００や自己位置推定システム２００に係る制御が行われるので、Ｔ＋Ｎ時に、Ｔ＋Ｎ時の車両の状況に適した、外乱要素であるトンネルの映り込みによる影響が低減された画像を、時間のずれなく得ることができる。これにより、ロバスト性の高い制御システムが得られる。
＜第３の実施形態＞
本実施形態では、外乱要素として建築物等の静止物体である構造物の影を例にあげて説明する。以下、構造物としてビルを例にあげる。
図１は、本技術が適用され得るセンシングデバイスの制御システム２０００の概略的な機能の構成例を示すブロック図である。
図９は、制御システム２０００における情報処理装置としてのサーバ装置２５００の機能の構成例を示すブロック図である。
以下、第１の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
制御システム２０００は、移動体である車両１０に搭載される車両制御システム１００と、情報処理装置としてのサーバ装置２５００と、を具備する。車両制御システム１００とサーバ装置２５００とは例えば無線通信ネットワークを介して通信可能に構成される。
サーバ装置２５００は、通信部５０１と、情報取得部５０２と、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３と、画像上の外乱要素（ビルの影）の位置予測部（以下、画像上のビルの影の位置予測部と称す。）２５０４と、制御予測部２５０５を含む。
情報取得部５０２は、通信部５０１を介して、車両１０から、カメラ３００が持つパラメータ情報、車両１０の自己位置・姿勢情報、車両の状態情報を取得する。
カメラ３００が持つパラメータ情報は、画像上のビルの影の位置予測部２５０４に出力される。
画像上のビルの影の位置予測部２５０４は、画像上の外乱要素としてのビルの影の位置を予測する。
画像上のビルの影の位置予測部２５０４は、カメラ３００のパラメータ情報と、Ｔ＋Ｎ時の車両１０の自己位置・姿勢情報と、日時・天候情報５０６と、地図情報５０７とを基に、Ｔ＋Ｎ時にカメラ３００によって撮影されると予測される画像上のビルの影の位置を予測する。
詳細には、まず、画像上のビルの影の位置予測部２５０４は、日時情報、予測されたＴ＋Ｎ時の車両１０の自己位置・姿勢情報、地図情報５０７とからＴ＋Ｎ時における太陽の高度（仰角）と方位角とを算出する。地図情報５０７には、ビルの位置情報が含まれる。
次に、Ｔ＋Ｎ時の車両１０の位置の天候情報から、太陽がでているか否かを判定する。
例えば、晴天で太陽が出ていると判定すると、Ｔ＋Ｎ時における太陽の高度と方位角の情報、車両１０の自己位置・姿勢情報、カメラ３００のパラメータ情報、地図情報５０７を基に、Ｔ＋Ｎ時にカメラ３００により撮影される画像上でのビルの影の位置を予測する。
画像上のビルの影の位置予測部２５０４で予測された画像上でのビルの影の位置の予測結果は、制御予測部２５０５に出力される。
制御予測部２５０５は、入力された画像上でのビルの影の位置情報を基に、センシングデバイスに係る制御を予測する。制御予測部２５０５で予測された制御予測情報は通信部５０１を介して車両１０に送信される。
センシングデバイスに係る制御には、カメラ３００に係る制御と、自己位置推定システム２００におけるセンシングデバイスに係る制御と、カメラ３００と自己位置推定システム２００の双方に係る制御がある。
カメラ３００に係る制御には、露光制御、測光領域制御がある。
制御予測部２５０５は、Ｔ＋Ｎ時の画像上でのビルの影の位置情報を基に、シャッタスピード、画像信号のゲインの調整等の露光に係る制御を予測する。
例えば、画像上にビルの影が映り込む場合、画像が暗くなりやすくなるため、制御予測部２５０５は、シャッタスピードを下げる、ゲインを上げるといった露光制御を予測する。
この制御予測情報は車両１０に送信される。車両１０では、この制御予測情報を基に、カメラ３００の露光制御が行われ、これが、Ｔ＋Ｎ時の撮影における露光条件となる。
これにより、車両１０では、Ｔ＋Ｎ時の状況に適切な、適正露出で撮影された画像を得ることできる。
更に、自己位置推定システム２００において、画像を用いた自己位置・姿勢を推定する際に、特徴点が見失いにくい、適正露出で撮影された画像を用いることができるので、自己位置・姿勢の推定精度を向上させることができる。
制御予測部２５０５は、Ｔ＋Ｎ時の画像上でのビルの影の位置情報を基に、測光領域に係る制御を予測する。制御予測部２５０５で予測された制御予測情報は通信部５０１を介して車両１０に送信される。車両１０では、この制御予測情報を基に、カメラ３００の測光領域の制御が行われ、これが、Ｔ＋Ｎ時の撮影における測光条件となる。
例えば、画像上にビルの影が映り込む場合、制御予測部２５０５は、画像上のビルの影が映り込む領域は暗くなる領域として、測光領域から除外するという測光領域制御を予測する。
詳細には、ビルの影と車両との距離がある程度の距離になるまでは、画像上のビルの影の領域以外に測光領域をあわせ、ビルの影の領域が黒つぶれした画像となっても、ビルの影の領域以外が適切な画像で映し出される制御を予測する。
一方、ビルの影と車両との距離が一定以上近づいた場合には、ビルの影の領域に測光領域をあわせ、影がかかった領域が適切な画像で映し出される制御を予測する。
また、制御予測部２５０５は、ビルの影を測光領域として撮影される画像と、ビルの影以外の領域を測光領域として撮影される画像とが急激に変化しないように、両者の画像間を補間する制御を予測する。
これにより、状況に適した画像を得ることできる。
更に、自己位置推定システム２００において、特徴点が見失いにくい画像を用いて自己位置・姿勢を推定することが可能となるので、画像を用いた自己位置・姿勢の推定精度を向上させることができる。
自己位置推定システム２００におけるセンシングデバイスに係る制御には、自己位置・姿勢推定時における、画像情報と車両状態検出情報との重みづけに関する制御、複数のカメラ３００それぞれから取得される画像情報の重みづけに関する制御がある。
制御予測部２５０５は、Ｔ＋Ｎ時の画像上でのビルの影の位置情報を基に、自己位置推定システム２００において、画像情報と車両状態検出情報をそれぞれどのような重みづけで用いて、車両１０の自己位置・姿勢を推定するかを予測する。
例えば、制御予測部２５０５は、ビルの影により画面が暗くなり、特徴点の抽出精度が低下すると予測した場合には、自己位置推定システム２００での自己位置推定時に、画像情報からの推定結果の重みづけを低減し、車両状態情報からの推定結果の重みづけを増大する制御を予測する。
この制御予測情報は、車両１０に送信される。車両１０では、この制御予測情報を基に自己位置・姿勢推定が行なわれるので、自己位置・姿勢の推定精度が向上する。
また、制御予測部２５０５は、自己位置推定システム２００において、複数のカメラ３００よって得られるそれぞれの画像情報をどのような重みづけで用いて、車両の位置・姿勢を推定するかの制御を予測する。
例えば、ビルの影方向を向いているカメラ３００で撮影された画像情報は用いない、或いは、画像情報の重みを低くする制御が予測される。
次に、カメラ３００と自己位置推定システム２００の双方に係る制御について説明する。
制御予測部２５０５は、カメラ３００に第１のモードと第２のモードとをフレーム毎に切り替えて交互に撮影させるという制御を予測する。これに加えて、制御予測部２５０５は、自己位置推定システム２００において、第１のモードと第２のモードのうちどちらのモードで撮影された画像を用いてＴ＋Ｎ時における自己位置を推定するか、或いは、第１のモードで撮影された画像を用いたＴ＋Ｎ時における自己位置推定結果と第２のモードで撮影された画像を用いたＴ＋Ｎ時における自己位置推定結果をそれぞれどのような重みづけで統合してＴ＋Ｎ時における自己位置を推定するか、という制御を予測する。
この制御予測情報は、車両１０に送信される。車両１０では、この情報を基に、カメラ３００により画像が撮影され、更に、自己位置推定システム２００で車両１０の自己位置・姿勢が推定される。
第１のモードは、ビルの影の領域以外を測光領域とした撮影モードである。このモードでは、画像上のビルの影の領域が黒つぶれした画像となっても、ビルの影の領域以外が適正露出で撮影された画像で映し出されるように設定される。
第２のモードは、ビルの影の領域を測光領域とした撮影モードである。このモードでは、ビルの影の領域が適正露出で撮影された画像で映し出されるように設定される。第２のモードでは、シャッタスピードを下げ、ゲインを上げるといった露光制御が行われる。
第１のモードと第２のモードとでは、シャッタスピード及びゲインのパターンが切り替わる。
車両１０では、第１のモードと第２のモードとをフレーム毎に切り替えて交互に撮影させて得られる画像情報と、どちらのモードで撮影された画像を自己位置推定時に用いるか、或いは、双方のモードそれぞれで撮影された画像を用いたモード別の自己位置・姿勢推定結果をどのような重みづけで統合するか、の情報とを含む制御予測情報を基に、車両１０の自己位置・姿勢推定処理が行われる。
制御予測情報が第１のモードにより撮影された画像を用いた自己位置・姿勢推定処理である場合、自己位置推定システム２００では、取得した画像情報から第１のモードで撮影された画像を抽出し、この抽出した画像を基に自己位置・姿勢推定処理が行われる。
制御予測情報が第２のモードにより撮影された画像を用いた自己位置・姿勢推定処理である場合、自己位置推定システム２００では、取得した画像情報から第２のモードで撮影された画像を抽出し、この画像を基に自己位置・姿勢推定処理が行われる。
制御予測情報が、モード別の自己位置・姿勢推定結果をそれぞれ重みづけて統合した結果を用いた自己位置・姿勢推定処理である場合、自己位置推定システム２００では、第１のモードで撮影された画像情報、第２のモードで撮影された画像情報それぞれを用いてモード別に自己位置・姿勢推定処理が行われ、それぞれのモードでの処理結果を重みづけして統合した結果を用いて自己位置・姿勢推定処理が行われる。
［制御予測処理］
図１０は、サーバ装置２５００における、センシンググデバイスに係る制御予測情報を生成する制御予測処理のフローである。
制御予測処理がスタートすると、情報取得部５０２は、通信部５０１を介して、車両１０から、カメラ３００が持つパラメータ情報、車両１０の位置・姿勢情報、車両の状態情報を取得する（Ｓ２１）。
次に、Ｔ＋Ｎ時の車両位置・姿勢予測部５０３は、情報取得部５０２から出力された、車両１０の時刻Ｔの時点での位置・姿勢情報及び車両状態情報を基に、Ｔ＋Ｎ時の車両１０の位置・姿勢を予測する（Ｓ２２）。
次に、画像上のビルの影の位置予測部２５０４は、カメラ３００のパラメータ情報と、Ｔ＋Ｎ時の車両位置・姿勢情報と、日時・天候情報５０６と、地図情報５０７とを基に、Ｔ＋Ｎ時にカメラ３００によって撮影されると予測される画像上のビルの影の位置を予測し、画像上にビルの影が映し出されるか否かを予測する（Ｓ２３）。
Ｓ２３で、Ｎｏと判定されると、Ｓ２１に戻り処理が繰り返される。
Ｓ２３で、Ｙｅｓと判定されると、Ｓ２４に進む。
Ｓ２４で、制御予測部２５０５は、ビルの影の位置情報を基に、センシングデバイスに係る制御を予測し、制御予測情報（制御予測信号）を生成する。
次に、通信部５０１は、生成された制御予測情報を車両１０へ送信する（Ｓ２５）。
サーバ装置２５００は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のコンピュータの構成に必要なハードウェアを有する。
サーバ装置２５００では、ＲＯＭに保存されたプログラムをＲＡＭにロードして実行することにより、上述のセンシングデバイスに係る制御予測情報を生成する制御予測処理が実行される。
以上のように、本実施形態の制御システム２０００では、時刻Ｔの車両１０の位置・姿勢情報と、地図情報５０７と、日時・天候情報５０６とを基に、Ｔ＋Ｎ時での画像上の構造物の影の映り込みによる影響が低減されるように車両１０に搭載されるカメラ３００及び自己位置推定システム２００に係る制御が予測される。
車両１０では、この制御予測情報に基づいて、車両１０に搭載されるカメラ３００や自己位置推定システム２００に係る制御が行われるので、Ｔ＋Ｎ時に、Ｔ＋Ｎ時の車両の状況に適した、外乱要素である構造物の影の映り込みによる影響が低減された画像を、時間のずれなく得ることができる。これにより、ロバスト性の高い制御システムが得られる。
＜その他の実施形態＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述の実施形態においては、画像情報を取得するカメラを搭載する車両１０に、サーバ装置５００（１５００、２５００）で生成された制御予測情報が送信される例をあげたが、制御予測情報が車両１０以外の他車両に送信されてもよい。ここでは、車両１０を、他車両と区別するために自車両１０と称す。
第２の車両としての他車両は、第１の車両としての自車両１０が走行するルートと同じルートをたどり、自車両１０が通る時刻Ｔ＋Ｎからあまり時間が経過していない時刻Ｔ＋Ｎ′（Ｎ′＞Ｎ）に、車両１０がＴ＋Ｎ時に通る位置と同じ位置を通る。
他車両には、サーバ装置５００（１５００、２５００）にて予測された自車両１０のＴ＋Ｎ時における制御予測情報が送信される。
他車両では、他車両が、自車両１０がＴ＋Ｎ時に存在すると予測された位置と同じ位置に来る時に、受信した制御予測情報を基に、上述の各実施形態で説明した自車両１０で行われる処理と同様のセンシングデバイスに係る処理が行われる。
サーバ装置５００（１５００、２５００）は、他車両からは、他車両の位置・姿勢情報のみを取得する。サーバ装置５００（１５００、２５００）は、他車両に対して、時刻Ｔ＋Ｎ´時の他車両のセンシングデバイスに係る制御予測情報として、自車両１０のＴ＋Ｎ時における制御予測情報を送信する。
すなわち、制御予測部５０５（１５０５、２５０５）は、情報取得部５０２により取得された時刻Ｔの自車両１０の位置・姿勢情報と地図情報を基に予測した自車両１０のＴ＋Ｎ時のセンシングデバイスに係る制御予測を、他車両のセンシングデバイスに係る制御予測とする。
このように、複数の車両で、同様の制御予測情報を共用するように構成されてもよい。
また、上述の実施形態では、制御予測情報が、カメラに係る制御予測情報と、自己位置推定システムにおけるセンシングデバイスに係る制御予測情報と、カメラ及び自己位置推定システムの双方に係る制御予測情報を含む例にあげたが、いずれかであってもよいし、組み合わせてもよい。
また、上述の実施形態では、自己位置推定システムで用いる画像を撮影するために本技術を適用する例をあげたが、これに限定されない。例えばドライブレコーダに保存される動画を撮影する際のカメラの露光制御及び測光制御に本技術を用いても良く、外乱要素に強い動画を得ることができる。
また、上述の各実施形態を組み合わせた制御システムとしてもよい。
また、上述の実施形態において、システムとは、複数の構成要素（装置、モジュール（部品））の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれもシステムである。
なお、本技術は以下のような構成もとることができる。
（１）センシングデバイスを備える第１の移動体の位置・姿勢情報を取得する情報取得部と、
前記情報取得部により取得された前記位置・姿勢情報と地図情報を基に、前記センシングデバイスに係る制御を予測する制御予測部と
を具備する情報処理装置。
（２）前記（１）に記載の情報処理装置であって、
前記センシングデバイスは撮像装置を含み、
前記情報処理装置は、
前記情報取得部により取得された前記位置・姿勢情報を基に前記第１の移動体の位置・姿勢を予測する移動***置・姿勢予測部と、
前記地図情報、及び、前記移動***置・姿勢予測部による予測結果を基に、前記撮像装置により撮影される画像上の外乱要素の位置を予測する外乱要素の位置予測部と
を更に具備し、
前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記撮像装置の制御を予測する
情報処理装置。
（３）前記（２）に記載の情報処理装置であって、
前記制御予測部は、前記撮像装置の露光制御を予測する
情報処理装置。
（４）前記（２）又は（３）に記載の情報処理装置であって、
前記制御予測部は、前記撮像装置の測光領域制御を予測する
情報処理装置。
（５）前記（１）から（４）のうちいずれか１つに記載の情報処理装置であって、
前記センシングデバイスは撮像装置を含み、
前記第１の移動体は、前記撮像装置からの画像情報から抽出した特徴点を用いて、前記第１の移動体の位置・姿勢を推定する自己位置推定システムを備え、
前記情報処理装置は、
前記情報取得部により取得された前記位置・姿勢情報を基に前記第１の移動体の位置・姿勢を予測する移動***置・姿勢予測部と、
前記地図情報、及び、前記移動***置・姿勢予測部による予測結果を基に、前記撮像装置により撮影される画像上の外乱要素の位置を予測する外乱要素の位置予測部と
を更に具備し、
前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムに係る制御を予測する
情報処理装置。
（６）前記（５）に記載の情報処理装置であって、
前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムでの前記画像上の前記特徴点の抽出をしない領域を予測する
情報処理装置。
（７）前記（５）又は（６）に記載の情報処理装置であって、
前記センシングデバイスは、前記撮像装置と、前記第１の移動体の状態を検出する移動体状態検出センサを含み、
前記第１の移動体は、前記画像情報と、前記移動体状態検出センサからの移動体状態情報の少なくとも一方を用いて、前記第１の移動体の位置・姿勢を推定する前記位置推定システムを備え、
前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムでの前記第１の移動体の位置・姿勢の推定時に用いる前記画像情報と前記移動体状態情報それぞれの重みづけを予測する
情報処理装置。
（８）前記（５）から（７）のうちいずれか１つに記載の情報処理装置であって、
前記センシングデバイスは複数の撮像装置を含み、
前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムでの前記第１の移動体の位置・姿勢の推定時に用いる複数の前記撮像装置からの各画像情報の重みづけを予測する
情報処理装置。
（９）前記（５）から（８）のうちいずれか１つに記載の情報処理装置であって、
前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に前記撮像装置の制御を予測する
情報処理装置。
（１０）前記（２）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記外乱要素は太陽であり、
前記外乱要素の位置予測部は、前記地図情報、前記移動***置・姿勢予測部による予測結果、及び、太陽位置情報を基に、前記撮像装置により撮影される画像における太陽位置を予測する
（１１）前記（２）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記外乱要素はトンネルであり、
前記外乱要素の位置予測部は、前記地図情報、及び、前記移動***置・姿勢予測部による予測結果を基に、前記撮像装置により撮影される画像におけるトンネル位置を予測する
情報処理装置。
（１２）前記（２）から（９）のうちいずれか１つに記載の情報処理装置であって、
前記外乱要素は構造物の影であり、
前記外乱要素の位置予測部は、前記地図情報、前記移動***置・姿勢予測部による予測結果、及び、太陽位置情報を基に、前記撮像装置により撮影される画像における構造物による影の位置を予測する
情報処理装置。
（１３）前記（１）から（９）のうちいずれか１つに記載の情報処理装置であって、
請求項１に記載の情報処理装置であって、
前記情報取得部は、センシングデバイスを備え、前記第１の移動体とは異なる第２の移動体の位置・姿勢情報を取得し、
前記制御予測部は、前記情報取得部により取得された前記第１の移動体の位置・姿勢情報と地図情報を基に予測した前記第１の移動体のセンシングデバイスに係る制御予測を、前記第２の移動体のセンシングデバイスに係る制御予測とする
情報処理装置。
（１４）センシングデバイスと、
自己の位置・姿勢情報を取得する取得部と
を具備し、
前記センシングデバイスは、前記取得部により取得された前記位置・姿勢情報と地図情報を基に予測された前記センシングデイバスに係る制御予測情報により制御される
移動体。
（１５）センシングデバイスを備える移動体と、
前記移動体の位置・姿勢情報を取得する取得部と、
前記取得部により取得された前記位置・姿勢情報と地図情報を基に、前記センシングデバイスに係る制御を予測する制御予測部と、
前記制御予測部による制御予測情報を基に、前記センシングデバイスに係る制御を行う制御部と
を具備する制御システム。
（１６）センシングデバイスを備える移動体の位置・姿勢情報を取得し、
前記位置・姿勢情報と地図情報に基づいて、前記センシングデバイスに係る制御を予測する
情報処理方法。
（１７）センシングデバイスを備える移動体の位置・姿勢情報を取得するステップと、
前記位置・姿勢情報と地図情報に基づいて、前記センシングデバイスに係る制御を予測するステップと
を情報処理装置に実行させるプログラム。
１、１０００、２０００…制御システム
１０…車両（第１の移動体）
１０２…データ取得部（取得部）
２００…自己位置推定システム
２０１…自己位置推定システムの制御部（制御部）
３００…カメラ（センシングデバイス、撮像装置）
３０１…カメラ制御部（制御部）
４００…車両状態検出センサ（センシングデバイス、移動体状態検出センサ）
５００、１５００、２５００…サーバ装置（情報処理装置）
５０２…情報取得部
５０３…Ｔ＋Ｎ時の車両位置・姿勢予測部（移動***置・姿勢予測部）
５０４…画像上の太陽の位置予測部（外乱要素の位置予測部）
５０５、１５０５、２５０５…制御予測部
５０６…日時・天候情報
５０７…地図情報
１５０４…画像上のトンネルの位置予測部（外乱要素の位置予測部）
２５０４…画像上のビルの影の位置予測部（外乱要素の位置予測部）

Claims (17)

  1. センシングデバイスを備える第１の移動体の位置・姿勢情報を取得する情報取得部と、
    前記情報取得部により取得された前記位置・姿勢情報と地図情報を基に、前記センシングデバイスに係る制御を予測する制御予測部と
    を具備する情報処理装置。
  2. 請求項１に記載の情報処理装置であって、
    前記センシングデバイスは撮像装置を含み、
    前記情報処理装置は、
    前記情報取得部により取得された前記位置・姿勢情報を基に前記第１の移動体の位置・姿勢を予測する移動***置・姿勢予測部と、
    前記地図情報、及び、前記移動***置・姿勢予測部による予測結果を基に、前記撮像装置により撮影される画像上の外乱要素の位置を予測する外乱要素の位置予測部と
    を更に具備し、
    前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記撮像装置の制御を予測する
    情報処理装置。
  3. 請求項２に記載の情報処理装置であって、
    前記制御予測部は、前記撮像装置の露光制御を予測する
    情報処理装置。
  4. 請求項２に記載の情報処理装置であって、
    前記制御予測部は、前記撮像装置の測光領域制御を予測する
    情報処理装置。
  5. 請求項１に記載の情報処理装置であって、
    前記センシングデバイスは撮像装置を含み、
    前記第１の移動体は、前記撮像装置からの画像情報から抽出した特徴点を用いて、前記第１の移動体の位置・姿勢を推定する自己位置推定システムを備え、
    前記情報処理装置は、
    前記情報取得部により取得された前記位置・姿勢情報を基に前記第１の移動体の位置・姿勢を予測する移動***置・姿勢予測部と、
    前記地図情報、及び、前記移動***置・姿勢予測部による予測結果を基に、前記撮像装置により撮影される画像上の外乱要素の位置を予測する外乱要素の位置予測部と
    を更に具備し、
    前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムに係る制御を予測する
    情報処理装置。
  6. 請求項５に記載の情報処理装置であって、
    前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムでの前記画像上の前記特徴点の抽出をしない領域を予測する
    情報処理装置。
  7. 請求項５に記載の情報処理装置であって、
    前記センシングデバイスは、前記撮像装置と、前記第１の移動体の状態を検出する移動体状態検出センサを含み、
    前記第１の移動体は、前記画像情報と、前記移動体状態検出センサからの移動体状態情報の少なくとも一方を用いて、前記第１の移動体の位置・姿勢を推定する前記位置推定システムを備え、
    前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムでの前記第１の移動体の位置・姿勢の推定時に用いる前記画像情報と前記移動体状態情報それぞれの重みづけを予測する
    情報処理装置。
  8. 請求項５に記載の情報処理装置であって、
    前記センシングデバイスは複数の撮像装置を含み、
    前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に、前記自己位置推定システムでの前記第１の移動体の位置・姿勢の推定時に用いる複数の前記撮像装置からの各画像情報の重みづけを予測する
    情報処理装置。
  9. 請求項５に記載の情報処理装置であって、
    前記制御予測部は、前記外乱要素の位置予測部による予測結果を基に前記撮像装置の制御を予測する
    情報処理装置。
  10. 請求項２に記載の情報処理装置であって、
    前記外乱要素は太陽であり、
    前記外乱要素の位置予測部は、前記地図情報、前記移動***置・姿勢予測部による予測結果、及び、太陽位置情報を基に、前記撮像装置により撮影される画像における太陽位置を予測する
    情報処理装置。
  11. 請求項２に記載の情報処理装置であって、
    前記外乱要素はトンネルであり、
    前記外乱要素の位置予測部は、前記地図情報、及び、前記移動***置・姿勢予測部による予測結果を基に、前記撮像装置により撮影される画像におけるトンネル位置を予測する
    情報処理装置。
  12. 請求項２に記載の情報処理装置であって、
    前記外乱要素は構造物の影であり、
    前記外乱要素の位置予測部は、前記地図情報、前記移動***置・姿勢予測部による予測結果、及び、太陽位置情報を基に、前記撮像装置により撮影される画像における構造物による影の位置を予測する
    情報処理装置。
  13. 請求項１に記載の情報処理装置であって、
    前記情報取得部は、センシングデバイスを備え、前記第１の移動体とは異なる第２の移動体の位置・姿勢情報を取得し、
    前記制御予測部は、前記情報取得部により取得された前記第１の移動体の位置・姿勢情報と地図情報を基に予測した前記第１の移動体のセンシングデバイスに係る制御予測を、前記第２の移動体のセンシングデバイスに係る制御予測とする
    情報処理装置。
  14. センシングデバイスと、
    自己の位置・姿勢情報を取得する取得部と
    を具備し、
    前記センシングデバイスは、前記取得部により取得された前記位置・姿勢情報と地図情報を基に予測された前記センシングデイバスに係る制御予測情報により制御される
    移動体。
  15. センシングデバイスを備える移動体と、
    前記移動体の位置・姿勢情報を取得する情報取得部と、
    前記情報取得部により取得された前記位置・姿勢情報と地図情報を基に、前記センシングデバイスに係る制御を予測する制御予測部と、
    前記制御予測部による制御予測情報を基に、前記センシングデバイスに係る制御を行う制御部と
    を具備する制御システム。
  16. センシングデバイスを備える移動体の位置・姿勢情報を取得し、
    前記位置・姿勢情報と地図情報に基づいて、前記センシングデバイスに係る制御を予測する
    情報処理方法。
  17. センシングデバイスを備える移動体の位置・姿勢情報を取得するステップと、
    前記位置・姿勢情報と地図情報に基づいて、前記センシングデバイスに係る制御を予測するステップと
    を情報処理装置に実行させるプログラム。
JP2019558969A 2017-12-12 2018-11-06 情報処理装置、制御システム、情報処理方法及びプログラム Active JP7200946B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017237534 2017-12-12
JP2017237534 2017-12-12
PCT/JP2018/041145 WO2019116784A1 (ja) 2017-12-12 2018-11-06 情報処理装置、移動体、制御システム、情報処理方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2019116784A1 true JPWO2019116784A1 (ja) 2020-12-17
JP7200946B2 JP7200946B2 (ja) 2023-01-10

Family

ID=66820184

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019558969A Active JP7200946B2 (ja) 2017-12-12 2018-11-06 情報処理装置、制御システム、情報処理方法及びプログラム

Country Status (6)

Country Link
US (1) US11698642B2 (ja)
EP (1) EP3726329A4 (ja)
JP (1) JP7200946B2 (ja)
KR (1) KR20200096518A (ja)
CN (1) CN111448529A (ja)
WO (1) WO2019116784A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7046740B2 (ja) * 2018-07-02 2022-04-04 日立Astemo株式会社 予測制御装置
US20200409381A1 (en) * 2019-06-26 2020-12-31 Weel Autonomy Inc. Autonomous electronic bicycle navigation
US11654988B2 (en) 2019-06-26 2023-05-23 Weel Autonomy Inc. Balancing system in an autonomous electronic bicycle
US10754340B1 (en) 2019-06-26 2020-08-25 Weel Autonomy Inc. Virtual gearing in an autonomous electronic bicycle
DE102019214445A1 (de) * 2019-09-23 2021-03-25 Robert Bosch Gmbh Verfahren zum Assistieren eines Kraftfahrzeugs
WO2021246093A1 (ja) * 2020-06-02 2021-12-09 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム
WO2022016340A1 (zh) * 2020-07-20 2022-01-27 深圳市大疆创新科技有限公司 确定主摄像装置曝光参数的方法、***、可移动平台及存储介质
CN114520880B (zh) * 2020-11-18 2023-04-18 华为技术有限公司 一种曝光参数调节方法及装置
CN118235162A (zh) * 2021-11-18 2024-06-21 索尼集团公司 信息处理装置、信息处理方法和程序

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6446111A (en) * 1987-08-13 1989-02-20 Nissan Motor Controller for autonomously-traveling vehicle
JPH06253208A (ja) * 1993-02-26 1994-09-09 Isuzu Motors Ltd 車線認識装置
JPH08240833A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP2006303885A (ja) * 2005-04-20 2006-11-02 Toyota Motor Corp 露光制御方法、露光制御装置
WO2011099049A1 (ja) * 2010-02-09 2011-08-18 トヨタ自動車株式会社 撮像システム
JP2015228597A (ja) * 2014-06-02 2015-12-17 株式会社 日立産業制御ソリューションズ 撮影条件設定装置および撮影条件設定方法
US20160055671A1 (en) * 2014-08-22 2016-02-25 Applied Research Associates, Inc. Techniques for Enhanced Accurate Pose Estimation
WO2016098050A1 (en) * 2014-12-17 2016-06-23 Husqvarna Ab Multi-sensor, autonomous robotic vehicle with mapping capability
JP2016223846A (ja) * 2015-05-28 2016-12-28 日産自動車株式会社 自車位置判定装置及び自車位置判定方法
JP2017009555A (ja) * 2015-06-26 2017-01-12 株式会社トプコン カメラのキャリブレーション装置、カメラのキャリブレーション方法およびカメラのキャリブレーションを行うためのプログラム
JP2018037061A (ja) * 2016-09-01 2018-03-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 自律走行車両のためのビジョンセンサの制御方法及び装置

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS56137896A (en) 1980-03-10 1981-10-28 Cetus Corp Genetic recombination gram positive bacteria , production thereof and protein for mammal produced by said gram positive bacteria
JP3034807B2 (ja) * 1996-08-30 2000-04-17 三菱電機株式会社 人工衛星の姿勢決定装置
JP4264380B2 (ja) 2004-04-28 2009-05-13 三菱重工業株式会社 自己位置同定方法及び該装置
JP2006222844A (ja) 2005-02-14 2006-08-24 Fujitsu Ten Ltd 車載画像情報出力装置及び車載画像情報出力装置の制御方法
KR100761011B1 (ko) * 2006-05-30 2007-09-21 학교법인 인하학원 카메라형 태양센서를 이용한 관성항법시스템의자세보정장치 및 방법
US9420166B2 (en) * 2012-02-13 2016-08-16 Nokia Technologies Oy Method and apparatus for enhanced automatic adjustment of focus, exposure and white balance in digital photography
US20140300686A1 (en) * 2013-03-15 2014-10-09 Tourwrist, Inc. Systems and methods for tracking camera orientation and mapping frames onto a panoramic canvas
CN103513295B (zh) * 2013-09-25 2016-01-27 青海中控太阳能发电有限公司 一种基于多相机实时拍摄与图像处理的天气监测***与方法
DE102014002150B3 (de) * 2014-02-15 2015-07-23 Audi Ag Verfahren zur Ermittlung der absoluten Position einer mobilen Einheit und mobile Einheit
WO2015156821A1 (en) * 2014-04-11 2015-10-15 Nissan North America, Inc. Vehicle localization system
JP2015225450A (ja) * 2014-05-27 2015-12-14 村田機械株式会社 自律走行車、及び自律走行車における物体認識方法
CA2993420C (en) * 2015-07-24 2018-11-20 Nissan Motor Co., Ltd. Self-position estimation device and self-position estimation method
JP6493183B2 (ja) 2015-12-04 2019-04-03 トヨタ自動車株式会社 車両構造
KR101856321B1 (ko) * 2016-05-03 2018-05-09 성균관대학교산학협력단 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법, 매체에 저장된 컴퓨터 프로그램 및 태양 센서
US10162362B2 (en) * 2016-08-29 2018-12-25 PerceptIn, Inc. Fault tolerance to provide robust tracking for autonomous positional awareness
EP3828657A1 (en) * 2016-12-23 2021-06-02 Mobileye Vision Technologies Ltd. Navigational system
IL287819B (en) * 2017-01-12 2022-07-01 Mobileye Vision Technologies Ltd Navigation based on vehicle activity
US20180307245A1 (en) * 2017-05-31 2018-10-25 Muhammad Zain Khawaja Autonomous Vehicle Corridor
WO2019031851A1 (ko) * 2017-08-08 2019-02-14 엘지전자 주식회사 지도 제공 장치
US11430071B2 (en) * 2017-08-16 2022-08-30 Mobileye Vision Technologies Ltd. Navigation based on liability constraints
EP4250255A3 (en) * 2018-02-02 2024-03-13 Panasonic Intellectual Property Corporation of America Information transmitting method, and client device
US11422267B1 (en) * 2021-02-18 2022-08-23 Innovusion, Inc. Dual shaft axial flux motor for optical scanners

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6446111A (en) * 1987-08-13 1989-02-20 Nissan Motor Controller for autonomously-traveling vehicle
JPH06253208A (ja) * 1993-02-26 1994-09-09 Isuzu Motors Ltd 車線認識装置
JPH08240833A (ja) * 1995-03-02 1996-09-17 Mitsubishi Electric Corp 車両用カメラの露光制御装置
JP2006303885A (ja) * 2005-04-20 2006-11-02 Toyota Motor Corp 露光制御方法、露光制御装置
WO2011099049A1 (ja) * 2010-02-09 2011-08-18 トヨタ自動車株式会社 撮像システム
JP2015228597A (ja) * 2014-06-02 2015-12-17 株式会社 日立産業制御ソリューションズ 撮影条件設定装置および撮影条件設定方法
US20160055671A1 (en) * 2014-08-22 2016-02-25 Applied Research Associates, Inc. Techniques for Enhanced Accurate Pose Estimation
WO2016098050A1 (en) * 2014-12-17 2016-06-23 Husqvarna Ab Multi-sensor, autonomous robotic vehicle with mapping capability
JP2016223846A (ja) * 2015-05-28 2016-12-28 日産自動車株式会社 自車位置判定装置及び自車位置判定方法
JP2017009555A (ja) * 2015-06-26 2017-01-12 株式会社トプコン カメラのキャリブレーション装置、カメラのキャリブレーション方法およびカメラのキャリブレーションを行うためのプログラム
JP2018037061A (ja) * 2016-09-01 2018-03-08 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 自律走行車両のためのビジョンセンサの制御方法及び装置

Also Published As

Publication number Publication date
CN111448529A (zh) 2020-07-24
US11698642B2 (en) 2023-07-11
WO2019116784A1 (ja) 2019-06-20
EP3726329A1 (en) 2020-10-21
EP3726329A4 (en) 2021-01-27
JP7200946B2 (ja) 2023-01-10
US20210141386A1 (en) 2021-05-13
KR20200096518A (ko) 2020-08-12

Similar Documents

Publication Publication Date Title
JP7200946B2 (ja) 情報処理装置、制御システム、情報処理方法及びプログラム
JP7043755B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US11450026B2 (en) Information processing apparatus, information processing method, and mobile object
JP7314798B2 (ja) 撮像装置、画像処理装置、及び、画像処理方法
US11815799B2 (en) Information processing apparatus and information processing method, imaging apparatus, mobile device, and computer program
JP7143857B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
JP7243714B2 (ja) 露光制御装置、露光制御方法、プログラム、撮影装置、及び、移動体
JP7257737B2 (ja) 情報処理装置、自己位置推定方法、及び、プログラム
WO2019188391A1 (ja) 制御装置、制御方法、並びにプログラム
CN112567726B (zh) 信息处理设备，信息处理方法和计算机可读记录介质
WO2022038981A1 (ja) 情報処理装置及び情報処理方法、撮像装置、移動体装置、並びにコンピュータプログラム
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JPWO2020170835A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211015

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20211015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220705

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220824

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221205

R151 Written notification of patent or utility model registration

Ref document number: 7200946

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151