JP7180670B2 - 制御装置、制御方法、並びにプログラム - Google Patents

Description

本技術は制御装置、制御方法、並びにプログラムに関し、例えば、自己位置推定を精度良く、低消費電力で行えるようにした制御装置、制御方法、並びにプログラムに関する。

従来、カメラで撮影された画像に基づいて、実空間上におけるカメラの位置を推定する自己位置推定では、画像に含まれている指標となる勾配や特徴点などが用いられて、カメラの自己位置が推定される（例えば、特許文献１参照）。また複数のカメラを用いることで、カメラにより観察されない領域、所謂死角を減らすことができるので、画像から特徴点が検出されないような状況を回避することも提案されている。

特開２００９－２３７８４８号公報

しかしながら、常に複数のカメラで周囲の環境を撮影すると、自己位置推定に用いるカメラの数が増える分だけ、電力消費量が増加する。特に、カメラの数に対して電力消費量は正比例することから、自己位置推定での消費電力を低く抑えるのが望まれている。

本技術は、このような状況に鑑みてなされたものであり、より低い消費電力で確実に自己位置を推定することができるようにするものである。

本技術の一側面の制御装置は、水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択する選択部と、前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定を行う自己位置推定部とを備え、現時点より前の時点で、前記水平カメラで撮影された画像から抽出された特徴点の位置に対応する、現時点で選択されている前記水平カメラで撮影した場合の位置を推定する。

本技術の一側面の制御方法は、制御装置が、水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択処理し、選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定処理を行い、現時点より前の時点で、前記水平カメラで撮影された画像から抽出された特徴点の位置に対応する、現時点で選択されている前記水平カメラで撮影した場合の位置を推定する。

本技術の一側面のプログラムは、コンピュータに、水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択し、選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定を行い、現時点より前の時点で、前記水平カメラで撮影された画像から抽出された特徴点の位置に対応する、現時点で選択されている前記水平カメラで撮影した場合の位置を推定する処理を実行させる。

本技術の一側面の制御装置、制御方法、並びにプログラムにおいては、水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラが速度により選択され、選択された水平カメラまたは下向きカメラによる撮影で得られた画像が用いられて自己位置推定が行われる。現時点より前の時点で、水平カメラで撮影された画像から抽出された特徴点の位置に対応する、現時点で選択されている水平カメラで撮影した場合の位置が推定される。

なお、制御装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。

また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。

本技術の一側面によれば、より低い消費電力で確実に自己位置を推定することができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用した移動体制御システムの一実施の形態の構成を示す図である。 自己位置推定部の構成例を示す図である。 カメラの配置について説明するための図である。 特徴点の推定について説明するための図である。 特徴点の推定について説明するための図である。 特徴点の推定について説明するための図である。 自己位置推定部の処理について説明するためのフローチャートである。 自己位置推定部の処理について説明するためのフローチャートである。 自己位置推定部の処理について説明するためのフローチャートである。 自己位置推定部の処理について説明するためのフローチャートである。 コンピュータの構成について説明するための図である。

以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。

図１は、本技術が適用され得る移動体制御システムの一例である車両制御システム１００の概略的な機能の構成例を示すブロック図である。

車両制御システム１００は、車両１０に設けられ、車両１０の各種の制御を行うシステムである。なお、以下、車両１０を他の車両と区別する場合、自車又は自車両と称する。

車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。

なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。

入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。

データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。

例えば、データ取得部１０２は、車両１０の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。

また、例えば、データ取得部１０２は、車両１０の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、車両１０の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。

さらに、例えば、データ取得部１０２は、車両１０の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。

また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。

通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。

例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。

さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、車両１０の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、車両１０と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。

車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、車両１０に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。

出力制御部１０５は、車両１０の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。

出力部１０６は、車両１０の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。

駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。

駆動系システム１０８は、車両１０の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。

ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。

ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。

記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、車両１０の周囲の情報を含むローカルマップ等の地図データを記憶する。

自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、車両１０の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両１０の衝突警告、又は、車両１０のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。

検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。

車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、車両１０の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、車両１０の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。

車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の状態の検出処理を行う。検出対象となる車両１０の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。

自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。

状況分析部１３３は、車両１０及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。

マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、車両１０の周囲の信号の位置及び状態、車両１０の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。

状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の認識処理を行う。例えば、状況認識部１５３は、車両１０の状況、車両１０の周囲の状況、及び、車両１０の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、車両１０の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。

認識対象となる車両１０の状況には、例えば、車両１０の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる車両１０の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。

状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。

状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、車両１０に関する状況の予測処理を行う。例えば、状況予測部１５４は、車両１０の状況、車両１０の周囲の状況、及び、運転者の状況等の予測処理を行う。

予測対象となる車両１０の状況には、例えば、車両１０の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる車両１０の周囲の状況には、例えば、車両１０の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。

状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。

ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。

行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための車両１０の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行中車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した車両１０の行動を示すデータを動作計画部１６３等に供給する。

動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための車両１０の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した車両１０の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。

動作制御部１３５は、車両１０の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。

緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両１０の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための車両１０の動作を計画する。緊急事態回避部１７１は、計画した車両１０の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。

加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された車両１０の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。

＜自己位置推定部の構成＞
図２は、自己位置推定部１３２の内部構成例を示す図である。

自己位置推定部１３２は、カメラ選択判定部２０１、シャッター制御部２０２、特徴点推定部２０３、特徴マッチング部２０４、自己位置推定部２０５、自己位置保持部２０６、動き予測部２０７、特徴マッチング部２０８、全方位情報保持部２０９、および領域重み判定部２１０を含む。

自己位置推定部１３２には、制御部２５１から制御情報が供給される。また自己位置推定部１３２には、複数のカメラからの画像データも供給される。複数のカメラとして、全方位カメラ２５２と周辺カメラ２５３が自車には搭載されている。

制御部２５１は、例えば、自車の速度や移動方向に関する情報を、自己位置推定部１３２に供給し、図１の車両状態検出部１４３や状況認識部１５３を含む部分である。

全方位カメラ２５２と周辺カメラ２５３は、自車の周囲を撮影するカメラであり、図１のデータ取得部１０２や、車外情報検出部１４１を含む部分である。

図３は、自車に搭載されている全方位カメラ２５２と周辺カメラ２５３の配置位置の一例を示した図である。図３のＡは、自車を上方から見たときのカメラが配置されている位置を模式的に示した図であり、図３のＢは、自車を後方から見たときのカメラが配置されている位置を模式的に示した図である。なお、以下に示す配置位置は一例であり、限定を示すものではない。

図３のＡに示すように、自車の中央付近には、全方位カメラ２５２が搭載されている。全方位カメラ２５２は、自車を中心とした３６０度の周辺領域を撮影できる位置に設置されていれば良い。

全方位カメラ２５２により撮影される周辺環境の領域は、地面と平行な面（水平方向）においては、３６０度の領域であり、自車からの距離が所定の範囲内の領域ある。一方、全方位カメラ２５２により撮影される周辺環境の領域は、地面と直交する面（垂直方向）においては、３６０度であっても良いが、空方向の所定の範囲は撮影しない角度、例えば２７０度程度の範囲内の領域とすることができる。

全方位カメラ２５２は、１台の撮影装置で３６０度の範囲を撮影できるように構成されていても良いし、複数の撮影装置で３６０度の範囲を撮影できるように構成されていても良い。

周辺カメラ２５３は、図３のＡに示したように、自車の周囲を撮影できるように、複数台搭載されている。図３のＡに示した例では、８台の周辺カメラ２５３－１乃至２５３－８が搭載されている例を示した。

周辺カメラ２５３－１は、自車の右前に配置され、周辺カメラ２５３－２は、自車の右斜め前に配置され、周辺カメラ２５３－３は、自車の右斜め後に配置され、周辺カメラ２５３－４は、自車の右後に配置されている。周辺カメラ２５３－５は、自車の左前に配置され、周辺カメラ２５３－６は、自車の左斜め前に配置され、周辺カメラ２５３－７は、自車の左斜め後に配置され、周辺カメラ２５３－８は、自車の左後に配置されている。

周辺カメラ２５３は、図３のＢに示すように、水平方向に搭載された周辺カメラ２５３ａ－８と、下方向に搭載された周辺カメラ２５３ｂ－８から構成されている。図３のＢは、自車の後方から見た図のため、自車の後方に配置されている周辺カメラ２５３－８が見えている。

以下の説明においては、水平方向に搭載された周辺カメラ２５３を、水平カメラ２５３ａと記述し、下向き方向に搭載された周辺カメラ２５３を、下向きカメラ２５３ｂと記述する。また、水平カメラ２５３ａと下向きカメラ２５３ｂを個々に区別する必要が無い場合、または水平カメラ２５３aと下向きカメラ２５３bの組み合わせを示したい場合、単に周辺カメラ２５３と記述する。

図３に示した例では、自車には、８台の水平カメラ２５３ａ－１乃至２５３ａ－８が搭載され、８台の下向きカメラ２５３ｂ－１乃至２５３ｂ－８が搭載されている。水平カメラ２５３ａ－１と下向きカメラ２５３ｂ－１の組は、周辺カメラ２５３－１を構成し、水平カメラ２５３ａ－２と下向きカメラ２５３ｂ－２の組は、周辺カメラ２５３－２を構成し、水平カメラ２５３ａ－３と下向きカメラ２５３ｂ－３の組は、周辺カメラ２５３－３を構成し、水平カメラ２５３ａ－４と下向きカメラ２５３ｂ－４の組は、周辺カメラ２５３－４を構成する。

また水平カメラ２５３ａ－５と下向きカメラ２５３ｂ－５の組は、周辺カメラ２５３－５を構成し、水平カメラ２５３ａ－６と下向きカメラ２５３ｂ－６の組は、周辺カメラ２５３－６を構成し、水平カメラ２５３ａ－７と下向きカメラ２５３ｂ－７の組は、周辺カメラ２５３－７を構成し、水平カメラ２５３ａ－８と下向きカメラ２５３ｂ－８の組は、周辺カメラ２５３－８を構成する。

このように、自車には、自車を中心とした３６０度の周辺画像を取得する全方位カメラ２５２と、自車の周りに所定の領域を撮影する複数の周辺カメラ２５３が搭載されている。

なお、ここでは、８組（１６台）の周辺カメラ２５３と１台の全方位カメラ２５２の組み合わせを例に挙げて説明を続けるが、周辺カメラ２５３の台数は、１６台に限らず、他の台数であっても良い。また、全方位カメラ２５２も、１台ではなく、複数台搭載されていても良い。

図２の自己位置推定部１３２の内部構成例の説明に戻る。カメラ選択判定部２０１は、制御部２５１から制御情報が供給され、全方位情報保持部２０９から重み付き領域情報が供給される。制御情報としては、例えば、自車の進行方向、速度などに関する情報である。重み付き領域情報は、詳細は後述するが、周辺カメラ２５３が、図３に示したように、８組搭載されている場合、それらの８組の周辺カメラ２５３がそれぞれ撮影する領域に対する重み付けに関する情報である。

カメラ選択判定部２０１は、制御情報と重み付き領域情報を用いて、１６台の周辺カメラ２５３のうち用いる周辺カメラ２５３を選択する。なお、用いる周辺カメラ２５３とは、用いると選択された周辺カメラ２５３の電源はオンにし、用いると選択された周辺カメラ２５３以外の周辺カメラ２５３の電源は、オフにすることを意味する。

カメラ選択判定部２０１による選択判定結果は、シャッター制御部２０２と特徴点推定部２０３に供給される。シャッター制御部２０２は、カメラ選択判定部２０１で選択された周辺カメラ２５３の撮影処理を制御する。

特徴マッチング部２０４には、周辺カメラ２５３で撮影された画像、シャッター制御部２０２から撮影処理が制御された周辺カメラ２５３の情報、および特徴点推定部２０３からの推定結果が供給される。特徴マッチング部２０４は、画像内から特徴点を抽出し、その特徴点と一致する前フレームの画像から抽出された特徴点を探索し、特徴点の対応ペアを生成し、自己位置推定部２０５に供給する。

なおここでは、特徴点が抽出されるとして説明を続けるが、点ではなく、領域であっても良い。例えば、画像内からエッジの部分を抽出し、そのエッジがある領域を特徴がある領域として抽出し、後段の処理に用いられるようにしても良い。また、後述する処理で、所定の領域内にある特徴点の数により領域をソートする処理が実行されるが、この処理においても、領域を用いた場合には、特徴のある領域として抽出された領域の大きさによりソートの処理が実行される。

またここでは、１フレーム前の画像から抽出された特徴点と現フレームの画像から抽出された特徴点が比較される場合を例に挙げて説明を続けるが、１フレーム前ではなく、数フレーム前と現フレームとが比較される場合にも本技術を適用できる。また、フレーム（画像）が取得されるタイミングは、一般的なタイミング、例えば１秒間に３０フレームなどのタイミングであってももちろん良いが、他のタイミングであっても良い。

自己位置推定部２０５は、特徴点の対応ペアを用いて、自車の位置を推定する。自己位置推定部２０５からの推定結果は、自車の位置、自車の姿勢、周辺環境の情報（ランドマークの情報）などである。自己位置や自己姿勢の情報は、自己位置推定部１３２の外部、例えば、マップ解析部１５１や状況認識部１５３（図１）に出力される。また、自己位置、自己姿勢、周辺環境などの情報は、自己位置保持部２０６にも供給され、保持される。

自己位置保持部２０６は、少なくとも１フレーム分の自己位置、自己姿勢、周辺環境などに関する情報を保持している。これらの情報は、環境マップの作成に必要な情報であり、環境マップとは、例えば、SLAM（Simultaneous Localization And Mapping）などのように、実空間に対応する三次元座標上で、事前に登録されたランドマークおよび逐次的に登録されたランドマークと、撮影画像から検出された特徴点との対応関係から自己位置を推定する手法により得られる情報である。

ここでランドマークとは、撮影画像から特徴点が検出された、または撮影画像から特徴点が検出され得る実空間上の被写体の部位であり、自己位置推定時には、各ランドマークの位置を示す情報、つまり三次元座標系におけるランドマークの位置情報を示す三次元マップが用いられる。

具体的には、例えば、特徴マッチング部２０４での処理により、撮影時刻の異なる撮影画像から検出された各特徴点の対応関係が求められ、それらの特徴点の対応関係、および特徴点とランドマークの対応関係等から自車の自己位置が推定により求められる。推定された自己位置に関する情報が、自己位置保持部２０６に保持される。

自己位置保持部２０６に保持されている周辺環境の情報は、特徴点推定部２０３に供給される。特徴点推定部２０３は、１フレーム前の特徴点が、カメラ選択判定部２０１で選択された周辺カメラ２５３で撮影された画像内では、どの位置に撮影されていたかを予測する。

図４を参照し、特徴点推定部２０３の処理について説明を加える。図４のＡを参照するに、時刻ｔ－１のとき、カメラ選択判定部２０１により周辺カメラ２５３－６が選択され、周辺カメラ２５３－６で撮影が行われ、画像３０１－１が撮影されたとする。この画像３０１－１から、特徴点３１１－１が検出される。

自車が前方、図４のＡ中、情報に移動しているとする。時刻ｔ－１よりも1フレーム分後の時刻ｔ０において、カメラ選択判定部２０１により周辺カメラ２５３－７が選択され、周辺カメラ２５３－７で撮影が行われ、画像３０１－４が撮影されたとする。この画像３０１－４から、特徴点３１１－２が検出される。特徴点３１１－１と特徴点３１１－２は、同一の静止物体から抽出された特徴点であるとする。

このような場合、例えば、特徴マッチング部２０４で、時刻ｔ－１のときに撮影された画像３０１－１から抽出された特徴点３１１－１と、時刻ｔ０のときに撮影された画像３０１－４から抽出された特徴点３１１－２が用いられてマッチングが行われた場合、間違ったマッチングが行われ、間違った自己位置推定が行われてしまう。

例えば、この場合、特徴点３１１－１が画像３０１－１の中央にあり、特徴点３１１－２が画像３０１－４の中央にある場合、画像３０１内で特徴点３１１は、動いていないことになり、自車は動いていないとの自己位置推定が行われてしまう可能性がある。

そこで、図４のＢに示したように、例えば、時刻ｔ－１において、周辺カメラ２５３－７が、画像３０１―１’と画像３０１－２’を撮影し、特徴点３１１－１’が抽出されたとし、この特徴点３１１－１’と、時刻ｔ０において、周辺カメラ２５３－７が撮影した画像３０１－４から抽出された特徴点３１１－２がマッチングされるようにする。

特徴点３１１－１’は、画像３０１－１から抽出された特徴点３１１－１に該当する。すなわち、時刻ｔ－１においては、周辺カメラ２５３－７は、選択されていないため撮影を行っていないが、仮に行ったとした場合に、特徴点３１１－１がある位置が推定され、特徴点３１１－１’の位置が特定される。換言すれば、時刻ｔ－１における周辺カメラ２５３－７と特徴点３１１－１との位置関係が推定され、この推定された位置に、特徴点３１１－１’があるとして、時刻ｔ０のときに撮影された画像３０１－４から抽出された特徴点３１１－２とのマッチングが行われる。

このように、１フレーム前の画像から抽出された特徴点が、現フレームの画像内では、どの位置にあるかを推定する処理が、特徴点推定部２０３により行われ、その推定結果が、特徴マッチング部２０４に供給される。特徴マッチング部２０４では、図４のＢに示したような状態でのマッチングが行われる。

このように、異なる時刻に異なる周辺カメラ２５３により撮影された画像から抽出された特徴点などの情報は共有され、複数のカメラを連携させた処理を実行することができる。

この場合、時刻ｔ－１のときの特徴点の位置として推定された特徴点３１１－１’と、時刻ｔ０のときの特徴点として抽出された特徴点３１１－２とのマッチングが行われる。

図２の自己位置推定部１３２の内部構成例の説明に戻る。自己位置推定部１３２には、全方位カメラ２５２で撮影された画像も供給される。全方位カメラ２５２で撮影された画像は、特徴マッチング部２０８に供給される。特徴マッチング部２０８は、全方位カメラ２５２で撮影された画像から抽出される特徴点と、動き予測部２０７から供給される特徴点とのマッチングを行う。

この動き予測部２０７と特徴マッチング部２０８の処理について図５を参照して説明する。全方位カメラ２５２で得られる画像は、８分割される。例えば、図５の上部に示したように、円形を全方位カメラ２５２で得られる画像３５１とした場合、この画像３５１を、８領域に分割する。画像３５１の分割数は、周辺カメラ２５３の台数（組数）と同数、換言すれば、画像３５１の分割数は、水平カメラ２５３ａの台数と同数とされる。ここでは、水平カメラ２５３ａの台数が８台であるため、画像３５１の分割数は８とされ、８領域に分割されている。

このように全方位カメラ２５２で撮影される画像３５１を、水平カメラ２５３ａの台数と同数の領域に分割するのは、領域内から抽出された特徴点の数により、用いる水平カメラ２５３ａが選択されるようにするためである。図５の左上部に示した図において、領域３５１－１は、水平カメラ２５３ａ－１に割り当てられた領域であり、この領域３５１－１から抽出され、所定の条件を満たす特徴点が多い場合、水平カメラ２５３ａ－１が、用いられる水平カメラ２５３ａとして選択される。

同様に、領域３５１－２は、水平カメラ２５３ａ－２に割り当てられた領域であり、領域３５１－３は、水平カメラ２５３ａ－３に割り当てられた領域であり、領域３５１－４は、水平カメラ２５３ａ－４に割り当てられた領域である。さらに同様に、領域３５１－５は、水平カメラ２５３ａ－５に割り当てられた領域であり、領域３５１－６は、水平カメラ２５３ａ－６に割り当てられた領域であり、領域３５１－７は、水平カメラ２５３ａ－７に割り当てられた領域であり、領域３５１－８は、水平カメラ２５３ａ－８に割り当てられた領域である。

図５の左上図に示した図を参照するに、時刻ｔ－１において、全方位カメラ２５２により撮影された画像３５１から、４つの特徴点が抽出されたとする。ここでは説明のため、特徴点の数を４個とし、また１領域から１個の特徴点が抽出されている例を挙げて説明を続ける。

特徴点３７１－１は、領域３５１－２から抽出され、特徴点３７１－２は、領域３５１－６から抽出され、特徴点３７１－３は、領域３５１－７から抽出され、特徴点３７１－４は、領域３５１－８から抽出されたとする。時刻ｔ－１において抽出された特徴点３７１の情報は、周辺環境情報として、全方位情報保持部２０９に保持されており、時刻ｔ０において、動き予測部２０７に供給される。

動き予測部２０７には、制御部２５１から制御情報も供給される。制御情報としては、自車の進行方向に関する情報であり、ここでは、前方に直進しているという情報が入力された場合を例に挙げて説明を続ける。

動き予測部２０７は、制御情報から、自車の進行方向が、前方であると判定し、時刻ｔ－１のときに抽出された特徴点３７１－１乃至３７１－４は、時刻ｔ０においては、どの位置に移動しているかを予測する。自車が前方に移動しているとき、静止物体は、相対的に後方に移動するため、特徴点３７１も、後方（図５中下側）に移動すると予測される。

図５の右上図に示したように、特徴点３７１－１乃至３７１－４は、後方に移動した特徴点３７１－１’乃至３７１－４’に推定される。この推定のときに、移動速度も考慮して推定することで、より精度良く推定を行うことができる。推定の結果、特徴点３７１－４’は、画像３５１’外に位置すると推定された場合、動き予測部２０７は、図５の下図に示したように、時刻ｔ－１の特徴点の情報として、特徴点３７１－１乃至３７１－３を、特徴マッチング部２０８に出力する。すなわち、この場合、時刻ｔ０のときに撮影される画像からは抽出されないと推測された特徴点３７１－４を除外した特徴点の情報が、特徴マッチング部２０８に供給される。

このように、動き予測部２０７により、マッチングに用いられる特徴点の数が絞りこまれることで、特徴マッチング部２０８の処理を軽減することができる。特徴マッチング部２０８は、動き予測部２０７からの特徴点３７１の情報（図６の左上図に示したような、時刻ｔ－１のときの画像から得られた情報）と、全方位カメラ２５２からの特徴点の情報（図６の右上図に示したような、時刻ｔ０のときの画像から得られる情報）をマッチングする。

図６の右上図は、時刻ｔ０のときに全方位カメラ２５２から得られた画像３５２から抽出された特徴点３８１－１乃至３８１－４を表している。特徴マッチング部２０８は、時刻ｔ－１のときに全方位カメラ２５２から得られた画像３５１から抽出された特徴点３７１－１は、特徴点３８１－１に移動し、特徴点３７１－２は、特徴点３８１－２に移動し、特徴点３７１－３は、特徴点３８１－３に移動したと判定する。

このような判定時に、図５の右上図に示したように、自車の進行方向や速度から推測された特徴点の位置の情報が用いられ、その推測先の特徴点の位置付近を探索するようにし、探索範囲を制限することで、特徴点のマッチングのために掛かる処理負荷が軽減されるようにしても良い。

特徴マッチング部２０４は、特徴点のマッチングの結果、特徴点の移動方向を検出し、その特徴点の移動方向と、自車の移動方向が一致している特徴点を検出する。図６に示した例では、下図に矢印で示すように、特徴点３８１－１は、特徴点３７１－１が上側に移動した特徴点であり、特徴点３８１－２は、特徴点３７１－２が下側に移動した特徴点であり、特徴点３８１－３は、特徴点３７１－３が下側に移動した特徴点であると判定される。また、特徴点３８１－４は、時刻ｔ－１のときに撮影された画像３５１から抽出された特徴点とのマッチングがされなかった特徴点であると判定される。

特徴マッチング部２０８からは、このようなマッチング結果が、領域重み判定部２１０に出力される。領域重み判定部２１０は、自己位置推定部２０５から自己位置と自己姿勢の情報が供給され、特徴マッチング部２０８から、マッチング結果が供給される。

領域重み判定部２１０は、自車の移動方向と一致する方向の特徴点を検出する。例えば、自車が前方に移動している場合、静止物体から抽出された特徴点は、後方に移動するため、自車の移動方向と一致する方向の特徴点とは、後方に移動したと判定された特徴点となる。また例えば、自車が後方に移動している場合、静止物体から抽出された特徴点は、前方に移動するため、自車の移動方向と一致する方向の特徴点とは、前方に移動したと判定された特徴点となる。

このように、領域重み判定部２１０は、自車の移動方向に適合する（矛盾しない）移動方向に、移動している特徴点を検出する。例えば、図６の下図に示したようなマッチング結果が、領域重み判定部２１０に供給され、自車の移動方向が前方であると判定されている（特徴点としては後方に移動すると判定されている）場合、特徴点３８１－２と特徴点３８１－３が、自車の移動方向と適合する方向の特徴点として検出される。

特徴点３８１－１は、自車の移動方向と適合する方向の特徴点ではないため、自車の移動方向と適合する方向の特徴点としては検出されない。特徴点３８１－１のように、自車の移動方向と適合しない方向、換言すれば、自車の移動方向に適合しない移動方向に移動している特徴点は、例えば、動体から抽出された特徴点である。

自己位置を推定するとき、静止物体との位置関係の変化を検出することが必要である。また換言すれば、自己位置を推定するとき、動体の情報を除外、例えば、動体から抽出された特徴点を除外する必要がある。本技術によれば、上記したように、自車の移動方向と適合する方向の特徴点を抽出することで、動体から抽出された可能性のある特徴点を除外することができる。

また、領域重み判定部２１０は、自車の移動方向と適合する特徴点を検出し、その検出した特徴点の数を、領域毎に検出し、特徴点の数が多い順に領域をソートする。特徴点が多く検出された領域は、自己位置を推定するときに必要とされる情報、この場合、静止物体から抽出される特徴点を、抽出しやすい領域である。

よって、そのような特徴点を抽出しやすい領域が検出され、その検出された領域に対応する周辺カメラ２５３が用いられるようにする。そこで、領域重み判定部２１０は、上記したように、特徴点の数が多い順に領域をソートする。そして、ソートされた領域内の特徴点の数が所定の数に達するまで、領域を選択する。

例えば、図６の下図に示したマッチング結果の場合、特徴点３８１－２が抽出された領域３５１－７と特徴点３８１－８が抽出された領域３５１－８が検出される。図６では、説明のため、領域３５１－７と領域３５７－８からそれぞれ抽出された特徴点の数を１個としてあるが、例えば、領域３５１－７から２０個の特徴点が抽出され、領域３５１－８から１０個の特徴点が抽出されたとする。

この場合、特徴点の数により領域３５１がソートされた場合、領域３５１－７、領域３５１－８の順にソートされる。そして、所定の数が、例えば１５個である場合、領域３５１－７が選択された時点で、条件が満たされるため、領域３５１－７のみが選択される。また所定の数が、例えば、３０個である場合、領域３５１－７が選択された時点では、まだ条件が満たされないため、ソートされた順で次の領域３５１－８が選択される。領域３５１－８が選択された時点で、特徴点の数は、合計３０個になるため、条件が満たされるため、領域３５１－７と領域３５１－８が選択結果とされる。

領域重み判定部２１０は、このように、領域３５１を選択し、選択した領域３５１の情報を、全方位情報保持部２０９に供給する。領域重み判定部２１０から出力される情報は、選択された領域３５１の情報であるが、この情報は、例えば、領域３５１から抽出された特徴点の数そのものでも良いし、ソートされた順位により割り当てられた数値であっても良い。

また選択された領域３５１がどこであるかを示すフラグのような情報であっても良い。例えば、上記した例では、領域３５１－７と領域３５１－８にフラグが立てられた情報とされる。

全方位情報保持部２０９には、上記したように、選択された領域３５１の情報が供給され、保持される。この選択された領域３５１の情報は、静止物体から抽出される特徴点を、抽出しやすい領域を示す情報である。このような情報は、重み付き領域情報として、カメラ選択判定部２０１に供給される。

カメラ選択判定部２０１は、上記したように、撮影に用いる周辺カメラ２５３を選択する。詳細は、図７に示したフローチャートを参照して説明するように、自車の速度により、水平カメラ２５３ａを用いるか、下向きカメラ２５３ｂを用いるかを選択し、水平カメラ２５３ａを用いる場合には、重み付き領域情報を基づいて、用いる水平カメラ２５３ａを選択する。具体的には、重み付き領域情報で、選択された領域３５１を判定し、その判定された領域３５１に該当する水平カメラ２５３ａが選択される。

このように、周辺カメラ２５３が選択されるため、換言すれば、撮影に用いる周辺カメラ２５３と用いない周辺カメラ２５３が、選択されるため、周辺カメラ２５３で消費される電力を抑えることができ、処理する画像を少なくすることができ、画像処理（自己位置推定処理）にかかる処理負荷を低減させることが可能となる。

ここでは、図３を参照して説明したように、８台の水平カメラ２５３ａと８台の下向きカメラ２５３ｂの計１６台の周辺カメラ２５３が搭載されている場合を例に挙げて説明している。１６台の周辺カメラ２５３を、常に動作させている場合と比べて、例えば、８台の下向きカメラ２５３ｂを用いた場合の方が電力消費は低く、さらに、例えば、８台の水平カメラ２５３ａのうち、所定の台数の水平カメラ２５３ａを用いる場合の方が、電力消費は低くなることは明らかである。

また、用いる周辺カメラ２５３の台数が少なければ、その少ない台数の周辺カメラ２５３から得られる画像のみを処理すれば良くなり、画像を処理する処理負荷を低減することができる。

さらに、上記したように、また後述するように、速度や特徴点の数により、用いる周辺カメラ２５３を選択しているため、自己位置推定の精度を落とすことなく、電力消費の低減や、処理負荷の低減を実現することができる。

＜自己位置推定部の処理＞
図７乃至１０に示したフローチャートを参照し、自己位置推定部１３２（図２）の動作について説明する。

ステップＳ１１において、カメラ選択判定部２０１は、自車の移動速度が所定の閾値以上（より大きい）であるか否かを判定する。ステップＳ１１において、自車の移動速度が所定の閾値以上であると判定された場合、ステップＳ１２に処理が進められ、自車の移動速度が所定の閾値以上ではないと判定された場合、ステップＳ１５に処理が進められる。

ステップＳ１２に処理が進められた場合、撮影に用いられる周辺カメラ２５３は、水平カメラ２５３ａであると設定され、自己位置推定処理が行われる。一方で、ステップＳ１５に処理が進められた場合、撮影に用いられる周辺カメラ２５３は、下向きカメラ２５３ｂであると設定され、自己位置推定処理が行われる。

このように、自車の移動速度が所定の閾値以上である場合、換言すれば、自車が高速で移動している場合、水平カメラ２５３ａが用いられ、自車の移動速度が所定の閾値以上ではない場合、換言すれば、自車が低速で移動している場合、下向きカメラ２５３ｂが用いられる。

なおここでは、高速と低速に分けて説明をするが、換言すれば所定の閾値は１つである場合を例に挙げて説明を続けるが、閾値を複数設けて処理が行われる設定にしても良い。例えば、高速（閾値Ａ以上）、中速（閾値Ａより小さく、閾値Ｂ以上）、低速（閾値Ｂより小さい）に分け、高速の場合には、水平カメラ２５３ａを用い、中速の場合には、水平カメラ２５３ａと下向きカメラ２５３ｂを用い、低速の場合には、下向きカメラ２５３ｂを用いるといった設定にしても良い。

ステップＳ１１において、自車の移動速度が、閾値とされている速度よりも速いと判定された場合、ステップＳ１２に処理が進められる。ステップＳ１２において、領域選択処理が実行される。ステップＳ１２において実行される領域選択処理について、図８のフローチャートを参照して説明する。

領域選択処理は、動き予測部２０７、特徴マッチング部２０８、全方位情報保持部２０９、領域重み判定部２１０により行われ、図５、図６を参照して説明したように行われるため、重複する説明は適宜省略して説明する。

ステップＳ３１において、全方位カメラ２５２からの画像が取得される。この場合、特徴マッチング部２０８に、全方位カメラ２５２からの画像が供給される。ステップＳ３２において、特徴マッチング部２０８は、供給された全方位カメラ２５２からの画像から、特徴点を抽出する。このような処理が行われている一方で、ステップＳ３３において、全方位情報保持部２０９から、１フレーム前の画像から抽出された特徴点が読み出される。

動き予測部２０７は、図５を参照して説明したように、全方位情報保持部２０９から、１フレーム前の画像から抽出された特徴点（周辺環境情報）を読み出し、制御情報から、自車の進行方向を判定し、自車の進行方向から、特徴点の移動先を予測し、その予測結果を特徴マッチング部２０８に供給する。

ステップＳ３４において、特徴マッチング部２０８は、図６を参照して説明したように、１フレーム前の画像からの特徴点と現フレームの画像からの特徴点のマッチングを行う。ステップＳ３５において、マッチングの結果、各特徴点の移動方向が判定される。

ステップＳ３６において、自車の移動方向と特徴点の移動方向が合致している特徴点が抽出される。この処理は、図６を参照して説明したように、自車の進行方向に対して、移動方向が妥当である（矛盾がない）と判定される特徴点が抽出される。

ステップＳ３７において、領域重み判定部２１０は、各領域３５１内の特徴点の数の多い順に、領域３５１をソートする。そして、ステップＳ３８において、ソートされた順に、特徴点の数の累積数が所定の数を満たすまで、領域３５１が選択される。このような選択が行われると、その選択結果は、全方位情報保持部２０９に供給され、全方位情報保持部２０９に保持されている領域重みの情報が更新される。

このようにして領域選択処理が行われると、ステップＳ１３（図７）に処理が進められる。

ステップＳ１３において、カメラ選択判定部２０１は、使用する水平カメラ２５３ａを選択する。カメラ選択判定部２０１は、自車の移動速度が高速であると判定した場合、自己位置推定に用いる画像を撮影する周辺カメラ２５３を、水平カメラ２５３ａに設定し、さらに全方位情報保持部２０９に保持されている重み付き領域情報から、８台の水平カメラ２５３ａのうち、どの水平カメラ２５３ａを用いるかを設定する。

すなわち、重み付き領域情報から、重みが付けられている領域３５１に対応する水平カメラ２５３ａが、用いる水平カメラ２５３ａ（電源をオンにし、撮影処理を実行させる水平カメラ２５３ａ）として設定される。

重み付き領域情報は、領域重み判定部２１０により、自己位置推定時に用いることができる特徴点をより多く抽出することができる領域として選択された領域３５１に関する情報である。よって、そのような領域３５１の範囲を撮影する水平カメラ２５３ａを用いることで、自己位置推定に用いる特徴点を抽出しやすい領域を撮影した画像を得ることができる。

カメラ選択判定部２０１により、用いる水平カメラ２５３ａが選択されると、ステップＳ１４に処理が進められる。ステップＳ１４において、水平カメラ２５３ａを用いた自己位置推定処理が実行される。ステップＳ１４において実行される自己位置推定処理について、図９に示したフローチャートを参照して説明する。

ステップＳ５１において、シャッター制御部２０２は、選択された水平カメラ２５３ａを制御し、画像を撮影する。撮影された画像は、特徴マッチング部２０４に供給される。この撮影においては、選択された水平カメラ２５３ａのみが撮影を行うため、撮影にかかる電力消費を低減させることができる。また、選択された水平カメラ２５３ａからの画像を処理、例えば特徴点の抽出といった処理を行うため、処理する画像数を減らすことができ、処理負荷を軽減することができる。

ステップＳ５２において、特徴マッチング部２０４は、特徴点を抽出する。一方で、ステップＳ５３において、特徴点推定部２０３は、自己位置保持部２０６に保持されている周辺環境情報を読み込む。この周辺環境情報は、１フレーム前の画像から抽出された特徴点に関する情報が含まれている。特徴点推定部２０３は、ステップＳ５４において、選択された水平カメラ２５３ａで撮影された画像上では、どの位置に、１フレーム前の画像から抽出された特徴点が位置するかを推定する。

ステップＳ５３とステップＳ５４において特徴点推定部２０３より実行される処理は、図４を参照して説明したように、１フレーム前の画像から抽出された特徴点は、現フレームの画像では、どこに位置しているかを推定（変換）する処理である。

ステップＳ５５において、特徴マッチング部２０４は、１フレーム前の画像から抽出された特徴点と現フレームの画像から抽出された特徴点とのブロックマッチングを行うことで、対応ペアを検出する。

水平カメラ２５３ａにより撮影される画像は、自車の周りの風景であり、例えば、建物、木、ガードレールなどである。このような風景画に対するマッチング処理は、ブロックマッチングが適しているため、ここでは、ブロックマッチングによりマッチング処理が行われるとして説明を続ける。

なお、水平カメラ２５３ａにより撮影された画像を用いたマッチング処理として、ブロックマッチング以外のマッチング手法を用いることも可能である。

またここでは、特徴点が抽出され、マッチング処理が実行されるとして説明しているが、水平カメラ２５３ａにより撮影された画像を用いたマッチング処理に適した情報が抽出される。例えば点ではなく、特徴がある領域が抽出されるといったような場合も、本技術の適用範囲である。

特徴マッチング部２０４によりブロックマッチングが行われることで、特徴点の対応ペアの情報が生成され、自己位置推定部２０５に供給される。自己位置推定部２０５は、ステップＳ５６において、自己位置を推定する。自己位置の手法は、どのような手法であっても本技術に適用できる。

例えば、マッチング結果である2D-3D対応点（画像の二次元座標と画像の三次元座標との間の対応点）から姿勢を推定するアルゴリズムとしては、DLT(Direct Linear Transform)法やPNP(Perspective-N-Points)法等が一般に知られており、これらの手法で、自己位置推定部２０５が自己位置や自己姿勢を推定することができる。

また、特徴マッチング部２０４は、自己位置推定部２０５が用いる手法にあったマッチング手法によりマッチングを行い、マッチング結果を出力するように構成されている。

このようにして、高速走行時には、水平カメラ２５３ａにより撮影が行われ、その撮影された画像を用いた自己位置推定が行われる。また、水平カメラ２５３ａで撮影される画像に適したマッチング方法が用いられてマッチングが行われる。

図７のフローチャートに説明を戻す。ステップＳ１１において、自車の移動速度は、閾値以上ではないと判定された場合、換言すれば、低速であると判定された場合、ステップＳ１５に処理は進められる。

ステップＳ１５において、用いるカメラとして下向きカメラ２５３ｂが選択される。下向きカメラ２５３ｂが選択された場合、搭載されている全ての下向きカメラ２５３ｂ、この場合、８台の下向きカメラ２５３ｂが用いると設定される。下向きカメラ２５３ｂは、自車に対して下向きに搭載されているため、主に路面を撮影する。

路面の凹凸による光の反射具合などによるパターン、すなわち、路面の輝度パターンを検出し、その輝度パターンによるマッチングが行われるため、この精度を向上、維持するために、ここでは、搭載されている全ての下向きカメラ２５３ｂが用いられるとして説明を続ける。

なお、水平カメラ２５３ａが選択される場合と同じく、全方位情報保持部２０９に保持されている重み付き情報を用いて、特徴点を抽出しやすいと判断される領域に対応する下向きカメラ２５３ｂが、用いる下向きカメラ２５３ｂとして設定されるようにすることも可能ではある。

また、自車の移動方向に応じて、移動方向側に搭載されている下向きカメラ２５３ｂが選択されるようにすることも可能である。例えば、自車が前方に移動している場合、前方に配置されている下向きカメラ２５３ｂ－１，２５３ｂ－２，２５３ｂ－５，２５３ｂ－６が用いられ、後方に移動している場合、後方に配置されている下向きカメラ２５３ｂ－３，２５３ｂ－４，２５３ｂ－７，２５３ｂ－８が用いられるようにすることも可能である。

ステップＳ１６において、下向きカメラ２５３ｂを用いた自己位置推定処理が実行される。ステップＳ１６において実行される下向きカメラ２５３ｂを用いた自己位置推定処理について、図１０に示したフローチャートを参照して説明する。

図１０に示した下向きカメラ２５３ｂを用いた自己位置推定処理は、図９に示した水平カメラ２５３ａを用いた自己位置推定処理と、基本的な処理は同様である。

ステップＳ７１において、シャッター制御部２０２は、選択された下向きカメラ２５３ｂ、この場合８台の下向きカメラ２５３ｂをそれぞれ制御し、画像が撮影される。撮影された画像は、特徴マッチング部２０４に供給される。ステップＳ７２において、特徴マッチング部２０４は、特徴点を抽出する。特徴点としては、路面の光の輝度のパターンとすることができる。

ステップＳ７３において、特徴点推定部２０３は、自己位置保持部２０６に保持されている周辺環境情報を読み込む。この周辺環境情報は、１フレーム前の画像から抽出された特徴点に関する情報が含まれている。特徴点推定部２０３は、ステップＳ７４において、選択された下向きカメラ２５３ｂで撮影された画像上では、どの位置に、１フレーム前の画像から抽出された特徴点が位置するかを推定する。

ステップＳ７３とステップＳ７４において特徴点推定部２０３より実行される処理は、図４を参照して説明したように、１フレーム前の画像から抽出された特徴点は、現フレームの画像では、どこに位置しているかを推定（変換）する処理である。

または、下向きカメラ２５３ｂが用いられる場合、搭載されている全ての下向きカメラ２５３ｂが用いられるため、結果的に自車の周囲３６０度の画像が撮影されることになる。換言すれば、全ての下向きカメラ２５３ｂにより撮影を行うことで、全方位カメラ２５２と同様に、自車の周囲３６０度の画像が撮影することができる。

このことを利用し、全方位カメラ２５２の画像を処理する場合と同様に、図５、図６を参照して説明したように、８台の下向きカメラ２５３ｂの画像を処理することで、特徴点の移動方向を求めるのと同等に、対応ペアが求められるようにしても良い。

ステップＳ７５において、特徴マッチング部２０４は、１フレーム前の画像から抽出された特徴点と現フレームの画像から抽出された特徴点との輝度勾配法でのマッチングを行うことで、対応ペアを検出する。

下向きカメラ２５３ｂにより撮影された画像から抽出されるのは、輝度パターンであり、この輝度パターンを用いたマッチング処理には、輝度勾配法によるマッチングが適しているため、ここでは、輝度勾配法によるマッチング処理が行われるとして説明を続ける。

なお、下向きカメラ２５３ｂにより撮影された画像を用いたマッチング処理として、輝度勾配法以外のマッチング手法を用いることも可能である。

またここでは、輝度パターン（特徴点）が抽出され、マッチング処理が実行されるとして説明しているが、下向きカメラ２５３ｂにより撮影された画像を用いたマッチング処理に適した情報が抽出される。例えば点ではなく、特徴がある領域が抽出されるといったような場合も、本技術の適用範囲である。

特徴マッチング部２０４により輝度勾配法によるマッチングが行われることで、特徴点の対応ペアの情報が生成され、自己位置推定部２０５に供給される。自己位置推定部２０５は、ステップＳ７６において、自己位置を推定する。自己位置の手法は、どのような手法であっても本技術に適用できる。

このように、水平カメラ２５３ａが選択されたときの自己位置推定のアルゴリズム（特徴マッチング部２０４におけるマッチングの手法）と、下向きカメラ２５３ｂが選択されたときの自己位置推定のアルゴリズム（特徴マッチング部２０４におけるマッチングの手法）は、異なるアルゴリズムとされ、撮影される画像に適したアルゴリズムが適用されるように構成されている。よって、より精度良く自己位置推定を行うことが可能となる。

またこのようにして、速度により、搭載されているカメラのうち、どのカメラを用いるかが選択される。また、特徴を抽出しやすいと判断される画像を撮影するカメラが選択される。このようなカメラの選択が行われることで、撮影にかかる消費電力を低減させることができ、撮影された画像を処理するための処理負荷を低減させることができる。

また、消費電力や、処理負荷を低減しても、本技術によれば、自己位置推定の精度が低下するようなことはなく、精度良い自己位置推定を行うことができる。

上記した説明においては、乗用車（自動車）に適用される場合を例としたが、本技術は電気自動車やハイブリッド電気自動車等の自動車の他、自動二輪車、自転車、電動車椅子、パーソナルモビリティ、飛行機、船舶、ロボット等の移動体に適用可能である。

＜コンピュータの構成例＞
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１１は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。
（１）
水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択する選択部と、
前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定を行う自己位置推定部と
を備える制御装置。
（２）
前記選択部は、前記速度が、所定の速度以上である場合、前記水平カメラを選択し、前記所定の速度以上ではない場合、前記下向きカメラを選択する
前記（１）に記載の制御装置。
（３）
前記選択部は、複数の前記水平カメラのうち、特徴を抽出しやすい領域を撮影すると予測される水平カメラを選択する
前記（２）に記載の制御装置。
（４）
前記特徴を抽出しやすい領域を設定する設定部と、
自己の周囲の画像を撮影する全方位カメラと
をさらに備え、
前記設定部は、前記全方位カメラで撮影される画像を、前記水平カメラの台数で分割し、分割されたそれぞれの画像内から抽出された特徴点が時間経過により移動した方向と、自己位置推定による推定結果に基づく自己の移動方向が適合する特徴点の数が多い領域を撮影する前記水平カメラを選択する
前記（３）に記載の制御装置。
（５）
前記選択部により前記水平カメラが選択された場合における自己位置推定の第１のアルゴリズムと、前記選択部により前記下向きカメラが選択された場合における自己位置推定の第２のアルゴリズムは、異なるアルゴリズムである
前記（１）乃至（４）のいずれかに記載の制御装置。
（６）
前記第１のアルゴリズムは、ブロックマッチングであり、前記第２のアルゴリズムは、輝度勾配法である
前記（５）に記載の制御装置。
（７）
現時点より前の時点で、前記水平カメラで撮影された画像から抽出された特徴点の位置に対応する、現時点で選択されている前記水平カメラで撮影した場合の位置を推定する
前記（１）乃至（６）のいずれかに記載の制御装置。
（８）
制御装置が、
水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択処理し、
前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定処理を行う
制御方法。
（９）
コンピュータに、
水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択し、
前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定を行う
処理を実行させるためのプログラム。

１００ 車両制御システム， １０１ 入力部， １０２ データ取得部， １０３ 通信部， １０４ 車内機器， １０５ 出力制御部， １０６ 出力部， １０７ 駆動系制御部， １０８ 駆動系システム， １０９ ボディ系制御部， １１０ ボディ系システム， １１１ 記憶部， １１２ 自動運転制御部， １２１ 通信ネットワーク， １３１ 検出部， １３２ 自己位置推定部， １３３ 状況分析部， １３４ 計画部， １３５ 動作制御部， １４１ 車外情報検出部， １４２ 車内情報検出部， １４３ 車両状態検出部， １５１ マップ解析部， １５２ 交通ルール認識部， １５３ 状況認識部， １５４ 状況予測部， １６１ ルート計画部， １６２ 行動計画部， １６３ 動作計画部， １７１ 緊急事態回避部， １７２ 加減速制御部， １７３ 方向制御部， ２０１ カメラ選択判定部， ２０２ シャッター制御部， ２０３ 特徴点推定部， ２０４ 特徴マッチング部， ２０５ 自己位置推定部， ２０６ 自己位置保持部， ２０７ 動き予測部， ２０８ 特徴マッチング部， ２０９ 全方位情報保持部， ２１０ 領域重み判定部， ２５１ 制御部， ２５２ 全方位カメラ， ２５３ 周辺カメラ， ３０１ 画像， ３１１ 特徴点， ３５１ 画像， ３５２ 画像， ３７１ 特徴点

Claims (7)

1. 水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択する選択部と、
   前記選択部により選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定を行う自己位置推定部と
   を備え、
   現時点より前の時点で、前記水平カメラで撮影された画像から抽出された特徴点の位置に対応する、現時点で選択されている前記水平カメラで撮影した場合の位置を推定する
   制御装置。
2. 前記選択部は、前記速度が、所定の速度以上である場合、前記水平カメラを選択し、前記所定の速度以上ではない場合、前記下向きカメラを選択する
   請求項１に記載の制御装置。
3. 自己の周囲の画像を撮影する全方位カメラをさらに備え、
   前記選択部は、前記全方位カメラで撮影される画像を、前記水平カメラの台数で分割し、分割されたそれぞれの画像内から抽出された特徴点が時間経過により移動した方向と、自己位置推定による推定結果に基づく自己の移動方向が適合する特徴点の数が多い領域を撮影する前記水平カメラを選択する
   請求項２に記載の制御装置。
4. 前記選択部により前記水平カメラが選択された場合における自己位置推定の第１のアルゴリズムと、前記選択部により前記下向きカメラが選択された場合における自己位置推定の第２のアルゴリズムは、異なるアルゴリズムである
   請求項１に記載の制御装置。
5. 前記第１のアルゴリズムは、ブロックマッチングであり、前記第２のアルゴリズムは、輝度勾配法である
   請求項４に記載の制御装置。
6. 制御装置が、
   水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択処理し、
   選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定処理を行い、
   現時点より前の時点で、前記水平カメラで撮影された画像から抽出された特徴点の位置に対応する、現時点で選択されている前記水平カメラで撮影した場合の位置を推定する
   制御方法。
7. コンピュータに、
   水平方向に装着された水平カメラと下向き方向に装着された下向きカメラのうち、自己位置推定に用いるカメラを速度により選択し、
   選択された前記水平カメラまたは前記下向きカメラによる撮影で得られた画像を用いて自己位置推定を行い、
   現時点より前の時点で、前記水平カメラで撮影された画像から抽出された特徴点の位置に対応する、現時点で選択されている前記水平カメラで撮影した場合の位置を推定する
   処理を実行させるためのプログラム。

Images