JP2018119927A - 画像処理装置、撮像装置、および画像処理システム - Google Patents

Abstract

【課題】単眼カメラを用いて測距を行う技術の利便性を向上させる画像処理装置を提供する。【解決手段】画像処理装置３０は、移動体に搭載され移動体の外部領域を連続撮像可能な撮像装置２０と通信する通信部３１と、記憶部３２と、制御部３３と、を備える。制御部３３は、撮像装置２０による連続撮像によって生成された複数の第１撮像画像を取得し、複数の第１撮像画像を用いる３次元復元処理によって生成された、移動体の外部領域に関する外部領域情報および撮像装置２０の姿勢に関する姿勢情報のうち、少なくとも一方を記憶部３２に記憶し、撮像装置２０による連続撮像が終了した後、再開したときに生成された第２撮像画像を取得し、複数の第１撮像画像のうち少なくとも１つの第１撮像画像と、前記第２撮像画像と、に基づいて、記憶部３２に記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。【選択図】図１

Description

本開示は、画像処理装置、撮像装置、および画像処理システムに関する。

従来、例えば車両等の移動体に搭載されたカメラを用いて測距を行う技術が知られている。例えば、特許文献１には、移動体に搭載された単眼カメラを用いてモーションステレオ法により測距を行う技術が開示されている。

特開２０１６−１４８５１２号公報

単眼カメラを用いて測距を行う技術の利便性の向上が望まれている。

本開示は、単眼カメラを用いて測距を行う技術の利便性を向上させる画像処理装置、撮像装置、および画像処理システムに関する。

本開示の一実施形態に係る画像処理装置は、移動体に搭載され移動体の外部領域を連続撮像可能な撮像装置と通信する通信部と、記憶部と、制御部と、を備える。制御部は、撮像装置による連続撮像によって生成された複数の第１撮像画像を、前記通信部を介して取得し、複数の第１撮像画像を用いる３次元復元処理によって生成された、移動体の外部領域に関する外部領域情報および撮像装置の姿勢に関する姿勢情報のうち、少なくとも一方を記憶部に記憶し、撮像装置による連続撮像が終了した後、再開したときに生成された第２撮像画像を、前記通信部を介して取得し、複数の第１撮像画像のうち少なくとも１つの第１撮像画像と、前記第２撮像画像と、に基づいて、記憶部に記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。

本開示の一実施形態に係る撮像装置は、移動体に搭載され移動体の外部領域を連続撮像可能な撮像素子と、記憶部と、制御部と、を備える。制御部は、撮像素子による連続撮像によって生成された複数の第１撮像画像を用いる３次元復元処理によって生成された、移動体の外部領域に関する外部領域情報および自装置の姿勢に関する姿勢情報のうち、少なくとも一方を記憶部に記憶し、複数の第１撮像画像のうち少なくとも１つの第１撮像画像と、撮像素子による連続撮像が終了した後、再開したときに生成された第２撮像画像と、に基づいて、記憶部に記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。

本開示の一実施形態に係る画像処理システムは、移動体に搭載され移動体の外部領域を連続撮像可能な撮像装置と、画像処理装置と、を備える。画像処理装置は、撮像装置による連続撮像によって生成された複数の第１撮像画像を用いる３次元復元処理によって生成された、移動体の外部領域に関する外部領域情報および撮像装置の姿勢に関する姿勢情報のうち、少なくとも一方を記憶し、複数の第１撮像画像のうち少なくとも１つの第１撮像画像と、撮像装置による連続撮像が終了した後、再開したときに生成された第２撮像画像と、に基づいて、記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。

本開示の一実施形態に係る画像処理装置、撮像装置、および画像処理システムよれば、単眼カメラを用いて測距を行う技術の利便性が向上する。

本発明の一実施形態に係る画像処理システムの概略構成を示すブロック図である。 画像処理システムを備える移動体を左側方から見た図である。 図２の移動体が傾いた様子を示す図である。 移動体が傾く前後における撮像画像の変化を示す図である。 画像処理装置の動作を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して説明する。

（画像処理システム）
図１を参照して、本開示の一実施形態に係る画像処理システム１０について説明する。画像処理システム１０は、撮像装置２０と、画像処理装置３０と、を備える。撮像装置２０および画像処理装置３０は、例えばネットワーク４０を介して情報を送受信可能である。ネットワーク４０は、例えば無線、有線、またはＣＡＮ（Controller Area Network）等、任意の情報伝達経路を含んでよい。

他の実施形態において、画像処理システム１０の一部または全部の構成要素が、１つの装置として一体的に構成されてよい。例えば、撮像装置２０および画像処理装置３０のいずれか一方を他方に包含させる構成等が考えられる。

図２に示すように、画像処理システム１０は、移動体５０に搭載される。本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。

撮像装置２０は、単眼カメラとして機能する。撮像装置２０は、移動体５０の外部領域を撮像可能である。撮像装置２０の位置は、移動体５０の内部および外部において任意である。例えば図２に示すように、撮像装置２０は、移動体５０の後方の外部領域を撮像可能となるように、移動体５０の後方に位置する。画像処理装置３０の位置は、移動体５０内において任意である。

図１を参照して、画像処理システム１０の各構成要素について、詳細に説明する。

（撮像装置）
例えば図１に示すように、撮像装置２０は、撮像光学系２１と、撮像素子２２と、通信部２３と、制御部２４とを備える。

撮像光学系２１は、被写体像を結像させる。例えば、撮像光学系２１は、絞りおよび１つ以上のレンズを含んでよい。撮像光学系２１に含まれる少なくとも１つのレンズは、比較的画角が広い広角レンズであってよい。

撮像素子２２は、２次元配列された複数の画素を有する。撮像素子２２は、例えばＣＣＤ（Charge Coupled Device）撮像素子またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）撮像素子を含んでよい。撮像素子２２は、撮像光学系２１によって結像される被写体像を撮像して、撮像画像を生成可能である。撮像素子２２は、例えば所望のフレームレートで、被写体を連続的に撮像可能である。以下、撮像素子２２による連続的な撮像を、連続撮像ともいう。

通信部２３は、外部装置と通信可能な通信インタフェースを含む。通信部２３は、ネットワーク４０を介して情報の送受信が可能であってよい。外部装置は、例えば画像処理装置３０を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval ConnectorまたはBaby-series N Connector等）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。

制御部２４は、１つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、ＤＳＰ（Digital Signal Processor）および特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれてよい。プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれてよい。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれてよい。制御部２４は、１つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、およびＳｉＰ（System In a Package）のいずれかであってよい。

制御部２４は、撮像装置２０全体の動作を制御する。制御部２４は、運転者による移動体５０の運転中に、任意のフレームレートで撮像素子２２に連続撮像を実行させてよい。制御部２４は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、および歪み補正処理等を含んでよい。制御部２４は、通信部２３を介して画像処理装置３０へ、撮像画像を出力する。例えば、制御部２４は、連続撮像によって生成された複数の撮像画像を順次に出力してよい。例えばフレームレートが６０ｆｐｓ（Flame per Seconds）である場合、１秒あたり６０枚の撮像画像が出力される。以下、連続撮像によって生成され順次出力される複数の撮像画像それぞれを、第１撮像画像ともいう。

（画像処理装置）
画像処理装置３０は、通信部３１と、記憶部３２と、制御部３３とを備える。

通信部３１は、外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば撮像装置２０、移動体５０に備えられたＥＣＵ（Electronic Control UnitまたはEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、および携帯電話等を含んでよい。

通信部３１は、外部装置から多様な情報を取得可能である。例えば、通信部３１は、撮像装置２０から撮像画像を取得可能であってよい。通信部３１は、移動体情報を取得可能であってよい。

移動体情報は、移動体５０に関する任意の情報を含んでよい。移動体情報は、例えば移動体５０の速度、加速度、旋回重力、傾き、方角、および旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、エンジンの動作状態、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは４輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体５０の位置情報、ならびに移動体５０の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。

記憶部３２は、一次記憶装置および二次記憶装置を含んでよい。記憶部３２は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、およびＢＤ（Blu-ray（登録商標） Disc）等を含んでよい。記憶部３２は、画像処理装置３０の動作に必要な種々の情報およびプログラムを記憶する。

制御部３３は、１つ以上のプロセッサを含む。制御部３３は、画像処理装置３０全体の動作を制御する。以下、具体的に説明する。

制御部３３は、通信部３１を介して撮像装置２０から、連続撮像によって生成された複数の第１撮像画像を順次に取得する。

制御部３３は、複数の第１撮像画像に基づいて３次元復元処理を実行する。３次元復元処理には、任意のアルゴリズムが採用可能である。例えば、３次元復元処理には、モーションステレオ法を用いるアルゴリズムが採用されてよい。制御部３３は、撮像装置２０から第１撮像画像を取得する度に、３次元復元処理を実行してよい。

制御部３３は、３次元復元処理の結果に基づいて、後述する外部領域情報および姿勢情報のうち、少なくとも一方を生成する。例えば、制御部３３は、外部領域情報および姿勢情報の双方を生成してよい。

外部領域情報は、移動体５０の外部領域に関する任意の情報を含んでよい。例えば、外部領域情報は、移動体５０に対する路面の相対的な位置および形状、ならびに移動体５０から路面上の任意の位置までの距離等を示す情報を含んでよい。外部領域情報は、移動体５０の外部領域に存在する各被写体の位置、および移動体５０からの距離等を示す情報を含んでよい。外部領域情報は、移動体５０の外部領域に存在する各被写体が移動体５０に対して相対的に静止している被写体であるか否かを示す情報を含んでよい。

姿勢情報は、撮像装置２０の姿勢に関する任意の情報を含んでよい。例えば、姿勢情報は、路面に対する撮像装置２０の位置および向きを示す情報を含んでよい。撮像装置２０の位置は、例えば移動体５０に対して路面上に定められた任意の原点からの３次元座標情報で示されてよい。撮像装置２０の向きは、路面に対する撮像装置２０のパン角、ロール角、およびチルト角で示されてよい。

制御部３３は、生成された外部領域情報および姿勢情報のうち少なくとも一方を、記憶部３２に記憶する。

制御部３３は、撮像装置２０による連続撮像が終了したか否かを判定する。例えば、運転者による移動体５０の運転が終了すると、撮像装置２０による連続撮像が終了する。制御部３３は、例えばＥＣＵからエンジンの駆動停止を示す移動体情報を取得することによって、移動体５０の運転の終了を検知可能である。

連続撮像が終了していないと判定された場合、制御部３３は、上述した第１撮像画像の取得から外部領域情報および姿勢情報の記憶までの動作を繰り返し実行してよい。かかる構成によって、記憶部３２に記憶された外部領域情報および姿勢情報が、例えば運転者による移動体５０の運転中に逐次更新される。

連続撮像が終了したと判定された場合、制御部３３は、撮像装置２０による連続撮像の再開を待ち受ける。制御部３３は、通信部３１を介して撮像装置２０から、撮像装置２０による連続撮像が再開したときに生成された第２撮像画像を取得する。第２撮像画像は、再開された当該連続撮像において最初に生成された第１撮像画像であってよい。あるいは、第２撮像画像は、連続撮像が再開するに際して、当該連続撮像の再開前に生成されてよい。

制御部３３は、複数の第１撮像画像のうち少なくとも１つの第１撮像画像と、第２撮像画像と、に基づいて、記憶部３２に記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。補正によって、後述するように、撮像装置２０による連続撮像が終了してから再開する前後における、外部領域情報および姿勢情報の精度の低下が軽減される。当該少なくとも１つの第１撮像画像は、撮像装置２０による連続撮像が終了する前に取得された複数の第１撮像画像のうち、最新の第１撮像画像を含んでよい。

外部領域情報および姿勢情報の補正について詳細に説明する。上述したように、撮像装置２０による連続撮像は、例えばエンジンの駆動停止等に応じて終了し、エンジンの再駆動等に応じて再開する。エンジンの駆動停止中において、例えば移動体５０の乗員数が増減したり、移動体５０に積載される荷物の重量が増減したりする場合がある。かかる場合、移動体５０の路面に対する姿勢、および移動体５０に備えられた撮像装置２０の路面に対する姿勢が変化し得る。例えば図３に示すように、移動体５０内の後方側の重量が増加すると、移動体５０の後方が沈み込んで、移動体５０および撮像装置２０それぞれの路面に対する姿勢が変化する。図３の破線は、重量増加前の移動体５０および撮像装置２０を示す。図３の実線は、重量増加後の移動体５０および撮像装置２０を示す。

撮像装置２０による連続撮像が行われている間は、複数の第１撮像画像を用いる３次元復元処理が実行される。このため、記憶部３２に記憶された外部領域情報および姿勢情報が、例えば運転者による移動体５０の運転中に逐次更新される。しかしながら、撮像装置２０による連続撮像が終了した場合、連続撮像の終了タイミングから再開タイミングまでの前後で、上述したように撮像装置２０の路面に対する姿勢が変化し得る。撮像装置２０の路面に対する姿勢が変化すると、例えば図４に示すように、撮像画像上の被写体の位置、形状、および大きさが変化し得る。図４の一点鎖線は、第１撮像画像の例を示す。図４の実線は、第２撮像画像の例を示す。図４に示す例では、撮像画像上の路面６０および３つのポール６１の位置が、撮像画像上で右上方向に移動している。撮像装置２０の路面に対する姿勢が変化すると、連続撮像の終了タイミングにおける外部領域情報および姿勢情報の精度が低下し得る。

これに対して、制御部３３は、少なくとも１つの第１撮像画像上および第２撮像画像上に共通のオブジェクトを検出する。オブジェクトの検出には、任意のアルゴリズムが採用可能である。例えば、オブジェクトの検出には、ブロックマッチングを用いるアルゴリズムが採用されてよい。制御部３３は、例えば移動体５０に対し静止している被写体のなかから、オブジェクトを検出してよい。

共通のオブジェクトが検出された場合、制御部３３は、当該少なくとも１つの第１撮像画像と第２撮像画像との間における、撮像画像上のオブジェクトの位置、形状、および大きさの変化に基づいて、撮像装置２０の路面に対する姿勢の変化を検出する。制御部３３は、検出された姿勢の変化分に基づいて、撮像装置２０の姿勢情報を補正する。補正後の姿勢情報は、連続撮像の再開タイミングにおける撮像装置２０の路面に対する姿勢を示す。このため、姿勢情報の精度の低下が軽減される。制御部３３は、補正後の姿勢情報に基づいて、外部領域情報を補正する。制御部３３は、外部領域情報の精度の低下を軽減できる。

共通のオブジェクトが検出されなかった場合、制御部３３は、記憶部３２に記憶された外部領域情報および姿勢情報の少なくとも一方を破棄してよい。

制御部３３は、撮像装置２０が連続撮像した複数の撮像画像から認識対象を検知してよい。制御部３３は、検知した認識対象までの距離を算出しうる。画像処理装置３０は、通信部３１を介して、認識対象前での距離を移動体５０に送信しうる。画像処理システム１０は、連続撮像の再開のときの距離精度の低下を軽減しうる。画像処理システム１０を搭載する移動体５０は、休止期間中に姿勢変化があっても、移動を再開するときの検出精度の低下を軽減しうる。画像処理システム１０は、例えば、画像処理システム１０を搭載する自動車が駐車場から後進して路上に出るときに、人及び自動車との距離を算出するうえで有用である。

図５を参照して、画像処理装置３０の動作について説明する。

ステップＳ１００：制御部３３は、通信部３１を介して撮像装置２０から、連続撮像によって生成された複数の第１撮像画像を取得する。

ステップＳ１０１：制御部３３は、複数の第１撮像画像に基づいて３次元復元処理を実行する。

ステップＳ１０２：制御部３３は、３次元復元処理の結果に基づいて、後述する外部領域情報および姿勢情報のうち、少なくとも一方を生成し、記憶部３２に記憶する。

ステップＳ１０３：制御部３３は、撮像装置２０による連続撮像が終了したか否かを判定する。連続撮像が終了したと判定された場合（ステップＳ１０３−Ｙｅｓ）、プロセスはステップＳ１０４に進む。連続撮像が終了していないと判定された場合（ステップＳ１０３−Ｎｏ）、プロセスはステップＳ１００に戻る。

ステップＳ１０４：制御部３３は、撮像装置２０による連続撮像の再開を待ち受ける。

ステップＳ１０５：制御部３３は、通信部３１を介して撮像装置２０から、撮像装置２０による連続撮像が再開したときに生成された第２撮像画像を取得する。

ステップＳ１０６：制御部３３は、少なくとも１つの第１撮像画像上および第２撮像画像上に共通のオブジェクトを検出したか否かを判定する。共通のオブジェクトを検出したと判定された場合（ステップＳ１０６−Ｙｅｓ）、プロセスはステップＳ１０７に進む。共通のオブジェクトを検出していないと判定された場合（ステップＳ１０６−Ｎｏ）、プロセスはステップＳ１０８に進む。

ステップＳ１０７：制御部３３は、複数の第１撮像画像のうち少なくとも１つの第１撮像画像と、第２撮像画像と、に基づいて、記憶部３２に記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。

ステップＳ１０８：制御部３３は、記憶部３２に記憶された外部領域情報および姿勢情報の少なくとも一方を破棄する。

以上述べたように、本開示の一実施形態に係る画像処理システム１０は、撮像装置２０による連続撮像によって生成された複数の第１撮像画像のうち少なくとも１つの第１撮像画像と、連続撮像が終了した後、再開したときに生成された第２撮像画像と、に基づいて、記憶部３２に記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。かかる構成によれば、撮像装置２０による連続撮像が中断している間に撮像装置２０の路面に対する姿勢が変化した場合であっても、当該姿勢の変化に起因する外部領域情報および姿勢情報の精度の低下が軽減される。このため、単眼カメラを用いて測距を行う技術の利便性が向上する。

本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を１つに組み合わせたり、あるいは分割したりすることが可能である。

例えば、上述した実施形態に係る画像処理システム１０の各構成要素および機能は再配置可能であってよい。例えば、画像処理装置３０の構成および機能の一部または全部を、撮像装置２０に包含させてもよい。

上述の実施形態に係る画像処理システム１０の構成要素の一部は、移動体５０の外部に位置してよい。例えば、画像処理装置３０は、携帯電話または外部サーバ等の通信機器として実現され、画像処理システム１０の他の構成要素と有線または無線によって接続されてもよい。

１０ 画像処理システム
２０ 撮像装置
２１ 撮像光学系
２２ 撮像素子
２３ 通信部
２４ 制御部
３０ 画像処理装置
３１ 通信部
３２ 記憶部
３３ 制御部
４０ ネットワーク
５０ 移動体
６０ 路面
６１ ポール

Claims (6)

1. 移動体に搭載され該移動体の外部領域を連続撮像可能な撮像装置と通信する通信部と、記憶部と、制御部と、を備え、
   前記制御部は、
   前記撮像装置による連続撮像によって生成された複数の第１撮像画像を、前記通信部を介して取得し、
   前記複数の第１撮像画像を用いる３次元復元処理によって生成された、前記移動体の外部領域に関する外部領域情報および前記撮像装置の姿勢に関する姿勢情報のうち、少なくとも一方を前記記憶部に記憶し、
   前記撮像装置による連続撮像が終了した後、再開したときに生成された第２撮像画像を、前記通信部を介して取得し、
   前記複数の第１撮像画像のうち少なくとも１つの第１撮像画像と、前記第２撮像画像と、に基づいて、前記記憶部に記憶された前記外部領域情報および前記姿勢情報のうち少なくとも一方を補正する、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記外部領域情報は、前記移動体が走行する路面に関する路面情報、および前記移動体の外部領域に存在する物体と前記移動体との間の距離を示す距離情報のうち、少なくとも一方を含む、画像処理装置。
3. 請求項１または２に記載の画像処理装置であって、
   前記姿勢情報は、前記撮像装置の前記移動体に対する相対的な位置および向きの少なくとも一方を示す、画像処理装置。
4. 請求項１乃至３の何れか一項に記載の画像処理装置であって、
   前記制御部は、
   前記少なくとも１つの第１撮像画像上および前記第２撮像画像上に共通のオブジェクトを検出し、
   前記少なくとも１つの第１撮像画像と前記第２撮像画像との間における、前記オブジェクトの画像上の位置、形状、および大きさの変化に基づいて、前記外部領域情報および前記姿勢情報のうち少なくとも一方を補正する、画像処理装置。
5. 移動体に搭載され該移動体の外部領域を連続撮像可能な撮像素子と、記憶部と、制御部と、を備え、
   前記制御部は、
   前記撮像素子による連続撮像によって生成された複数の第１撮像画像を用いる３次元復元処理によって生成された、前記移動体の外部領域に関する外部領域情報および自装置の姿勢に関する姿勢情報のうち、少なくとも一方を前記記憶部に記憶し、
   前記複数の第１撮像画像のうち少なくとも１つの第１撮像画像と、前記撮像素子による連続撮像が終了した後、再開したときに生成された第２撮像画像と、に基づいて、前記記憶部に記憶された前記外部領域情報および前記姿勢情報のうち少なくとも一方を補正する、撮像装置。
6. 移動体に搭載され該移動体の外部領域を連続撮像可能な撮像装置と、画像処理装置と、を備え、
   前記画像処理装置は、
   前記撮像装置による連続撮像によって生成された複数の第１撮像画像を用いる３次元復元処理によって生成された、前記移動体の外部領域に関する外部領域情報および前記撮像装置の姿勢に関する姿勢情報のうち、少なくとも一方を記憶し、
   前記複数の第１撮像画像のうち少なくとも１つの第１撮像画像と、前記撮像装置による連続撮像が終了した後、再開したときに生成された第２撮像画像と、に基づいて、記憶された前記外部領域情報および前記姿勢情報のうち少なくとも一方を補正する、画像処理システム。

Images