JP2018119927A - 画像処理装置、撮像装置、および画像処理システム - Google Patents
画像処理装置、撮像装置、および画像処理システム Download PDFInfo
- Publication number
- JP2018119927A JP2018119927A JP2017013622A JP2017013622A JP2018119927A JP 2018119927 A JP2018119927 A JP 2018119927A JP 2017013622 A JP2017013622 A JP 2017013622A JP 2017013622 A JP2017013622 A JP 2017013622A JP 2018119927 A JP2018119927 A JP 2018119927A
- Authority
- JP
- Japan
- Prior art keywords
- imaging device
- imaging
- image processing
- image
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】単眼カメラを用いて測距を行う技術の利便性を向上させる画像処理装置を提供する。【解決手段】画像処理装置30は、移動体に搭載され移動体の外部領域を連続撮像可能な撮像装置20と通信する通信部31と、記憶部32と、制御部33と、を備える。制御部33は、撮像装置20による連続撮像によって生成された複数の第1撮像画像を取得し、複数の第1撮像画像を用いる3次元復元処理によって生成された、移動体の外部領域に関する外部領域情報および撮像装置20の姿勢に関する姿勢情報のうち、少なくとも一方を記憶部32に記憶し、撮像装置20による連続撮像が終了した後、再開したときに生成された第2撮像画像を取得し、複数の第1撮像画像のうち少なくとも1つの第1撮像画像と、前記第2撮像画像と、に基づいて、記憶部32に記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。【選択図】図1
Description
本開示は、画像処理装置、撮像装置、および画像処理システムに関する。
従来、例えば車両等の移動体に搭載されたカメラを用いて測距を行う技術が知られている。例えば、特許文献1には、移動体に搭載された単眼カメラを用いてモーションステレオ法により測距を行う技術が開示されている。
単眼カメラを用いて測距を行う技術の利便性の向上が望まれている。
本開示は、単眼カメラを用いて測距を行う技術の利便性を向上させる画像処理装置、撮像装置、および画像処理システムに関する。
本開示の一実施形態に係る画像処理装置は、移動体に搭載され移動体の外部領域を連続撮像可能な撮像装置と通信する通信部と、記憶部と、制御部と、を備える。制御部は、撮像装置による連続撮像によって生成された複数の第1撮像画像を、前記通信部を介して取得し、複数の第1撮像画像を用いる3次元復元処理によって生成された、移動体の外部領域に関する外部領域情報および撮像装置の姿勢に関する姿勢情報のうち、少なくとも一方を記憶部に記憶し、撮像装置による連続撮像が終了した後、再開したときに生成された第2撮像画像を、前記通信部を介して取得し、複数の第1撮像画像のうち少なくとも1つの第1撮像画像と、前記第2撮像画像と、に基づいて、記憶部に記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。
本開示の一実施形態に係る撮像装置は、移動体に搭載され移動体の外部領域を連続撮像可能な撮像素子と、記憶部と、制御部と、を備える。制御部は、撮像素子による連続撮像によって生成された複数の第1撮像画像を用いる3次元復元処理によって生成された、移動体の外部領域に関する外部領域情報および自装置の姿勢に関する姿勢情報のうち、少なくとも一方を記憶部に記憶し、複数の第1撮像画像のうち少なくとも1つの第1撮像画像と、撮像素子による連続撮像が終了した後、再開したときに生成された第2撮像画像と、に基づいて、記憶部に記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。
本開示の一実施形態に係る画像処理システムは、移動体に搭載され移動体の外部領域を連続撮像可能な撮像装置と、画像処理装置と、を備える。画像処理装置は、撮像装置による連続撮像によって生成された複数の第1撮像画像を用いる3次元復元処理によって生成された、移動体の外部領域に関する外部領域情報および撮像装置の姿勢に関する姿勢情報のうち、少なくとも一方を記憶し、複数の第1撮像画像のうち少なくとも1つの第1撮像画像と、撮像装置による連続撮像が終了した後、再開したときに生成された第2撮像画像と、に基づいて、記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。
本開示の一実施形態に係る画像処理装置、撮像装置、および画像処理システムよれば、単眼カメラを用いて測距を行う技術の利便性が向上する。
以下、本発明の実施形態について、図面を参照して説明する。
(画像処理システム)
図1を参照して、本開示の一実施形態に係る画像処理システム10について説明する。画像処理システム10は、撮像装置20と、画像処理装置30と、を備える。撮像装置20および画像処理装置30は、例えばネットワーク40を介して情報を送受信可能である。ネットワーク40は、例えば無線、有線、またはCAN(Controller Area Network)等、任意の情報伝達経路を含んでよい。
図1を参照して、本開示の一実施形態に係る画像処理システム10について説明する。画像処理システム10は、撮像装置20と、画像処理装置30と、を備える。撮像装置20および画像処理装置30は、例えばネットワーク40を介して情報を送受信可能である。ネットワーク40は、例えば無線、有線、またはCAN(Controller Area Network)等、任意の情報伝達経路を含んでよい。
他の実施形態において、画像処理システム10の一部または全部の構成要素が、1つの装置として一体的に構成されてよい。例えば、撮像装置20および画像処理装置30のいずれか一方を他方に包含させる構成等が考えられる。
図2に示すように、画像処理システム10は、移動体50に搭載される。本開示における「移動体」は、例えば車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
撮像装置20は、単眼カメラとして機能する。撮像装置20は、移動体50の外部領域を撮像可能である。撮像装置20の位置は、移動体50の内部および外部において任意である。例えば図2に示すように、撮像装置20は、移動体50の後方の外部領域を撮像可能となるように、移動体50の後方に位置する。画像処理装置30の位置は、移動体50内において任意である。
図1を参照して、画像処理システム10の各構成要素について、詳細に説明する。
(撮像装置)
例えば図1に示すように、撮像装置20は、撮像光学系21と、撮像素子22と、通信部23と、制御部24とを備える。
例えば図1に示すように、撮像装置20は、撮像光学系21と、撮像素子22と、通信部23と、制御部24とを備える。
撮像光学系21は、被写体像を結像させる。例えば、撮像光学系21は、絞りおよび1つ以上のレンズを含んでよい。撮像光学系21に含まれる少なくとも1つのレンズは、比較的画角が広い広角レンズであってよい。
撮像素子22は、2次元配列された複数の画素を有する。撮像素子22は、例えばCCD(Charge Coupled Device)撮像素子またはCMOS(Complementary Metal Oxide Semiconductor)撮像素子を含んでよい。撮像素子22は、撮像光学系21によって結像される被写体像を撮像して、撮像画像を生成可能である。撮像素子22は、例えば所望のフレームレートで、被写体を連続的に撮像可能である。以下、撮像素子22による連続的な撮像を、連続撮像ともいう。
通信部23は、外部装置と通信可能な通信インタフェースを含む。通信部23は、ネットワーク40を介して情報の送受信が可能であってよい。外部装置は、例えば画像処理装置30を含んでよい。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP−1211Aに規定されるS端子に対応するコネクタ、EIAJ RC−5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval ConnectorまたはBaby-series N Connector等)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。
制御部24は、1つ以上のプロセッサを含む。本開示における「プロセッサ」は、特定の処理に特化した専用のプロセッサ、および特定のプログラムを読み込むことによって特定の機能を実行する汎用のプロセッサを含んでよい。専用のプロセッサには、DSP(Digital Signal Processor)および特定用途向けIC(ASIC;Application Specific Integrated Circuit)が含まれてよい。プロセッサには、プログラマブルロジックデバイス(PLD;Programmable Logic Device)が含まれてよい。PLDには、FPGA(Field-Programmable Gate Array)が含まれてよい。制御部24は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってよい。
制御部24は、撮像装置20全体の動作を制御する。制御部24は、運転者による移動体50の運転中に、任意のフレームレートで撮像素子22に連続撮像を実行させてよい。制御部24は、生成された撮像画像に対して、所定の画像処理を実行してよい。当該画像処理は、例えば露出調整処理、ホワイトバランス処理、および歪み補正処理等を含んでよい。制御部24は、通信部23を介して画像処理装置30へ、撮像画像を出力する。例えば、制御部24は、連続撮像によって生成された複数の撮像画像を順次に出力してよい。例えばフレームレートが60fps(Flame per Seconds)である場合、1秒あたり60枚の撮像画像が出力される。以下、連続撮像によって生成され順次出力される複数の撮像画像それぞれを、第1撮像画像ともいう。
(画像処理装置)
画像処理装置30は、通信部31と、記憶部32と、制御部33とを備える。
画像処理装置30は、通信部31と、記憶部32と、制御部33とを備える。
通信部31は、外部装置と通信可能な通信インタフェースを含んでよい。外部装置は、例えば撮像装置20、移動体50に備えられたECU(Electronic Control UnitまたはEngine Control unit)、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ETC(Electronic Toll Collection System)受信装置、GPS(Global Positioning System)装置、ナビゲーション装置、インターネット上のサーバ、および携帯電話等を含んでよい。
通信部31は、外部装置から多様な情報を取得可能である。例えば、通信部31は、撮像装置20から撮像画像を取得可能であってよい。通信部31は、移動体情報を取得可能であってよい。
移動体情報は、移動体50に関する任意の情報を含んでよい。移動体情報は、例えば移動体50の速度、加速度、旋回重力、傾き、方角、および旋回状況、ステアリングホイールの舵角、冷却水の温度、燃料の残量、バッテリの残量、バッテリの電圧、エンジン回転数、エンジンの動作状態、ギアポジション、リバース信号の有無、アクセル操作の有無、アクセル開度、ブレーキ操作の有無、ブレーキ踏度、パーキングブレーキの作動有無、前後輪もしくは4輪の回転数差、タイヤ空気圧、ダンパの伸縮量、運転手の目の空間位置、乗員の数および座席位置、シートベルトの装着情報、ドアの開閉、窓の開閉、車内温度、空調の動作有無、空調の設定温度、空調の送風量、外気循環の設定、ワイパーの作動状況、走行モード、外部機器との接続情報、現在時刻、平均燃費、瞬間燃費、各種ランプの点灯状態、移動体50の位置情報、ならびに移動体50の目的地までの経路情報等を含んでよい。各種ランプは、例えばヘッドランプ、フォグランプ、バックランプ、ポジションランプ、およびターンシグナルを含んでよい。
記憶部32は、一次記憶装置および二次記憶装置を含んでよい。記憶部32は、例えば半導体メモリ、磁気メモリ、および光メモリ等を用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばCD(Compact Disc)、DVD(Digital Versatile Disc)、およびBD(Blu-ray(登録商標) Disc)等を含んでよい。記憶部32は、画像処理装置30の動作に必要な種々の情報およびプログラムを記憶する。
制御部33は、1つ以上のプロセッサを含む。制御部33は、画像処理装置30全体の動作を制御する。以下、具体的に説明する。
制御部33は、通信部31を介して撮像装置20から、連続撮像によって生成された複数の第1撮像画像を順次に取得する。
制御部33は、複数の第1撮像画像に基づいて3次元復元処理を実行する。3次元復元処理には、任意のアルゴリズムが採用可能である。例えば、3次元復元処理には、モーションステレオ法を用いるアルゴリズムが採用されてよい。制御部33は、撮像装置20から第1撮像画像を取得する度に、3次元復元処理を実行してよい。
制御部33は、3次元復元処理の結果に基づいて、後述する外部領域情報および姿勢情報のうち、少なくとも一方を生成する。例えば、制御部33は、外部領域情報および姿勢情報の双方を生成してよい。
外部領域情報は、移動体50の外部領域に関する任意の情報を含んでよい。例えば、外部領域情報は、移動体50に対する路面の相対的な位置および形状、ならびに移動体50から路面上の任意の位置までの距離等を示す情報を含んでよい。外部領域情報は、移動体50の外部領域に存在する各被写体の位置、および移動体50からの距離等を示す情報を含んでよい。外部領域情報は、移動体50の外部領域に存在する各被写体が移動体50に対して相対的に静止している被写体であるか否かを示す情報を含んでよい。
姿勢情報は、撮像装置20の姿勢に関する任意の情報を含んでよい。例えば、姿勢情報は、路面に対する撮像装置20の位置および向きを示す情報を含んでよい。撮像装置20の位置は、例えば移動体50に対して路面上に定められた任意の原点からの3次元座標情報で示されてよい。撮像装置20の向きは、路面に対する撮像装置20のパン角、ロール角、およびチルト角で示されてよい。
制御部33は、生成された外部領域情報および姿勢情報のうち少なくとも一方を、記憶部32に記憶する。
制御部33は、撮像装置20による連続撮像が終了したか否かを判定する。例えば、運転者による移動体50の運転が終了すると、撮像装置20による連続撮像が終了する。制御部33は、例えばECUからエンジンの駆動停止を示す移動体情報を取得することによって、移動体50の運転の終了を検知可能である。
連続撮像が終了していないと判定された場合、制御部33は、上述した第1撮像画像の取得から外部領域情報および姿勢情報の記憶までの動作を繰り返し実行してよい。かかる構成によって、記憶部32に記憶された外部領域情報および姿勢情報が、例えば運転者による移動体50の運転中に逐次更新される。
連続撮像が終了したと判定された場合、制御部33は、撮像装置20による連続撮像の再開を待ち受ける。制御部33は、通信部31を介して撮像装置20から、撮像装置20による連続撮像が再開したときに生成された第2撮像画像を取得する。第2撮像画像は、再開された当該連続撮像において最初に生成された第1撮像画像であってよい。あるいは、第2撮像画像は、連続撮像が再開するに際して、当該連続撮像の再開前に生成されてよい。
制御部33は、複数の第1撮像画像のうち少なくとも1つの第1撮像画像と、第2撮像画像と、に基づいて、記憶部32に記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。補正によって、後述するように、撮像装置20による連続撮像が終了してから再開する前後における、外部領域情報および姿勢情報の精度の低下が軽減される。当該少なくとも1つの第1撮像画像は、撮像装置20による連続撮像が終了する前に取得された複数の第1撮像画像のうち、最新の第1撮像画像を含んでよい。
外部領域情報および姿勢情報の補正について詳細に説明する。上述したように、撮像装置20による連続撮像は、例えばエンジンの駆動停止等に応じて終了し、エンジンの再駆動等に応じて再開する。エンジンの駆動停止中において、例えば移動体50の乗員数が増減したり、移動体50に積載される荷物の重量が増減したりする場合がある。かかる場合、移動体50の路面に対する姿勢、および移動体50に備えられた撮像装置20の路面に対する姿勢が変化し得る。例えば図3に示すように、移動体50内の後方側の重量が増加すると、移動体50の後方が沈み込んで、移動体50および撮像装置20それぞれの路面に対する姿勢が変化する。図3の破線は、重量増加前の移動体50および撮像装置20を示す。図3の実線は、重量増加後の移動体50および撮像装置20を示す。
撮像装置20による連続撮像が行われている間は、複数の第1撮像画像を用いる3次元復元処理が実行される。このため、記憶部32に記憶された外部領域情報および姿勢情報が、例えば運転者による移動体50の運転中に逐次更新される。しかしながら、撮像装置20による連続撮像が終了した場合、連続撮像の終了タイミングから再開タイミングまでの前後で、上述したように撮像装置20の路面に対する姿勢が変化し得る。撮像装置20の路面に対する姿勢が変化すると、例えば図4に示すように、撮像画像上の被写体の位置、形状、および大きさが変化し得る。図4の一点鎖線は、第1撮像画像の例を示す。図4の実線は、第2撮像画像の例を示す。図4に示す例では、撮像画像上の路面60および3つのポール61の位置が、撮像画像上で右上方向に移動している。撮像装置20の路面に対する姿勢が変化すると、連続撮像の終了タイミングにおける外部領域情報および姿勢情報の精度が低下し得る。
これに対して、制御部33は、少なくとも1つの第1撮像画像上および第2撮像画像上に共通のオブジェクトを検出する。オブジェクトの検出には、任意のアルゴリズムが採用可能である。例えば、オブジェクトの検出には、ブロックマッチングを用いるアルゴリズムが採用されてよい。制御部33は、例えば移動体50に対し静止している被写体のなかから、オブジェクトを検出してよい。
共通のオブジェクトが検出された場合、制御部33は、当該少なくとも1つの第1撮像画像と第2撮像画像との間における、撮像画像上のオブジェクトの位置、形状、および大きさの変化に基づいて、撮像装置20の路面に対する姿勢の変化を検出する。制御部33は、検出された姿勢の変化分に基づいて、撮像装置20の姿勢情報を補正する。補正後の姿勢情報は、連続撮像の再開タイミングにおける撮像装置20の路面に対する姿勢を示す。このため、姿勢情報の精度の低下が軽減される。制御部33は、補正後の姿勢情報に基づいて、外部領域情報を補正する。制御部33は、外部領域情報の精度の低下を軽減できる。
共通のオブジェクトが検出されなかった場合、制御部33は、記憶部32に記憶された外部領域情報および姿勢情報の少なくとも一方を破棄してよい。
制御部33は、撮像装置20が連続撮像した複数の撮像画像から認識対象を検知してよい。制御部33は、検知した認識対象までの距離を算出しうる。画像処理装置30は、通信部31を介して、認識対象前での距離を移動体50に送信しうる。画像処理システム10は、連続撮像の再開のときの距離精度の低下を軽減しうる。画像処理システム10を搭載する移動体50は、休止期間中に姿勢変化があっても、移動を再開するときの検出精度の低下を軽減しうる。画像処理システム10は、例えば、画像処理システム10を搭載する自動車が駐車場から後進して路上に出るときに、人及び自動車との距離を算出するうえで有用である。
図5を参照して、画像処理装置30の動作について説明する。
ステップS100:制御部33は、通信部31を介して撮像装置20から、連続撮像によって生成された複数の第1撮像画像を取得する。
ステップS101:制御部33は、複数の第1撮像画像に基づいて3次元復元処理を実行する。
ステップS102:制御部33は、3次元復元処理の結果に基づいて、後述する外部領域情報および姿勢情報のうち、少なくとも一方を生成し、記憶部32に記憶する。
ステップS103:制御部33は、撮像装置20による連続撮像が終了したか否かを判定する。連続撮像が終了したと判定された場合(ステップS103−Yes)、プロセスはステップS104に進む。連続撮像が終了していないと判定された場合(ステップS103−No)、プロセスはステップS100に戻る。
ステップS104:制御部33は、撮像装置20による連続撮像の再開を待ち受ける。
ステップS105:制御部33は、通信部31を介して撮像装置20から、撮像装置20による連続撮像が再開したときに生成された第2撮像画像を取得する。
ステップS106:制御部33は、少なくとも1つの第1撮像画像上および第2撮像画像上に共通のオブジェクトを検出したか否かを判定する。共通のオブジェクトを検出したと判定された場合(ステップS106−Yes)、プロセスはステップS107に進む。共通のオブジェクトを検出していないと判定された場合(ステップS106−No)、プロセスはステップS108に進む。
ステップS107:制御部33は、複数の第1撮像画像のうち少なくとも1つの第1撮像画像と、第2撮像画像と、に基づいて、記憶部32に記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。
ステップS108:制御部33は、記憶部32に記憶された外部領域情報および姿勢情報の少なくとも一方を破棄する。
以上述べたように、本開示の一実施形態に係る画像処理システム10は、撮像装置20による連続撮像によって生成された複数の第1撮像画像のうち少なくとも1つの第1撮像画像と、連続撮像が終了した後、再開したときに生成された第2撮像画像と、に基づいて、記憶部32に記憶された外部領域情報および姿勢情報のうち少なくとも一方を補正する。かかる構成によれば、撮像装置20による連続撮像が中断している間に撮像装置20の路面に対する姿勢が変化した場合であっても、当該姿勢の変化に起因する外部領域情報および姿勢情報の精度の低下が軽減される。このため、単眼カメラを用いて測距を行う技術の利便性が向上する。
本発明を諸図面や実施形態に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。したがって、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段やステップ等を1つに組み合わせたり、あるいは分割したりすることが可能である。
例えば、上述した実施形態に係る画像処理システム10の各構成要素および機能は再配置可能であってよい。例えば、画像処理装置30の構成および機能の一部または全部を、撮像装置20に包含させてもよい。
上述の実施形態に係る画像処理システム10の構成要素の一部は、移動体50の外部に位置してよい。例えば、画像処理装置30は、携帯電話または外部サーバ等の通信機器として実現され、画像処理システム10の他の構成要素と有線または無線によって接続されてもよい。
10 画像処理システム
20 撮像装置
21 撮像光学系
22 撮像素子
23 通信部
24 制御部
30 画像処理装置
31 通信部
32 記憶部
33 制御部
40 ネットワーク
50 移動体
60 路面
61 ポール
20 撮像装置
21 撮像光学系
22 撮像素子
23 通信部
24 制御部
30 画像処理装置
31 通信部
32 記憶部
33 制御部
40 ネットワーク
50 移動体
60 路面
61 ポール
Claims (6)
- 移動体に搭載され該移動体の外部領域を連続撮像可能な撮像装置と通信する通信部と、記憶部と、制御部と、を備え、
前記制御部は、
前記撮像装置による連続撮像によって生成された複数の第1撮像画像を、前記通信部を介して取得し、
前記複数の第1撮像画像を用いる3次元復元処理によって生成された、前記移動体の外部領域に関する外部領域情報および前記撮像装置の姿勢に関する姿勢情報のうち、少なくとも一方を前記記憶部に記憶し、
前記撮像装置による連続撮像が終了した後、再開したときに生成された第2撮像画像を、前記通信部を介して取得し、
前記複数の第1撮像画像のうち少なくとも1つの第1撮像画像と、前記第2撮像画像と、に基づいて、前記記憶部に記憶された前記外部領域情報および前記姿勢情報のうち少なくとも一方を補正する、画像処理装置。 - 請求項1に記載の画像処理装置であって、
前記外部領域情報は、前記移動体が走行する路面に関する路面情報、および前記移動体の外部領域に存在する物体と前記移動体との間の距離を示す距離情報のうち、少なくとも一方を含む、画像処理装置。 - 請求項1または2に記載の画像処理装置であって、
前記姿勢情報は、前記撮像装置の前記移動体に対する相対的な位置および向きの少なくとも一方を示す、画像処理装置。 - 請求項1乃至3の何れか一項に記載の画像処理装置であって、
前記制御部は、
前記少なくとも1つの第1撮像画像上および前記第2撮像画像上に共通のオブジェクトを検出し、
前記少なくとも1つの第1撮像画像と前記第2撮像画像との間における、前記オブジェクトの画像上の位置、形状、および大きさの変化に基づいて、前記外部領域情報および前記姿勢情報のうち少なくとも一方を補正する、画像処理装置。 - 移動体に搭載され該移動体の外部領域を連続撮像可能な撮像素子と、記憶部と、制御部と、を備え、
前記制御部は、
前記撮像素子による連続撮像によって生成された複数の第1撮像画像を用いる3次元復元処理によって生成された、前記移動体の外部領域に関する外部領域情報および自装置の姿勢に関する姿勢情報のうち、少なくとも一方を前記記憶部に記憶し、
前記複数の第1撮像画像のうち少なくとも1つの第1撮像画像と、前記撮像素子による連続撮像が終了した後、再開したときに生成された第2撮像画像と、に基づいて、前記記憶部に記憶された前記外部領域情報および前記姿勢情報のうち少なくとも一方を補正する、撮像装置。 - 移動体に搭載され該移動体の外部領域を連続撮像可能な撮像装置と、画像処理装置と、を備え、
前記画像処理装置は、
前記撮像装置による連続撮像によって生成された複数の第1撮像画像を用いる3次元復元処理によって生成された、前記移動体の外部領域に関する外部領域情報および前記撮像装置の姿勢に関する姿勢情報のうち、少なくとも一方を記憶し、
前記複数の第1撮像画像のうち少なくとも1つの第1撮像画像と、前記撮像装置による連続撮像が終了した後、再開したときに生成された第2撮像画像と、に基づいて、記憶された前記外部領域情報および前記姿勢情報のうち少なくとも一方を補正する、画像処理システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017013622A JP2018119927A (ja) | 2017-01-27 | 2017-01-27 | 画像処理装置、撮像装置、および画像処理システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017013622A JP2018119927A (ja) | 2017-01-27 | 2017-01-27 | 画像処理装置、撮像装置、および画像処理システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018119927A true JP2018119927A (ja) | 2018-08-02 |
Family
ID=63043055
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017013622A Pending JP2018119927A (ja) | 2017-01-27 | 2017-01-27 | 画像処理装置、撮像装置、および画像処理システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018119927A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114440821A (zh) * | 2022-02-08 | 2022-05-06 | 三一智矿科技有限公司 | 基于单目相机的测距方法及装置、介质、设备 |
-
2017
- 2017-01-27 JP JP2017013622A patent/JP2018119927A/ja active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114440821A (zh) * | 2022-02-08 | 2022-05-06 | 三一智矿科技有限公司 | 基于单目相机的测距方法及装置、介质、设备 |
CN114440821B (zh) * | 2022-02-08 | 2023-12-12 | 三一智矿科技有限公司 | 基于单目相机的测距方法及装置、介质、设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10904503B2 (en) | Image processing device, information generation device, and information generation method | |
JP7047767B2 (ja) | 画像処理装置と画像処理方法 | |
US10704957B2 (en) | Imaging device and imaging method | |
US11165932B2 (en) | Imaging apparatus, imaging system, vehicle and foreign matter determination method | |
JP2017220051A (ja) | 画像処理装置、画像処理方法、および車両 | |
US11978261B2 (en) | Information processing apparatus and information processing method | |
JP6626817B2 (ja) | カメラモニタシステム、画像処理装置、車両及び画像処理方法 | |
WO2019142660A1 (ja) | 画像処理装置および画像処理方法、並びにプログラム | |
JPWO2018016150A1 (ja) | 画像処理装置と画像処理方法 | |
JPWO2018016151A1 (ja) | 画像処理装置と画像処理方法 | |
JP2019145021A (ja) | 情報処理装置、撮像装置、及び撮像システム | |
US10863124B2 (en) | Solid-state image pickup apparatus, correction method, and electronic apparatus | |
JP6981416B2 (ja) | 画像処理装置と画像処理方法 | |
US11100353B2 (en) | Apparatus of controlling region of interest of image and method for controlling the same | |
JP2018119927A (ja) | 画像処理装置、撮像装置、および画像処理システム | |
JP2018107620A (ja) | 撮像システム、移動体、および制御方法 | |
US11770495B2 (en) | Generating virtual images based on captured image data | |
US20230013424A1 (en) | Information processing apparatus, information processing method, program, imaging apparatus, and imaging system | |
WO2018198833A1 (ja) | 制御装置、方法、およびプログラム | |
KR102374016B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 촬상 장치 | |
US10873732B2 (en) | Imaging device, imaging system, and method of controlling imaging device | |
JP2018201167A (ja) | 画像処理装置、周辺監視システム、および移動体 | |
US20230412923A1 (en) | Signal processing device, imaging device, and signal processing method | |
JP7173056B2 (ja) | 認識装置と認識方法およびプログラム | |
JP2018107636A (ja) | 赤外線撮像装置、車載カメラ、移動体、および制御方法 |