JP2018201167A - 画像処理装置、周辺監視システム、および移動体 - Google Patents

Abstract

【課題】移動体に設置する撮像部の較正情報を容易に算出する。【解決手段】画像処理装置１６は第１の通信部１９と第２の通信部２０と処理本体部２１とを有する。第１の通信部１９は撮像した原画像を取得する。第２の通信部は原画像と比較する基準情報を取得する。処理本体部２１は原画像における垂直エッジおよび水平エッジの少なくとも一方を検出する。処理本体部２１は垂直エッジおよび水平エッジの少なくとも一方と基準情報を比較することにより較正情報を生成する。較正情報は原画像名から切出す切出し画像の切出し領域を定める。【選択図】図６

Description

本発明は、画像処理装置、周辺監視システム、および移動体に関するものである。

車両等の移動体に搭載され、移動体の周辺を撮像するカメラが知られている。このようなカメラにおいては、使用用途によっては、カメラの移動体への理想的な設置位置および設置姿勢が定められている。カメラの移動体への実際の設置位置及び実際の設置姿勢が理想的な設置位置および設置姿勢からずれているとき、当該使用用途を達成する精度が低下する。

そこで、カメラの設置位置および設置姿勢を較正するための較正情報を算出することが知られている。例えば、移動体との相対的な位置関係が既知である基準マーカを移動体に設置したカメラに撮像させ、画像内における基準マーカの座標と、実空間における基準マーカの座標とを対応付けることにより較正情報を算出することが提案されている（特許文献１参照）。

特開２００４−２００８１９号公報

しかし、特許文献１に記載の方法では、基準マーカを移動体に対して既知の相対的な位置関係に設置するか、または設置した基準マーカの移動体に対する相対的な位置関係を測定する必要があり、較正情報の算出が煩雑であった。

本開示は、移動体に設置する撮像部の較正情報を容易に算出可能な画像処理装置を提供する。

本開示の画像処理装置は、
撮像した原画像を取得する第１の通信部と、
前記原画像と比較する基準情報を取得する第２の通信部と、
前記原画像において垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と前記基準情報とを比較することにより、前記原画像内から切出す切出し画像の領域を定める較正情報を生成する処理本体部と、を備える。

本開示の周辺監視システムは、
撮像した原画像を取得する第１の通信部と、前記原画像と比較する基準情報を取得する第２の通信部と、前記原画像において垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と前記基準情報とを比較することにより、前記原画像内から切出す切出し画像の領域を定める較正情報を生成する処理本体部と、を有する画像処理装置を含む。

本開示の移動体は、
撮像した原画像を取得する第１の通信部と、前記原画像と比較する基準情報を取得する第２の通信部と、前記原画像において垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と前記基準情報とを比較することにより、前記原画像内から切出す切出し画像の領域を定める較正情報を生成する処理本体部と、を有する画像処理装置を含む周辺監視システムを備える。

本開示に係る画像処理装置、周辺監視システム、および移動体によれば、移動体に設置する撮像部の較正情報が容易に算出され得る。

一実施形態に係る画像処理装置を含む周辺監視システムの概略構成を示す機能ブロック図である。 図１におけるカメラを電子ミラーとして適用した構成において移動体の左右方向の撮像範囲として満たすべき条件を示す図である。 図１のカメラの撮像部が撮像する理想状態の原画像におけるサイドウィンドウと窓枠との境界線の位置を示す図である。 図４の原画像における探索範囲の位置を示すための図である。 図１のカメラの撮像部が実際に撮像した原画像と理想状態の原画像との間のズレを説明するための図である。 図１の画像処理装置の概略構成を示す機能ブロック図である。 図６における処理本体部が実行する較正情報の生成処理を説明するためのフローチャートである。 図６における処理本体部が実行する切出し領域の切替え処理を説明するためのフローチャートである。

以下、本開示の実施形態について、図面を参照して説明する。

図１に示すように、本開示の画像処理装置を含む周辺監視システム１０は、カメラ１１および表示装置１２を含む。周辺監視システム１０は、移動体の周辺を監視する。周辺監視システム１０では、カメラ１１が撮像および加工した画像が表示装置１２に表示される。

カメラ１１および表示装置１２は、ＮＴＳＣ（National Television System Committee）およびＬＶＤＳ（Low Voltage Differential Signaling）などの映像信号を送信するための映像信号ラインなどの専用線を介して画像を伝達可能である。また、カメラ１１および表示装置１２は、ＣＡＮ（Controller Area Network）およびＥｔｈｅｒｎｅｔなどの車載ネットワークバスを介して多様な指令を伝達可能である。

図２に示すように、カメラ１１は、移動体１３の外部に設けられる。

本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り二輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモータを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。

カメラ１１は、例えば、移動体１３の左側方および右側方の少なくとも一方に位置する。移動体１３の側方における、カメラ１１の設置位置および設置姿勢は、移動体１３のサイドウィンドウおよび窓枠の水平方向および垂直方向の少なくとも一方の境界線の一部がカメラ１１の撮像範囲内に入るように定められている。

一例として、本開示において、カメラ１１は、所謂電子ミラー用のカメラであって、移動体１３の両側方のフロントフェンダまたはフロントドアなどに取付けられている。カメラ１１は、例えば、法令などにより定められる、撮影すべき範囲の光景を少なくとも撮影可能となるように姿勢が定められている。例えば、撮影すべき範囲は、地上において運転者から後方４ｍ（メートル）の位置において移動体１３側面から移動体１３の外方幅１ｍで、運転者から後方２０ｍ以上後方の位置において移動体１３側面から外方幅４ｍを含む範囲（網掛け部分参照）である。撮影すべき範囲は、運転者から後方４ｍの位置から後方２０ｍの位置までの間で、単調に増加する範囲である。

図１に示すように、カメラ１１は、撮像部１４、記憶部１５、および画像処理装置１６を有する。

撮像部１４は光学系および撮像素子を有する。光学系は、例えば焦点深度および画角などに関する所望の光学特性を有するように形成されている。光学系は被写体像を撮像素子に結像させる。撮像素子はＣＣＤ（Charge Coupled Device）イメージセンサおよびＣＭＯＳ（Complementary MOS）イメージセンサなどのイメージセンサである。撮像部１４は、例えば６０ｆｐｓで、光学系の物体向き光軸方向の被写体を連続的に撮像する。撮像部１４は、撮像により生成した原画像を画像処理装置１６に付与する。

記憶部１５は、一時記憶装置および二次記憶装置を含んでよい。記憶部１５は、例えば半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、およびＢＤ（Blu-ray（登録商標） Disc）などを含んでよい。記憶部１５は、画像処理装置１６の動作を含むカメラ１１の動作に必要な種々の情報を記憶する。

例えば、記憶部１５は、原画像と比較する基準情報を記憶する。基準情報は、理想状態における原画像内に含まれる移動体１３の垂直エッジおよび水平エッジの少なくとも一方に関する情報を含む。理想状態とは、カメラ１１が移動体１３に、設計された設置位置に設計された設置姿勢で正確に取付けられている状態である。垂直エッジおよび水平エッジに関する情報とは、それぞれ、例えば、エッジの全アドレス、始点および終点のアドレス、原画像内の傾きなどの垂直エッジおよび水平エッジを特定するための情報、および例えば、垂直エッジおよび水平エッジの交点のアドレスなどの垂直エッジおよび水平エッジに基づいて算出し得る情報である。

基準情報は、移動体１３の種類によって異なっている。画像処理装置１６では、自身が取付けられる移動体１３の種類に応じて、基準情報が設計されている。

なお、図３に示すように、基準情報の垂直エッジおよび水平エッジそれぞれは、理想状態における原画像ｉＩＭに含まれる移動体１３のサイドウィンドウの垂直方向および水平方向に沿った窓枠などとの境界線ｂｌである。

通常、単一のサイドウィンドウの境界線は４本であり、本開示においては、垂直方向となす角度がより小さな２本の境界線が垂直方向の境界線ｖｂとみなされる。また、本開示においては、水平方向となす角度がより小さな２本の境界線が水平方向の境界線ｈｂとみなされる。

なお、基準情報の垂直エッジは、サイドウィンドウおよび窓枠の、２本の垂直方向の境界線の少なくともいずれかである。本開示においては、サイドウィンドウおよび窓枠の、２本の垂直方向の境界線ｖｂが、基本情報の垂直エッジとみなされる。

また、基準情報の水平エッジは、サイドウィンドウおよび窓枠の、２本の水平方向の境界線ｈｂの少なくともいずれかである。本開示においては、移動体１３の下側における、サイドウィンドウおよび窓枠の、水平方向の境界線ｈｂが、基本情報の水平エッジとみなされる。

また、カメラ１１の移動体１３への設置位置および設置姿勢によっては、原画像にフロントドア１７およびリアドア１８それぞれのサイドウィンドウが含まれ得る。フロントドア１７およびリアドア１８のサイドウィンドウが含まれる構成においては、サイドウィンドウおよび窓枠との水平方向の上側および下側の境界線ｈｂはそれぞれ同一直線に重なり得る。同一直線上に重なるフロントドア１７およびリアドア１８における境界線ｈｂを結んだ線が、水平エッジとみなされてよい。

なお、理想状態の原画像ｉＩＭに対して定められる切出し領域ｃａ内で、垂直エッジおよび水平エッジが、切出し領域ｃａの画像座標系の特定の位置かつ特定の方向に平行となるように、理想状態の原画像内ｉＩＭの切出し領域ｃａが定められている。

また、記憶部１５は、垂直エッジおよび水平エッジの検出を行わせる探索範囲の情報を記憶する。例えば、図４に示すように、探索範囲ＲＯＩは、理想状態の原画像ｉＩＭにおいて、垂直方向および水平方向の境界線ｖｂ、ｈｂの少なくとも一部が位置する領域ｂａを含み、当該領域ｂａより大きく、原画像全体に比べると小さい領域の範囲である。本開示においては、探索範囲ＲＯＩは、リアドアのサイドウィンドウおよび窓枠の垂直方向の２本の境界線ｖｂの全体と、下側の水平方向の境界線ｈｂの全体とが位置する領域を含む。

また、記憶部１５は、較正情報を記憶する。記憶部１５は、後述する較正情報の生成により取得する新規な較正情報を仮の較正情報として、それ以前に取得した較正情報とは別に記憶する。

較正情報は、実際にカメラ１１が撮像した原画像の中で切出し画像を切出す、切出し領域ｃａを決定するための情報である。較正情報は、理想状態における原画像ｉＩＭ、および、実際のカメラ１１が撮像した原画像それぞれにおける垂直エッジおよび水平エッジの並進ズレおよび回転ズレに関する情報である。

移動体１３に実際に取付けられたカメラ１１の設置位置および設置姿勢の誤差に起因して、図５に示すように、実際に撮像された原画像ａＩＭは理想状態の原画像ｉＩＭに対して、ズレを生じ得る。ズレは、光軸回りの回転ズレ、原画像の左右方向の並進ズレとして表れる、鉛直方向に平行な線の軸回りの回転ズレ、および原画像の上下方向の並進ズレとして表れる、光軸および鉛直方向に平行な線の両者に垂直な線の軸回りの回転ズレを含み得る。

例えば、較正情報は、原画像の光軸周りの回転ズレに相当する、理想状態の原画像ｉＩＭおよび実際に撮像した原画像ａＩＭにおける水平エッジまたは垂直エッジの少なくとも一方同士がなす角度を含む。また、例えば、較正情報は、原画像の上下方向および左右方向の並進ズレに相当する、理想状態の原画像ｉＩＭおよび実際に撮像した原画像ａＩＭにおける垂直エッジおよび水平エッジのそれぞれの交点の座標のズレ量を含む。

あるいは、記憶部１５は、較正情報の代わりに、切出し領域ｃａの情報を記憶してよい。切出し領域ｃａの情報は、較正情報に基づいて定まる、原画像の中における切出し領域ｃａの位置を示す情報である。

図６に示すように、画像処理装置１６は、第１の通信部１９、第２の通信部２０、および処理本体部２１を有している。

第１の通信部１９は、画像を通信可能な通信インタフェースを含む。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、ＩＥＣ６０６０３に準拠するコネクタ、ＵＳＢ規格に準拠するコネクタ、ＲＣＡ端子に対応するコネクタ、ＥＩＡＪ ＣＰ−１２１１Ａに規定されるＳ端子に対応するコネクタ、ＥＩＡＪ ＲＣ−５２３７に規定されるＤ端子に対応するコネクタ、ＨＤＭＩ（登録商標）規格に準拠するコネクタ、およびＢＮＣ（British Naval Connector、またはBaby-series N Connectorなど）を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、ＩＥＣ ６１７５４に準拠する種々のコネクタを含んでよい。無線通信機は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、およびＩＥＥＥ８０２．１１を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも１つのアンテナを含む。

第１の通信部１９は、撮像部１４の撮像により生成した原画像ａＩＭを取得する。第１の通信部１９は、処理本体部２１が生成する表示画像を表示装置１２に送る。

第２の通信部２０は、多様な情報を外部機器２２および記憶部１５と通信可能な通信インタフェースを含む。なお、本開示において、第１の通信部１９および第２の通信部２０は、別体であるが、一体化していてよい。

外部機器２２は、例えば、移動体１３に備えられたＥＣＵ（Electronic Control UnitまたはEngine Control unit）、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ＥＴＣ（Electronic Toll Collection System）受信装置、ＧＰＳ（Global Positioning System）装置、ナビゲーション装置、インターネット上のサーバ、および携帯電話等を含んでよい。本開示において、外部機器２２は、移動体１３の周辺光量に関する情報を通信可能な機器であって、例えば、ＥＣＵおよび照度センサを含む。

第２の通信部２０は、記憶部１５から基準情報、探索範囲ＲＯＩの情報、および較正情報または切出し領域ｃａの情報を取得する。また、第２の通信部２０は、外部機器２２から移動体１３の周辺光量に関する情報、切替え指令、移動中であることを示す情報、および生成指令を取得する。

なお、切替え指令は、操作者による切出し領域ｃａの切替えを促す入力に基づいてＥＣＵなどの外部機器２２が生成する指令である。移動中であることを示す情報は、速度センサなどの検出結果に基づいてＥＣＵなどの外部機器２２が判断した移動体１３が移動中であることを示す情報である。生成指令は、操作者による較正情報の新規生成を促す入力に基づいてＥＣＵなどの外部機器２２が生成する指令である。

処理本体部２１は、１又は複数のプロセッサを含む。処理本体部２１は、種々の処理のためのプログラム及び演算中の情報を記憶する１又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサから独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ASIC; Application Specific Integrated Circuit）が含まれる。プロセッサには、プログラマブルロジックデバイス（PLD; Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。処理本体部２１は、一つ又は複数のプロセッサが協働するＳｏＣ（System on a Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。

処理本体部２１は、第２の通信部２０が較正情報を取得する構成において、較正情報に基づいて、切出し領域ｃａを算出する。例えば、較正情報に基づく切出し領域ｃａは、理想状態の原画像ｉＩＭにおける設計上の切出し領域ｃａかを、較正情報が示す並進ズレおよび回転ズレをオフセットさせた領域である。

処理本体部２１は、第１の通信部１９が取得した原画像ａＩＭから、算出した切出し領域ｃａを切出した切出し画像を生成する。なお、処理本体部２１は、第２の通信部２０が切出し領域ｃａの情報を取得する構成においては、較正情報に基づく切出し領域ｃａの情報の算出をせずに、直接切出し画像を生成する。

処理本体部２１は、切出し画像に対して所定の画像処理を施して、表示画像を生成する。所定の画像処理は、ホワイトバランス調整、γ補正、色補間、輪郭強調、電子ズーム、シャープネス処理、および超解像処理などを含んでよい。

また、処理本体部２１は、較正情報を新規に生成する。処理本体部２１は、例えば、生成指令を取得するとき、原画像の取得フレーム数が閾値を越えるとき、および周期的に、較正情報の新規生成を開始する。

新規生成の開始後、処理本体部２１は、周辺状況に基づいて、較正情報の新規生成を実行するか否かを判別する。なお、周辺状況は、第２の通信部２０から取得する周辺光量に関する情報、原画像に基づく周辺光量、および原画像内の異物の存在の有無の少なくともいずれかである。例えば、周辺光量が閾値未満であるとき、処理本体部２１は、較正情報の新規生成を停止する。また、例えば、原画像内に異物が存在するとき、処理本体部２１は、較正情報の新規生成を停止する。

処理本体部２１は、較正情報の新規生成の実行を決定するとき、第１の通信部１９が取得した原画像ａＩＭにおいて、垂直エッジおよび水平エッジの少なくとも一方を検出する。なお、処理本体部２１は、第２の通信部２０が取得する探索範囲ＲＯＩの情報に基づく原画像の探索範囲ＲＯＩで垂直エッジおよび水平エッジを検出してよい。

処理本体部２１は、原画像における探索範囲ＲＯＩ内の画像に、例えばｓｏｂｅｌフィルタなどの公知のエッジ検出方法を用いて、エッジを検出する。処理本体部２１は、検出したエッジの中から、直線状のエッジを選別する。

処理本体部２１は、探索範囲ＲＯＩにおける第１の方向に対してなす角度が第１の角度範囲内である直線状のエッジを垂直エッジとして検出する。なお、第１の方向とは、基本情報の垂直エッジ、すなわち理想状態における原画像ｉＩＭ内に含まれる移動体１３の垂直エッジの原画像内における方向である。

処理本体部２１は、探索範囲ＲＯＩにおける第１の方向に対してなす角度が第１の角度範囲内である複数の直線状のエッジを検出する場合に、複数の直線状のエッジの長さを比較する。処理本体部２１は、複数の直線状のエッジの中で最長の直線状のエッジがあるとき、少なくとも当該最長の直線状のエッジを垂直エッジとして検出する。

さらに、処理本体部２１は、２番目に長い直線状のエッジを２本目の垂直エッジとして検出してよい。なお、処理本体部２１は、複数の直線状のエッジの中で、互いの長さが同じであるエッジを、垂直エッジの検出対象から除外する。

また、処理本体部２１は、探索範囲ＲＯＩにおける第２の方向に対してなす角度が第２の角度範囲内である直線状のエッジを水平エッジとして検出する。なお、第２の方向とは、基本情報の水平エッジ、すなわち理想状態における原画像ａＩＭ内に含まれる移動体１３の水平エッジの原画像内における方向である。第２の角度範囲は、第１の角度範囲と異なっていてよく、また同じであってよい。

処理本体部２１は、探索範囲ＲＯＩにおける第２の方向に対してなす角度が第２の角度範囲内である複数の直線状のエッジを検出する場合に、その中の少なくとも２本の直線状のエッジが同一直線に重なるか否かを判別する。処理本体部２１は、同一直線に重なる当該少なくとも２本の直線状のエッジを結んだ単一の直線状のエッジを水平エッジとして検出する。

処理本体部２１は、同一直線に重なる直線状のエッジがない場合であって、複数の直線状のエッジの中で最長の直線状のエッジがあるとき、少なくとも当該最長の直線状のエッジを水平エッジとして検出する。

処理本体部２１は、検出した垂直エッジおよび水平エッジの少なくとも一方と、第２の通信部２０が取得する基準情報とを比較することにより、較正情報を生成する。例えば、本開示において、処理本体部２１は、検出した垂直エッジおよび水平エッジの交点の原画像の座標系の座標を算出する。なお、処理本体部２１は、垂直エッジおよび水平エッジが交差しない場合に、垂直エッジおよび水平エッジの延長線を算出し、当該延長線の交点の原画像の座標系の座標を算出する。

処理本体部２１は、検出した垂直エッジおよび水平エッジに基づく交点、および基準情報における交点の座標のズレを算出する。処理本体部２１は、検出した垂直エッジおよび水平エッジそれぞれと、基準情報の垂直エッジおよび水平エッジとのなす角度を算出する。処理本体部２１は、当該座標のズレ、および当該なす角度を較正情報として新規に生成する。

処理本体部２１は、新規に生成した較正情報を、仮の較正情報として記憶部１５に記憶させる。または、処理本体部２１は、新規に生成した較正情報に基づいて新規に切出し領域ｃａを算出し、仮の切出し領域ｃａの情報として記憶部１５に記憶させてよい。

処理本体部２１は、新規な較正情報または新規な切出し領域ｃａの情報の生成後、少なくとも移動体１３の移動中には、切出し画像の生成に用いる較正情報または切出し領域ｃａの情報の切替えを停止する。したがって、処理本体部２１は、新規な較正情報または新規な切出し領域ｃａの情報の生成後であっても、少なくとも移動体１３の移動中には、新規生成以前に記憶部１５に記憶させた較正情報または切出し領域ｃａの情報を用いる。さらには、処理本体部２１は、新規な較正情報または新規な切出し領域ｃａの情報の生成後、撮像部１４が停止するまで、切出し画像の生成に用いる較正情報または切出し領域ｃａの情報の切替えを停止してよい。

処理本体部２１は、新規な較正情報または新規な切出し領域ｃａの情報の生成、かつ撮像部１４の停止後の次回の撮像部１４の起動時に、切出し画像の生成に用いる較正情報または切出し領域ｃａの情報を切替える。なお、処理本体部２１は、切替え指令を取得するとき、切出し画像の生成に用いる較正情報または切出し領域ｃａの情報を切替えてよい。

表示装置１２は、例えば液晶ディスプレイ（ＬＣＤ（Liquid Crystal Display））、または、有機若しくは無機ＥＬディスプレイである。表示装置１２は、移動体１３の車室内の、運転者が視認可能な位置に設けられる。表示装置１２は、画像処理装置１６から取得する表示画像を表示する。

次に、本開示において処理本体部２１が実行する、較正情報の生成処理について、図７のフローチャートを用いて説明する。較正情報の生成処理は、生成指令を取得するとき、原画像の取得フレーム数が閾値を超えるとき、および周期的に開始する。

ステップＳ１００において、処理本体部２１は、第１の通信部１９を介して、撮像部１４から原画像ａＩＭを取得する。原画像を取得すると、プロセスはステップＳ１０１に進む。

ステップＳ１０１では、処理本体部２１は、周辺状況に基づいて、較正情報を新規生成可能であるか否かを判別する。新規生成不可能であるとき、較正情報の生成処理は終了する。新規生成可能であるとき、プロセスはステップＳ１０２に進む。

ステップＳ１０２では、処理本体部２１は、第２の通信部２０を介して、記憶部１５から探索範囲ＲＯＩの情報を読出す。探索範囲ＲＯＩの情報を読出すと、プロセスはステップＳ１０３に進む。

ステップＳ１０３では、処理本体部２１は、ステップＳ１００において取得した原画像ａＩＭの、ステップＳ１０２で読出した探索範囲ＲＯＩ内の部分を切出す。原画像の探索範囲ＲＯＩ内の部分を切出すと、プロセスはステップＳ１０４に進む。

ステップＳ１０４では、処理本体部２１は、ステップＳ１０３において切出した原画像の探索範囲ＲＯＩ内の部分から水平エッジおよび垂直エッジを探索する。水平エッジおよび垂直エッジの探索を開始すると、プロセスはステップＳ１０５に進む。

ステップＳ１０５では、処理本体部２１は、垂直エッジおよび水平エッジを検出可能であるか否かを判別する。例えば、処理本体部２１は、直線状のエッジが検出されないとき、垂直エッジおよび水平エッジの検出は不可能であると判別する。また、処理本体部２１は、直線状のエッジが探索範囲ＲＯＩにおける第１の方向に対してなす角度が第１の角度範囲外であるとき、垂直エッジの検出は不可能であると判別する。また、処理本体部２１は、直線状のエッジが探索範囲ＲＯＩにおける第２の方向に対してなす角度が第２の角度範囲外であるとき、水平エッジの検出は不可能であると判別する。また、処理本体部２１は、探索範囲ＲＯＩにおける第２の方向に対してなす角度が第２の角度範囲内である複数の直線状のエッジの長さが等しいとき、水平エッジの検出は不可能であると判別する。垂直エッジおよび水平エッジの検出が不可能であるとき、較正情報の生成処理は終了する。垂直エッジおよび水平エッジの検出が可能であるとき、プロセスはステップＳ１０６に進む。

ステップＳ１０６では、処理本体部２１は、ステップＳ１０５において検出可能であると判別され、検出された垂直エッジおよび水平エッジに交点があるか否かを判別する。交点が無いとき、プロセスはステップＳ１０７に進む。交点があるとき、プロセスはステップＳ１０８に進む。

ステップＳ１０７では、処理本体部２１は、ステップＳ１０５において検出可能であると判別され、検出された垂直エッジおよび水平エッジの線分を延長する。さらに、処理本体部２１は、延長した垂直エッジおよび水平エッジの交点を検出する。交点を検出すると、プロセスはステップＳ１０８に進む。

ステップＳ１０８では、処理本体部２１は、第２の通信部２０を介して、記憶部１５から基準情報を読出す。基準情報を読出すと、プロセスはステップＳ１０９に進む。

ステップＳ１０９では、処理本体部２１は、ステップＳ１０５において検出可能であると判別され、検出された垂直エッジおよび水平エッジ、およびステップＳ１０６で存在を判別した交点またはステップＳ１０７において検出した交点と、ステップＳ１０８において読出した基準情報との比較に基づいて、較正情報を生成する。

ステップＳ１１０では、処理本体部２１は、ステップＳ１０９において生成した較正情報を、仮の較正情報として記憶部１５に記憶させる。較正情報を記憶させると、プロセスはステップＳ１１１に進む。

ステップＳ１１１では、処理本体部２１は、第２の通信部２０を介して、外部機器２２から切替え指令を取得しているか否かを判別する。切替え指令を取得していないとき、較正情報の生成処理は終了する。切替え指令を取得しているとき、プロセスはステップＳ１１２に進む。

ステップＳ１１２では、処理本体部２１は、第２の通信部２０を介して、外部機器２２から移動体１３が移動中であることを示す情報を取得しているか否かを判別する。移動体１３が移動中であることを示す情報を取得しているとき、較正情報の生成処理は終了する。移動体１３が移動中であることを示す情報を取得していないとき、プロセスはステップＳ１１３に進む。

ステップＳ１１３では、処理本体部２１は、切出し画像の生成に用いる較正情報を、仮の較正情補に切替えることにより、切出し領域ｃａを切替える。また、処理本体部２１は、記憶部１５に記憶させている、仮の較正情報の記憶前に記憶した較正情報を消去する。切出し領域ｃａを切替えると、較正情報の生成処理は終了する。

次に、本開示において処理本体部２１が実行する、撮像部１４の起動時における切出し領域ｃａの切替え処理について、図８のフローチャートを用いて説明する。切出し領域ｃａの切替え処理は、撮像部１４の起動時に開始する。

ステップＳ２００において、処理本体部２１は、記憶部１５が仮の較正情報を記憶しているか否かを判別する。仮の較正情報を記憶していないとき、切出し領域ｃａの切替え処理は終了する。仮の較正情報を記憶しているとき、プロセスはステップＳ２０１に進む。

ステップＳ２０１では、処理本体部２１は、切出し画像の生成に用いる較正情報を、仮の較正情補に切替えることにより、切出し領域ｃａを切替える。切出し領域ｃａを切替えると、プロセスはステップＳ２０２に進む。

ステップＳ２０２では、処理本体部２１は、記憶部１５に記憶させている、仮の較正情報の記憶前に記憶した較正情報を消去する。当該較正情報を消去すると、切出し領域の切替え処理を終了する。

以上のような構成の本開示の画像処理装置１６は、原画像における垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と基準情報とを比較することにより、較正情報を生成する。このような構成により、画像処理装置１６は、基準マーカなどを移動体１３の周囲に設置すること無く、較正情報を生成させ得る。また、通常はどのような種類の移動体１３でも、水平方向および垂直方向の境界線ｈｂ、ｖｂによって画定されるサイドウィンドウを有しているので、上述のような構成の画像処理装置１６は、多様な移動体１３の較正情報の生成に適用し得る。また、傾斜角度の算出が容易な垂直エッジおよび水平エッジを用いるので、画像処理装置１６は、光軸回りの回転ズレに対して高精度で補正可能な較正情報を生成し得る。

また、本開示の画像処理装置１６は、原画像の中の探索範囲ＲＯＩにおいて、垂直エッジおよび水平エッジの少なくとも一方を検出している。このような構成により、画像処理装置１６は、基準情報と比較すべき垂直エッジおよび水平エッジと異なる、比較すべきでない垂直エッジおよび水平エッジの誤検出の可能性を低減し得る。また、このような構成により、画像処理装置１６は、検出の処理時間を短縮させ得る。

また、本開示の画像処理装置１６は、最長の直線状のエッジを垂直エッジおよび水平エッジとして検出している。基準情報との比較に用いる垂直エッジおよび水平エッジのいずれにおいても、長くなる程、当該エッジの傾きの算出精度が向上する。したがって、このような構成により、画像処理装置１６は、光軸回りの回転ズレの算出精度を向上させ得る。

また、本開示の画像処理装置１６は、複数の直線状のエッジの中で、長さが同じ直線状のエッジを垂直エッジの検出対象から除外している。原画像内における移動体１３の垂直方向に延びる直線状のエッジは、撮像部１４からの遠近などに起因して、同じ長さになる可能性は極めて低い。それゆえ、垂直方向に延びる、同じ長さの複数の直線状のエッジは、誤検出されたエッジの可能性がある。上述の構成により、画像処理装置１６は、較正情報の算出精度を向上し得る。

また、本開示の画像処理装置１６は、複数の直線状のエッジの少なくとも２本の直線状のエッジが同一直線に重なるとき、少なくとも当該２本の直線状のエッジを結ぶエッジを水平エッジとして検出している。水平エッジとして検出されることが想定されるサイドウィンドウの水平方向の境界線ｈｂはフロントドア１７およびリアドア１８のいずれにも存在し、且つ通常は一直線に重なり得る。上述の構成により、画像処理装置１６は、長さが長い水平ヘッジを検出することにより、光軸回りの回転ズレの算出精度を向上させ得る。

また、本開示の画像処理装置１６は、周辺状況に基づいて較正情報の生成を停止する。このような構成により、画像処理装置１６は、垂直エッジおよび水平エッジの検出が困難な状況および誤検出の可能性が高い状況における、無駄な較正情報の生成を防止する。

また、本開示の画像処理装置１６は、切出し領域ｃａの情報に基づいて、原画像から切出し画像を生成する。このような構成により、画像処理装置１６は、例えば、原画像から切出し画像の生成機能を有しない表示装置に対して、当該表示装置に適した画像を提供し得る。

また、本開示の画像処理装置１６は、切出し画像の生成に用いる較正情報または切出し領域ｃａの情報の切替えを、移動体１３の移動中に実行しない。本開示のように、カメラ１１が電子ミラーに適用されているとき、移動中の表示画像の切替えは一般的に望ましくない。それゆえ、上述の構成により、画像処理装置１６は、表示画像の切替えが望ましくない状況において、表示画像の切替えを発生させる切出し領域ｃａの切替えを実行しない。例えば、本開示の画像処理装置１６は、移動体１３の停止中に切出し画像の生成に用いる較正情報または切出し領域ｃａの情報の切替えを実行する。

また、本開示の画像処理装置１６は、切出し画像の生成に用いる較正情報または切出し領域ｃａの情報の切替えを、撮像部１４の次回の起動時に実行する。このような構成により、画像処理装置１６は、表示画像の切替えに不適でないときに、自動的に切出し領域ｃａを切替え得る。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。

例えば、本開示において、画像処理装置１６はカメラ１１に内蔵される構成であるが、このような構成に限定されない。画像処理装置１６は、例えば、表示装置１２に内蔵されてよく、また、独立の装置であってよい。

また、本開示において、画像処理装置１６が切出し画像を生成するが、画像処理装置１６は較正情報の算出まで行う構成であってよい。例えば、較正情報に基づいて原画像から切出し画像を生成する表示装置に対しては、画像処理装置１６は較正情報を算出して、当該較正情報を表示装置に送ればよい。

また、本開示において、画像処理装置１６は、検出した垂直エッジおよび水平エッジの少なくとも一方と、基準情報とに基づいて、自動的に較正情報を生成する構成であるが、較正情報の生成を手動で行ってよい。なお、手動による較正情報の生成は、従来公知の如何なる方法を適用可能である。

また、本開示において、基準情報の垂直エッジは、サイドウィンドウおよび窓枠の、２本の垂直方向の境界線ｖｂの少なくともいずれかであるが、このような構成に限定されない。例えば、基準情報の垂直エッジは、フロントドア１７およびリアドア１８のつなぎ目の隙間であってよい。

本開示において、処理本体部２１は、較正情報の新規生成の実行を決定するとき、第１の通信部１９が取得した原画像ａＩＭにおいて、垂直エッジおよび水平エッジの少なくとも一方を検出する。本開示の構成は、これに限定されない。例えば、処理本体部２１は、垂直エッジおよび水平エッジの検出する前に、原画像ａＩＭの歪みを補正してよい。処理本体部２１は、原画像ａＩＭの歪み補正を行うことで、垂直エッジおよび水平エッジの検出精度を高めうる。

１０ 周辺監視システム
１１ カメラ
１２ 表示装置
１３ 移動体
１４ 撮像部
１５ 記憶部
１６ 画像処理装置
１７ フロントドア
１８ リアドア
１９ 第１の通信部
２０ 第２の通信部
２１ 処理本体部
２２ 外部機器
ａＩＭ 実際に撮像した原画像
ｂａ 垂直方向および水平方向の境界線の少なくとも一部が位置する領域
ｂｌ 境界線
ｃａ 切出し領域
ｈｂ 水平方向の境界線
ｉＩＭ 理想状態における原画像
ＲＯＩ 探索範囲
ｖｂ 垂直方向の境界線

Claims (16)

1. 撮像した原画像を取得する第１の通信部と、
   前記原画像と比較する基準情報を取得する第２の通信部と、
   前記原画像において垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と前記基準情報とを比較することにより、前記原画像内から切出す切出し画像の領域を定める較正情報を生成する処理本体部と、を備える
   画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記基準情報は、理想状態である前記原画像における垂直エッジおよび水平エッジの少なくとも一方に関する情報を含む
   画像処理装置。
3. 請求項１または２に記載の画像処理装置において、
   前記処理本体部は、前記原画像の中の探索範囲において、前記垂直エッジおよび前記水平エッジの少なくとも一方を検出する
   画像処理装置。
4. 請求項３に記載の画像処理装置において、
   前記処理本体部は、前記探索範囲内の第１の方向に対してなす角度が第１の角度範囲内である直線状のエッジを垂直エッジとして検出し、前記探索範囲内の第２の方向に対してなす角度が第２の角度範囲内である直線状のエッジを水平エッジとして検出する
   画像処理装置。
5. 請求項４に記載の画像処理装置において、
   前記処理本体部は、前記探索範囲内の前記第１の方向に対してなす角度が第１の角度範囲内である複数の直線状のエッジを検出する場合に、該複数の直線状のエッジの中で少なくとも最長の直線状のエッジを垂直エッジとして検出する
   画像処理装置。
6. 請求項４または５に記載の画像処理装置において、
   前記処理本体部は、前記探索範囲内の前記第１の方向に対してなす角度が第１の角度範囲内である複数の直線状のエッジを検出する場合に、該複数の直線状のエッジの中で長さが同じ直線状のエッジを垂直エッジの検出対象から除外する
   画像処理装置。
7. 請求項４から６のいずれか１項に記載の画像処理装置において、
   前記処理本体部は、前記探索範囲内の前記第２の方向に対してなす角度が第２の角度範囲内である複数の直線状のエッジを検出する場合に、該複数の直線状のエッジの少なくとも２本の直線状のエッジが同一直線に重なるとき、少なくとも該２本の直線状のエッジを結ぶエッジを水平エッジとして検出する
   画像処理装置。
8. 請求項４から７のいずれか１項に記載の画像処理装置において、
   前記処理本体部は、前記探索範囲内の前記第２の方向に対してなす角度が第２の角度範囲内である複数の直線状のエッジを検出する場合に、該複数の直線状のエッジのいずれもが同一直線に重ならないとき、該複数の直線状のエッジの中で少なくとも最長の直線状のエッジを水平エッジとして検出する
   画像処理装置。
9. 請求項１から８のいずれか１項に記載の画像処理装置において、
   前記処理本体部は、周辺状況に基づいて、前記較正情報の生成を停止する
   画像処理装置。
10. 請求項９に記載の画像処理装置において、
    前記第２の通信部は、前記周辺状況の一部として、周辺光量に関する情報を取得する
    画像処理装置。
11. 請求項９または１０に記載の画像処理装置において、
    前記処理本体部は、前記原画像に基づく周辺光量および原画像内の異物の存在を、前記周辺状況の一部として検出する
    画像処理装置。
12. 請求項１から１１のいずれか１項に記載の画像処理装置において、
    前記処理本体部は、前記較正情報または該較正情報に基づいて生成した前記原画像を切出す切出し領域の情報に基づいて、前記原画像から前記切出し画像を生成する
    画像処理装置。
13. 請求項１２に記載の画像処理装置において、
    前記処理本体部は、前記切出し画像の生成に用いる前記較正情報または前記切出し領域の情報の切替えを、移動体の移動中に実行しない
    画像処理装置。
14. 請求項１２または１３に記載の画像処理装置において、
    前記処理本体部は、前記切出し画像の生成に用いる前記較正情報または前記切出し領域の情報の切替えを、前記第１の通信部に前記原画像を付与する撮像部の次回の起動時に実行する
    画像処理装置。
15. 請求項１から１４のいずれか１項に記載の画像処理装置を含む、周辺監視システム。
16. 請求項１５に記載の周辺監視システムを備える、移動体。
    
    

Images