JP2018201167A - 画像処理装置、周辺監視システム、および移動体 - Google Patents
画像処理装置、周辺監視システム、および移動体 Download PDFInfo
- Publication number
- JP2018201167A JP2018201167A JP2017105930A JP2017105930A JP2018201167A JP 2018201167 A JP2018201167 A JP 2018201167A JP 2017105930 A JP2017105930 A JP 2017105930A JP 2017105930 A JP2017105930 A JP 2017105930A JP 2018201167 A JP2018201167 A JP 2018201167A
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- processing apparatus
- image
- information
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】移動体に設置する撮像部の較正情報を容易に算出する。【解決手段】画像処理装置16は第1の通信部19と第2の通信部20と処理本体部21とを有する。第1の通信部19は撮像した原画像を取得する。第2の通信部は原画像と比較する基準情報を取得する。処理本体部21は原画像における垂直エッジおよび水平エッジの少なくとも一方を検出する。処理本体部21は垂直エッジおよび水平エッジの少なくとも一方と基準情報を比較することにより較正情報を生成する。較正情報は原画像名から切出す切出し画像の切出し領域を定める。【選択図】図6
Description
本発明は、画像処理装置、周辺監視システム、および移動体に関するものである。
車両等の移動体に搭載され、移動体の周辺を撮像するカメラが知られている。このようなカメラにおいては、使用用途によっては、カメラの移動体への理想的な設置位置および設置姿勢が定められている。カメラの移動体への実際の設置位置及び実際の設置姿勢が理想的な設置位置および設置姿勢からずれているとき、当該使用用途を達成する精度が低下する。
そこで、カメラの設置位置および設置姿勢を較正するための較正情報を算出することが知られている。例えば、移動体との相対的な位置関係が既知である基準マーカを移動体に設置したカメラに撮像させ、画像内における基準マーカの座標と、実空間における基準マーカの座標とを対応付けることにより較正情報を算出することが提案されている(特許文献1参照)。
しかし、特許文献1に記載の方法では、基準マーカを移動体に対して既知の相対的な位置関係に設置するか、または設置した基準マーカの移動体に対する相対的な位置関係を測定する必要があり、較正情報の算出が煩雑であった。
本開示は、移動体に設置する撮像部の較正情報を容易に算出可能な画像処理装置を提供する。
本開示の画像処理装置は、
撮像した原画像を取得する第1の通信部と、
前記原画像と比較する基準情報を取得する第2の通信部と、
前記原画像において垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と前記基準情報とを比較することにより、前記原画像内から切出す切出し画像の領域を定める較正情報を生成する処理本体部と、を備える。
撮像した原画像を取得する第1の通信部と、
前記原画像と比較する基準情報を取得する第2の通信部と、
前記原画像において垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と前記基準情報とを比較することにより、前記原画像内から切出す切出し画像の領域を定める較正情報を生成する処理本体部と、を備える。
本開示の周辺監視システムは、
撮像した原画像を取得する第1の通信部と、前記原画像と比較する基準情報を取得する第2の通信部と、前記原画像において垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と前記基準情報とを比較することにより、前記原画像内から切出す切出し画像の領域を定める較正情報を生成する処理本体部と、を有する画像処理装置を含む。
撮像した原画像を取得する第1の通信部と、前記原画像と比較する基準情報を取得する第2の通信部と、前記原画像において垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と前記基準情報とを比較することにより、前記原画像内から切出す切出し画像の領域を定める較正情報を生成する処理本体部と、を有する画像処理装置を含む。
本開示の移動体は、
撮像した原画像を取得する第1の通信部と、前記原画像と比較する基準情報を取得する第2の通信部と、前記原画像において垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と前記基準情報とを比較することにより、前記原画像内から切出す切出し画像の領域を定める較正情報を生成する処理本体部と、を有する画像処理装置を含む周辺監視システムを備える。
撮像した原画像を取得する第1の通信部と、前記原画像と比較する基準情報を取得する第2の通信部と、前記原画像において垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と前記基準情報とを比較することにより、前記原画像内から切出す切出し画像の領域を定める較正情報を生成する処理本体部と、を有する画像処理装置を含む周辺監視システムを備える。
本開示に係る画像処理装置、周辺監視システム、および移動体によれば、移動体に設置する撮像部の較正情報が容易に算出され得る。
以下、本開示の実施形態について、図面を参照して説明する。
図1に示すように、本開示の画像処理装置を含む周辺監視システム10は、カメラ11および表示装置12を含む。周辺監視システム10は、移動体の周辺を監視する。周辺監視システム10では、カメラ11が撮像および加工した画像が表示装置12に表示される。
カメラ11および表示装置12は、NTSC(National Television System Committee)およびLVDS(Low Voltage Differential Signaling)などの映像信号を送信するための映像信号ラインなどの専用線を介して画像を伝達可能である。また、カメラ11および表示装置12は、CAN(Controller Area Network)およびEthernetなどの車載ネットワークバスを介して多様な指令を伝達可能である。
図2に示すように、カメラ11は、移動体13の外部に設けられる。
本開示における「移動体」には、車両、船舶、航空機を含む。本開示における「車両」には、自動車、鉄道車両、産業車両、及び生活車両を含むが、これに限られない。例えば車両には、滑走路を走行する飛行機を含めてよい。自動車は、乗用車、トラック、バス、二輪車、及びトロリーバス等を含むがこれに限られず、道路上を走行する他の車両を含んでよい。軌道車両は、機関車、貨車、客車、路面電車、案内軌道鉄道、ロープウエー、ケーブルカー、リニアモーターカー、及びモノレールを含むがこれに限られず、軌道に沿って進む他の車両を含んでよい。産業車両は、農業及び建設向けの産業車両を含む。産業車両には、フォークリフト、及びゴルフカートを含むがこれに限られない。農業向けの産業車両には、トラクター、耕耘機、移植機、バインダー、コンバイン、及び芝刈り機を含むが、これに限られない。建設向けの産業車両には、ブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、及びロードローラを含むが、これに限られない。生活車両には、自転車、車いす、乳母車、手押し車、及び電動立ち乗り二輪車を含むが、これに限られない。車両の動力機関は、ディーゼル機関、ガソリン機関、及び水素機関を含む内燃機関、並びにモータを含む電気機関を含むが、これに限られない。車両は、人力で走行するものを含む。なお、車両の分類は、上述に限られない。例えば、自動車には、道路を走行可能な産業車両を含んでよく、複数の分類に同じ車両が含まれてよい。
カメラ11は、例えば、移動体13の左側方および右側方の少なくとも一方に位置する。移動体13の側方における、カメラ11の設置位置および設置姿勢は、移動体13のサイドウィンドウおよび窓枠の水平方向および垂直方向の少なくとも一方の境界線の一部がカメラ11の撮像範囲内に入るように定められている。
一例として、本開示において、カメラ11は、所謂電子ミラー用のカメラであって、移動体13の両側方のフロントフェンダまたはフロントドアなどに取付けられている。カメラ11は、例えば、法令などにより定められる、撮影すべき範囲の光景を少なくとも撮影可能となるように姿勢が定められている。例えば、撮影すべき範囲は、地上において運転者から後方4m(メートル)の位置において移動体13側面から移動体13の外方幅1mで、運転者から後方20m以上後方の位置において移動体13側面から外方幅4mを含む範囲(網掛け部分参照)である。撮影すべき範囲は、運転者から後方4mの位置から後方20mの位置までの間で、単調に増加する範囲である。
図1に示すように、カメラ11は、撮像部14、記憶部15、および画像処理装置16を有する。
撮像部14は光学系および撮像素子を有する。光学系は、例えば焦点深度および画角などに関する所望の光学特性を有するように形成されている。光学系は被写体像を撮像素子に結像させる。撮像素子はCCD(Charge Coupled Device)イメージセンサおよびCMOS(Complementary MOS)イメージセンサなどのイメージセンサである。撮像部14は、例えば60fpsで、光学系の物体向き光軸方向の被写体を連続的に撮像する。撮像部14は、撮像により生成した原画像を画像処理装置16に付与する。
記憶部15は、一時記憶装置および二次記憶装置を含んでよい。記憶部15は、例えば半導体メモリ、磁気メモリ、および光メモリなどを用いて構成されてよい。半導体メモリは、揮発性メモリおよび不揮発性メモリを含んでよい。磁気メモリは、例えばハードディスクおよび磁気テープ等を含んでよい。光メモリは、例えばCD(Compact Disc)、DVD(Digital Versatile Disc)、およびBD(Blu-ray(登録商標) Disc)などを含んでよい。記憶部15は、画像処理装置16の動作を含むカメラ11の動作に必要な種々の情報を記憶する。
例えば、記憶部15は、原画像と比較する基準情報を記憶する。基準情報は、理想状態における原画像内に含まれる移動体13の垂直エッジおよび水平エッジの少なくとも一方に関する情報を含む。理想状態とは、カメラ11が移動体13に、設計された設置位置に設計された設置姿勢で正確に取付けられている状態である。垂直エッジおよび水平エッジに関する情報とは、それぞれ、例えば、エッジの全アドレス、始点および終点のアドレス、原画像内の傾きなどの垂直エッジおよび水平エッジを特定するための情報、および例えば、垂直エッジおよび水平エッジの交点のアドレスなどの垂直エッジおよび水平エッジに基づいて算出し得る情報である。
基準情報は、移動体13の種類によって異なっている。画像処理装置16では、自身が取付けられる移動体13の種類に応じて、基準情報が設計されている。
なお、図3に示すように、基準情報の垂直エッジおよび水平エッジそれぞれは、理想状態における原画像iIMに含まれる移動体13のサイドウィンドウの垂直方向および水平方向に沿った窓枠などとの境界線blである。
通常、単一のサイドウィンドウの境界線は4本であり、本開示においては、垂直方向となす角度がより小さな2本の境界線が垂直方向の境界線vbとみなされる。また、本開示においては、水平方向となす角度がより小さな2本の境界線が水平方向の境界線hbとみなされる。
なお、基準情報の垂直エッジは、サイドウィンドウおよび窓枠の、2本の垂直方向の境界線の少なくともいずれかである。本開示においては、サイドウィンドウおよび窓枠の、2本の垂直方向の境界線vbが、基本情報の垂直エッジとみなされる。
また、基準情報の水平エッジは、サイドウィンドウおよび窓枠の、2本の水平方向の境界線hbの少なくともいずれかである。本開示においては、移動体13の下側における、サイドウィンドウおよび窓枠の、水平方向の境界線hbが、基本情報の水平エッジとみなされる。
また、カメラ11の移動体13への設置位置および設置姿勢によっては、原画像にフロントドア17およびリアドア18それぞれのサイドウィンドウが含まれ得る。フロントドア17およびリアドア18のサイドウィンドウが含まれる構成においては、サイドウィンドウおよび窓枠との水平方向の上側および下側の境界線hbはそれぞれ同一直線に重なり得る。同一直線上に重なるフロントドア17およびリアドア18における境界線hbを結んだ線が、水平エッジとみなされてよい。
なお、理想状態の原画像iIMに対して定められる切出し領域ca内で、垂直エッジおよび水平エッジが、切出し領域caの画像座標系の特定の位置かつ特定の方向に平行となるように、理想状態の原画像内iIMの切出し領域caが定められている。
また、記憶部15は、垂直エッジおよび水平エッジの検出を行わせる探索範囲の情報を記憶する。例えば、図4に示すように、探索範囲ROIは、理想状態の原画像iIMにおいて、垂直方向および水平方向の境界線vb、hbの少なくとも一部が位置する領域baを含み、当該領域baより大きく、原画像全体に比べると小さい領域の範囲である。本開示においては、探索範囲ROIは、リアドアのサイドウィンドウおよび窓枠の垂直方向の2本の境界線vbの全体と、下側の水平方向の境界線hbの全体とが位置する領域を含む。
また、記憶部15は、較正情報を記憶する。記憶部15は、後述する較正情報の生成により取得する新規な較正情報を仮の較正情報として、それ以前に取得した較正情報とは別に記憶する。
較正情報は、実際にカメラ11が撮像した原画像の中で切出し画像を切出す、切出し領域caを決定するための情報である。較正情報は、理想状態における原画像iIM、および、実際のカメラ11が撮像した原画像それぞれにおける垂直エッジおよび水平エッジの並進ズレおよび回転ズレに関する情報である。
移動体13に実際に取付けられたカメラ11の設置位置および設置姿勢の誤差に起因して、図5に示すように、実際に撮像された原画像aIMは理想状態の原画像iIMに対して、ズレを生じ得る。ズレは、光軸回りの回転ズレ、原画像の左右方向の並進ズレとして表れる、鉛直方向に平行な線の軸回りの回転ズレ、および原画像の上下方向の並進ズレとして表れる、光軸および鉛直方向に平行な線の両者に垂直な線の軸回りの回転ズレを含み得る。
例えば、較正情報は、原画像の光軸周りの回転ズレに相当する、理想状態の原画像iIMおよび実際に撮像した原画像aIMにおける水平エッジまたは垂直エッジの少なくとも一方同士がなす角度を含む。また、例えば、較正情報は、原画像の上下方向および左右方向の並進ズレに相当する、理想状態の原画像iIMおよび実際に撮像した原画像aIMにおける垂直エッジおよび水平エッジのそれぞれの交点の座標のズレ量を含む。
あるいは、記憶部15は、較正情報の代わりに、切出し領域caの情報を記憶してよい。切出し領域caの情報は、較正情報に基づいて定まる、原画像の中における切出し領域caの位置を示す情報である。
図6に示すように、画像処理装置16は、第1の通信部19、第2の通信部20、および処理本体部21を有している。
第1の通信部19は、画像を通信可能な通信インタフェースを含む。本開示における「通信インタフェース」は、例えば物理コネクタ、および無線通信機を含んでよい。物理コネクタは、電気信号による伝送に対応した電気コネクタ、光信号による伝送に対応した光コネクタ、および電磁波による伝送に対応した電磁コネクタを含んでよい。電気コネクタは、IEC60603に準拠するコネクタ、USB規格に準拠するコネクタ、RCA端子に対応するコネクタ、EIAJ CP−1211Aに規定されるS端子に対応するコネクタ、EIAJ RC−5237に規定されるD端子に対応するコネクタ、HDMI(登録商標)規格に準拠するコネクタ、およびBNC(British Naval Connector、またはBaby-series N Connectorなど)を含む同軸ケーブルに対応するコネクタを含んでよい。光コネクタは、IEC 61754に準拠する種々のコネクタを含んでよい。無線通信機は、Bluetooth(登録商標)、およびIEEE802.11を含む各規格に準拠する無線通信機を含んでよい。無線通信機は、少なくとも1つのアンテナを含む。
第1の通信部19は、撮像部14の撮像により生成した原画像aIMを取得する。第1の通信部19は、処理本体部21が生成する表示画像を表示装置12に送る。
第2の通信部20は、多様な情報を外部機器22および記憶部15と通信可能な通信インタフェースを含む。なお、本開示において、第1の通信部19および第2の通信部20は、別体であるが、一体化していてよい。
外部機器22は、例えば、移動体13に備えられたECU(Electronic Control UnitまたはEngine Control unit)、速度センサ、加速度センサ、回転角センサ、ステアリング舵角センサ、エンジン回転数センサ、アクセルセンサ、ブレーキセンサ、照度センサ、雨滴センサ、走行距離センサ、ミリ波レーダ、超音波ソナー等を用いた障害物検出装置、ETC(Electronic Toll Collection System)受信装置、GPS(Global Positioning System)装置、ナビゲーション装置、インターネット上のサーバ、および携帯電話等を含んでよい。本開示において、外部機器22は、移動体13の周辺光量に関する情報を通信可能な機器であって、例えば、ECUおよび照度センサを含む。
第2の通信部20は、記憶部15から基準情報、探索範囲ROIの情報、および較正情報または切出し領域caの情報を取得する。また、第2の通信部20は、外部機器22から移動体13の周辺光量に関する情報、切替え指令、移動中であることを示す情報、および生成指令を取得する。
なお、切替え指令は、操作者による切出し領域caの切替えを促す入力に基づいてECUなどの外部機器22が生成する指令である。移動中であることを示す情報は、速度センサなどの検出結果に基づいてECUなどの外部機器22が判断した移動体13が移動中であることを示す情報である。生成指令は、操作者による較正情報の新規生成を促す入力に基づいてECUなどの外部機器22が生成する指令である。
処理本体部21は、1又は複数のプロセッサを含む。処理本体部21は、種々の処理のためのプログラム及び演算中の情報を記憶する1又は複数のメモリを含んでよい。メモリは、揮発性メモリ及び不揮発性メモリが含まれる。メモリは、プロセッサから独立しているメモリ、及びプロセッサの内蔵メモリが含まれる。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けIC(ASIC; Application Specific Integrated Circuit)が含まれる。プロセッサには、プログラマブルロジックデバイス(PLD; Programmable Logic Device)が含まれる。PLDには、FPGA(Field-Programmable Gate Array)が含まれる。処理本体部21は、一つ又は複数のプロセッサが協働するSoC(System on a Chip)、及びSiP(System In a Package)のいずれかであってよい。
処理本体部21は、第2の通信部20が較正情報を取得する構成において、較正情報に基づいて、切出し領域caを算出する。例えば、較正情報に基づく切出し領域caは、理想状態の原画像iIMにおける設計上の切出し領域caかを、較正情報が示す並進ズレおよび回転ズレをオフセットさせた領域である。
処理本体部21は、第1の通信部19が取得した原画像aIMから、算出した切出し領域caを切出した切出し画像を生成する。なお、処理本体部21は、第2の通信部20が切出し領域caの情報を取得する構成においては、較正情報に基づく切出し領域caの情報の算出をせずに、直接切出し画像を生成する。
処理本体部21は、切出し画像に対して所定の画像処理を施して、表示画像を生成する。所定の画像処理は、ホワイトバランス調整、γ補正、色補間、輪郭強調、電子ズーム、シャープネス処理、および超解像処理などを含んでよい。
また、処理本体部21は、較正情報を新規に生成する。処理本体部21は、例えば、生成指令を取得するとき、原画像の取得フレーム数が閾値を越えるとき、および周期的に、較正情報の新規生成を開始する。
新規生成の開始後、処理本体部21は、周辺状況に基づいて、較正情報の新規生成を実行するか否かを判別する。なお、周辺状況は、第2の通信部20から取得する周辺光量に関する情報、原画像に基づく周辺光量、および原画像内の異物の存在の有無の少なくともいずれかである。例えば、周辺光量が閾値未満であるとき、処理本体部21は、較正情報の新規生成を停止する。また、例えば、原画像内に異物が存在するとき、処理本体部21は、較正情報の新規生成を停止する。
処理本体部21は、較正情報の新規生成の実行を決定するとき、第1の通信部19が取得した原画像aIMにおいて、垂直エッジおよび水平エッジの少なくとも一方を検出する。なお、処理本体部21は、第2の通信部20が取得する探索範囲ROIの情報に基づく原画像の探索範囲ROIで垂直エッジおよび水平エッジを検出してよい。
処理本体部21は、原画像における探索範囲ROI内の画像に、例えばsobelフィルタなどの公知のエッジ検出方法を用いて、エッジを検出する。処理本体部21は、検出したエッジの中から、直線状のエッジを選別する。
処理本体部21は、探索範囲ROIにおける第1の方向に対してなす角度が第1の角度範囲内である直線状のエッジを垂直エッジとして検出する。なお、第1の方向とは、基本情報の垂直エッジ、すなわち理想状態における原画像iIM内に含まれる移動体13の垂直エッジの原画像内における方向である。
処理本体部21は、探索範囲ROIにおける第1の方向に対してなす角度が第1の角度範囲内である複数の直線状のエッジを検出する場合に、複数の直線状のエッジの長さを比較する。処理本体部21は、複数の直線状のエッジの中で最長の直線状のエッジがあるとき、少なくとも当該最長の直線状のエッジを垂直エッジとして検出する。
さらに、処理本体部21は、2番目に長い直線状のエッジを2本目の垂直エッジとして検出してよい。なお、処理本体部21は、複数の直線状のエッジの中で、互いの長さが同じであるエッジを、垂直エッジの検出対象から除外する。
また、処理本体部21は、探索範囲ROIにおける第2の方向に対してなす角度が第2の角度範囲内である直線状のエッジを水平エッジとして検出する。なお、第2の方向とは、基本情報の水平エッジ、すなわち理想状態における原画像aIM内に含まれる移動体13の水平エッジの原画像内における方向である。第2の角度範囲は、第1の角度範囲と異なっていてよく、また同じであってよい。
処理本体部21は、探索範囲ROIにおける第2の方向に対してなす角度が第2の角度範囲内である複数の直線状のエッジを検出する場合に、その中の少なくとも2本の直線状のエッジが同一直線に重なるか否かを判別する。処理本体部21は、同一直線に重なる当該少なくとも2本の直線状のエッジを結んだ単一の直線状のエッジを水平エッジとして検出する。
処理本体部21は、同一直線に重なる直線状のエッジがない場合であって、複数の直線状のエッジの中で最長の直線状のエッジがあるとき、少なくとも当該最長の直線状のエッジを水平エッジとして検出する。
処理本体部21は、検出した垂直エッジおよび水平エッジの少なくとも一方と、第2の通信部20が取得する基準情報とを比較することにより、較正情報を生成する。例えば、本開示において、処理本体部21は、検出した垂直エッジおよび水平エッジの交点の原画像の座標系の座標を算出する。なお、処理本体部21は、垂直エッジおよび水平エッジが交差しない場合に、垂直エッジおよび水平エッジの延長線を算出し、当該延長線の交点の原画像の座標系の座標を算出する。
処理本体部21は、検出した垂直エッジおよび水平エッジに基づく交点、および基準情報における交点の座標のズレを算出する。処理本体部21は、検出した垂直エッジおよび水平エッジそれぞれと、基準情報の垂直エッジおよび水平エッジとのなす角度を算出する。処理本体部21は、当該座標のズレ、および当該なす角度を較正情報として新規に生成する。
処理本体部21は、新規に生成した較正情報を、仮の較正情報として記憶部15に記憶させる。または、処理本体部21は、新規に生成した較正情報に基づいて新規に切出し領域caを算出し、仮の切出し領域caの情報として記憶部15に記憶させてよい。
処理本体部21は、新規な較正情報または新規な切出し領域caの情報の生成後、少なくとも移動体13の移動中には、切出し画像の生成に用いる較正情報または切出し領域caの情報の切替えを停止する。したがって、処理本体部21は、新規な較正情報または新規な切出し領域caの情報の生成後であっても、少なくとも移動体13の移動中には、新規生成以前に記憶部15に記憶させた較正情報または切出し領域caの情報を用いる。さらには、処理本体部21は、新規な較正情報または新規な切出し領域caの情報の生成後、撮像部14が停止するまで、切出し画像の生成に用いる較正情報または切出し領域caの情報の切替えを停止してよい。
処理本体部21は、新規な較正情報または新規な切出し領域caの情報の生成、かつ撮像部14の停止後の次回の撮像部14の起動時に、切出し画像の生成に用いる較正情報または切出し領域caの情報を切替える。なお、処理本体部21は、切替え指令を取得するとき、切出し画像の生成に用いる較正情報または切出し領域caの情報を切替えてよい。
表示装置12は、例えば液晶ディスプレイ(LCD(Liquid Crystal Display))、または、有機若しくは無機ELディスプレイである。表示装置12は、移動体13の車室内の、運転者が視認可能な位置に設けられる。表示装置12は、画像処理装置16から取得する表示画像を表示する。
次に、本開示において処理本体部21が実行する、較正情報の生成処理について、図7のフローチャートを用いて説明する。較正情報の生成処理は、生成指令を取得するとき、原画像の取得フレーム数が閾値を超えるとき、および周期的に開始する。
ステップS100において、処理本体部21は、第1の通信部19を介して、撮像部14から原画像aIMを取得する。原画像を取得すると、プロセスはステップS101に進む。
ステップS101では、処理本体部21は、周辺状況に基づいて、較正情報を新規生成可能であるか否かを判別する。新規生成不可能であるとき、較正情報の生成処理は終了する。新規生成可能であるとき、プロセスはステップS102に進む。
ステップS102では、処理本体部21は、第2の通信部20を介して、記憶部15から探索範囲ROIの情報を読出す。探索範囲ROIの情報を読出すと、プロセスはステップS103に進む。
ステップS103では、処理本体部21は、ステップS100において取得した原画像aIMの、ステップS102で読出した探索範囲ROI内の部分を切出す。原画像の探索範囲ROI内の部分を切出すと、プロセスはステップS104に進む。
ステップS104では、処理本体部21は、ステップS103において切出した原画像の探索範囲ROI内の部分から水平エッジおよび垂直エッジを探索する。水平エッジおよび垂直エッジの探索を開始すると、プロセスはステップS105に進む。
ステップS105では、処理本体部21は、垂直エッジおよび水平エッジを検出可能であるか否かを判別する。例えば、処理本体部21は、直線状のエッジが検出されないとき、垂直エッジおよび水平エッジの検出は不可能であると判別する。また、処理本体部21は、直線状のエッジが探索範囲ROIにおける第1の方向に対してなす角度が第1の角度範囲外であるとき、垂直エッジの検出は不可能であると判別する。また、処理本体部21は、直線状のエッジが探索範囲ROIにおける第2の方向に対してなす角度が第2の角度範囲外であるとき、水平エッジの検出は不可能であると判別する。また、処理本体部21は、探索範囲ROIにおける第2の方向に対してなす角度が第2の角度範囲内である複数の直線状のエッジの長さが等しいとき、水平エッジの検出は不可能であると判別する。垂直エッジおよび水平エッジの検出が不可能であるとき、較正情報の生成処理は終了する。垂直エッジおよび水平エッジの検出が可能であるとき、プロセスはステップS106に進む。
ステップS106では、処理本体部21は、ステップS105において検出可能であると判別され、検出された垂直エッジおよび水平エッジに交点があるか否かを判別する。交点が無いとき、プロセスはステップS107に進む。交点があるとき、プロセスはステップS108に進む。
ステップS107では、処理本体部21は、ステップS105において検出可能であると判別され、検出された垂直エッジおよび水平エッジの線分を延長する。さらに、処理本体部21は、延長した垂直エッジおよび水平エッジの交点を検出する。交点を検出すると、プロセスはステップS108に進む。
ステップS108では、処理本体部21は、第2の通信部20を介して、記憶部15から基準情報を読出す。基準情報を読出すと、プロセスはステップS109に進む。
ステップS109では、処理本体部21は、ステップS105において検出可能であると判別され、検出された垂直エッジおよび水平エッジ、およびステップS106で存在を判別した交点またはステップS107において検出した交点と、ステップS108において読出した基準情報との比較に基づいて、較正情報を生成する。
ステップS110では、処理本体部21は、ステップS109において生成した較正情報を、仮の較正情報として記憶部15に記憶させる。較正情報を記憶させると、プロセスはステップS111に進む。
ステップS111では、処理本体部21は、第2の通信部20を介して、外部機器22から切替え指令を取得しているか否かを判別する。切替え指令を取得していないとき、較正情報の生成処理は終了する。切替え指令を取得しているとき、プロセスはステップS112に進む。
ステップS112では、処理本体部21は、第2の通信部20を介して、外部機器22から移動体13が移動中であることを示す情報を取得しているか否かを判別する。移動体13が移動中であることを示す情報を取得しているとき、較正情報の生成処理は終了する。移動体13が移動中であることを示す情報を取得していないとき、プロセスはステップS113に進む。
ステップS113では、処理本体部21は、切出し画像の生成に用いる較正情報を、仮の較正情補に切替えることにより、切出し領域caを切替える。また、処理本体部21は、記憶部15に記憶させている、仮の較正情報の記憶前に記憶した較正情報を消去する。切出し領域caを切替えると、較正情報の生成処理は終了する。
次に、本開示において処理本体部21が実行する、撮像部14の起動時における切出し領域caの切替え処理について、図8のフローチャートを用いて説明する。切出し領域caの切替え処理は、撮像部14の起動時に開始する。
ステップS200において、処理本体部21は、記憶部15が仮の較正情報を記憶しているか否かを判別する。仮の較正情報を記憶していないとき、切出し領域caの切替え処理は終了する。仮の較正情報を記憶しているとき、プロセスはステップS201に進む。
ステップS201では、処理本体部21は、切出し画像の生成に用いる較正情報を、仮の較正情補に切替えることにより、切出し領域caを切替える。切出し領域caを切替えると、プロセスはステップS202に進む。
ステップS202では、処理本体部21は、記憶部15に記憶させている、仮の較正情報の記憶前に記憶した較正情報を消去する。当該較正情報を消去すると、切出し領域の切替え処理を終了する。
以上のような構成の本開示の画像処理装置16は、原画像における垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と基準情報とを比較することにより、較正情報を生成する。このような構成により、画像処理装置16は、基準マーカなどを移動体13の周囲に設置すること無く、較正情報を生成させ得る。また、通常はどのような種類の移動体13でも、水平方向および垂直方向の境界線hb、vbによって画定されるサイドウィンドウを有しているので、上述のような構成の画像処理装置16は、多様な移動体13の較正情報の生成に適用し得る。また、傾斜角度の算出が容易な垂直エッジおよび水平エッジを用いるので、画像処理装置16は、光軸回りの回転ズレに対して高精度で補正可能な較正情報を生成し得る。
また、本開示の画像処理装置16は、原画像の中の探索範囲ROIにおいて、垂直エッジおよび水平エッジの少なくとも一方を検出している。このような構成により、画像処理装置16は、基準情報と比較すべき垂直エッジおよび水平エッジと異なる、比較すべきでない垂直エッジおよび水平エッジの誤検出の可能性を低減し得る。また、このような構成により、画像処理装置16は、検出の処理時間を短縮させ得る。
また、本開示の画像処理装置16は、最長の直線状のエッジを垂直エッジおよび水平エッジとして検出している。基準情報との比較に用いる垂直エッジおよび水平エッジのいずれにおいても、長くなる程、当該エッジの傾きの算出精度が向上する。したがって、このような構成により、画像処理装置16は、光軸回りの回転ズレの算出精度を向上させ得る。
また、本開示の画像処理装置16は、複数の直線状のエッジの中で、長さが同じ直線状のエッジを垂直エッジの検出対象から除外している。原画像内における移動体13の垂直方向に延びる直線状のエッジは、撮像部14からの遠近などに起因して、同じ長さになる可能性は極めて低い。それゆえ、垂直方向に延びる、同じ長さの複数の直線状のエッジは、誤検出されたエッジの可能性がある。上述の構成により、画像処理装置16は、較正情報の算出精度を向上し得る。
また、本開示の画像処理装置16は、複数の直線状のエッジの少なくとも2本の直線状のエッジが同一直線に重なるとき、少なくとも当該2本の直線状のエッジを結ぶエッジを水平エッジとして検出している。水平エッジとして検出されることが想定されるサイドウィンドウの水平方向の境界線hbはフロントドア17およびリアドア18のいずれにも存在し、且つ通常は一直線に重なり得る。上述の構成により、画像処理装置16は、長さが長い水平ヘッジを検出することにより、光軸回りの回転ズレの算出精度を向上させ得る。
また、本開示の画像処理装置16は、周辺状況に基づいて較正情報の生成を停止する。このような構成により、画像処理装置16は、垂直エッジおよび水平エッジの検出が困難な状況および誤検出の可能性が高い状況における、無駄な較正情報の生成を防止する。
また、本開示の画像処理装置16は、切出し領域caの情報に基づいて、原画像から切出し画像を生成する。このような構成により、画像処理装置16は、例えば、原画像から切出し画像の生成機能を有しない表示装置に対して、当該表示装置に適した画像を提供し得る。
また、本開示の画像処理装置16は、切出し画像の生成に用いる較正情報または切出し領域caの情報の切替えを、移動体13の移動中に実行しない。本開示のように、カメラ11が電子ミラーに適用されているとき、移動中の表示画像の切替えは一般的に望ましくない。それゆえ、上述の構成により、画像処理装置16は、表示画像の切替えが望ましくない状況において、表示画像の切替えを発生させる切出し領域caの切替えを実行しない。例えば、本開示の画像処理装置16は、移動体13の停止中に切出し画像の生成に用いる較正情報または切出し領域caの情報の切替えを実行する。
また、本開示の画像処理装置16は、切出し画像の生成に用いる較正情報または切出し領域caの情報の切替えを、撮像部14の次回の起動時に実行する。このような構成により、画像処理装置16は、表示画像の切替えに不適でないときに、自動的に切出し領域caを切替え得る。
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。
例えば、本開示において、画像処理装置16はカメラ11に内蔵される構成であるが、このような構成に限定されない。画像処理装置16は、例えば、表示装置12に内蔵されてよく、また、独立の装置であってよい。
また、本開示において、画像処理装置16が切出し画像を生成するが、画像処理装置16は較正情報の算出まで行う構成であってよい。例えば、較正情報に基づいて原画像から切出し画像を生成する表示装置に対しては、画像処理装置16は較正情報を算出して、当該較正情報を表示装置に送ればよい。
また、本開示において、画像処理装置16は、検出した垂直エッジおよび水平エッジの少なくとも一方と、基準情報とに基づいて、自動的に較正情報を生成する構成であるが、較正情報の生成を手動で行ってよい。なお、手動による較正情報の生成は、従来公知の如何なる方法を適用可能である。
また、本開示において、基準情報の垂直エッジは、サイドウィンドウおよび窓枠の、2本の垂直方向の境界線vbの少なくともいずれかであるが、このような構成に限定されない。例えば、基準情報の垂直エッジは、フロントドア17およびリアドア18のつなぎ目の隙間であってよい。
本開示において、処理本体部21は、較正情報の新規生成の実行を決定するとき、第1の通信部19が取得した原画像aIMにおいて、垂直エッジおよび水平エッジの少なくとも一方を検出する。本開示の構成は、これに限定されない。例えば、処理本体部21は、垂直エッジおよび水平エッジの検出する前に、原画像aIMの歪みを補正してよい。処理本体部21は、原画像aIMの歪み補正を行うことで、垂直エッジおよび水平エッジの検出精度を高めうる。
10 周辺監視システム
11 カメラ
12 表示装置
13 移動体
14 撮像部
15 記憶部
16 画像処理装置
17 フロントドア
18 リアドア
19 第1の通信部
20 第2の通信部
21 処理本体部
22 外部機器
aIM 実際に撮像した原画像
ba 垂直方向および水平方向の境界線の少なくとも一部が位置する領域
bl 境界線
ca 切出し領域
hb 水平方向の境界線
iIM 理想状態における原画像
ROI 探索範囲
vb 垂直方向の境界線
11 カメラ
12 表示装置
13 移動体
14 撮像部
15 記憶部
16 画像処理装置
17 フロントドア
18 リアドア
19 第1の通信部
20 第2の通信部
21 処理本体部
22 外部機器
aIM 実際に撮像した原画像
ba 垂直方向および水平方向の境界線の少なくとも一部が位置する領域
bl 境界線
ca 切出し領域
hb 水平方向の境界線
iIM 理想状態における原画像
ROI 探索範囲
vb 垂直方向の境界線
Claims (16)
- 撮像した原画像を取得する第1の通信部と、
前記原画像と比較する基準情報を取得する第2の通信部と、
前記原画像において垂直エッジおよび水平エッジの少なくとも一方を検出し、当該垂直エッジおよび水平エッジの少なくとも一方と前記基準情報とを比較することにより、前記原画像内から切出す切出し画像の領域を定める較正情報を生成する処理本体部と、を備える
画像処理装置。 - 請求項1に記載の画像処理装置において、
前記基準情報は、理想状態である前記原画像における垂直エッジおよび水平エッジの少なくとも一方に関する情報を含む
画像処理装置。 - 請求項1または2に記載の画像処理装置において、
前記処理本体部は、前記原画像の中の探索範囲において、前記垂直エッジおよび前記水平エッジの少なくとも一方を検出する
画像処理装置。 - 請求項3に記載の画像処理装置において、
前記処理本体部は、前記探索範囲内の第1の方向に対してなす角度が第1の角度範囲内である直線状のエッジを垂直エッジとして検出し、前記探索範囲内の第2の方向に対してなす角度が第2の角度範囲内である直線状のエッジを水平エッジとして検出する
画像処理装置。 - 請求項4に記載の画像処理装置において、
前記処理本体部は、前記探索範囲内の前記第1の方向に対してなす角度が第1の角度範囲内である複数の直線状のエッジを検出する場合に、該複数の直線状のエッジの中で少なくとも最長の直線状のエッジを垂直エッジとして検出する
画像処理装置。 - 請求項4または5に記載の画像処理装置において、
前記処理本体部は、前記探索範囲内の前記第1の方向に対してなす角度が第1の角度範囲内である複数の直線状のエッジを検出する場合に、該複数の直線状のエッジの中で長さが同じ直線状のエッジを垂直エッジの検出対象から除外する
画像処理装置。 - 請求項4から6のいずれか1項に記載の画像処理装置において、
前記処理本体部は、前記探索範囲内の前記第2の方向に対してなす角度が第2の角度範囲内である複数の直線状のエッジを検出する場合に、該複数の直線状のエッジの少なくとも2本の直線状のエッジが同一直線に重なるとき、少なくとも該2本の直線状のエッジを結ぶエッジを水平エッジとして検出する
画像処理装置。 - 請求項4から7のいずれか1項に記載の画像処理装置において、
前記処理本体部は、前記探索範囲内の前記第2の方向に対してなす角度が第2の角度範囲内である複数の直線状のエッジを検出する場合に、該複数の直線状のエッジのいずれもが同一直線に重ならないとき、該複数の直線状のエッジの中で少なくとも最長の直線状のエッジを水平エッジとして検出する
画像処理装置。 - 請求項1から8のいずれか1項に記載の画像処理装置において、
前記処理本体部は、周辺状況に基づいて、前記較正情報の生成を停止する
画像処理装置。 - 請求項9に記載の画像処理装置において、
前記第2の通信部は、前記周辺状況の一部として、周辺光量に関する情報を取得する
画像処理装置。 - 請求項9または10に記載の画像処理装置において、
前記処理本体部は、前記原画像に基づく周辺光量および原画像内の異物の存在を、前記周辺状況の一部として検出する
画像処理装置。 - 請求項1から11のいずれか1項に記載の画像処理装置において、
前記処理本体部は、前記較正情報または該較正情報に基づいて生成した前記原画像を切出す切出し領域の情報に基づいて、前記原画像から前記切出し画像を生成する
画像処理装置。 - 請求項12に記載の画像処理装置において、
前記処理本体部は、前記切出し画像の生成に用いる前記較正情報または前記切出し領域の情報の切替えを、移動体の移動中に実行しない
画像処理装置。 - 請求項12または13に記載の画像処理装置において、
前記処理本体部は、前記切出し画像の生成に用いる前記較正情報または前記切出し領域の情報の切替えを、前記第1の通信部に前記原画像を付与する撮像部の次回の起動時に実行する
画像処理装置。 - 請求項1から14のいずれか1項に記載の画像処理装置を含む、周辺監視システム。
- 請求項15に記載の周辺監視システムを備える、移動体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017105930A JP2018201167A (ja) | 2017-05-29 | 2017-05-29 | 画像処理装置、周辺監視システム、および移動体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017105930A JP2018201167A (ja) | 2017-05-29 | 2017-05-29 | 画像処理装置、周辺監視システム、および移動体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018201167A true JP2018201167A (ja) | 2018-12-20 |
Family
ID=64668322
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017105930A Pending JP2018201167A (ja) | 2017-05-29 | 2017-05-29 | 画像処理装置、周辺監視システム、および移動体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2018201167A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021150957A (ja) * | 2020-03-13 | 2021-09-27 | メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーMEKRA Lang GmbH & Co. KG | 間接視システムの検証方法 |
-
2017
- 2017-05-29 JP JP2017105930A patent/JP2018201167A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021150957A (ja) * | 2020-03-13 | 2021-09-27 | メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーMEKRA Lang GmbH & Co. KG | 間接視システムの検証方法 |
KR20210116297A (ko) * | 2020-03-13 | 2021-09-27 | 메크라 랑 게엠베하 운트 코 카게 | 간접 뷰 시스템을 확인하기 위한 방법 |
JP7134280B2 (ja) | 2020-03-13 | 2022-09-09 | メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲー | 間接視システムの検証方法 |
KR102526258B1 (ko) * | 2020-03-13 | 2023-04-27 | 메크라 랑 게엠베하 운트 코 카게 | 간접 뷰 시스템을 확인하기 위한 방법 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10373338B2 (en) | Calculation device, camera device, vehicle, and calibration method | |
EP3358295B1 (en) | Image processing device, stereo camera device, vehicle, and image processing method | |
US11703326B2 (en) | Stereo camera apparatus, vehicle, and parallax calculation method | |
JP2011118482A (ja) | 車載装置および認知支援システム | |
US11165932B2 (en) | Imaging apparatus, imaging system, vehicle and foreign matter determination method | |
JP6456499B2 (ja) | 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法 | |
US10893214B2 (en) | Camera monitoring system, image processing device, vehicle and image processing method | |
US10360462B2 (en) | Image processing device, stereo camera device, vehicle, and image processing method | |
US11377027B2 (en) | Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method | |
US11100353B2 (en) | Apparatus of controlling region of interest of image and method for controlling the same | |
JP2018201167A (ja) | 画像処理装置、周辺監視システム、および移動体 | |
JP2018088092A (ja) | 画像処理装置、車載システム、車載カメラ、移動体、および画像処理方法 | |
US11030468B2 (en) | Image processing apparatus | |
WO2018155280A1 (ja) | 周辺監視システム | |
JP2018107620A (ja) | 撮像システム、移動体、および制御方法 | |
JP6958485B2 (ja) | 物体検知装置 | |
JP6824809B2 (ja) | 走行支援装置、撮像システム、車両、及び走行支援システム | |
JP2018119927A (ja) | 画像処理装置、撮像装置、および画像処理システム | |
CN112912944B (zh) | 图像处理装置、摄像头、移动体以及图像处理方法 | |
JP6712942B2 (ja) | 画像処理装置、撮像装置、および表示システム | |
JP6720063B2 (ja) | 画像処理装置、撮像装置、および表示システム | |
JP2022066925A (ja) | 画像処理装置、ステレオカメラ装置、移動体及び画像処理方法 |