JP2012169826A - 画像処理装置、画像表示システム及び画像処理方法 - Google Patents
画像処理装置、画像表示システム及び画像処理方法 Download PDFInfo
- Publication number
- JP2012169826A JP2012169826A JP2011028589A JP2011028589A JP2012169826A JP 2012169826 A JP2012169826 A JP 2012169826A JP 2011028589 A JP2011028589 A JP 2011028589A JP 2011028589 A JP2011028589 A JP 2011028589A JP 2012169826 A JP2012169826 A JP 2012169826A
- Authority
- JP
- Japan
- Prior art keywords
- object data
- image
- detection
- captured image
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
【課題】不要な指標の表示を防止する。
【解決手段】画像表示システム10では、物体検出部22aが、撮影画像中の検出領域に存在する物体データを検出する物体検出処理を周期的に実行する。また、対応判定部22bが、直近の物体検出処理で検出された物体データと、管理テーブル24bに登録された過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行する。そして、第1削除部22cが、対応付けできない回数が所定条件を満足する物体データを管理テーブル24bから削除する。さらに、第2削除部22dが、検出領域DAの外縁に到達した物体データを、管理テーブル24bから削除する。そして、枠重畳部22eが、管理テーブル24bに登録されている物体データの位置を示す強調枠を撮影画像に重畳する。したがって、検出領域の外縁に到達した物体データの強調枠が表示されない。
【選択図】図1
【解決手段】画像表示システム10では、物体検出部22aが、撮影画像中の検出領域に存在する物体データを検出する物体検出処理を周期的に実行する。また、対応判定部22bが、直近の物体検出処理で検出された物体データと、管理テーブル24bに登録された過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行する。そして、第1削除部22cが、対応付けできない回数が所定条件を満足する物体データを管理テーブル24bから削除する。さらに、第2削除部22dが、検出領域DAの外縁に到達した物体データを、管理テーブル24bから削除する。そして、枠重畳部22eが、管理テーブル24bに登録されている物体データの位置を示す強調枠を撮影画像に重畳する。したがって、検出領域の外縁に到達した物体データの強調枠が表示されない。
【選択図】図1
Description
本発明は、画像中の物体を示す物体データを検出する技術に関する。
従来より、車両に搭載される車載カメラで得られた画像中に存在する物体を示す物体データを検出し、その物体データの位置を示す画像を表示する画像表示システムが提案されている(例えば、特許文献1,2参照。)。
このような機能を有する画像表示システムとして、例えば、比較的広い範囲を撮影可能なフロントカメラで得られた画像を車室内の表示装置に表示するブラインドコーナモニタシステムが知られている。この画像表示システムは、フロントカメラで得られた画像に基づいて接近する物体を示す物体データを検出し、その物体データの位置を示す指標(例えば、強調枠)を重畳した画像を表示装置に表示する。このような画像表示システムを利用することにより、ユーザ(主にドライバ)は、見通しの悪い交差点などにおいてユーザの死角となる位置から接近する他の車両等の物体を容易に認識することが可能となる。
ところで、上記のような物体データを検出する画像表示システムにおいては、車載カメラで所定の周期で得られる画像を対象に物体データを検出する処理が繰り返される。車載カメラで得られる画像の内容は常に変化することから、同一の物体に係る物体データが時間的に連続する複数の画像において継続的に検出できないことがある。例えば、ある物体の物体データが、一の画像において検出できたが次の画像において検出できないといった場面が生じる。したがって、物体データの検出の可否を指標(例えば、強調枠)の表示の有無に直接的に反映させると、同一の物体に係る物体データの指標が点滅を繰り返す結果となり、かえって視認性が悪くなる。
このため、画像表示システムは、検出した物体データを管理テーブルに登録し、管理テーブルに登録された物体データの指標を表示するとともに、管理テーブルに一旦登録された物体データは所定の条件を満足するまで管理テーブルから削除しないようにしている。このような処理によって、同一物体に係る物体データの指標は点滅せずに継続的に表示される。
しかしながら、この処理を採用すると、管理テーブルに一旦登録された物体データの指標は、当該物体データが検出されなくなった以降においても、物体データを削除するための条件を満足するまでの暫くの期間は表示される。したがって、実際の物体に対応しない不要な指標が表示装置に表示されることになり、注意すべき他の物体にユーザの注意がいかなくなるおそれがある。
本発明は、上記課題に鑑みてなされたものであり、不要な指標の表示を防止できる技術を提供することを目的とする。
上記課題を解決するため、請求項1の発明は、画像を処理する画像処理装置であって、車両の周辺を撮影するカメラの撮影画像を周期的に取得する取得手段と、前記撮影画像中の検出領域に存在する物体を示す物体データを検出する検出処理を周期的に実行する検出手段と、過去の前記検出処理で検出された物体データが登録された管理情報を記憶する記憶手段と、前記管理情報に登録されている物体データと、直近の前記検出処理で検出された物体データとを対応付ける対応判定手段と、前記対応判定手段が対応付けできない回数が所定条件を満足する物体データを、前記管理情報から削除する第1削除手段と、前記検出領域の外縁に到達した物体データを、前記管理情報から削除する第2削除手段と、前記管理情報に登録されている物体データの位置を示す指標を前記撮影画像に重畳する重畳手段と、前記撮影画像を表示装置に出力して表示させる出力手段と、を備えている。
また、請求項2の発明は、請求項1に記載の画像処理装置において、前記第2削除手段は、前記検出領域の外縁に接する物体データを、前記管理情報から削除する。
また、請求項3の発明は、請求項1に記載の画像処理装置において、前記第2削除手段は、複数回の前記検出処理の結果に基づいて予測した、次回の前記検出処理の時点での予測位置が前記検出領域の外縁より外側となる物体データを、前記管理情報から削除する。
また、請求項4の発明は、請求項1ないし3のいずれかに記載の画像処理装置において、前記検出領域の外縁は、前記撮影画像の中央側の部分である。
また、請求項5の発明は、画像を表示する画像表示システムであって、請求項1ないし4のいずれかに記載の画像処理装置と、前記画像処理装置から出力される前記撮影画像を表示する表示装置と、を備えている。
また、請求項6の発明は、画像を処理する画像処理方法であって、(a)車両の周辺を撮影するカメラの撮影画像を周期的に取得する工程と、(b)前記撮影画像中の検出領域に存在する物体を示す物体データを検出する検出処理を周期的に実行する工程と、(c)過去の前記検出処理で検出された物体データが登録された管理情報に登録されている物体データと、直近の前記検出処理で検出された物体データとを対応付ける工程と、(d)前記工程(c)で対応付けできない回数が所定条件を満足する物体データを、前記管理情報から削除する工程と、(e)前記検出領域の外縁に到達した物体データを、前記管理情報から削除する工程と、(f)前記管理情報に登録されている物体データの位置を示す指標を前記撮影画像に重畳する工程と、(g)前記撮影画像を表示する工程と、を備えている。
また、請求項7の発明は、画像を処理する画像処理方法であって、(a)車両の周辺を撮影するカメラの撮影画像を取得する工程と、(b)前記撮影画像中の検出領域に存在する物体を示す物体データを検出する工程と、(c)物体データの位置を示す指標を前記撮影画像に重畳して表示する工程と、(d)前記物体データが前記検出領域の外縁に到達したときに前記指標の表示を中止する工程と、を備えている。
請求項1ないし7の発明によれば、検出領域の外縁に到達した物体データの指標が表示されないため、実際の物体に対応しない不要な指標の表示を防止できる。
また、特に請求項2の発明によれば、不要な指標に係る物体データを比較的単純な手法で削除できる。
また、特に請求項3の発明によれば、不要な指標に係る物体データを比較的単純な手法で削除できる。
また、特に請求項4の発明によれば、撮影画像の中央付近において明瞭に認識可能な物体に係る指標の残留を防止できる。
以下、図面を参照しつつ本発明の実施の形態について説明する。
<1.第1の実施の形態>
<1−1.システムの構成>
図1は、本実施の形態の画像表示システム10の概略構成を示す図である。画像表示システム10は、自動車などの車両に搭載され、当該車両の前方の領域を示す画像を車室内に表示するブラインドコーナモニタシステムである。この画像表示システム10は、画像中に存在する物体を示す物体データを検出し、その物体データの位置を示す画像を表示する機能を有している。
<1−1.システムの構成>
図1は、本実施の形態の画像表示システム10の概略構成を示す図である。画像表示システム10は、自動車などの車両に搭載され、当該車両の前方の領域を示す画像を車室内に表示するブラインドコーナモニタシステムである。この画像表示システム10は、画像中に存在する物体を示す物体データを検出し、その物体データの位置を示す画像を表示する機能を有している。
画像表示システム10は、車両の周辺を撮影して撮影画像を得る車載カメラ1と、車載カメラ1で得られた撮影画像を表示する表示装置3とを備えている。表示装置3は、車両の車室内においてユーザ(主に車両のドライバ)が視認可能な位置に配置される。
車載カメラ1は、フロントカメラであり、車両の前方の領域を所定の周期(例えば、1/30秒)で撮影する。図2は、車載カメラ1が配置される位置を示す図である。図2に示すように車載カメラ1は、車両9の前端に設けられ、その光軸11は車両9の直進方向に向けられている。車載カメラ1のレンズには魚眼レンズが採用され、車載カメラ1は180度以上の画角θを有している。したがって、車載カメラ1を利用することで、車両9の前方に広がる左右方向に180度以上の領域を撮影することが可能となっている。
図1に戻り、画像表示システム10は、車載カメラ1と表示装置3とともに、画像処理装置2を備えている。画像処理装置2は、車載カメラ1で取得された撮影画像を処理して表示装置3に出力する。画像処理装置2は、画像取得部21、強調処理部22、画像出力部23及び記憶部24を備えている。
画像取得部21は、車載カメラ1からアナログの撮影画像を所定の周期(例えば、1/30秒)で取得し、取得した撮影画像をデジタルの撮影画像に変換(A/D変換)する。画像取得部21が処理した一の撮影画像は、映像信号の一のフレームとなる。
強調処理部22は、例えば、画像処理機能を有するハードウェア回路である。強調処理部22は、画像取得部21が周期的に取得する撮影画像(フレーム)を対象に物体を示す物体データを検出し、その物体データの位置を明示した撮影画像を生成する。図1に示す、物体検出部22a、対応判定部22b、第1削除部22c、第2削除部22d、及び、枠重畳部22eは、強調処理部22の機能の一部である。これら機能の詳細については後述する。
画像出力部23は、強調処理部22によって処理された撮影画像を、表示装置3に出力する。これにより、物体データの位置を明示した撮影画像が表示装置3に表示される。
また、記憶部24は、強調処理部22の処理に用いられる各種のデータを記憶する。記憶部24には、特徴点リスト24a及び管理テーブル24bが記憶されている。
また、画像表示システム10は、システム全体を統括的に制御するシステム制御部5と、ユーザが操作可能なスイッチ6とを備えている。システム制御部5は、ユーザのスイッチ6の操作に応答して、車載カメラ1、画像処理装置2及び表示装置3を起動し、車両9の前方を示す撮影画像を表示装置3に表示させる。これにより、ユーザは、見通しの悪い交差点に来たときなどの所望のタイミングにスイッチ6を操作することで、車両9の前方の様子を略リアルタイムに確認できる。
図3の上部は、車載カメラ1の撮影により得られた撮影画像SGの一例を示している。車載カメラ1は広い画角を有していることから、撮影画像SGにおいては車両9の前方の左右に広がる比較的広い範囲が示されている。このような撮影画像SGには、物体データを検出する際に対象とする領域である2つの検出領域DAが設定されている。一方の検出領域(以下、「左側検出領域」という。)DA1は、撮影画像SGの上下中央付近、かつ、左右中央よりも左側の所定位置に設定されている。また、他方の検出領域(以下、「右側検出領域」という。)DA2は、撮影画像SGの上下中央付近、かつ、左右中央よりも右側の所定位置に設定されている。
これらの検出領域DAは、理論的上の無限遠点である消失点(実際には平行な線の像が遠近法により交わる点)VPを含むことが望ましい。車両9が交差点に来たときに得られる撮影画像SGにおいては、このような消失点VPが撮影画像SGの左端及び右端それぞれの近傍に現れる。車両9に接近する他の車両等の物体の物体像Tは、このような消失点VPから出現することが多い。
強調処理部22の物体検出部22aは、これら左側検出領域DA1及び右側検出領域DA2をそれぞれ対象として物体検出処理を実行する。これにより、物体検出部22aは、車両9に接近する物体を示す物体データを検出する。この物体データは、撮影画像中において物体を示す物体像Tが存在する範囲を示す。
また、強調処理部22の枠重畳部22eは、物体検出部22aが検出した物体データの位置を示す指標である強調枠TFと、2つの検出領域DAの外縁を示す矩形枠AFとを撮影画像に重畳する。したがって、図3の下部に示すように、表示装置3に表示される撮影画像DGにおいては、車両9に接近する物体の物体像Tが強調枠TFに囲まれて強調される。ユーザは、この撮影画像DGを視認することにより、車両9の左右から接近する物体を容易に認識することが可能となる。
<1−2.物体検出処理>
次に、物体検出部22aが、検出領域DA中の物体データを検出する処理である物体検出処理について説明する。
次に、物体検出部22aが、検出領域DA中の物体データを検出する処理である物体検出処理について説明する。
図4は、物体検出処理の流れを示す図である。この物体検出処理は、画像取得部21が撮影画像(フレーム)を取得するごとに、直近に取得された撮影画像(フレーム)を対象に物体検出部22aにより実行される。したがって、図4に示す物体検出処理は、所定の周期(例えば、1/30秒)で繰り返し実行される。また、図4に示す物体検出処理は、撮影画像の左側検出領域DA1及び右側検出領域DA2のそれぞれに関して個別に行われる。
物体検出処理の対象となる撮影画像においては、水平方向をX軸(右側が正)、垂直方向をY軸(下側が正)とするXY座標が設定される(図3参照。)。この座標の原点(X=0,Y=0)は、撮影画像の左上の端部に設定される。
物体検出処理では、まず、対象とする検出領域DAに対して平滑化処理がなされ、検出領域DAのノイズ成分が低減される(ステップS1)。この平滑化処理においては、例えば、ガウスフィルタなど周知のフィルタが利用できる。
次に、検出領域DAにおける特徴点(際立って検出できる点)を抽出する特徴点抽出処理がなされる(ステップS2)。特徴点抽出処理においては、例えば、ハリスオペレータなどの周知の特徴点抽出手法を採用することができる。これにより、例えば図5に示すように、検出領域DAに存在する物体像Tのコーナー(エッジの交点)などを含む複数の点が特徴点FPとして抽出される。
次に、ステップS2において抽出された特徴点と、過去の物体検出処理で抽出された特徴点とを対応付ける処理がなされる(ステップS3)。移動する物体に基づく特徴点は、通常、時間的に連続する撮影画像(フレーム)の間で異なる位置に現れる。このため、この処理により、同一の物体の同一位置に基づく特徴点同士が対応付けられる。
過去の物体検出処理で抽出された特徴点は、記憶部24に記憶される特徴点リスト24aに登録されている。図6は、特徴点リスト24aの一例を示す図である。図6に示すように、特徴点リスト24aは、複数のレコードRaを含むテーブル形式のデータである。各レコードRaは一の特徴点の情報を示しており、「識別番号」「X座標」「Y座標」及び「更新情報」を含んでいる。
「識別番号」は、当該特徴点を識別する情報である。「X座標」は当該特徴点の水平方向(X軸方向)の座標位置を示し、「Y座標」は当該特徴点の垂直方向(Y軸方向)の座標位置を示している。
また、「更新情報」は、当該特徴点の座標位置(「X座標」「Y座標」)が、何回前の物体検出処理において更新されたかを示す情報である。換言すれば、「更新情報」は、当該特徴点が最後に動いたフレームが何フレーム前であるかを示している。例えば、「更新情報」が「1」であれば、前回の物体検出処理において座標位置が更新されたことを示している。また、「更新情報」が「8」であれば、8回前の物体検出処理において座標位置が更新され、直近の7回の物体検出処理においては座標位置が更新されなかったことを示している。
特徴点同士を対応付ける処理は、このような特徴点リスト24aに登録された各特徴点ごとに行われる。図7は、特徴点同士を対応付ける処理を説明するための図である。
図中において、黒く塗りつぶした点P0は、過去の物体検出処理で抽出された、対応付けの対象となる一の特徴点(すなわち、特徴点リスト24aに登録された一の特徴点)を示している。一方、白抜きの点Pa〜Pdは、今回の物体検出処理において抽出された特徴点を示している。以下、過去の物体検出処理で抽出された特徴点を「過去特徴点」といい、今回の物体検出処理において抽出された特徴点を「今回特徴点」という。
まず、過去特徴点P0を中心として、所定サイズ(例えば、水平40画素×垂直30画素)の探索領域SAが設定される。次に、この探索領域SA内に含まれる今回特徴点Pa〜Pc、及び、過去特徴点P0のそれぞれの周囲に、特徴点を中心としたブロックmaが設定される。このブロックmaは、探索領域SAと比較して十分に小さい所定サイズ(例えば、水平5画素×垂直5画素)の領域である。
次に、周囲のブロックmaの特徴に基づいて、今回特徴点Pa〜Pcのうちから、過去特徴点P0に対応するものが判定される。具体的には、過去特徴点P0のブロックmaと今回特徴点Pa〜Pcのブロックmaとにおいて対応する画素同士の差分が導出される。この際、過去特徴点P0のブロックmaについては当該過去特徴点P0が存在した過去の撮影画像の画素が利用され、今回特徴点Pa〜Pcのブロックmaについては今回の物体検出処理の対象となった撮影画像の画素が利用される。そして、今回特徴点Pa〜Pcのブロックmaのうち全画素の差分の和が最も小さくなるものが、過去特徴点P0のブロックmaに最も近似するブロックmaであると判定される。この最も近似するブロックmaの今回特徴点が、過去特徴点P0に対応する今回特徴点と判断される。
このように過去特徴点に対応する今回特徴点が判断できた場合は、次に、対応する過去特徴点と今回特徴点とで座標位置が異なるか否かが判断される。対応する過去特徴点と今回特徴点とで座標位置が異なる場合は、当該特徴点は動いていることになる。この場合は、特徴点リスト24aにおける当該特徴点のレコードRaの座標位置(「X座標」「Y座標」)が、最新の座標位置となる今回特徴点の座標位置に更新される。これとともに、当該レコードRaの「更新情報」の登録内容が「1」とされる。
一方、対応する過去特徴点と今回特徴点とで座標位置が同じとなる場合は、当該特徴点は静止していることになる。この場合は、特徴点リスト24aにおける当該特徴点のレコードRaの座標位置は更新されず、「更新情報」の登録内容に「1」が加算される。
また、探索領域SA内に今回特徴点が存在しない場合や、対応する今回特徴点が探索領域SA外となってしまう場合(図7の今回特徴点Pdを参照。)においては、過去特徴点に対応する今回特徴点を判断することができない。このように過去特徴点に対応する今回特徴点が判断できない場合は、特徴点リスト24aにおける当該特徴点のレコードRaの座標位置は更新されず、「更新情報」の登録内容に「1」が加算される。したがってこの場合は、特徴点が静止している場合と同様の扱いとされる。
また、「更新情報」の登録内容に「1」が加算された結果、「更新情報」の登録内容が「31」になったレコードRaは、特徴点リスト24aから削除される。すなわち、過去31回の物体検出処理において座標位置が更新されなかった特徴点は、静止している物体に対応する特徴点であると考えられる。このため、このような特徴点に係るレコードRaが特徴点リスト24aから削除される。
また、今回の物体検出処理で抽出された今回特徴点のうち、特徴点リスト24aに登録された過去特徴点のいずれとも対応付けされなかったものは、新規の特徴点であると判断される。このような新規の特徴点の情報は、特徴点リスト24aの新規のレコードRaとして登録される。
このような処理により特徴点リスト24aの内容が更新され、今回の物体検出処理で抽出された今回特徴点の情報が特徴点リスト24aの内容に反映される。
特徴点リスト24aの内容が更新されると、次に、更新後の特徴点リスト24aにレコードRaとして登録されている各特徴点の移動方向が判断される(図4のステップS4)。具体的には、各レコードRaに係る過去抽出点と今回特徴点とが参照され、過去抽出点からみた今回特徴点の方向によって、当該レコードRaの特徴点の移動方向が求められる。このような処理により、特徴点リスト24aに登録されている全ての特徴点は、「静止している特徴点」、「移動方向が左方向の特徴点」及び「移動方向が右方向の特徴点」のいずれかに分類される。なお、新規の特徴点については、過去特徴点がないため移動方向は判断されず、「静止している特徴点」に分類される。
次に、ステップS4で判断された各特徴点の移動方向に基づいて、特徴点リスト24aに登録された全ての特徴点のうちから、撮影画像の中央側に移動する特徴点が選別される(ステップS5)。これにより、車両9に接近する物体に係る特徴点が選別される。
具体的には、左側検出領域DA1を対象とした物体検出処理では、「移動方向が右方向の特徴点」が、撮影画像の中央側に移動する特徴点であると判断される。一方、右側検出領域DA2を対象とした物体検出処理では、「移動方向が左方向の特徴点」が、撮影画像の中央側に移動する特徴点であると判断される。以降の処理においては、このように選別された特徴点のみが処理の対象とされる。
例えば、図5に例示した左側検出領域DA1において抽出された複数の特徴点FPは、図8の中央部に示すように、「静止している特徴点」FP0、「移動方向が左方向の特徴点」FP1及び「移動方向が右方向の特徴点」FP2のいずれかに分類される。そして、図8の下部に示すように、複数の特徴点FPのうち、「移動方向が右方向の特徴点」FP2のみが以降の処理の対象として選別されることになる。
次に、選別された特徴点FPが、座標位置に基づいてグループ化される。そして、このようなグループ化によって得られた一のグループが一の物体データとして検出される(図4のステップS6)。図9、図10及び図11は、このような特徴点のグループ化を説明するための図である。なお、図9の上部及び中央部に示す検出領域DAは、検出領域DAの一部を拡大したものである。
まず、図9の中央部に示すように、選別された特徴点FPのそれぞれの位置に、水平方向(X軸方向)に延びる所定サイズ(例えば、5画素)のラインLが設定される。このラインLは、特徴点FPを中心とし、各画素の値が「1」である水平画素群である。
次に、これらのラインLの画素が参照され、横軸をX軸の各座標位置、縦軸を度数(画素の数)とするヒストグラムHXが生成される。このヒストグラムHXにおいては、X軸の各座標位置において、Y軸方向に存在するラインLの画素の数が度数として示される。
次に、ヒストグラムHXの度数と所定の閾値Taとが比較される。そして、図9の下部に示すように、度数が閾値Ta(例えば、「3」)を超えるX軸の座標位置の画素の値を「1」、度数が閾値Ta未満となるX軸の座標位置の画素の値を「0」とする一次元のデータが導出される。この一次元のデータのうち、値が「1」の画素が連続する部分は、ラインデータLDとして設定される。一次元のデータ内に複数のラインデータLDが設定されることもある。ラインデータLDは、検出領域DAの水平方向(X軸方向)において、複数の特徴点FPがひとかたまりに存在していた範囲を示すものとなる。
次に、複数のラインデータLDが設定された場合は、図10に示すように、隣接するラインデータLD同士の間隔Phが参照される。そして、このラインデータLD同士の間隔Phが所定の閾値(例えば、「3」画素)以下の場合は、当該部分の画素Pの値が「1」に変更される。これにより、近接していた2つのラインデータLDが連結され、1つのラインデータLDとされる。上述した処理においては、本来は一つの物体にかかるラインデータLDが、ノイズ等の影響によって分断されることがある。このため、このような分断されたラインデータLDを連結することにより、一つの物体にかかるラインデータLDを適切に抽出できる。
次に、図11に示すように、縦軸をY軸の各座標位置、横軸を度数(画素の数)とするヒストグラムHYが生成される。このヒストグラムHYの作成手法は、図9に示すヒストグラムHXの作成手法を、X軸とY軸とで入れ換えたものとなる。また、処理の対象とするX軸方向の範囲は、一のラインデータLDが存在する範囲のみに限定される。すなわち、一のラインデータLDのX軸の最小の座標位置X1から最大の座標位置X2までの範囲のみを対象にヒストグラムHYが生成される。したがって、ラインデータLDごとに、このようなヒストグラムHYが作成される。
次に、ヒストグラムHYの度数と所定の閾値Tbとが比較される。そして、度数が閾値Tb(例えば、「3」)を超えるY軸の座標位置の画素の値を「1」、度数が閾値Ta未満となるY軸の座標位置の画素の値を「0」とする一次元のデータが導出される。この一次元のデータのうち、値が「1」の画素が連続する部分は、ラインデータMDとして設定される。一次元のデータ内に、複数のラインデータMDが設定されることもある。
そして、図11に示すように、ラインデータMDが存在するY軸方向の範囲(Y1〜Y2)と、ラインデータLDが存在するX軸方向の範囲(X1〜X2)とで囲まれた矩形領域の範囲を示す情報が、物体データTDとして検出される。すなわち、2つのラインデータLD,MDに囲まれる矩形領域に含まれる特徴点FPがグループ化される。そして、この矩形領域の範囲(「X座標」「Y座標」「水平サイズ」「垂直サイズ」)が、物体データTDの範囲となる。「X座標」は当該物体データTDの左上端部の水平方向(X軸方向)の座標位置を示し、「Y座標」は当該物体データTDの左上端部の垂直方向(Y軸方向)の座標位置を示している。また「水平サイズ」は当該物体データTDの水平方向(X軸方向)の画素数を示し、「垂直サイズ」は当該物体データTDの垂直方向(Y軸方向)の画素数を示している。
このようにして、撮影画像の中央側に移動する物体(すなわち、車両9に接近する物体)を示す物体データTDが検出される。撮影画像の一の検出領域DA内において、複数の物体データTDが検出されることもある。
<1−3.画像表示システムの全体動作>
次に、以上説明した物体検出処理を含む、画像表示システム10の全体の動作について説明する。図12は、画像表示システム10の全体の動作の流れを示す図である。この図12に示す動作も、画像取得部21が撮影画像(フレーム)を取得する周期(例えば、1/30秒)で繰り返し実行される。
次に、以上説明した物体検出処理を含む、画像表示システム10の全体の動作について説明する。図12は、画像表示システム10の全体の動作の流れを示す図である。この図12に示す動作も、画像取得部21が撮影画像(フレーム)を取得する周期(例えば、1/30秒)で繰り返し実行される。
まず、画像取得部21が、車載カメラ1から一の撮影画像(フレーム)を取得する(ステップS11)。画像取得部21は、取得した撮影画像をデジタルの撮影画像に変換(A/D変換)する。
次に、強調処理部22の物体検出部22aが、画像取得部21が取得した撮影画像(フレーム)を対象に物体検出処理を実行する(ステップS12)。この物体検出処理は、図4から図11を用いて上記で説明したものである。これにより、撮影画像中の検出領域DAに存在する物体データが検出される。検出された物体データは、撮影画像の中央側に移動する物体の物体像Tの範囲を示すものとなる。
次に、対応判定部22bが、直近の物体検出処理で検出された物体データと、過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行する(ステップS13)。移動する物体を示す物体データは、通常、時間的に連続する撮影画像(フレーム)の間で異なる位置に現れる。このため、この対応判定処理により、同一の物体を示す物体データ同士が対応付けられる。
過去の物体検出処理で検出された物体データTDは、記憶部24に記憶される管理情報である管理テーブル24bに登録されている。
図13は、管理テーブル24bの一例を示す図である。図13に示すように、管理テーブル24bは、複数のレコードRbを含むテーブル形式のデータである。各レコードRbは、一の物体データの情報を示している。各レコードRbは、「識別番号」「X座標」「Y座標」「水平サイズ」「垂直サイズ」「非対応回数」「判定回数」を含んでいる。
「識別番号」は、当該物体データを識別する情報である。「X座標」は当該物体データの左上端部の水平方向(X軸方向)の座標位置を示し、「Y座標」は当該物体データの左上端部の垂直方向(Y軸方向)の座標位置を示している。また、「水平サイズ」は当該物体データの水平方向(X軸方向)の画素数を示し、「垂直サイズ」は当該物体データの垂直方向(Y軸方向)の画素数を示している。
また、「非対応回数」は、当該物体データが、過去の対応判定処理において対応付けできなかった回数を示している。さらに、「判定回数」は、当該物体データに関して対応判定処理を実行した回数を示している。例えば、「非対応回数」が「10」で「判定回数」が「26」であれば、当該物体データは、過去の26回の対応判定処理において16回対応付けができ、10回対応付けができなかったことを示している。また、「非対応回数」が「0」で「判定回数」が「3」であれば、当該物体データは、過去の3回の対応判定処理の全てにおいて対応付けができたことを示している。
物体データ同士を対応付ける処理は、このような管理テーブル24bに登録された各物体データごとに行われる。以下、過去の物体検出処理で検出された物体データ(すなわち、管理テーブル24bに登録された物体データ)を「過去物体データ」といい、直近の物体検出処理において検出された物体データを「今回物体データ」という。
過去物体データと今回物体データとの対応は、互いの範囲の重なりに基づいて判断される。すなわち、図14に示すように、過去物体データTD0に対して範囲が重なる今回物体データTDaが存在する場合は、これらの過去物体データTD0と今回物体データTDaとが対応すると判断される。過去物体データ及び今回物体データの範囲は、「X座標」「Y座標」「水平サイズ」「垂直サイズ」によって規定される。
また、図15に示すように、一の過去物体データTD0に対して範囲が重なる複数の今回物体データTDa,TDbが存在する場合は、これら複数の今回物体データTDa,TDbを包含する新たな今回物体データTDcが設定される。そして、この新たに設定された今回物体データTDcと過去物体データTD0とが対応付けられる。
管理テーブル24bに登録された一の過去物体データに注目した場合に、対応する今回物体データが判断できたときは、管理テーブル24bにおける当該物体データのレコードRbの「X座標」「Y座標」「水平サイズ」「垂直サイズ」が更新される。具体的には、当該レコードRbの「X座標」「Y座標」「水平サイズ」「垂直サイズ」が、今回物体データの範囲(「X座標」「Y座標」「水平サイズ」「垂直サイズ」)に更新される。また、当該レコードRbの「非対応回数」の登録内容はそのまま維持され、「判定回数」の登録内容に「1」が加算される。
一方、管理テーブル24bに登録された一の過去物体データに注目した場合に、対応する今回物体データが判断できないときは、管理テーブル24bにおける当該物体データのレコードRbの「非対応回数」及び「判定回数」の双方の登録内容に「1」が加算される。このようにして、物体データについて、過去の対応判定処理において対応付けできない回数(「非対応回数」)がカウントされる。
また、直近の物体検出処理で検出された今回物体データのうち、管理テーブル24bに登録された過去物体データのいずれとも対応付けされなかったものは、新規の物体データであると判断される。このような新規の物体データの情報は、管理テーブル24bの新規のレコードRbとして登録される。新規の物体データの「非対応回数」及び「判定回数」の登録内容は双方とも「0」とされる。
このような対応判定処理により管理テーブル24bの内容が更新され、直近の物体検出処理で検出された物体データの情報が管理テーブル24bの内容に反映される。
管理テーブル24bの内容が更新されると、次に、第1削除部22cが、更新後の管理テーブル24bに登録されている物体データのうち、「非対応回数」が所定条件を満足する物体データを削除する(図12のステップS14)。具体的には、第1削除部22cは、管理テーブル24bに登録されている全ての物体データを参照する。そして、第1削除部22cは、これらの物体データのうち、次の式(1)を満足する物体データのレコードRbを管理テーブル24bから削除する。式(1)においては、「非対応回数」「判定回数」及び閾値をそれぞれNn、Nd及びThとしている。
Nn/Nd ≧ Th …(1)
式(1)に示す閾値Thは、例えば0.6に設定される。したがって、例えば、過去の10回の対応判定処理において6回以上対応付けができなかった物体データ(「非対応回数」Nn≧「6」、「判定回数」Nd=「10」)は、管理テーブル24bから削除されることになる。過去の対応判定処理において対応付けができない割合(「非対応回数」Nn/「判定回数」Nd)が所定以上となる物体データについては、対応する物体の物体像Tが検出領域DA内に既に存在しないと考えられる。このため、このような物体データのレコードRbが管理テーブル24bから削除される。
式(1)に示す閾値Thは、例えば0.6に設定される。したがって、例えば、過去の10回の対応判定処理において6回以上対応付けができなかった物体データ(「非対応回数」Nn≧「6」、「判定回数」Nd=「10」)は、管理テーブル24bから削除されることになる。過去の対応判定処理において対応付けができない割合(「非対応回数」Nn/「判定回数」Nd)が所定以上となる物体データについては、対応する物体の物体像Tが検出領域DA内に既に存在しないと考えられる。このため、このような物体データのレコードRbが管理テーブル24bから削除される。
なお、閾値Thは、物体データの追跡能力(物体データ同士を対応付ける能力)を規定する。閾値Thを大きくすると、物体データの追跡能力が向上して、物体データの未検出率が低下する。しかしながら一方で、閾値Thを大きくすると、実際には検出領域DAに存在しない物体像に係る物体データが管理テーブル24bに残存することになる。逆に、閾値Thを小さくすると、物体データの追跡能力が低下して、物体データの未検出率が上昇してしまうことになる。一般には、物体データの未検出率を低下させるため、0.5以上の値とすることが望ましい。本実施の形態では、閾値Thが0.6であるため、実際には検出領域DAに存在しない物体像に係る物体データが管理テーブル24bに残存する現象が生じる。
このため、画像表示システム10では、第1削除部22cによる削除処理の後、第2削除部22dが、検出領域DAの外縁に到達した物体データを管理テーブル24bからさらに削除するようにしている(図12のステップS15)。
前述のように、物体データは撮影画像の中央側に移動する物体を示している。このため、検出領域DAの外縁(撮影画像の中央側の部分)に到達した物体データに対応する物体像は、今後すぐに検出領域DAの外側(撮影画像の中央側)に移動すると考えられる。したがって、このような物体データを削除することで、実際には検出領域DAに存在しない物体像に係る物体データが管理テーブル24bに残存することを防止できる。撮影画像の中央近傍に存在する物体像(あるいは、その物体自体)については強調枠で強調するまでもなくユーザが明瞭に認識可能であるため、このような物体像の物体データを削除したとしても問題とはならない。
第2削除部22dは、管理テーブル24bに登録されている全ての物体データを参照する。そして、第2削除部22dは、これらの物体データのうち、検出領域DAの外縁にその端部が接する物体データのレコードRbを管理テーブル24bから削除する。
以下の説明において、物体データの「X座標」「Y座標」「水平サイズ」及び「垂直サイズ」をそれぞれXt、Yt、Wt及びHtとする。また、検出領域DAの「X座標」「Y座標」「水平サイズ」及び「垂直サイズ」をそれぞれXs、Ys、Ws及びHsとする。「X座標」Xsは検出領域DAの左上端部の水平方向(X軸方向)の座標位置を示す情報であり、「Y座標」Ysは検出領域DAの左上端部の垂直方向(Y軸方向)の座標位置を示す情報である。また、「水平サイズ」Wsは検出領域DAの水平方向(X軸方向)の画素数を示す情報であり、「垂直サイズ」Hsは検出領域DAの垂直方向(Y軸方向)の画素数を示す情報である。これらの検出領域DAの範囲を示す情報は、記憶部24に予め記憶されている。
左側検出領域DA1の物体データについては、次の式(2)を満足した場合に管理テーブル24bから削除される。
Xt + Wt = Xs + Ws …(2)
つまり、物体データの右側(撮影画像の中央側)の端部の座標位置(Xt + Wt)が、左側検出領域DA1の右側(撮影画像の中央側)の外縁の座標位置(Xs + Ws)に一致した場合に、当該物体データが管理テーブル24bから削除される。
つまり、物体データの右側(撮影画像の中央側)の端部の座標位置(Xt + Wt)が、左側検出領域DA1の右側(撮影画像の中央側)の外縁の座標位置(Xs + Ws)に一致した場合に、当該物体データが管理テーブル24bから削除される。
一方、右側検出領域DA2の物体データについては、次の式(3)を満足した場合に管理テーブル24bから削除される。
Xt = Xs …(3)
つまり、物体データの左側(撮影画像の中央側)の端部の座標位置(Xt)が、右側検出領域DA2の左側(撮影画像の中央側)の外縁の座標位置(Xs)に一致した場合に、当該物体データが管理テーブル24bから削除される。
つまり、物体データの左側(撮影画像の中央側)の端部の座標位置(Xt)が、右側検出領域DA2の左側(撮影画像の中央側)の外縁の座標位置(Xs)に一致した場合に、当該物体データが管理テーブル24bから削除される。
図16の左側は、車載カメラ1で時間的に連続して得られた複数の撮影画像SGの左側検出領域DA1を示す図である。これらの左側検出領域DA1にはそれぞれ、移動する同一の物体に係る物体像Tが含まれている。また、図16中の右側は、その左側検出領域DA1において検出される物体データTDを示している。
物体像Tは、連続する複数の撮影画像SGの左側検出領域DA1において左から右に移動している。そして、このような物体像Tの移動に伴って、この物体像Tに対応する物体データTDが検出される範囲も左側検出領域DA1における左から右に移動することになる。このように検出される物体データTDの範囲は、随時に管理テーブル24bに反映される。そして最終的に、図16の下部に示すように、物体データTDの右側の端部が左側検出領域DA1の右側の外縁に接すると、当該物体データTDは管理テーブル24bから削除されることになる。
このようにして不要な物体データが管理テーブル24bから削除されると、次に、枠重畳部22eが、管理テーブル24bに登録されている全ての物体データに関して、その物体データの範囲を示す指標である強調枠を撮影画像に重畳する(図12のステップS16)。そして、画像出力部23が、この撮影画像を表示装置3に出力する。これにより、図3の下部に示すように、物体像Tが存在する範囲が強調枠TFに囲まれて強調された撮影画像DGが表示装置3に表示されることになる(ステップS17)。
図17は、図16に示した複数の撮影画像SGを処理した結果、表示装置3に表示される撮影画像DGの左側検出領域DA1を示す図である。図17に示すように、左側検出領域DA1において左から右に移動する物体像Tに対応して、強調枠TFが示される。そして最終的に、図17の下部に示すように、物体像Tが検出領域DA1の右側の外縁付近に移動したとき、物体データの右側の端部が左側検出領域DA1の右側の外縁に接する。このため、この時点で当該物体データは管理テーブル24bから削除されることから、この物体像Tを示す強調枠TFが消去される。すなわち、強調枠TFの表示が中止される。したがって、実際の物体に対応しない不要な強調枠TFが残留して表示されることを防止することができる。
以上のように、画像表示システム10では、物体検出部22aが、撮影画像中の検出領域DAに存在する物体データを検出する物体検出処理を周期的に実行する。また、対応判定部22bが、直近の物体検出処理で検出された物体データと、管理テーブル24bに登録された過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行する。そして、第1削除部22cが、対応付けできない回数が所定条件を満足する物体データを管理テーブル24bから削除する。さらに、第2削除部22dが、検出領域DAの外縁に到達した物体データを、管理テーブル24bから削除する。そして、枠重畳部22eが、管理テーブル24bに登録されている物体データの位置を示す強調枠を撮影画像に重畳する。したがって、検出領域の外縁に到達した物体データの強調枠が表示されないため、実際の物体に対応しない不要な指標の表示を防止できる。
また第2削除部22dは、検出領域DAの外縁に接する物体データを管理テーブル24bから削除するため、不要な指標に係る物体データを単純な手法で削除することができる。
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。第2の実施の形態の画像表示システム10の構成及び処理は第1の実施の形態と略同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
次に、第2の実施の形態について説明する。第2の実施の形態の画像表示システム10の構成及び処理は第1の実施の形態と略同様であるため、以下、第1の実施の形態との相違点を中心に説明する。
第1の実施の形態では、第2削除部22dは、検出領域DAの外縁に接する物体データを、検出領域DAの外縁に到達した物体データであると判定して管理テーブル24bから削除していた。これに対して、第2の実施の形態では、第2削除部22dは、次回の物体検出処理の時点での物体データの位置を予測し、その予測位置が検出領域DAの外部となる物体データを管理テーブル24bから削除するようにしている。
図18は、左側検出領域DA1において、連続する2回の物体検出処理において検出された同一の物体に係る物体データTD1,TD2の例を示している。前回の物体検出処理において物体データTD1が検出され、今回の物体検出処理において物体データTD2が検出されたものとする。今回の物体データTD2の右側の端部は、左側検出領域DA1の右側の外縁に接していない。このため、第1の実施の形態の手法を採用した場合には、この物体データTD2は管理テーブル24bから削除されないことになる。
第2の実施の形態では、第2削除部22dが、前回の物体データTD1と今回の物体データTD2とに基づいて、次回の物体検出処理の時点での当該物体に係る物体データTD3の位置を予測する。物体データの位置としては、物体データの中心の位置が利用される。
具体的には、第2削除部22dは、前回の物体データTD1の中心C1の位置と、今回の物体データTD2の中心C2の位置との差をとることにより、時間的に連続する撮影画像(フレーム)の間での当該物体データの移動量Vxを導出する。そして、第2削除部22dは、今回の物体データTD2の中心C2の位置に、導出した移動量Vxを加算することにより、次回の物体検出処理の時点での物体データTD3の中心C3の予測される位置(予測位置)を求める。
この予測位置が、左側検出領域DA1の右側(撮影画像の中央側)の外縁より外側の領域(すなわち、撮影画像の中央近傍)となる場合は、第2削除部22dは、当該物体データは検出領域DAの外縁に到達したと判断して、当該物体データを管理テーブル24bから削除する。なお、予測位置を導出するためには、X軸の座標位置(X座標)のみを利用すればよい。
図19は、第2の実施の形態の画像表示システム10の全体の動作の流れを示す図である。この図19に示す動作も、画像取得部21が撮影画像(フレーム)を取得する周期(例えば、1/30秒)で繰り返し実行される。
ステップS31〜S34の処理は、図12に示すステップS11〜S14の処理と同一である。すなわち、まず、画像取得部21が、車載カメラ1から一の撮影画像(フレーム)を取得する(ステップS31)。次に、物体検出部22aが、画像取得部21が取得した撮影画像(フレーム)を対象に物体検出処理を実行し、検出領域DAに存在する物体データを検出する(ステップS32)。次に、対応判定部22bが、直近の物体検出処理で検出された物体データと過去の物体検出処理で抽出された物体データとを対応付ける対応判定処理を実行し、管理テーブル24bの内容を更新する(ステップS33)。次に、第1削除部22cが、更新後の管理テーブル24bに登録されている物体データのうち「非対応回数」が所定条件を満足する物体データを削除する(ステップS34)。
次に、第2削除部22dが、管理テーブル24bに登録されている物体データのうち対応判定処理によって対応付けられた物体データに関して、撮影画像(フレーム)の間での移動量Vxを導出する(ステップS35)。具体的には、第2削除部22dは、対応判定処理で対応付けられた前回の物体データと今回の物体データとを参照し、前回の物体データの中心のX座標と今回の物体データの中心のX座標との差の絶対値を移動量Vxとして導出する。物体データの中心のX座標Xcは、その物体データの「X座標」Xt及び「水平サイズ」Wtに基づいて次の式(4)によって導出できる。
Xc = Xt + Wt/2 …(4)
移動量Vxを導出すると、次に、第2削除部22dは、移動量Vxを導出した各物体データに関して、次回の物体検出処理の時点での当該物体データの予測されるX座標を予測位置として導出する(ステップS36)。
移動量Vxを導出すると、次に、第2削除部22dは、移動量Vxを導出した各物体データに関して、次回の物体検出処理の時点での当該物体データの予測されるX座標を予測位置として導出する(ステップS36)。
左側検出領域DA1の物体データの予測位置Xpは、今回の物体データの「X座標」Xt、「水平サイズ」Wt及び移動量Vxに基づいて、次の式(5)によって導出される。
Xp = Xt + Wt/2 + Vx …(5)
また、右側検出領域DA2の物体データの予測位置Xpは、今回の物体データの「X座標」Xt、「水平サイズ」Wt及び移動量Vxに基づいて、次の式(6)によって導出される。
また、右側検出領域DA2の物体データの予測位置Xpは、今回の物体データの「X座標」Xt、「水平サイズ」Wt及び移動量Vxに基づいて、次の式(6)によって導出される。
Xp = Xt + Wt/2 − Vx …(6)
予測位置Xpを導出すると、次に、第2削除部22dは、予測位置Xpを導出した各物体データに関して、予測位置Xpが検出領域DAの外縁より外側となるか否かを判定する。そして、予測位置Xpが検出領域DAの外縁より外側となる物体データを管理テーブル24bから削除する(ステップS37)。
予測位置Xpを導出すると、次に、第2削除部22dは、予測位置Xpを導出した各物体データに関して、予測位置Xpが検出領域DAの外縁より外側となるか否かを判定する。そして、予測位置Xpが検出領域DAの外縁より外側となる物体データを管理テーブル24bから削除する(ステップS37)。
左側検出領域DA1の物体データについては、次の式(7)を満足した場合に管理テーブル24bから削除される。
Xp > Xs + Ws …(7)
つまり、物体データの予測位置(Xp)が、左側検出領域DA1の右側(撮影画像の中央側)の外縁の座標位置(Xs + Ws)よりも右側となる場合に、当該物体データが管理テーブル24bから削除される。
つまり、物体データの予測位置(Xp)が、左側検出領域DA1の右側(撮影画像の中央側)の外縁の座標位置(Xs + Ws)よりも右側となる場合に、当該物体データが管理テーブル24bから削除される。
一方、右側検出領域DA2の物体データについては、次の式(8)を満足した場合に管理テーブル24bから削除される。
Xp < Xs …(8)
つまり、物体データの予測位置(Xp)が、右側検出領域DA2の左側(撮影画像の中央側)の外縁の座標位置(Xs)よりも左側となる場合に、当該物体データが管理テーブル24bから削除される。
つまり、物体データの予測位置(Xp)が、右側検出領域DA2の左側(撮影画像の中央側)の外縁の座標位置(Xs)よりも左側となる場合に、当該物体データが管理テーブル24bから削除される。
このようにして不要な物体データが管理テーブル24bから削除されると、次に、枠重畳部22eが、管理テーブル24bに登録されている全ての物体データに関して、その物体データの範囲を示す指標である強調枠を撮影画像に重畳する(ステップS38)。そして、画像出力部23がこの撮影画像を表示装置3に出力し、物体像が存在する範囲が強調枠に囲まれて強調された撮影画像が表示装置3に表示される(ステップS39)。
以上のように、第2の実施の形態の第2削除部22dは、複数回の物体検出処理の結果に基づいて予測した、次回の物体検出処理の時点での予測位置が検出領域DAの外縁より外側となる物体データを、管理テーブル24bから削除する。このため、第2の実施の形態においても、不要な指標に係る物体データを単純な手法で削除することができる。
<3.変形例>
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では、このような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
第1実施形態では、検出領域DAの外縁に接するという条件を満足した物体データを削除し、第2実施形態では、予測位置が検出領域DAの外縁より外側となるという条件を満足した物体データを削除していた。これに対して、一つの画像表示システムにおいて第1実施形態の条件と第2実施形態の条件との双方を採用し、少なくとも一方の条件を満足した物体データを削除するようにしてもよい。このようにすれば、より多くの不要な物体データを削除することができる。また、ユーザが、2つの条件のうちのいずれの条件を採用するかを選択できるようになっていてもよい。
また、上記実施の形態では、フロントカメラの画像を表示する画像表示システムについて説明を行った。これに対して、サイドカメラの画像を表示する画像表示システムや、バックカメラの画像を表示する画像表示システムにおいて、上記実施の形態で説明した技術を適用してもよい。
また、上記実施の形態では、物体データの位置を示す指標は矩形の強調枠であったが、円形枠、十字マーク、イラストなどの他の態様の指標を採用してもよい。
また、式(1)に示す閾値Thは、ユーザが所望の値に変更できるようになっていてもよい。
また、強調枠を消去する際には、瞬時に消去せずにフェードアウトさせてもよい。
また、上記実施の形態で、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されてもよい。
1 車載カメラ
2 画像処理装置
3 表示装置
10 画像表示システム
22 強調処理部
22a 物体検出部
22b 対応判定部
22c 第1削除部
22d 第2削除部
22e 枠重畳部
24a 特徴点リスト
24b 管理テーブル
2 画像処理装置
3 表示装置
10 画像表示システム
22 強調処理部
22a 物体検出部
22b 対応判定部
22c 第1削除部
22d 第2削除部
22e 枠重畳部
24a 特徴点リスト
24b 管理テーブル
Claims (7)
- 画像を処理する画像処理装置であって、
車両の周辺を撮影するカメラの撮影画像を周期的に取得する取得手段と、
前記撮影画像中の検出領域に存在する物体を示す物体データを検出する検出処理を周期的に実行する検出手段と、
過去の前記検出処理で検出された物体データが登録された管理情報を記憶する記憶手段と、
前記管理情報に登録されている物体データと、直近の前記検出処理で検出された物体データとを対応付ける対応判定手段と、
前記対応判定手段が対応付けできない回数が所定条件を満足する物体データを、前記管理情報から削除する第1削除手段と、
前記検出領域の外縁に到達した物体データを、前記管理情報から削除する第2削除手段と、
前記管理情報に登録されている物体データの位置を示す指標を前記撮影画像に重畳する重畳手段と、
前記撮影画像を表示装置に出力して表示させる出力手段と、
を備えることを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記第2削除手段は、前記検出領域の外縁に接する物体データを、前記管理情報から削除することを特徴とする画像処理装置。 - 請求項1に記載の画像処理装置において、
前記第2削除手段は、複数回の前記検出処理の結果に基づいて予測した、次回の前記検出処理の時点での予測位置が前記検出領域の外縁より外側となる物体データを、前記管理情報から削除することを特徴とする画像処理装置。 - 請求項1ないし3のいずれかに記載の画像処理装置において、
前記検出領域の外縁は、前記撮影画像の中央側の部分であることを特徴とする画像処理装置。 - 画像を表示する画像表示システムであって、
請求項1ないし4のいずれかに記載の画像処理装置と、
前記画像処理装置から出力される前記撮影画像を表示する表示装置と、
を備えることを特徴とする画像表示システム。 - 画像を処理する画像処理方法であって、
(a)車両の周辺を撮影するカメラの撮影画像を周期的に取得する工程と、
(b)前記撮影画像中の検出領域に存在する物体を示す物体データを検出する検出処理を周期的に実行する工程と、
(c)過去の前記検出処理で検出された物体データが登録された管理情報に登録されている物体データと、直近の前記検出処理で検出された物体データとを対応付ける工程と、
(d)前記工程(c)で対応付けできない回数が所定条件を満足する物体データを、前記管理情報から削除する工程と、
(e)前記検出領域の外縁に到達した物体データを、前記管理情報から削除する工程と、
(f)前記管理情報に登録されている物体データの位置を示す指標を前記撮影画像に重畳する工程と、
(g)前記撮影画像を表示する工程と、
を備えることを特徴とする画像処理方法。 - 画像を処理する画像処理方法であって、
(a)車両の周辺を撮影するカメラの撮影画像を取得する工程と、
(b)前記撮影画像中の検出領域に存在する物体を示す物体データを検出する工程と、
(c)物体データの位置を示す指標を前記撮影画像に重畳して表示する工程と、
(d)前記物体データが前記検出領域の外縁に到達したときに前記指標の表示を中止する工程と、
を備えることを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011028589A JP2012169826A (ja) | 2011-02-14 | 2011-02-14 | 画像処理装置、画像表示システム及び画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011028589A JP2012169826A (ja) | 2011-02-14 | 2011-02-14 | 画像処理装置、画像表示システム及び画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012169826A true JP2012169826A (ja) | 2012-09-06 |
Family
ID=46973540
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011028589A Withdrawn JP2012169826A (ja) | 2011-02-14 | 2011-02-14 | 画像処理装置、画像表示システム及び画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012169826A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109263557A (zh) * | 2018-11-19 | 2019-01-25 | 威盛电子股份有限公司 | 车辆盲区侦测方法 |
US10235768B2 (en) | 2014-12-10 | 2019-03-19 | Mitsubishi Electric Corporation | Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium |
KR20210038633A (ko) * | 2018-08-30 | 2021-04-07 | 발레오 컴포트 앤드 드라이빙 어시스턴스 | 차량 혼합 현실의 조건부 가용성 |
-
2011
- 2011-02-14 JP JP2011028589A patent/JP2012169826A/ja not_active Withdrawn
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10235768B2 (en) | 2014-12-10 | 2019-03-19 | Mitsubishi Electric Corporation | Image processing device, in-vehicle display system, display device, image processing method, and computer readable medium |
KR20210038633A (ko) * | 2018-08-30 | 2021-04-07 | 발레오 컴포트 앤드 드라이빙 어시스턴스 | 차량 혼합 현실의 조건부 가용성 |
KR102504579B1 (ko) | 2018-08-30 | 2023-02-27 | 발레오 컴포트 앤드 드라이빙 어시스턴스 | 차량 혼합 현실의 조건부 가용성 |
CN109263557A (zh) * | 2018-11-19 | 2019-01-25 | 威盛电子股份有限公司 | 车辆盲区侦测方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11748892B2 (en) | Video image processing device, video image analysis system, method, and program | |
JP5706874B2 (ja) | 車両の周辺監視装置 | |
JP5577398B2 (ja) | 車両の周辺監視装置 | |
JP5503728B2 (ja) | 車両の周辺監視装置 | |
JP4957807B2 (ja) | 移動物検知装置及び移動物検知プログラム | |
US20110228980A1 (en) | Control apparatus and vehicle surrounding monitoring apparatus | |
US10846865B2 (en) | Video image processing device, video image analysis system, method, and program | |
JP2012064214A (ja) | 画像表示方法、共有ボードシステム | |
JP7077616B2 (ja) | 表示制御装置および表示制御方法 | |
WO2018134897A1 (ja) | 位置姿勢検出装置、ar表示装置、位置姿勢検出方法およびar表示方法 | |
JP2010193438A (ja) | パラメータ設定方法及び該方法を用いた監視装置 | |
JP2010141836A (ja) | 障害物検知装置 | |
JP2008262333A (ja) | 路面判別装置および路面判別方法 | |
JP2008092459A (ja) | 周辺監視装置 | |
JP4991384B2 (ja) | 接近物検知装置及び接近物検知プログラム | |
JP2010206475A (ja) | 監視支援装置、その方法、及びプログラム | |
US20130294650A1 (en) | Image generation device | |
JP2009231938A (ja) | 車両用周囲監視装置 | |
JP6097150B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2013222254A (ja) | 自走式産業機械の画像処理装置および自走式産業機械の画像処理方法 | |
JP5635770B2 (ja) | 障害物検出装置 | |
JP2012169826A (ja) | 画像処理装置、画像表示システム及び画像処理方法 | |
JP2019218022A (ja) | 線路検出装置 | |
JP2015049651A (ja) | 作業機械の周囲監視装置 | |
JP2008137425A (ja) | 駐車支援方法及び駐車支援装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140513 |