JP2004212658A - 画像表示システム、画像表示方法及び画像処理装置 - Google Patents
画像表示システム、画像表示方法及び画像処理装置 Download PDFInfo
- Publication number
- JP2004212658A JP2004212658A JP2002382339A JP2002382339A JP2004212658A JP 2004212658 A JP2004212658 A JP 2004212658A JP 2002382339 A JP2002382339 A JP 2002382339A JP 2002382339 A JP2002382339 A JP 2002382339A JP 2004212658 A JP2004212658 A JP 2004212658A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- data
- vehicle
- change area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
【課題】撮像装置の撮像領域内に存在する動体を検知して通知する画像表示システム、画像表示方法及び画像処理装置を提供する。
【解決手段】カメラ２０から時系列的に連続して取得する画像フレーム中の変化領域を検出するマイコン１０と、カメラ２０から取得する画像フレームに、マイコン１０により検出された変化領域を囲む位置に配置される枠画像データと、前記変化領域を抽出して拡大された拡大画像と、前記変化領域を撮像したカメラ２０の撮像領域を示す領域画像データとを合成する画像データ作成部１５を有する画像処理部１２とを備えた画像処理装置１が、生成した前記合成データを表示装置３へ送出する。
【選択図】 図１
【解決手段】カメラ２０から時系列的に連続して取得する画像フレーム中の変化領域を検出するマイコン１０と、カメラ２０から取得する画像フレームに、マイコン１０により検出された変化領域を囲む位置に配置される枠画像データと、前記変化領域を抽出して拡大された拡大画像と、前記変化領域を撮像したカメラ２０の撮像領域を示す領域画像データとを合成する画像データ作成部１５を有する画像処理部１２とを備えた画像処理装置１が、生成した前記合成データを表示装置３へ送出する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システム、画像表示方法及び画像処理装置に関するものである。
【０００２】
【従来の技術】
自動車等の車両の運転を支援する装置として、運転者からの死角を含む範囲を撮像する車載カメラと、車載カメラで撮像した画像が表示される車載表示装置とが用いられている。例えば、車両後方を車載カメラで撮像するとともに、車載表示装置のディスプレイ上に表示される車両後方画像を確認しながら車庫入れを行う。また、車両の左右前方又は左右後方等を車載カメラで撮像し、車載表示装置で左右前方又は左右後方等の車両周辺にいる子供等の確認を行うことが可能である。
【０００３】
更に、このような運転支援装置においては、複数のカメラを車両に搭載し、各カメラからの画像を切り替えて表示したり、複数のカメラからの画像を合成して表示することにより、車載表示装置で表示可能な領域を拡大している（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−２１９７８３号公報
【０００５】
【発明が解決しようとする課題】
しかし、車載表示装置は、車両内における搭載場所等により表示画面の大きさに制限があり、また、上述のように複数のカメラによる撮像エリアが広くなる分、車載表示装置に表示される被写体の画面内のサイズが小さくなる。
そのため、車載表示装置に表示されているにも関わらず、運転者は、車両近傍に存在する動体、特に背の低い子供等の発見が困難になるという問題があった。
【０００６】
本発明は斯かる事情に鑑みてなされたものであり、撮像装置から時系列的に入力される画像データ中の変化領域内のデータを、前記画像データに合成して表示装置に送出することにより、前記変化領域が示す、撮像装置の撮像領域内に存在する動体を、前記画像データから抽出して、表示装置に表示させ、前記動体の存在を運転者に容易に発見させることができる画像表示システム、画像表示方法及び画像処理装置を提供することを目的とする。
【０００７】
本発明の他の目的は、検出手段により検出した変化領域内のデータを、前記画像データ中の合成位置に対応付けるテーブルを生成手段により生成し、生成したテーブルに基づき、前記変化領域内のデータを、撮像装置からの画像データに合成することにより、合成データを生成する合成処理における演算負荷を軽減することができる画像表示システムを提供することにある。
【０００８】
本発明の更に他の目的は、合成データを生成する合成処理に用いるテーブルが、前記検出手段により検出した変化領域内のデータを拡大して対応付けるものであることにより、単純なテーブルの参照処理にて、拡大された前記変化領域内のデータを、撮像装置からの画像データに合成することができる画像表示システムを提供することにある。
【０００９】
本発明の更に他の目的は、撮像装置から時系列的に入力される画像データ中の変化領域を囲む枠画像データを生成し、生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して表示装置に送出することにより、前記変化領域が示す、撮像装置の撮像領域内に存在する動体を、枠画像データにより囲んで表示させ、前記動体の存在を運転者に容易に発見させることができる画像表示システム及び画像処理装置を提供することにある。
【００１０】
本発明の更に他の目的は、複数の撮像装置夫々から時系列的に入力される画像データ中の変化領域を含む画像データを撮像した撮像装置を検知し、検知した撮像装置の撮像領域を示す領域データを、撮像装置からの画像データに合成して表示装置に送出することにより、前記変化領域を撮像した撮像装置の撮像領域を示す領域データを表示させ、前記変化領域が示す動体の位置を運転者に通知することができる画像表示システム及び画像処理装置を提供することにある。
【００１１】
【課題を解決するための手段】
第１発明に係る画像表示システムは、車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、撮像装置から時系列的に入力される画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域内のデータを抽出する抽出手段と、該抽出手段により抽出した変化領域内のデータを、前記画像データに合成して合成データを生成する合成手段と、該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする。
【００１２】
第２発明に係る画像表示システムは、前記検出手段により検出した変化領域内のデータを、前記画像データ中の合成位置に対応付けるテーブルを生成する生成手段を備え、前記合成手段は、前記生成手段により生成したテーブルに基づき、前記合成データを生成する手段を備えることを特徴とする。
【００１３】
第３発明に係る画像表示システムは、前記テーブルは、前記検出手段により検出した変化領域内のデータを、拡大して対応付けることを特徴とする。
【００１４】
第４発明に係る画像表示システムは、車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、撮像装置から時系列的に入力される画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を囲む枠画像データを生成する生成手段と、該生成手段により生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して合成データを生成する合成手段と、該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする。
【００１５】
第５発明に係る画像表示システムは、車両に取り付けられる複数の撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、複数の撮像装置から時系列的に入力される画像データ中の変化領域を夫々検出する検出手段と、該検出手段により検出した変化領域を含む画像データを撮像した撮像装置を検知する検知手段と、該検知手段により検知した撮像装置の撮像領域を示す領域データを、前記画像データに合成して合成データを生成する合成手段と、該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする。
【００１６】
第６発明に係る画像表示方法は、車両に取り付けられる撮像装置で撮像された画像データを、計算装置により、車両に搭載される表示装置に表示させる画像表示方法において、前記計算装置は、撮像装置から時系列的に入力される画像データ中の変化領域を検出し、検出した変化領域内のデータを抽出し、抽出した変化領域内のデータを、前記画像データに合成して合成データを生成し、生成した合成データを、前記表示装置に送出することを特徴とする。
【００１７】
第７発明に係る画像処理装置は、受け付けた画像データを外部へ伝送する車両用の画像処理装置において、外部から時系列的に画像データを受け付ける受付手段と、該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域内のデータを抽出する抽出手段と、該抽出手段により抽出した変化領域内のデータを、前記画像データに合成して合成データを生成する合成手段と、該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする。
【００１８】
第８発明に係る画像処理装置は、受け付けた画像データを外部へ伝送する車両用の画像処理装置において、外部から時系列的に画像データを受け付ける受付手段と、該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を囲む枠画像データを生成する生成手段と、該生成手段により生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して合成データを生成する合成手段と、該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする。
【００１９】
第９発明に係る画像処理装置は、受け付けた画像データを外部へ伝送する車両用の画像処理装置において、外部から時系列的に画像データを受け付ける受付手段と、該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を含む画像データが示す位置を検知する検知手段と、該検知手段により検知した位置を表す位置データを、前記画像データに合成して合成データを生成する合成手段と、該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする。
【００２０】
第１、第６及び第７発明による場合は、撮像装置から時系列的に入力される画像データ中の変化領域を検出手段により検出し、検出した変化領域内のデータを抽出手段により抽出し、抽出した変化領域内のデータを、前記画像データに合成手段により合成し、送出手段により表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域が示す、撮像装置の撮像領域内に存在する動体を、前記画像データから抽出して表示させることができ、前記動体の存在を運転者に通知することができる。
【００２１】
第２発明による場合は、検出手段により検出した変化領域内のデータを、前記画像データ中の合成位置に対応付けるテーブルを生成手段により生成し、生成したテーブルに基づき、前記変化領域内のデータを、撮像装置からの画像データに合成することにより、合成データを生成する合成処理における演算負荷を軽減することができる。
【００２２】
第３発明による場合は、合成データを生成する合成処理に用いるテーブルが、前記検出手段により検出した変化領域内のデータを拡大して対応付けるものであることにより、単純なテーブルの参照処理にて、拡大された前記変化領域内のデータを、撮像装置からの画像データに合成することができる。
従って、表示装置に、撮像装置の撮像領域内に存在する動体を拡大して表示させることができ、車両の運転者等は、表示装置において、撮像装置が撮像する画像データを見ながら、拡大表示された車両近傍の動体を容易に発見することができる。
【００２３】
第４及び第８発明による場合は、撮像装置から時系列的に入力される画像データ中の変化領域を検出手段により検出し、検出した変化領域を囲む枠画像データを生成手段により生成し、生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成手段により合成し、送出手段により表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域が示す、撮像装置の撮像領域内に存在する動体を、枠画像データにより囲んで表示させることができ、前記動体の存在を運転者に通知することができる。
【００２４】
第５及び第９発明による場合は、複数の撮像装置夫々から時系列的に入力される画像データ中の変化領域を検出手段により夫々検出し、検出した変化領域を含む画像データを撮像した撮像装置を検知手段により検知し、検知した撮像装置の撮像領域を示す領域データを、撮像装置からの画像データに合成手段により合成し、送出手段により表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域を撮像した撮像装置の撮像領域を示す領域データを表示させることができ、前記変化領域が示す動体の位置を運転者に通知することができる。
【００２５】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。尚、本実施の形態では、カメラ（撮像装置）と、カメラで撮像された画像を表示する表示装置とを搭載した自動車（車両）を例にして説明する。また、画像は、例えば１秒当たり３０枚の画像フレーム（画像データ）で構成されている。
【００２６】
図１は本発明に係る画像表示システムの構成例を示すブロック図であり、本発明に係る画像表示システム１００は、撮像して画像フレームを取り込む４つのカメラ（撮像装置）２０，２１，２２，２３と、液晶ディスプレイ又はＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）ディスプレイ等の表示装置３と、カメラ２０，２１，２２，２３により取り込まれた画像フレームを取得し、所定の処理を施した後、表示装置３へ送出する画像処理装置１とを備えている。
【００２７】
画像処理装置１、カメラ２０，２１，２２，２３、及び表示装置３は、専用の配線で接続したり、車載ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して接続することが可能であり、本実施の形態においては、画像処理装置１とカメラ２０，２１，２２，２３とは、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）１３９４に準拠した車載ＬＡＮを介して、画像処理装置１と表示装置３とは、専用線を介して接続されている。
【００２８】
カメラ２０，２１，２２，２３は、夫々、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅ Ｄｅｖｉｃｅ）等により構成されたカメラ本体部（図示せず）で撮像し、得られた画像フレームに対して所定の処理を施した後、ＩＥＥＥ１３９４に準拠した車載ＬＡＮを介して画像処理装置１に送出する。
【００２９】
図２は上述のカメラ２０，２１，２２，２３の車両への取付位置を示す図であり、図においては、本発明に係る画像表示システム１００を搭載した車両Ｓを上方から見た図を示している。
図２に示すように、カメラ２０は、車両Ｓに備え付けられた前バンパー（図示せず）の左端部に、車両Ｓの左前方を撮像するように取り付けられており、カメラ２１は、同様に、前バンパーの右端部に、車両Ｓの右前方を撮像するように取り付けられている。
【００３０】
更に、カメラ２２は、車両Ｓに備え付けられた後バンパー（図示せず）の左端部に、車両Ｓの左後方を撮像するように取り付けられており、カメラ２３は、後バンパーの右端部に、車両Ｓの右後方を撮像するように取り付けられている。
このように各位置に取り付けられたカメラ２０，２１，２２，２３は、夫々撮像した画像フレームを順次画像処理装置１へ送出する。
【００３１】
図１において、表示装置３は、カメラ２０，２１，２２，２３により撮像され、画像処理装置１により所定の処理が行われた画像フレームを、専用線を介して受信し、受信した画像フレームを順次ディスプレイ（図示せず）に表示する。
【００３２】
また、画像処理装置１は、マイクロコンピュータ（以下、マイコンという）１０と、ＩＥＥＥ１３９４に準拠したデータ伝送を行うための通信インタフェース１１と、通信インタフェース１１を介してカメラ２０，２１，２２，２３から受信した画像フレームに所定の処理を行う画像処理部１２と、画像処理部１２により各種の処理を施された画像フレームを表示装置３へ送出する送出手段としてのモニタインタフェース１９と、フレームメモリ１６と、ＲＯＭ１７と、テーブル用ＲＡＭ１８等とを備えている。
【００３３】
マイコン１０は、時計手段（図示せず）を備えており、タイミングを計時しながら、上述したハードウェア各部を制御するとともに、ＲＯＭ１７に記憶してある画像処理装置１の動作としてのコンピュータプログラムを順次実行する。
ＲＯＭ１７には、画像処理装置１の各種動作に必要な種々のコンピュータプログラム、カメラ２０，２１，２２，２３の車両Ｓへの取付位置及び撮像方向等の情報、及び、後述するように、画像処理部１２が、カメラ２０，２１，２２，２３により撮像された画像フレーム中に存在する動体を検出する際に用いる所定の閾値、また、検出した動体を通知する際に用いる枠画像データ、変換テーブル及び領域画像データ（領域データ）等が記憶してある。
【００３４】
画像処理部１２には、ＲＡＭ等により構成されるフレームメモリ１６、ＲＯＭ１７及びテーブル用ＲＡＭ１８が接続されており、画像処理部１２により所定の各処理を施された画像フレーム及び一時的に発生するデータは、フレームメモリ１６又はテーブル用ＲＡＭ１８に記憶される。
尚、画像処理部１２が、ＲＯＭ１７の変換テーブルを用いる場合、この変換テーブルを一旦テーブル用ＲＡＭ１８に記憶させ、テーブル用ＲＡＭ１８にアクセスすることにより、変換テーブルの参照処理を高速に行っている。
【００３５】
また、画像処理部１２は、カメラ２０，２１，２２，２３から取得した画像フレームを表示装置３へ送出するとともに、各カメラ２０，２１，２２，２３から順次取得する画像フレーム中に動体が撮像されているか否かを判断しており、カメラ２０，２１，２２，２３から夫々取得した画像フレームからＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ ｓｔａｎｄａｒｄ ）データ等の画像データを作成する画像データ作成部１５と、カメラ２０，２１，２２，２３から時系列的に連続して取得される画像フレームに夫々含まれる各画素値の差分値を算出する差分算出部１３と、差分算出部１３により算出された各差分値を、予めＲＯＭ１７に記憶してある閾値と比較することにより夫々２値のデータに変換する２値化処理部１４とを備えている。
【００３６】
ここで、カメラ２０，２１，２２，２３が撮像する撮像領域内に動体が存在する場合、画像処理装置１が、カメラ２０，２１，２２，２３から連続して取得する画像フレーム中に変化領域が生じる。即ち、連続する前後の画像フレーム間に差分が生じるため、画像処理装置１は、この画像フレーム間の差分に基づき、カメラ２０，２１，２２，２３の撮像領域内の動体を検出することができる。
【００３７】
上述した構成の画像処理装置１において、画像処理部１２は、通信インタフェース１１を介して、カメラ２０，２１，２２，２３夫々から、時系列的に連続して入力される前後の画像フレームに含まれる各画素値の差分値を、差分算出部１３により算出し、各差分値による画像フレームを生成する。
図３（ａ）は、画像処理部１２の差分算出部１３により算出された差分値による画像フレームの一例を示す図である。尚、本実施の形態においては、カメラ２０，２１，２２，２３から取得する画像フレームは、各画素を８ビットのデータにて示すものとしているため、図３（ａ）に示す、画像フレーム中の各画素に対応する各差分値も０から２５５までの各値をとるものとする。
【００３８】
また、画像処理部１２は、２値化処理部１４により、差分算出部１３により生成した差分値による画像フレームに含まれる各差分値を、ＲＯＭ１７に予め記憶してある閾値（図３においては３０）と比較し、閾値よりも小さい差分値を０とし、閾値よりも大きい差分値を１とする２値化処理を行うことで、２値データの画像フレームを生成する。
図３（ｂ）は、図３（ａ）の差分値による画像フレームを、２値化処理部１４による２値化処理により得られた２値データの画像フレームの一例を示す図である。
【００３９】
本実施の形態では、差分算出部１３により算出した連続する画像データ間の差分値を、２値データに変換することにより、画像フレーム中の差分値が示す変化領域を顕著に現すことができ、後述のマイコン１０による、画像フレーム中の変化領域の検出を容易としている。
【００４０】
画像処理装置１において、マイコン１０は、２値化処理部１４により生成された２値データの画像フレームに基づき、この画像フレーム中の変化領域を検出する検出手段として動作している。
具体的に、マイコン１０は、図３（ｂ）の２値データの画像フレームにおいて、１のデータを有し、夫々が近接する画素をグループ分けし、夫々のグループが示す変化領域４０，４１，４２，４３，４４，４５により示される動体が、当該画像処理装置１を搭載する車両Ｓの発車等の際に運転者の注意を要する動体であるか否かを検出している。
【００４１】
ここで、マイコン１０は、予めＲＯＭ１７に記憶してあるカメラ２０，２１，２２，２３の取付位置及び撮像方向等の情報を読み出すことにより、上述のようにグループ分けした各変化領域４０，４１，４２，４３，４４，４５により示される動体が、運転者の注意を要する動体であるか否かを検出することができる。例えば、各変化領域が、画像フレームの上方にある場合には、マイコン１０は、この変化領域を、鳥が飛び立った場合や、木の枝で揺れている木の葉等により生じた変化領域であると判断して、運転者の注意を要する動体でないものと判断する。
【００４２】
図３（ｂ）に示す変化領域４０，４１，４２，４３，４４，４５については、マイコン１０は、変化領域４１，４２，４４を、画面の上方に表示されているため、例えば、木の枝で揺れている木の葉により生じた変化領域と判断し、領域４３，４５を、１のデータが点在するため、画像フレーム中に含まれる誤差等であると判断する。
また、マイコン１０は、変化領域４０について、１のデータがある程度固まって、地面の近くに存在しており、注意を要する動体を示していると判断し、注意を要する動体を示していると判断された変化領域４０は、運転者に通知される。
【００４３】
図４は通知画面の構成例を示す図であり、表示装置３は、図４に示すような通知画面を表示することにより、カメラ２０，２１，２２，２３により撮像された、車両の近傍に存在する動体を運転者に通知することができる。
尚、図４における通知画面は、１つのカメラ２０により撮像された画像フレーム中の動体を通知する例を示しており、例えば、４つのカメラ２０，２１，２２，２３により撮像される画像フレーム中に、動体が検出されない場合には、各カメラ２０，２１，２２，２３からの画像フレーム全てを、表示装置３のディスプレイを４分割することにより表示しておき、カメラ２０からの画像フレーム中に動体が検出された場合に、表示画像を、カメラ２０からの画像フレームに切り替えて、図４に示すような通知画面を表示する構成とすることができる。
【００４４】
図４に示すように、通知画面は、３つの領域１，２，３に分割されており、領域１には、カメラ２０が撮像した画像フレームを、領域２には、領域１に表示される画像フレーム中の、上述のように検知された変化領域４０を所定の処理により抽出して拡大した拡大画像を、領域３には、変化領域４０を含む画像フレームを撮像したカメラ２０の撮像領域を示す領域画像データを夫々表示している。
ここで、図１の画像処理部１２の画像データ作成部１５は、図４に示すような通知画面を表示装置３に表示させるべく、表示装置３へ伝送する通知画像データを作成する合成手段として動作している。
【００４５】
マイコン１０は、上述したように、運転者に通知すべき変化領域４０が存在すると判断した場合、通信インタフェース１１を介して順次取得するカメラ２０からの画像フレームから、抽出すべき変化領域４０を決定し、画像処理部１２の画像データ作成部１５に通知する。
画像データ作成部１５は、マイコン１０により変化領域４０を通知された場合、ＲＯＭ１７から枠画像データを読み出し、読み出した枠画像データを、カメラ２０から取得する画像フレームの、変化領域４０の周囲を囲む位置に合成して合成データを生成する。
【００４６】
これにより、表示装置３の領域１に、図４に示すように動体を枠で囲んだ通知画面を表示させるための通知画像データを生成することができる。
尚、この枠画像データが示す枠のサイズを予め設定しておき、枠で囲まれる変化領域が小さすぎる場合には、当該動体の車両からの距離が遠いと判断して、運転者に通知しない構成とすることもできる。
【００４７】
また、マイコン１０は、通知画面の領域１に枠画像データで囲んで表示される変化領域４０を拡大して、通知画面の領域２に表示させるための通知画像データを、画像データ作成部１５により生成させるために、ＲＯＭ１７に記憶してある変換テーブルをテーブル用ＲＡＭ１８に読み出す。
ここで、通知画面の領域２に表示される拡大画像のサイズは、予め設定されており、ＲＯＭ１７に記憶してある変換テーブルは、この拡大画像中の各画素データを特定するための基本テーブルであり、マイコン１０が、カメラ２０からの画像フレーム中の変化領域４０の移動とともに、この基本テーブルを更新することにより生成する変換テーブルに基づき、画像データ作成部１５は、拡大画像を、カメラ２０から取得する画像フレームに合成して合成データを生成する。
【００４８】
具体的に、マイコン１０は、上述したように、通知画面の領域１に表示されるカメラ２０からの画像フレーム中の変化領域４０内の画素データを抽出する抽出手段として動作するとともに、抽出する変化領域４０を特定する２点（ｘ１，ｙ１）及び（ｘ２，ｙ２）を決定し、決定した２点（ｘ１，ｙ１）及び（ｘ２，ｙ２）が、領域２の拡大画像の領域を特定する２点（Ｘ１，Ｙ１）及び（Ｘ２，Ｙ２）に対応するように、変化領域４０の拡大率を算出し、算出した拡大率に基づき、拡大画像の領域内の各画素に、変化領域４０内の各画素データを対応させる変換テーブルを生成する。
【００４９】
これにより、表示装置３の領域２に、図４に示すように、カメラ２０が撮像した動体を拡大して表示させるための通知画像データを生成することができ、画像データ作成部１５は、上述のように生成された変換テーブル内の各画素データを所定の順序にて読み出すことのみにて、検出された動体を示す変化領域４０の拡大画像データを表示装置３に送出することができる。
【００５０】
更に、マイコン１０は、上述したように、運転者に通知すべき変化領域４０が存在すると判断した場合、検出した変化領域４０を含む画像フレームを撮像したカメラが、どのカメラであるかを検知する検知手段としても動作しており、変化領域４０の存在を検出するとともに、変化領域４０を含む画像フレームを撮像したカメラ２０も検知している。
ここで、ＲＯＭ１７に記憶してある領域画像データは、図４の領域３に示すような、車両Ｓを示すデータ、カメラ２０の撮像領域２０ａを示すデータ、カメラ２１の撮像領域２１ａを示すデータ、カメラ２２の撮像領域２２ａを示すデータ、及びカメラ２３の撮像領域２３ａを示すデータを含んでいる。
【００５１】
画像データ作成部１５は、マイコン１０により変化領域４０、及び変化領域４０を撮像したカメラ２０を通知された場合、ＲＯＭ１７から領域画像データを読み出し、読み出した領域画像データに含まれるカメラ２０の撮像領域２０ａに色付け等を施すことにより、他の撮像領域２１ａ，２２ａ，２３ａと区別して、カメラ２０から取得する画像フレームに合成して合成データを生成する。
【００５２】
これにより、表示装置３の領域３に、図４に示すように、カメラ２０が撮像した動体を撮像したカメラ２０の撮像領域を表示させるための通知画像データを生成することができ、このように生成された通知画像データを表示装置３に表示することにより、運転者は、撮像された動体の、車両との位置関係を容易に把握することができる。
【００５３】
ここで、運転者に通知すべき動体を示す変化領域が複数検出された場合には、領域１については、全ての変化領域を枠画面データにより囲んで表示し、領域２については、各変化領域を並列させて表示し、領域３については、検知した変化領域に対応する全ての撮像領域を色付け等して表示させることにより、全ての動体について、運転者に通知することができるが、各領域１，２，３において示す変化領域は、運転者を混乱させないために、夫々を明確に対応させて表示する必要がある。
【００５４】
以下に、上述した構成の画像表示システム１００において、画像処理装置１による画像表示方法に係る動体検出処理について説明する。尚、画像表示システム１００を利用する車両Ｓの運転者は、停車している車両Ｓを発車させる際に、表示装置３に表示される通知画面に基づき、各カメラ２０，２１，２２，２３の撮像領域内、特に車両Ｓの周辺に動体が存在しないことを確認することができる。
【００５５】
図５は本発明に係る画像表示システム１００における動体検出処理手順を示すフローチャートである。
画像処理装置１において、マイコン１０は、自身が備える時計手段により所定時間が経過するか否かを判断しており（Ｓ１）、所定時間が経過していない場合（Ｓ１：ＮＯ）、所定時間が経過するまで待機しており、所定時間が経過したと判断した場合（Ｓ１：ＹＥＳ）、取得した画像フレームをフレームメモリ１６に一旦記憶する（Ｓ２）。
【００５６】
次にマイコン１０は、画像処理部１２の差分算出部１３により、フレームメモリ１６に記憶してある、所定時間間隔で連続して取得した２枚の画像フレームについて、各画像フレーム中の画素値を減算することにより、各画素に対応した差分値を算出し、これらの差分値による画像フレームを生成する（Ｓ３）。
また、差分算出部１３により生成された差分値による画像フレームは、２値化処理部１４により、予めＲＯＭ１７に記憶してある閾値に基づく２値化処理を実行され（Ｓ４）、２値データの画像フレームに変換される。
【００５７】
マイコン１０は、上述のように生成された２値データの画像フレーム中の１のデータを有する近隣の画素をグループ分けし、夫々のグループが示す変化領域を検出する（Ｓ５）。
また、マイコン１０は、検出した各変化領域について、運転者に通知すべき動体を示す変化領域であるか否かを判断しており（Ｓ６）、検出した各変化領域が、運転者に通知すべき動体を示す変化領域ではない場合（Ｓ６：ＮＯ）、当該変化領域を動体検出処理の処理対象から除外する（Ｓ７）。
【００５８】
一方、検出した変化領域が、運転者に通知すべき動体を示す変化領域であると判断した場合（Ｓ６：ＹＥＳ）、マイコン１０は、運転者に通知すべき変化領域を検出したことを、画像処理部１２に通知する。
運転者に通知すべき変化領域を検出したことを通知された画像処理部１２において、画像データ作成部１５は、ＲＯＭ１７から枠画像データを読み出し、読み出した枠画像データを、カメラ２０から順次取得する画像フレームの、当該変化領域を囲む位置に合成させる（Ｓ８）。
【００５９】
次に、マイコン１０は、検出した変化領域のサイズに基づき、該変化領域の各画素から、通知画面の領域２に表示される拡大画像を生成するための変換テーブルを生成する（Ｓ９）。
更に、マイコン１０は、検出した変化領域を含む画像フレームを撮像したカメラ２０を検知し（Ｓ１０）、検知したカメラ２０を画像処理部１２に通知する。
【００６０】
前記変化領域を含む画像フレームを撮像したカメラ２０を検知された画像処理部１２において、画像データ作成部１５が、ＲＯＭ１７から領域画像データを読み出し、読み出した領域画像データに含まれるカメラ２０の撮像領域２０ａを示すデータを色付け等して、カメラ２０から順次取得する画像フレームに合成する（Ｓ１１）。
【００６１】
マイコン１０は、上述したように、ステップＳ５において検出した全ての変化領域について、夫々が運転者に通知すべき動体を示す変化領域であるか否かを判断する判断処理を終了したか否かを判断しており（Ｓ１２）、終了していない場合（Ｓ１２：ＮＯ）、ステップＳ６の処理に戻り、全ての変化領域について、夫々が車両近傍に存在する動体を示す変化領域であるか否かを判断する。
また、全ての変化領域についての判断処理が終了したと判断した場合（Ｓ１２：ＹＥＳ）、マイコン１０は、ステップＳ８において、枠画像データを合成された画像フレームと、ステップＳ９において生成された変換テーブルを参照することにより生成される拡大画像と、ステップＳ１１において合成された領域画像データとを含む通知画像データを、モニタインタフェース１８を介して、表示装置３へ送出する（Ｓ１３）。
【００６２】
表示装置３は、画像処理装置１から受信した通知画像データに基づく通知画面を表示することにより、表示した通知画面を参照している車両Ｓの運転者に、カメラ２０の撮像領域内に動体が存在することを通知することができる。
図６は通知画面の例を示す図であり、通知画面は、上方に、カメラ２０により撮像され、動体を枠で囲まれた画像フレームが表示してあり、下方の左側に、領域１において枠で囲まれた動体を拡大した拡大画像が表示してあり、下方の右側に、検出された動体を撮像したカメラ２０の撮像領域２０ａを示す領域画像データが表示してある。
【００６３】
このような通知画面により、車両の運転者等は、カメラ２０の撮像領域内に存在する動体を把握することができ、表示装置３に表示された動体を確認し、また、確認した動体が車両と衝突するか否かを判断することにより、動体と車両との衝突を回避することができる。
【００６４】
上述したように、順次取得する画像フレームについて、所定時間間隔で連続する画像フレーム間の変化に基づき、カメラ２０の撮像領域内に存在する動体を検出することができ、また、検出した動体を、表示装置３に表示する画像フレーム中に枠で囲み、また、拡大画像として、カメラ２０から取得する画像フレームとは別に表示し、更に、車両情報とともに、該車両との位置関係を表示することにより、カメラ２０の撮像領域内に動体が存在することを、車両の運転者等に確実に通知することができる。
尚、本実施の形態では、通知画面の領域１，２，３夫々において、動体を運転者に報知する構成をなしているが、いずれか１つ又は２つの構成を備えることも当然可能である。
【００６５】
尚、上述した本実施の形態において、画像処理装置１は、カメラ２から連続して取得する画像フレームの差分値を算出し、この差分値に基づき、カメラ２の撮像領域内に動体が存在するか否かを判断しているが、連続して取得する画像フレームに対して、オプティカルフロー処理を実行することにより、動体を検出する構成とすることもできる。
尚、オプティカルフロー処理は、１枚の画像フレーム中に、複数画素からなる注目ブロックを設定しておき、後続する画像フレーム中に存在する前記注目ブロックを検出し、この２枚の画像フレーム中の各注目ブロックの移動を検出することにより、カメラ２の撮像領域内に動体が存在することを検出することができる処理である。
【００６６】
また、本実施の形態においては、４つのカメラ２０，２１，２２，２３により夫々撮像される画像フレーム中の動体を検出する構成について説明しているが、４つのカメラを備える構成に限定されるものではない。
更に、本発明の画像表示システム１００における動体検知処理は、全方位カメラにより撮像された画像フレームをパノラマ展開することにより得られる画像データに対しても適用することができる。
【００６７】
更に、例えば、車両から１又は２ｍ離れた子供を撮像した場合に取得される画像フレームにおいて、子供を示す画素数を予め設定しておくことにより、マイコン１０が検出した、運転者に通知すべき変化領域内の画素数に基づき、車両の近傍に存在する動体が、子供であるか否か等の判断が可能となり、車両近傍に存在する子供の検出のみを実行することも可能となる。
【００６８】
【発明の効果】
第１、第６及び第７発明による場合は、撮像装置から時系列的に入力される画像データ中の変化領域を検出し、検出した変化領域内のデータを抽出して、前記画像データに合成し、表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域が示す、撮像装置の撮像領域内に存在する動体を、前記画像データから抽出して表示させることができ、前記動体の存在を運転者に通知することができる。
【００６９】
第２発明による場合は、時系列的に連続する画像データ中の変化領域内のデータを、前記画像データ中の合成位置を対応付けるテーブルを生成し、生成したテーブルに基づき、前記変化領域内のデータを、撮像装置からの画像データに合成することにより、合成データを生成する合成処理における演算負荷を軽減することができる。
【００７０】
第３発明による場合は、合成データを生成する合成処理に用いるテーブルが、時系列的に連続する画像データ中の変化領域内のデータを拡大して対応付けるものであることにより、単純なテーブルの参照処理にて、拡大された前記変化領域内のデータを、撮像装置からの画像データに合成することができる。
従って、表示装置に、撮像装置の撮像領域内に存在する動体を拡大して表示させることができ、車両の運転者等は、表示装置において、撮像装置が撮像する画像データを見ながら、拡大表示された車両近傍の動体を容易に発見することができる。
【００７１】
第４及び第８発明による場合は、撮像装置から時系列的に入力される画像データ中の変化領域を囲む枠画像データを生成し、生成した枠画像データを、前記画像データ中の変化領域を囲む位置に合成して表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域が示す、撮像装置の撮像領域内に存在する動体を、枠画像データにより囲んで表示させることができ、前記動体の存在を運転者に通知することができる
【００７２】
第５及び第９発明による場合は、複数の撮像装置夫々から時系列的に入力される画像データ中の変化領域を夫々検出し、検出した変化領域を含む画像データを撮像した撮像装置を検知し、検知した撮像装置の撮像領域を示す領域データを、撮像装置からの画像データに合成して表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域を撮像した撮像装置の撮像領域を示す領域データを表示させることができ、前記変化領域が示す動体の車両との位置関係を運転者に通知することができる。
【図面の簡単な説明】
【図１】本発明に係る画像表示システムの構成例を示すブロック図である。
【図２】カメラの車両への取付位置を示す図である。
【図３】（ａ）は差分値による画像フレームを示す図であり、（ｂ）は２値データによる画像フレームを示す図である。
【図４】通知画面の構成例を示す図である。
【図５】本発明に係る画像表示システムにおける動体検出処理手順を示すフローチャートである。
【図６】通知画面の例を示す図である。
【符号の説明】
１００ 画像表示システム
１ 画像処理装置
１０ マイクロコンピュータ（検出手段、生成手段、抽出手段、検知手段）
１２ 画像処理部
１５ 画像データ作成部（合成手段）
１７ ＲＯＭ
１９ モニタインタフェース（送出手段）
２０，２１，２２，２３ カメラ（撮像装置）
３ 表示装置
【発明の属する技術分野】
本発明は、車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システム、画像表示方法及び画像処理装置に関するものである。
【０００２】
【従来の技術】
自動車等の車両の運転を支援する装置として、運転者からの死角を含む範囲を撮像する車載カメラと、車載カメラで撮像した画像が表示される車載表示装置とが用いられている。例えば、車両後方を車載カメラで撮像するとともに、車載表示装置のディスプレイ上に表示される車両後方画像を確認しながら車庫入れを行う。また、車両の左右前方又は左右後方等を車載カメラで撮像し、車載表示装置で左右前方又は左右後方等の車両周辺にいる子供等の確認を行うことが可能である。
【０００３】
更に、このような運転支援装置においては、複数のカメラを車両に搭載し、各カメラからの画像を切り替えて表示したり、複数のカメラからの画像を合成して表示することにより、車載表示装置で表示可能な領域を拡大している（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開２００１−２１９７８３号公報
【０００５】
【発明が解決しようとする課題】
しかし、車載表示装置は、車両内における搭載場所等により表示画面の大きさに制限があり、また、上述のように複数のカメラによる撮像エリアが広くなる分、車載表示装置に表示される被写体の画面内のサイズが小さくなる。
そのため、車載表示装置に表示されているにも関わらず、運転者は、車両近傍に存在する動体、特に背の低い子供等の発見が困難になるという問題があった。
【０００６】
本発明は斯かる事情に鑑みてなされたものであり、撮像装置から時系列的に入力される画像データ中の変化領域内のデータを、前記画像データに合成して表示装置に送出することにより、前記変化領域が示す、撮像装置の撮像領域内に存在する動体を、前記画像データから抽出して、表示装置に表示させ、前記動体の存在を運転者に容易に発見させることができる画像表示システム、画像表示方法及び画像処理装置を提供することを目的とする。
【０００７】
本発明の他の目的は、検出手段により検出した変化領域内のデータを、前記画像データ中の合成位置に対応付けるテーブルを生成手段により生成し、生成したテーブルに基づき、前記変化領域内のデータを、撮像装置からの画像データに合成することにより、合成データを生成する合成処理における演算負荷を軽減することができる画像表示システムを提供することにある。
【０００８】
本発明の更に他の目的は、合成データを生成する合成処理に用いるテーブルが、前記検出手段により検出した変化領域内のデータを拡大して対応付けるものであることにより、単純なテーブルの参照処理にて、拡大された前記変化領域内のデータを、撮像装置からの画像データに合成することができる画像表示システムを提供することにある。
【０００９】
本発明の更に他の目的は、撮像装置から時系列的に入力される画像データ中の変化領域を囲む枠画像データを生成し、生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して表示装置に送出することにより、前記変化領域が示す、撮像装置の撮像領域内に存在する動体を、枠画像データにより囲んで表示させ、前記動体の存在を運転者に容易に発見させることができる画像表示システム及び画像処理装置を提供することにある。
【００１０】
本発明の更に他の目的は、複数の撮像装置夫々から時系列的に入力される画像データ中の変化領域を含む画像データを撮像した撮像装置を検知し、検知した撮像装置の撮像領域を示す領域データを、撮像装置からの画像データに合成して表示装置に送出することにより、前記変化領域を撮像した撮像装置の撮像領域を示す領域データを表示させ、前記変化領域が示す動体の位置を運転者に通知することができる画像表示システム及び画像処理装置を提供することにある。
【００１１】
【課題を解決するための手段】
第１発明に係る画像表示システムは、車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、撮像装置から時系列的に入力される画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域内のデータを抽出する抽出手段と、該抽出手段により抽出した変化領域内のデータを、前記画像データに合成して合成データを生成する合成手段と、該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする。
【００１２】
第２発明に係る画像表示システムは、前記検出手段により検出した変化領域内のデータを、前記画像データ中の合成位置に対応付けるテーブルを生成する生成手段を備え、前記合成手段は、前記生成手段により生成したテーブルに基づき、前記合成データを生成する手段を備えることを特徴とする。
【００１３】
第３発明に係る画像表示システムは、前記テーブルは、前記検出手段により検出した変化領域内のデータを、拡大して対応付けることを特徴とする。
【００１４】
第４発明に係る画像表示システムは、車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、撮像装置から時系列的に入力される画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を囲む枠画像データを生成する生成手段と、該生成手段により生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して合成データを生成する合成手段と、該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする。
【００１５】
第５発明に係る画像表示システムは、車両に取り付けられる複数の撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、複数の撮像装置から時系列的に入力される画像データ中の変化領域を夫々検出する検出手段と、該検出手段により検出した変化領域を含む画像データを撮像した撮像装置を検知する検知手段と、該検知手段により検知した撮像装置の撮像領域を示す領域データを、前記画像データに合成して合成データを生成する合成手段と、該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする。
【００１６】
第６発明に係る画像表示方法は、車両に取り付けられる撮像装置で撮像された画像データを、計算装置により、車両に搭載される表示装置に表示させる画像表示方法において、前記計算装置は、撮像装置から時系列的に入力される画像データ中の変化領域を検出し、検出した変化領域内のデータを抽出し、抽出した変化領域内のデータを、前記画像データに合成して合成データを生成し、生成した合成データを、前記表示装置に送出することを特徴とする。
【００１７】
第７発明に係る画像処理装置は、受け付けた画像データを外部へ伝送する車両用の画像処理装置において、外部から時系列的に画像データを受け付ける受付手段と、該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域内のデータを抽出する抽出手段と、該抽出手段により抽出した変化領域内のデータを、前記画像データに合成して合成データを生成する合成手段と、該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする。
【００１８】
第８発明に係る画像処理装置は、受け付けた画像データを外部へ伝送する車両用の画像処理装置において、外部から時系列的に画像データを受け付ける受付手段と、該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を囲む枠画像データを生成する生成手段と、該生成手段により生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して合成データを生成する合成手段と、該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする。
【００１９】
第９発明に係る画像処理装置は、受け付けた画像データを外部へ伝送する車両用の画像処理装置において、外部から時系列的に画像データを受け付ける受付手段と、該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を含む画像データが示す位置を検知する検知手段と、該検知手段により検知した位置を表す位置データを、前記画像データに合成して合成データを生成する合成手段と、該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする。
【００２０】
第１、第６及び第７発明による場合は、撮像装置から時系列的に入力される画像データ中の変化領域を検出手段により検出し、検出した変化領域内のデータを抽出手段により抽出し、抽出した変化領域内のデータを、前記画像データに合成手段により合成し、送出手段により表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域が示す、撮像装置の撮像領域内に存在する動体を、前記画像データから抽出して表示させることができ、前記動体の存在を運転者に通知することができる。
【００２１】
第２発明による場合は、検出手段により検出した変化領域内のデータを、前記画像データ中の合成位置に対応付けるテーブルを生成手段により生成し、生成したテーブルに基づき、前記変化領域内のデータを、撮像装置からの画像データに合成することにより、合成データを生成する合成処理における演算負荷を軽減することができる。
【００２２】
第３発明による場合は、合成データを生成する合成処理に用いるテーブルが、前記検出手段により検出した変化領域内のデータを拡大して対応付けるものであることにより、単純なテーブルの参照処理にて、拡大された前記変化領域内のデータを、撮像装置からの画像データに合成することができる。
従って、表示装置に、撮像装置の撮像領域内に存在する動体を拡大して表示させることができ、車両の運転者等は、表示装置において、撮像装置が撮像する画像データを見ながら、拡大表示された車両近傍の動体を容易に発見することができる。
【００２３】
第４及び第８発明による場合は、撮像装置から時系列的に入力される画像データ中の変化領域を検出手段により検出し、検出した変化領域を囲む枠画像データを生成手段により生成し、生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成手段により合成し、送出手段により表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域が示す、撮像装置の撮像領域内に存在する動体を、枠画像データにより囲んで表示させることができ、前記動体の存在を運転者に通知することができる。
【００２４】
第５及び第９発明による場合は、複数の撮像装置夫々から時系列的に入力される画像データ中の変化領域を検出手段により夫々検出し、検出した変化領域を含む画像データを撮像した撮像装置を検知手段により検知し、検知した撮像装置の撮像領域を示す領域データを、撮像装置からの画像データに合成手段により合成し、送出手段により表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域を撮像した撮像装置の撮像領域を示す領域データを表示させることができ、前記変化領域が示す動体の位置を運転者に通知することができる。
【００２５】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。尚、本実施の形態では、カメラ（撮像装置）と、カメラで撮像された画像を表示する表示装置とを搭載した自動車（車両）を例にして説明する。また、画像は、例えば１秒当たり３０枚の画像フレーム（画像データ）で構成されている。
【００２６】
図１は本発明に係る画像表示システムの構成例を示すブロック図であり、本発明に係る画像表示システム１００は、撮像して画像フレームを取り込む４つのカメラ（撮像装置）２０，２１，２２，２３と、液晶ディスプレイ又はＣＲＴ（Ｃａｔｈｏｄｅ−Ｒａｙ Ｔｕｂｅ）ディスプレイ等の表示装置３と、カメラ２０，２１，２２，２３により取り込まれた画像フレームを取得し、所定の処理を施した後、表示装置３へ送出する画像処理装置１とを備えている。
【００２７】
画像処理装置１、カメラ２０，２１，２２，２３、及び表示装置３は、専用の配線で接続したり、車載ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）を介して接続することが可能であり、本実施の形態においては、画像処理装置１とカメラ２０，２１，２２，２３とは、ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃ Ｅｎｇｉｎｅｅｒｓ）１３９４に準拠した車載ＬＡＮを介して、画像処理装置１と表示装置３とは、専用線を介して接続されている。
【００２８】
カメラ２０，２１，２２，２３は、夫々、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅ Ｄｅｖｉｃｅ）等により構成されたカメラ本体部（図示せず）で撮像し、得られた画像フレームに対して所定の処理を施した後、ＩＥＥＥ１３９４に準拠した車載ＬＡＮを介して画像処理装置１に送出する。
【００２９】
図２は上述のカメラ２０，２１，２２，２３の車両への取付位置を示す図であり、図においては、本発明に係る画像表示システム１００を搭載した車両Ｓを上方から見た図を示している。
図２に示すように、カメラ２０は、車両Ｓに備え付けられた前バンパー（図示せず）の左端部に、車両Ｓの左前方を撮像するように取り付けられており、カメラ２１は、同様に、前バンパーの右端部に、車両Ｓの右前方を撮像するように取り付けられている。
【００３０】
更に、カメラ２２は、車両Ｓに備え付けられた後バンパー（図示せず）の左端部に、車両Ｓの左後方を撮像するように取り付けられており、カメラ２３は、後バンパーの右端部に、車両Ｓの右後方を撮像するように取り付けられている。
このように各位置に取り付けられたカメラ２０，２１，２２，２３は、夫々撮像した画像フレームを順次画像処理装置１へ送出する。
【００３１】
図１において、表示装置３は、カメラ２０，２１，２２，２３により撮像され、画像処理装置１により所定の処理が行われた画像フレームを、専用線を介して受信し、受信した画像フレームを順次ディスプレイ（図示せず）に表示する。
【００３２】
また、画像処理装置１は、マイクロコンピュータ（以下、マイコンという）１０と、ＩＥＥＥ１３９４に準拠したデータ伝送を行うための通信インタフェース１１と、通信インタフェース１１を介してカメラ２０，２１，２２，２３から受信した画像フレームに所定の処理を行う画像処理部１２と、画像処理部１２により各種の処理を施された画像フレームを表示装置３へ送出する送出手段としてのモニタインタフェース１９と、フレームメモリ１６と、ＲＯＭ１７と、テーブル用ＲＡＭ１８等とを備えている。
【００３３】
マイコン１０は、時計手段（図示せず）を備えており、タイミングを計時しながら、上述したハードウェア各部を制御するとともに、ＲＯＭ１７に記憶してある画像処理装置１の動作としてのコンピュータプログラムを順次実行する。
ＲＯＭ１７には、画像処理装置１の各種動作に必要な種々のコンピュータプログラム、カメラ２０，２１，２２，２３の車両Ｓへの取付位置及び撮像方向等の情報、及び、後述するように、画像処理部１２が、カメラ２０，２１，２２，２３により撮像された画像フレーム中に存在する動体を検出する際に用いる所定の閾値、また、検出した動体を通知する際に用いる枠画像データ、変換テーブル及び領域画像データ（領域データ）等が記憶してある。
【００３４】
画像処理部１２には、ＲＡＭ等により構成されるフレームメモリ１６、ＲＯＭ１７及びテーブル用ＲＡＭ１８が接続されており、画像処理部１２により所定の各処理を施された画像フレーム及び一時的に発生するデータは、フレームメモリ１６又はテーブル用ＲＡＭ１８に記憶される。
尚、画像処理部１２が、ＲＯＭ１７の変換テーブルを用いる場合、この変換テーブルを一旦テーブル用ＲＡＭ１８に記憶させ、テーブル用ＲＡＭ１８にアクセスすることにより、変換テーブルの参照処理を高速に行っている。
【００３５】
また、画像処理部１２は、カメラ２０，２１，２２，２３から取得した画像フレームを表示装置３へ送出するとともに、各カメラ２０，２１，２２，２３から順次取得する画像フレーム中に動体が撮像されているか否かを判断しており、カメラ２０，２１，２２，２３から夫々取得した画像フレームからＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ ｓｔａｎｄａｒｄ ）データ等の画像データを作成する画像データ作成部１５と、カメラ２０，２１，２２，２３から時系列的に連続して取得される画像フレームに夫々含まれる各画素値の差分値を算出する差分算出部１３と、差分算出部１３により算出された各差分値を、予めＲＯＭ１７に記憶してある閾値と比較することにより夫々２値のデータに変換する２値化処理部１４とを備えている。
【００３６】
ここで、カメラ２０，２１，２２，２３が撮像する撮像領域内に動体が存在する場合、画像処理装置１が、カメラ２０，２１，２２，２３から連続して取得する画像フレーム中に変化領域が生じる。即ち、連続する前後の画像フレーム間に差分が生じるため、画像処理装置１は、この画像フレーム間の差分に基づき、カメラ２０，２１，２２，２３の撮像領域内の動体を検出することができる。
【００３７】
上述した構成の画像処理装置１において、画像処理部１２は、通信インタフェース１１を介して、カメラ２０，２１，２２，２３夫々から、時系列的に連続して入力される前後の画像フレームに含まれる各画素値の差分値を、差分算出部１３により算出し、各差分値による画像フレームを生成する。
図３（ａ）は、画像処理部１２の差分算出部１３により算出された差分値による画像フレームの一例を示す図である。尚、本実施の形態においては、カメラ２０，２１，２２，２３から取得する画像フレームは、各画素を８ビットのデータにて示すものとしているため、図３（ａ）に示す、画像フレーム中の各画素に対応する各差分値も０から２５５までの各値をとるものとする。
【００３８】
また、画像処理部１２は、２値化処理部１４により、差分算出部１３により生成した差分値による画像フレームに含まれる各差分値を、ＲＯＭ１７に予め記憶してある閾値（図３においては３０）と比較し、閾値よりも小さい差分値を０とし、閾値よりも大きい差分値を１とする２値化処理を行うことで、２値データの画像フレームを生成する。
図３（ｂ）は、図３（ａ）の差分値による画像フレームを、２値化処理部１４による２値化処理により得られた２値データの画像フレームの一例を示す図である。
【００３９】
本実施の形態では、差分算出部１３により算出した連続する画像データ間の差分値を、２値データに変換することにより、画像フレーム中の差分値が示す変化領域を顕著に現すことができ、後述のマイコン１０による、画像フレーム中の変化領域の検出を容易としている。
【００４０】
画像処理装置１において、マイコン１０は、２値化処理部１４により生成された２値データの画像フレームに基づき、この画像フレーム中の変化領域を検出する検出手段として動作している。
具体的に、マイコン１０は、図３（ｂ）の２値データの画像フレームにおいて、１のデータを有し、夫々が近接する画素をグループ分けし、夫々のグループが示す変化領域４０，４１，４２，４３，４４，４５により示される動体が、当該画像処理装置１を搭載する車両Ｓの発車等の際に運転者の注意を要する動体であるか否かを検出している。
【００４１】
ここで、マイコン１０は、予めＲＯＭ１７に記憶してあるカメラ２０，２１，２２，２３の取付位置及び撮像方向等の情報を読み出すことにより、上述のようにグループ分けした各変化領域４０，４１，４２，４３，４４，４５により示される動体が、運転者の注意を要する動体であるか否かを検出することができる。例えば、各変化領域が、画像フレームの上方にある場合には、マイコン１０は、この変化領域を、鳥が飛び立った場合や、木の枝で揺れている木の葉等により生じた変化領域であると判断して、運転者の注意を要する動体でないものと判断する。
【００４２】
図３（ｂ）に示す変化領域４０，４１，４２，４３，４４，４５については、マイコン１０は、変化領域４１，４２，４４を、画面の上方に表示されているため、例えば、木の枝で揺れている木の葉により生じた変化領域と判断し、領域４３，４５を、１のデータが点在するため、画像フレーム中に含まれる誤差等であると判断する。
また、マイコン１０は、変化領域４０について、１のデータがある程度固まって、地面の近くに存在しており、注意を要する動体を示していると判断し、注意を要する動体を示していると判断された変化領域４０は、運転者に通知される。
【００４３】
図４は通知画面の構成例を示す図であり、表示装置３は、図４に示すような通知画面を表示することにより、カメラ２０，２１，２２，２３により撮像された、車両の近傍に存在する動体を運転者に通知することができる。
尚、図４における通知画面は、１つのカメラ２０により撮像された画像フレーム中の動体を通知する例を示しており、例えば、４つのカメラ２０，２１，２２，２３により撮像される画像フレーム中に、動体が検出されない場合には、各カメラ２０，２１，２２，２３からの画像フレーム全てを、表示装置３のディスプレイを４分割することにより表示しておき、カメラ２０からの画像フレーム中に動体が検出された場合に、表示画像を、カメラ２０からの画像フレームに切り替えて、図４に示すような通知画面を表示する構成とすることができる。
【００４４】
図４に示すように、通知画面は、３つの領域１，２，３に分割されており、領域１には、カメラ２０が撮像した画像フレームを、領域２には、領域１に表示される画像フレーム中の、上述のように検知された変化領域４０を所定の処理により抽出して拡大した拡大画像を、領域３には、変化領域４０を含む画像フレームを撮像したカメラ２０の撮像領域を示す領域画像データを夫々表示している。
ここで、図１の画像処理部１２の画像データ作成部１５は、図４に示すような通知画面を表示装置３に表示させるべく、表示装置３へ伝送する通知画像データを作成する合成手段として動作している。
【００４５】
マイコン１０は、上述したように、運転者に通知すべき変化領域４０が存在すると判断した場合、通信インタフェース１１を介して順次取得するカメラ２０からの画像フレームから、抽出すべき変化領域４０を決定し、画像処理部１２の画像データ作成部１５に通知する。
画像データ作成部１５は、マイコン１０により変化領域４０を通知された場合、ＲＯＭ１７から枠画像データを読み出し、読み出した枠画像データを、カメラ２０から取得する画像フレームの、変化領域４０の周囲を囲む位置に合成して合成データを生成する。
【００４６】
これにより、表示装置３の領域１に、図４に示すように動体を枠で囲んだ通知画面を表示させるための通知画像データを生成することができる。
尚、この枠画像データが示す枠のサイズを予め設定しておき、枠で囲まれる変化領域が小さすぎる場合には、当該動体の車両からの距離が遠いと判断して、運転者に通知しない構成とすることもできる。
【００４７】
また、マイコン１０は、通知画面の領域１に枠画像データで囲んで表示される変化領域４０を拡大して、通知画面の領域２に表示させるための通知画像データを、画像データ作成部１５により生成させるために、ＲＯＭ１７に記憶してある変換テーブルをテーブル用ＲＡＭ１８に読み出す。
ここで、通知画面の領域２に表示される拡大画像のサイズは、予め設定されており、ＲＯＭ１７に記憶してある変換テーブルは、この拡大画像中の各画素データを特定するための基本テーブルであり、マイコン１０が、カメラ２０からの画像フレーム中の変化領域４０の移動とともに、この基本テーブルを更新することにより生成する変換テーブルに基づき、画像データ作成部１５は、拡大画像を、カメラ２０から取得する画像フレームに合成して合成データを生成する。
【００４８】
具体的に、マイコン１０は、上述したように、通知画面の領域１に表示されるカメラ２０からの画像フレーム中の変化領域４０内の画素データを抽出する抽出手段として動作するとともに、抽出する変化領域４０を特定する２点（ｘ１，ｙ１）及び（ｘ２，ｙ２）を決定し、決定した２点（ｘ１，ｙ１）及び（ｘ２，ｙ２）が、領域２の拡大画像の領域を特定する２点（Ｘ１，Ｙ１）及び（Ｘ２，Ｙ２）に対応するように、変化領域４０の拡大率を算出し、算出した拡大率に基づき、拡大画像の領域内の各画素に、変化領域４０内の各画素データを対応させる変換テーブルを生成する。
【００４９】
これにより、表示装置３の領域２に、図４に示すように、カメラ２０が撮像した動体を拡大して表示させるための通知画像データを生成することができ、画像データ作成部１５は、上述のように生成された変換テーブル内の各画素データを所定の順序にて読み出すことのみにて、検出された動体を示す変化領域４０の拡大画像データを表示装置３に送出することができる。
【００５０】
更に、マイコン１０は、上述したように、運転者に通知すべき変化領域４０が存在すると判断した場合、検出した変化領域４０を含む画像フレームを撮像したカメラが、どのカメラであるかを検知する検知手段としても動作しており、変化領域４０の存在を検出するとともに、変化領域４０を含む画像フレームを撮像したカメラ２０も検知している。
ここで、ＲＯＭ１７に記憶してある領域画像データは、図４の領域３に示すような、車両Ｓを示すデータ、カメラ２０の撮像領域２０ａを示すデータ、カメラ２１の撮像領域２１ａを示すデータ、カメラ２２の撮像領域２２ａを示すデータ、及びカメラ２３の撮像領域２３ａを示すデータを含んでいる。
【００５１】
画像データ作成部１５は、マイコン１０により変化領域４０、及び変化領域４０を撮像したカメラ２０を通知された場合、ＲＯＭ１７から領域画像データを読み出し、読み出した領域画像データに含まれるカメラ２０の撮像領域２０ａに色付け等を施すことにより、他の撮像領域２１ａ，２２ａ，２３ａと区別して、カメラ２０から取得する画像フレームに合成して合成データを生成する。
【００５２】
これにより、表示装置３の領域３に、図４に示すように、カメラ２０が撮像した動体を撮像したカメラ２０の撮像領域を表示させるための通知画像データを生成することができ、このように生成された通知画像データを表示装置３に表示することにより、運転者は、撮像された動体の、車両との位置関係を容易に把握することができる。
【００５３】
ここで、運転者に通知すべき動体を示す変化領域が複数検出された場合には、領域１については、全ての変化領域を枠画面データにより囲んで表示し、領域２については、各変化領域を並列させて表示し、領域３については、検知した変化領域に対応する全ての撮像領域を色付け等して表示させることにより、全ての動体について、運転者に通知することができるが、各領域１，２，３において示す変化領域は、運転者を混乱させないために、夫々を明確に対応させて表示する必要がある。
【００５４】
以下に、上述した構成の画像表示システム１００において、画像処理装置１による画像表示方法に係る動体検出処理について説明する。尚、画像表示システム１００を利用する車両Ｓの運転者は、停車している車両Ｓを発車させる際に、表示装置３に表示される通知画面に基づき、各カメラ２０，２１，２２，２３の撮像領域内、特に車両Ｓの周辺に動体が存在しないことを確認することができる。
【００５５】
図５は本発明に係る画像表示システム１００における動体検出処理手順を示すフローチャートである。
画像処理装置１において、マイコン１０は、自身が備える時計手段により所定時間が経過するか否かを判断しており（Ｓ１）、所定時間が経過していない場合（Ｓ１：ＮＯ）、所定時間が経過するまで待機しており、所定時間が経過したと判断した場合（Ｓ１：ＹＥＳ）、取得した画像フレームをフレームメモリ１６に一旦記憶する（Ｓ２）。
【００５６】
次にマイコン１０は、画像処理部１２の差分算出部１３により、フレームメモリ１６に記憶してある、所定時間間隔で連続して取得した２枚の画像フレームについて、各画像フレーム中の画素値を減算することにより、各画素に対応した差分値を算出し、これらの差分値による画像フレームを生成する（Ｓ３）。
また、差分算出部１３により生成された差分値による画像フレームは、２値化処理部１４により、予めＲＯＭ１７に記憶してある閾値に基づく２値化処理を実行され（Ｓ４）、２値データの画像フレームに変換される。
【００５７】
マイコン１０は、上述のように生成された２値データの画像フレーム中の１のデータを有する近隣の画素をグループ分けし、夫々のグループが示す変化領域を検出する（Ｓ５）。
また、マイコン１０は、検出した各変化領域について、運転者に通知すべき動体を示す変化領域であるか否かを判断しており（Ｓ６）、検出した各変化領域が、運転者に通知すべき動体を示す変化領域ではない場合（Ｓ６：ＮＯ）、当該変化領域を動体検出処理の処理対象から除外する（Ｓ７）。
【００５８】
一方、検出した変化領域が、運転者に通知すべき動体を示す変化領域であると判断した場合（Ｓ６：ＹＥＳ）、マイコン１０は、運転者に通知すべき変化領域を検出したことを、画像処理部１２に通知する。
運転者に通知すべき変化領域を検出したことを通知された画像処理部１２において、画像データ作成部１５は、ＲＯＭ１７から枠画像データを読み出し、読み出した枠画像データを、カメラ２０から順次取得する画像フレームの、当該変化領域を囲む位置に合成させる（Ｓ８）。
【００５９】
次に、マイコン１０は、検出した変化領域のサイズに基づき、該変化領域の各画素から、通知画面の領域２に表示される拡大画像を生成するための変換テーブルを生成する（Ｓ９）。
更に、マイコン１０は、検出した変化領域を含む画像フレームを撮像したカメラ２０を検知し（Ｓ１０）、検知したカメラ２０を画像処理部１２に通知する。
【００６０】
前記変化領域を含む画像フレームを撮像したカメラ２０を検知された画像処理部１２において、画像データ作成部１５が、ＲＯＭ１７から領域画像データを読み出し、読み出した領域画像データに含まれるカメラ２０の撮像領域２０ａを示すデータを色付け等して、カメラ２０から順次取得する画像フレームに合成する（Ｓ１１）。
【００６１】
マイコン１０は、上述したように、ステップＳ５において検出した全ての変化領域について、夫々が運転者に通知すべき動体を示す変化領域であるか否かを判断する判断処理を終了したか否かを判断しており（Ｓ１２）、終了していない場合（Ｓ１２：ＮＯ）、ステップＳ６の処理に戻り、全ての変化領域について、夫々が車両近傍に存在する動体を示す変化領域であるか否かを判断する。
また、全ての変化領域についての判断処理が終了したと判断した場合（Ｓ１２：ＹＥＳ）、マイコン１０は、ステップＳ８において、枠画像データを合成された画像フレームと、ステップＳ９において生成された変換テーブルを参照することにより生成される拡大画像と、ステップＳ１１において合成された領域画像データとを含む通知画像データを、モニタインタフェース１８を介して、表示装置３へ送出する（Ｓ１３）。
【００６２】
表示装置３は、画像処理装置１から受信した通知画像データに基づく通知画面を表示することにより、表示した通知画面を参照している車両Ｓの運転者に、カメラ２０の撮像領域内に動体が存在することを通知することができる。
図６は通知画面の例を示す図であり、通知画面は、上方に、カメラ２０により撮像され、動体を枠で囲まれた画像フレームが表示してあり、下方の左側に、領域１において枠で囲まれた動体を拡大した拡大画像が表示してあり、下方の右側に、検出された動体を撮像したカメラ２０の撮像領域２０ａを示す領域画像データが表示してある。
【００６３】
このような通知画面により、車両の運転者等は、カメラ２０の撮像領域内に存在する動体を把握することができ、表示装置３に表示された動体を確認し、また、確認した動体が車両と衝突するか否かを判断することにより、動体と車両との衝突を回避することができる。
【００６４】
上述したように、順次取得する画像フレームについて、所定時間間隔で連続する画像フレーム間の変化に基づき、カメラ２０の撮像領域内に存在する動体を検出することができ、また、検出した動体を、表示装置３に表示する画像フレーム中に枠で囲み、また、拡大画像として、カメラ２０から取得する画像フレームとは別に表示し、更に、車両情報とともに、該車両との位置関係を表示することにより、カメラ２０の撮像領域内に動体が存在することを、車両の運転者等に確実に通知することができる。
尚、本実施の形態では、通知画面の領域１，２，３夫々において、動体を運転者に報知する構成をなしているが、いずれか１つ又は２つの構成を備えることも当然可能である。
【００６５】
尚、上述した本実施の形態において、画像処理装置１は、カメラ２から連続して取得する画像フレームの差分値を算出し、この差分値に基づき、カメラ２の撮像領域内に動体が存在するか否かを判断しているが、連続して取得する画像フレームに対して、オプティカルフロー処理を実行することにより、動体を検出する構成とすることもできる。
尚、オプティカルフロー処理は、１枚の画像フレーム中に、複数画素からなる注目ブロックを設定しておき、後続する画像フレーム中に存在する前記注目ブロックを検出し、この２枚の画像フレーム中の各注目ブロックの移動を検出することにより、カメラ２の撮像領域内に動体が存在することを検出することができる処理である。
【００６６】
また、本実施の形態においては、４つのカメラ２０，２１，２２，２３により夫々撮像される画像フレーム中の動体を検出する構成について説明しているが、４つのカメラを備える構成に限定されるものではない。
更に、本発明の画像表示システム１００における動体検知処理は、全方位カメラにより撮像された画像フレームをパノラマ展開することにより得られる画像データに対しても適用することができる。
【００６７】
更に、例えば、車両から１又は２ｍ離れた子供を撮像した場合に取得される画像フレームにおいて、子供を示す画素数を予め設定しておくことにより、マイコン１０が検出した、運転者に通知すべき変化領域内の画素数に基づき、車両の近傍に存在する動体が、子供であるか否か等の判断が可能となり、車両近傍に存在する子供の検出のみを実行することも可能となる。
【００６８】
【発明の効果】
第１、第６及び第７発明による場合は、撮像装置から時系列的に入力される画像データ中の変化領域を検出し、検出した変化領域内のデータを抽出して、前記画像データに合成し、表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域が示す、撮像装置の撮像領域内に存在する動体を、前記画像データから抽出して表示させることができ、前記動体の存在を運転者に通知することができる。
【００６９】
第２発明による場合は、時系列的に連続する画像データ中の変化領域内のデータを、前記画像データ中の合成位置を対応付けるテーブルを生成し、生成したテーブルに基づき、前記変化領域内のデータを、撮像装置からの画像データに合成することにより、合成データを生成する合成処理における演算負荷を軽減することができる。
【００７０】
第３発明による場合は、合成データを生成する合成処理に用いるテーブルが、時系列的に連続する画像データ中の変化領域内のデータを拡大して対応付けるものであることにより、単純なテーブルの参照処理にて、拡大された前記変化領域内のデータを、撮像装置からの画像データに合成することができる。
従って、表示装置に、撮像装置の撮像領域内に存在する動体を拡大して表示させることができ、車両の運転者等は、表示装置において、撮像装置が撮像する画像データを見ながら、拡大表示された車両近傍の動体を容易に発見することができる。
【００７１】
第４及び第８発明による場合は、撮像装置から時系列的に入力される画像データ中の変化領域を囲む枠画像データを生成し、生成した枠画像データを、前記画像データ中の変化領域を囲む位置に合成して表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域が示す、撮像装置の撮像領域内に存在する動体を、枠画像データにより囲んで表示させることができ、前記動体の存在を運転者に通知することができる
【００７２】
第５及び第９発明による場合は、複数の撮像装置夫々から時系列的に入力される画像データ中の変化領域を夫々検出し、検出した変化領域を含む画像データを撮像した撮像装置を検知し、検知した撮像装置の撮像領域を示す領域データを、撮像装置からの画像データに合成して表示装置に送出することにより、表示装置に、検出手段により検出した、時系列に連続する画像データ中の変化領域を撮像した撮像装置の撮像領域を示す領域データを表示させることができ、前記変化領域が示す動体の車両との位置関係を運転者に通知することができる。
【図面の簡単な説明】
【図１】本発明に係る画像表示システムの構成例を示すブロック図である。
【図２】カメラの車両への取付位置を示す図である。
【図３】（ａ）は差分値による画像フレームを示す図であり、（ｂ）は２値データによる画像フレームを示す図である。
【図４】通知画面の構成例を示す図である。
【図５】本発明に係る画像表示システムにおける動体検出処理手順を示すフローチャートである。
【図６】通知画面の例を示す図である。
【符号の説明】
１００ 画像表示システム
１ 画像処理装置
１０ マイクロコンピュータ（検出手段、生成手段、抽出手段、検知手段）
１２ 画像処理部
１５ 画像データ作成部（合成手段）
１７ ＲＯＭ
１９ モニタインタフェース（送出手段）
２０，２１，２２，２３ カメラ（撮像装置）
３ 表示装置
Claims (9)
- 車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、
撮像装置から時系列的に入力される画像データ中の変化領域を検出する検出手段と、
該検出手段により検出した変化領域内のデータを抽出する抽出手段と、
該抽出手段により抽出した変化領域内のデータを、前記画像データに合成して合成データを生成する合成手段と、
該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする画像表示システム。 - 前記検出手段により検出した変化領域内のデータを、前記画像データ中の合成位置に対応付けるテーブルを生成する生成手段を備え、
前記合成手段は、前記生成手段により生成したテーブルに基づき、前記合成データを生成する手段を備える請求項１に記載の画像表示システム。 - 前記テーブルは、前記検出手段により検出した変化領域内のデータを、拡大して対応付けるものである請求項２に記載の画像表示システム。
- 車両に取り付けられる撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、
撮像装置から時系列的に入力される画像データ中の変化領域を検出する検出手段と、
該検出手段により検出した変化領域を囲む枠画像データを生成する生成手段と、
該生成手段により生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して合成データを生成する合成手段と、
該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする画像表示システム。 - 車両に取り付けられる複数の撮像装置で撮像された画像データを、車両に搭載される表示装置に表示させる画像表示システムにおいて、
複数の撮像装置から時系列的に入力される画像データ中の変化領域を夫々検出する検出手段と、
該検出手段により検出した変化領域を含む画像データを撮像した撮像装置を検知する検知手段と、
該検知手段により検知した撮像装置の撮像領域を示す領域データを、前記画像データに合成して合成データを生成する合成手段と、
該合成手段により生成した合成データを、前記表示装置に送出する送出手段とを備えることを特徴とする画像表示システム。 - 車両に取り付けられる撮像装置で撮像された画像データを、計算装置により、車両に搭載される表示装置に表示させる画像表示方法において、
前記計算装置は、
撮像装置から時系列的に入力される画像データ中の変化領域を検出し、
検出した変化領域内のデータを抽出し、
抽出した変化領域内のデータを、前記画像データに合成して合成データを生成し、
生成した合成データを、前記表示装置に送出することを特徴とする画像表示方法。 - 受け付けた画像データを外部へ伝送する車両用の画像処理装置において、
外部から時系列的に画像データを受け付ける受付手段と、
該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、
該検出手段により検出した変化領域内のデータを抽出する抽出手段と、
該抽出手段により抽出した変化領域内のデータを、前記画像データに合成して合成データを生成する合成手段と、
該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする画像処理装置。 - 受け付けた画像データを外部へ伝送する車両用の画像処理装置において、
外部から時系列的に画像データを受け付ける受付手段と、
該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を囲む枠画像データを生成する生成手段と、
該生成手段により生成した枠画像データを、前記画像データ中の前記検出手段により検出した変化領域を囲む位置に合成して合成データを生成する合成手段と、
該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする画像処理装置。 - 受け付けた画像データを外部へ伝送する車両用の画像処理装置において、
外部から時系列的に画像データを受け付ける受付手段と、
該受付手段により受け付けた画像データ中の変化領域を検出する検出手段と、該検出手段により検出した変化領域を含む画像データが示す位置を検知する検知手段と、
該検知手段により検知した位置を表す位置データを、前記画像データに合成して合成データを生成する合成手段と、
該合成手段により生成した合成データを外部へ送出する送出手段とを備えることを特徴とする画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002382339A JP2004212658A (ja) | 2002-12-27 | 2002-12-27 | 画像表示システム、画像表示方法及び画像処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002382339A JP2004212658A (ja) | 2002-12-27 | 2002-12-27 | 画像表示システム、画像表示方法及び画像処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004212658A true JP2004212658A (ja) | 2004-07-29 |
Family
ID=32817930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002382339A Pending JP2004212658A (ja) | 2002-12-27 | 2002-12-27 | 画像表示システム、画像表示方法及び画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004212658A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008141622A (ja) * | 2006-12-04 | 2008-06-19 | Fujitsu Ten Ltd | 車両周辺情報表示装置 |
| JP2010130647A (ja) * | 2008-12-01 | 2010-06-10 | Aisin Seiki Co Ltd | 車両周辺確認装置 |
| WO2010122828A1 (ja) * | 2009-04-23 | 2010-10-28 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP2011101093A (ja) * | 2009-11-04 | 2011-05-19 | Renesas Electronics Corp | 画像処理用半導体装置および画像処理装置 |
| JP2012090311A (ja) * | 2011-12-12 | 2012-05-10 | Fujitsu Ten Ltd | 車両表示装置 |
| CN103002251A (zh) * | 2011-09-16 | 2013-03-27 | 现代摩比斯株式会社 | 车用图像显示装置及从车用摄像头输入的快速变化图像的显示方法 |
| JP2020170341A (ja) * | 2019-04-03 | 2020-10-15 | パイオニア株式会社 | 表示制御装置、表示制御方法及びプログラム |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03267892A (ja) * | 1990-03-16 | 1991-11-28 | Toshiba Corp | 画像監視装置 |
| JPH07117561A (ja) * | 1993-10-27 | 1995-05-09 | Sharp Corp | 車載用監視カメラ装置 |
| JPH07200986A (ja) * | 1993-12-28 | 1995-08-04 | Nippon Signal Co Ltd:The | 画像式歩行者検出装置 |
| JPH08305999A (ja) * | 1995-05-11 | 1996-11-22 | Hitachi Ltd | 車載用カメラシステム |
| JPH0935177A (ja) * | 1995-07-18 | 1997-02-07 | Hitachi Ltd | 運転支援方法および運転支援装置 |
| JPH1042221A (ja) * | 1996-07-26 | 1998-02-13 | Digital Vision Lab:Kk | 画像通信装置 |
| JP2001006096A (ja) * | 1999-06-23 | 2001-01-12 | Honda Motor Co Ltd | 車両の周辺監視装置 |
| JP2001023091A (ja) * | 1999-07-07 | 2001-01-26 | Honda Motor Co Ltd | 車両の画像表示装置 |
| JP2001084500A (ja) * | 1999-09-14 | 2001-03-30 | Sumitomo Electric Ind Ltd | 移動体の走行支援装置 |
| JP2001163132A (ja) * | 1999-09-30 | 2001-06-19 | Toyota Autom Loom Works Ltd | 車両後方監視装置用画像変換装置 |
| JP2001204013A (ja) * | 2000-01-21 | 2001-07-27 | Nippon Seiki Co Ltd | 物体検出装置 |
| JP2002104117A (ja) * | 2000-10-03 | 2002-04-10 | Denso Corp | 車両用運転支援システム |
| JP2002127852A (ja) * | 2000-10-27 | 2002-05-09 | Aisin Seiki Co Ltd | 車両周辺表示装置 |
| JP2002312768A (ja) * | 2001-04-09 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
-
2002
- 2002-12-27 JP JP2002382339A patent/JP2004212658A/ja active Pending
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03267892A (ja) * | 1990-03-16 | 1991-11-28 | Toshiba Corp | 画像監視装置 |
| JPH07117561A (ja) * | 1993-10-27 | 1995-05-09 | Sharp Corp | 車載用監視カメラ装置 |
| JPH07200986A (ja) * | 1993-12-28 | 1995-08-04 | Nippon Signal Co Ltd:The | 画像式歩行者検出装置 |
| JPH08305999A (ja) * | 1995-05-11 | 1996-11-22 | Hitachi Ltd | 車載用カメラシステム |
| JPH0935177A (ja) * | 1995-07-18 | 1997-02-07 | Hitachi Ltd | 運転支援方法および運転支援装置 |
| JPH1042221A (ja) * | 1996-07-26 | 1998-02-13 | Digital Vision Lab:Kk | 画像通信装置 |
| JP2001006096A (ja) * | 1999-06-23 | 2001-01-12 | Honda Motor Co Ltd | 車両の周辺監視装置 |
| JP2001023091A (ja) * | 1999-07-07 | 2001-01-26 | Honda Motor Co Ltd | 車両の画像表示装置 |
| JP2001084500A (ja) * | 1999-09-14 | 2001-03-30 | Sumitomo Electric Ind Ltd | 移動体の走行支援装置 |
| JP2001163132A (ja) * | 1999-09-30 | 2001-06-19 | Toyota Autom Loom Works Ltd | 車両後方監視装置用画像変換装置 |
| JP2001204013A (ja) * | 2000-01-21 | 2001-07-27 | Nippon Seiki Co Ltd | 物体検出装置 |
| JP2002104117A (ja) * | 2000-10-03 | 2002-04-10 | Denso Corp | 車両用運転支援システム |
| JP2002127852A (ja) * | 2000-10-27 | 2002-05-09 | Aisin Seiki Co Ltd | 車両周辺表示装置 |
| JP2002312768A (ja) * | 2001-04-09 | 2002-10-25 | Matsushita Electric Ind Co Ltd | 運転支援装置 |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008141622A (ja) * | 2006-12-04 | 2008-06-19 | Fujitsu Ten Ltd | 車両周辺情報表示装置 |
| JP2010130647A (ja) * | 2008-12-01 | 2010-06-10 | Aisin Seiki Co Ltd | 車両周辺確認装置 |
| US9067537B2 (en) | 2009-04-23 | 2015-06-30 | Honda Motor Co., Ltd. | Vehicle periphery monitoring device |
| JP2010258705A (ja) * | 2009-04-23 | 2010-11-11 | Honda Motor Co Ltd | 車両周辺監視装置 |
| CN102415096A (zh) * | 2009-04-23 | 2012-04-11 | 本田技研工业株式会社 | 车辆周围监测装置 |
| CN102415096B (zh) * | 2009-04-23 | 2015-05-27 | 本田技研工业株式会社 | 车辆周围监测装置 |
| WO2010122828A1 (ja) * | 2009-04-23 | 2010-10-28 | 本田技研工業株式会社 | 車両周辺監視装置 |
| JP2011101093A (ja) * | 2009-11-04 | 2011-05-19 | Renesas Electronics Corp | 画像処理用半導体装置および画像処理装置 |
| US9367315B2 (en) | 2009-11-04 | 2016-06-14 | Renesas Electronics Corporation | Image processing semiconductor device and image processing device |
| US9836247B2 (en) | 2009-11-04 | 2017-12-05 | Renesas Electronics Corporation | Image processing semiconductor device and image processing device |
| US10037169B2 (en) | 2009-11-04 | 2018-07-31 | Renesas Electronics Corporation | Image processing semiconductor device and image processing device |
| CN103002251A (zh) * | 2011-09-16 | 2013-03-27 | 现代摩比斯株式会社 | 车用图像显示装置及从车用摄像头输入的快速变化图像的显示方法 |
| JP2012090311A (ja) * | 2011-12-12 | 2012-05-10 | Fujitsu Ten Ltd | 車両表示装置 |
| JP2020170341A (ja) * | 2019-04-03 | 2020-10-15 | パイオニア株式会社 | 表示制御装置、表示制御方法及びプログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2437494B1 (en) | Device for monitoring area around vehicle | |
| JP5003395B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
| JP5615441B2 (ja) | 画像処理装置及び画像処理方法 | |
| WO2009098743A1 (ja) | 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法 | |
| JP2003259361A (ja) | 車両用画像処理装置 | |
| JP2007172540A (ja) | 移動体判定システム、移動体判定方法、及びコンピュータプログラム | |
| JP5163165B2 (ja) | 車両周辺画像処理装置及び車両周辺状況提示方法 | |
| CN108141567B (zh) | 图像生成***以及图像生成方法 | |
| JP2004212658A (ja) | 画像表示システム、画像表示方法及び画像処理装置 | |
| JP2007139564A (ja) | 障害物検出システム、障害物検出方法及びコンピュータプログラム | |
| JP2004312402A (ja) | 道路監視システム，道路監視装置 | |
| JP4677847B2 (ja) | 車両用周囲監視装置及び車両周囲監視方法 | |
| JP2006254318A (ja) | 車載用カメラ及び車載用監視装置並びに前方道路領域撮像方法 | |
| JP3788400B2 (ja) | 画像処理装置、画像処理方法及び車両監視システム | |
| JP2008026999A (ja) | 障害物検出システム、及び障害物検出方法 | |
| JP2007087203A (ja) | 衝突判定システム、衝突判定方法及びコンピュータプログラム | |
| JP5906696B2 (ja) | 車両周辺撮影装置および車両周辺画像の処理方法 | |
| JP4404047B2 (ja) | 障害物衝突判定システム、判定装置、障害物衝突判定方法及びコンピュータプログラム | |
| JP3467774B2 (ja) | 画像処理装置、画像処理方法及び車両監視システム | |
| JPH07195978A (ja) | 車両周囲表示装置 | |
| KR101030210B1 (ko) | 자동차용 장애물 인식 시스템 및 그 방법 | |
| JP2966683B2 (ja) | 車両用障害物検出装置 | |
| JP2004266766A (ja) | 動体検出システム | |
| JP2006197614A (ja) | 画像処理装置、画像処理方法及び車両監視システム | |
| JP2007168547A (ja) | 障害物衝突判定システム、障害物衝突判定方法及びコンピュータプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051017 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070327 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070807 |