JP5091643B2 - 画像処理装置、運転支援システム及び車両 - Google Patents

Description

本発明は、複数の入力画像から出力画像を生成する画像処理装置に関する。また本発明は、その画像処理装置を利用した運転支援システム及び車両に関する。

近年、安全志向の高まりから、運転補助用のシステムとして後退時に車両後方を映像として表示するリアビューカメラシステムや車両側方を映像として表示するサイドカメラシステムが実用化されて販売されている。この種のシステムの中で、複数のカメラにて取得された画像を合成して同時に表示するシステムも提案されている。例えば、車体四方に取り付けた複数のカメラからの入力画像を合成して表示する全周カメラシステムの開発が活発化している。全周カメラシステムの一種として、複数のカメラからの入力画像を地面上に投影して合成することにより全周鳥瞰画像を生成し、これを表示する全周鳥瞰システムも提案されている（例えば、下記特許文献２参照）。

図１８に、全周鳥瞰画像の例を示す。図１８の全周鳥瞰画像は、車両を上空から見た画像となっている。画像の中央に車体のイラストを描画し、その車体の前後左右に各カメラからの入力画像を地面上に投影した画像を配置することで、全周鳥瞰画像は形成される。図１８において、ｃｈ１、ｃｈ２、ｃｈ３及びｃｈ４は、夫々、車両の前側、右側、後側及び左側に設置されたカメラからの映像に対応している。尚、図１８において、車体のイラスト内に示された矢印は、車両の進行方向を示している。

複数のカメラからの入力画像を合成して１画面内に同時に表示する場合、複数の入力画像間で同期をとる必要がある。同期をとる方式の１つとして外部同期方式がある。外部同期方式では、各カメラ共通の外部同期信号を生成し、この外部同期信号を各カメラに与えることで複数のカメラから同期のとれた映像信号を出力させる。

但し、外部同期方式を採用すると、外部同期信号を生成する同期信号発生部が必要となると共に外部同期信号を各カメラに供給する配線が必要となるため、システムの構成が複雑化する。また、カメラモジュール自体の小型化にも悪影響を与える。このため、外部同期信号を必要としない内部同期カメラを用いてシステムを構築することが一般的となっている。

しかしながら、複数の内部同期カメラを用いてシステムを構築すると、特許文献１にも指摘されているような、表示映像の遅延や複数の入力画像間の取得時間ずれが問題となってくる。

運転者は危険を認識してから回避行動を起こすため、危険の認識の元となる映像表示にはリアルタイム性が要求される。従って、特許文献１にも示唆されているように、車両用システムにおいてカメラからの入力画像が表示されるまでの遅延は短ければ短いほど良い、ことは自明である。これを考慮し、引用文献１の手法では、相互に非同期な複数のカメラからの入力画像を入力バッファに記憶しておき、出力画像の垂直同期信号の発生時点において入力バッファに記憶されている最新の入力画像を選択し、選択した入力画像から出力画像を生成するようにしている。

引用文献１の手法を採用した画像処理回路（不図示）を用いて、図１８に示すような全周鳥瞰画像を出力画像として生成して表示する場合を考える。尚、説明の便宜上、映像信号がノンインターレース方式の映像信号であることを想定し、映像をフレーム単位で考える。インターレース方式を採用する場合は、フレームをフィールドに置き換えて考えればよい。

ｃｈ４に対応する画像にのみ着目した図１９を参照する。図１９には、ｃｈ４の入力画像の入力タイミングと出力画像の出力タイミングとの関係が示されている。第１、第２、第３、第４及び第５フレームにおけるｃｈ４の入力画像が、順次、画像処理回路（不図示）に与えられ、それらは入力バッファに記憶されてゆく（第１フレームの入力画像は不図示）。画像処理回路は、タイミングｔ１、ｔ２、ｔ３及びｔ４において、出力画像２０１、２０２、２０３及び２０４用の垂直同期信号を発生する。

図１９に示す例の場合、タイミングｔ１では、第１フレームのｃｈ４の入力画像の全体が入力バッファに保持されているものの第２フレームのｃｈ４の入力画像は入力バッファに書き込まれている最中である。そこで、画像処理回路は、第１フレームのｃｈ４の入力画像を用いて出力画像２０１を生成する。同様に、第２、３、４フレームのｃｈ４の入力画像を用いて、夫々、出力画像２０２、２０３及び２０４を生成する。生成された各出力画像は順次表示される。尚、図１９において、出力画像２０１〜２０４内の、ｃｈ４に対応する部分に記載された数値は、ｃｈ４のフレーム番号を表している。

更に、引用文献１の手法を採用した画像処理回路（不図示）を用いて、図２０に示すような表示画像を表示する場合を考える。この場合、表示画面の全表示領域が左側領域と右上領域と右下領域に３分割される。そして、左側領域に全周鳥瞰画像が表示され、右上領域にｃｈ３の入力画像が拡大表示され、右下領域に車両速度等の付加情報が表示される。尚、図２０において、車体のイラスト内に示された矢印は、車両の進行方向を示している。

ｃｈ３に対応する画像にのみ着目した図２１を参照する。図２１には、ｃｈ３の入力画像の入力タイミングと出力画像の出力タイミングとの関係が示されている。第１、第２、第３、第４及び第５フレームにおけるｃｈ３の入力画像が、順次、画像処理回路（不図示）に与えられ、それらは入力バッファに記憶されてゆく（第１フレームの入力画像は不図示）。画像処理回路は、タイミングｔ１１、ｔ１２、ｔ１３及びｔ１４において出力画像２１１、２１２、２１３及び２１４用の垂直同期信号を発生する。

図２１に示す例の場合、タイミングｔ１１では、第１フレームのｃｈ３の入力画像の全体が入力バッファに保持されているものの第２フレームのｃｈ３の入力画像は入力バッファに書き込まれている最中である。そこで、画像処理回路は、第１フレームのｃｈ３の入力画像を用いて出力画像２１１を生成する。出力画像２１１には、ｃｈ３の入力画像に基づく画像を表示する領域が２つ設けられているが、その２つの領域の双方に対して第１フレームの入力画像が適用される。同様に、第２、３、４フレームのｃｈ３の入力画像を用いて、夫々、出力画像２１２、２１３及び２１４を生成する。生成された各出力画像は順次表示される。尚、図２１において、出力画像２１１〜２１４内の、ｃｈ３に対応する部分に記載された数値は、ｃｈ３のフレーム番号を表している。

特開２００６−１８０３４０号公報 特開２００６−２８７８９２号公報

上述したように、リアルタイム性が要求される用途においてカメラからの入力画像が表示されるまでの遅延は短ければ短いほど良いが、特許文献１の手法はあらゆる状況に対して最適な遅延低減作用をもたらすとは言えない（詳細は後の説明文から明らかとなる）。より遅延低減効果の高い技術が望まれる。

そこで本発明は、複数の入力画像から出力画像を生成する際の遅延の低減に寄与する画像処理装置を提供することを目的とする。また本発明は、それを利用した運転支援システム及び車両を提供することを目的とする。

上記目的を達成するために本発明に係る画像処理装置は、第１〜第ｎの内部同期カメラの夫々にて順次撮像される入力画像の画像データの入力を受け、各々が１枚分の入力画像の画像データを記憶する複数のフレームメモリを前記内部同期カメラごとに有する入力メモリ部と（ｎは２以上の整数）、前記第１〜第ｎの内部同期カメラの夫々からの画像データの入力タイミングと出力画像の画像データの出力タイミングとのタイミング関係に基づいて、前記内部同期カメラごとに前記出力画像の形成に利用されるフレームメモリを指定フレームメモリとして選択する選択手段と、各指定フレームメモリに記憶される前記入力画像を合成することによって前記出力画像の画像データを生成して出力する出力手段と、を備えた画像処理装置であって、前記出力手段は、各内部同期カメラからの前記入力画像上の各画素と前記出力画像上の各画素との対応関係を規定する所定の対応情報に基づいて、各指定フレームメモリに記憶される前記入力画像の画像データから前記出力画像の画像データを生成し、ｉを１以上ｎ以下の整数とした場合、前記選択手段は、第ｉの内部同期カメラからの最新の入力画像の画像データを記憶すべきフレームメモリに着目し、前記対応情報から定まる情報に基づいて、第ｉの内部同期カメラからの入力画像の画像データが前記出力画像の画像データとして出力されるべきタイミングにおいて着目したフレームメモリの画像データを利用できるか否か、の判定を行い、その判定結果に基づいて、第ｉの内部同期カメラに対する前記指定フレームメモリを前記選択タイミングにおいて選択することを特徴とする。

内部同期カメラごとに指定フレームメモリの選択タイミングを設定することにより、内部同期カメラごとに遅延低減の最適化を図ることができる。

より具体的には例えば、第ｉの内部同期カメラからの前記入力画像上の水平ラインと該水平ラインに対応する前記出力画像上の水平ラインとのライン位置の相違及び該相違の最大量が前記対応情報によって定まり、前記選択手段は、前記選択タイミングを水平ライン単位で設定し、前記相違の最大量に基づいて前記判定を行う。

或いは例えば、第ｉの内部同期カメラからの前記入力画像上の画素と該画素に対応する前記出力画像上の画素との画素位置の相違及び該相違の最大量が前記対応情報によって定まり、前記選択手段は、前記選択タイミングを画素単位で設定し、前記相違の最大量に基づいて前記判定を行う。

また例えば、前記選択手段は、前記第１〜第ｎの内部同期カメラの内の少なくとも１台の内部同期カメラに対する前記選択タイミングを複数個設定し、複数個の選択タイミングが設定された内部同期カメラに対する前記指令フレームメモリの選択を前記複数個の選択タイミングの夫々において行う。

これにより、１つの内部同期カメラからの入力画像に基づく画像を１枚の出力画像内の複数領域に描画する場合においても、各領域に対して遅延低減の最適化が図られる。

また例えば、当該画像処理装置は、前記選択手段を有するとともに割り込み要求を発生するタイマを内蔵した演算処理手段を更に備え、前記演算処理手段は、前記選択タイミングに前記割り込み要求が発生するように前記タイマを作動させて前記割り込み要求の発生時に前記指定フレームメモリの選択を行う。

また本発明に係る運転支援システムは、車両に取り付けられた第１~第ｎの内部同期カメラと（ｎは２以上の整数）、上記の画像処理装置と、を備え、前記画像処理装置にて生成された出力画像の画像データを表示手段に供給することにより前記出力画像を表示手段において表示することを特徴とする。

また本発明に係る車両は、第１〜第ｎの内部同期カメラが取り付けられ（ｎは２以上の整数）、且つ、上記の画像処理装置が設置されたことを特徴とする。

本発明によれば、複数の入力画像から出力画像を生成する際の遅延の低減に寄与する。

本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。

以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。

図１は、本実施形態に係る運転支援システムが適用される車両１００を上方から見た平面図であり、その車両１００へのカメラの設置状態を表している。図２は、車両１００を左斜め前方から見た図である。図１及び図２には、車両１００としてトラックが示されているが、車両１００はトラック以外の車両（普通乗用車など）であってもよい。また、車両１００は地面（例えば路面）上に配置されているものとする。

図１に示す如く、車両１００の前部、右側部、後部及び左側部に、夫々、カメラＣＡ１、ＣＡ２、ＣＡ３及びＣＡ４が取り付けられている。また、本実施形態において、カメラＣＡ１、ＣＡ２、ＣＡ３及びＣＡ４を区別せずに、単にカメラ或いは各カメラと呼ぶ場合もある。

また、図２に示す如く、カメラＣＡ１は、例えば車両１００のフロントミラー上部に設置され、カメラＣＡ４は、例えば車両１００の左側面の最上部に設置される。図２には示されていないが、カメラＣＡ３は、例えば車両１００の後部の最上部に設置され、カメラＣＡ２は、例えば車両１００の右側面の最上部に設置される。

カメラＣＡ１の光軸の向きが車両１００の前方斜め下向きになるように、且つ、カメラＣＡ２の光軸の向きが車両１００の右方斜め下向きになるように、且つ、カメラＣＡ３の光軸の向きが車両１００の後方斜め下向きになるように、且つ、カメラＣＡ４の光軸の向きが車両１００の左方斜め下向きになるように、カメラＣＡ１〜ＣＡ４は車両１００に設置される。

図２には、カメラＣＡ１とＣＡ４の視野（即ち、撮影領域）が斜線領域によって示されている。カメラＣＡ１は、車両１００前方の所定領域内に位置する被写体（路面を含む）を撮像する。カメラＣＡ２は、車両１００右側の所定領域内に位置する被写体を撮像する。カメラＣＡ３は、車両１００後方の所定領域内に位置する被写体を撮像する。カメラＣＡ４は、車両１００左側の所定領域内に位置する被写体を撮像する。

図３に、本発明の実施形態に係る運転支援システムの全体構成ブロック図を示す。運転支援システムは、カメラＣＡ１〜ＣＡ４の他、デコーダＤＥＣ１〜ＤＥＣ４及び符号１１〜１７にて参照される各部位を備える。

カメラＣＡ１〜ＣＡ４として、ＣＣＤ（Charge Coupled Devices）を用いたカメラや、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いたカメラが用いられる。カメラＣＡ１〜ＣＡ４の夫々は、外部同期信号を必要としない内部同期カメラである。即ち、各カメラは内部クロックを発生する内部クロック発生回路を備えており、カメラＣＡ１〜ＣＡ４は、各々の内部クロックに従い、各々が独立したタイミングで映像信号を出力する。このため、カメラＣＡ１〜ＣＡ４からの映像信号は互いに非同期であり、各カメラを非同期カメラと呼ぶこともできる。

各カメラから出力される映像信号をＶｉｎにて表す。各カメラは、所定のフレーム周期にて順次撮像を行い、撮像によって得られた画像を表す画像データを含む映像信号Ｖｉｎを出力する。この撮像によって得られた画像は画像処理回路１１に入力されるため、その画像を以下、「入力画像」と呼ぶことにする。映像信号Ｖｉｎは、入力画像の画像データＤｉｎと垂直同期信号Ｖｓｙｎｃ及び水平同期信号Ｈｓｙｎｃを含む。

カメラＣＡ１に関する画像や信号、データ等がチャネルｃｈ１に対応するものとする。同様に、カメラＣＡ２、ＣＡ３、ＣＡ４に関する画像や信号、データ等が、夫々、チャネルｃｈ２、ｃｈ３及びｃｈ４に対応するものとする。

カメラＣＡ１、ＣＡ２、ＣＡ３及びＣＡ４からの映像信号Ｖｉｎは、夫々、デコーダＤＥＣ１、ＤＥＣ２、ＤＥＣ３及びＤＥＣ４によって画像データと垂直同期信号Ｖｓｙｎｃ及び水平同期信号Ｈｓｙｎｃに同期分離されて画像処理回路１１に送られる。画像処理回路１１に送られた画像データは、ＲＡＭ部１２内のフレームメモリ領域１２ａに書き込まれて記憶される。ＲＡＭ部１２は、ＳＲＡＭ（Static Random Access Memory）やＳＤＡＲＭ（Synchronous Dynamic Random Access Memory）などから形成される。

ＲＡＭ部１２内のＬＵＴ領域１２ｂには、各カメラからの入力画像の各画素と画像処理回路１１の出力画像の各画素との対応関係を表すテーブルデータが記憶される。このテーブルデータに従ってフレームメモリ領域１２ａ内に書き込まれた入力画像の画像データを読み出すことで出力画像の画像データが得られ、出力画像の画像データをエンコーダ１３に送ることで出力画像が表示画像として表示装置１４の表示画面上に表示される。尚、以下の説明において、単に表示画面といった場合、それは、表示装置１４の表示画面を意味するものとする。

上記のテーブルデータは、運転支援システムの電源投入時などの適切なタイミングにおいて不揮発性メモリであるＦＲＯＭ（Flash Read Only Memory）１５からＬＵＴ領域１２ｂに送られてＬＵＲ領域１２ｂ内に記憶される。テーブルデータは複数個あり、複数のテーブルデータが個別にＬＵＴ領域１２ｂに格納される。ＬＵＴ領域１２ｂに格納された複数のテーブルデータの夫々はＬＵＴ（ルックアップテーブル）を形成する。ＬＵＴによって規定される入力画像の各画素と出力画像の各画素との対応関係は、複数のＬＵＴ間で互いに異なる。

形成される複数のＬＵＴは、第１及び第２ＬＵＴを含むものとする。第１ＬＵＴは、各カメラからの入力画像より図１８に示すような出力画像を生成して表示装置１４に表示させるためのＬＵＴであり、第２ＬＵＴは、各カメラからの入力画像より図２０に示すような出力画像を生成して表示装置１４に表示させるためのＬＵＴである。

第１ＬＵＴを用いると、表示画面の全表示領域を用いて全周鳥瞰画像が表示される。各カメラからの入力画像を地面上に投影して合成することにより全周鳥瞰画像は形成される。図１８の表示画面上には、全周鳥瞰画像の中央位置に車両１００の車体のイラストが重畳表示されている。尚、図１８において、車体のイラスト内に示された矢印は、車両１００の進行方向を示している。

第２ＬＵＴを用いると、表示画面の全表示領域が左側領域と右上領域と右下領域に３分割される。そして、左側領域に全周鳥瞰画像が表示され、右上領域にカメラＣＡ３の入力画像が拡大表示され、右下領域に付加情報が表示される。付加情報は、車両１００に設けられたセンサ等によって計測された車両１００の走行速度や車両１００のエンジンの回転数などであり、それらを表す情報は車両１００に設けられたＣＡＮ（コントロールエリアネットワーク）を介して運転支援システムに伝達される。

尚、出力画像を生成する時点で付加情報を付加して図２０のような表示画像を得ることも可能であるが、付加情報を含まない出力画像を画像処理回路１１にて生成した後に図示されない別回路で付加情報を表す画像を出力画像に重畳することによって、図２０のような表示画像を得ることも可能である。図１８又は図２０における車体のイラストに関しても同様である。付加情報や車体のイラストを表示画面上で描画すること自体は本実施形態の特徴的な技術に関与しないので、以下の説明では、それらを描画するための処理を無視する。

ＬＵＴ領域１２ｂに形成された複数のＬＵＴの内の何れか１つがＭＰＵ（Micro Processing Unit）１６に選択され、選択されたＬＵＴを用いて出力画像（及び表示画像）が生成される。操作部１７に対する操作内容に応じて或るいはＣＡＮを介してＭＰＵ１６に与えられるＬＵＴ選択信号に応じて、ＭＰＵ１６は何れのＬＵＴを選択するかを決定すると共に決定内容に応じたＬＵＴ選択情報を画像処理回路１１に送る（図１２参照）。尚、操作部１７は、ユーザによる操作を受け付け、その操作内容はＭＰＵ１６に伝達される。

出力画像の映像信号をＶｏｕｔで表し、その映像信号Ｖｏｕｔに含まれる画像データ、垂直同期信号及び水平同期信号を夫々Ｄｏｕｔ、Ｖｓｙｎｃ２及びＨｓｙｎｃ２で表す。入力画像の映像信号Ｖｉｎと出力画像の映像信号Ｖｏｕｔは互いに非同期である。即ち、画像処理回路１１は、入力画像の映像信号Ｖｉｎの垂直同期信号Ｖｓｙｎｃ及び水平同期信号Ｈｓｙｎｃと独立して、出力画像の映像信号Ｖｏｕｔの垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２を生成及び出力し、その垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２の生成及び出力のタイミングに同期させて出力画像の画像データＤｏｕｔを出力する。エンコーダ１３は、画像処理回路１１からの垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２と画像データＤｏｕｔとを結合して映像信号Ｖｏｕｔを生成し、これを表示装置１４に供給することで出力画像を表示画面上に表示させる。

表示装置１４は、液晶ディスプレイパネル等から形成される。カーナビゲーションシステムなどに含まれる表示装置を、運転支援システムにおける表示装置１４として流用しても良い。運転支援システムを形成する各部位は車両１００の適切な部分に設置されるが、表示装置１４は車両１００の運転席付近に設置される。

図４（ａ）及び（ｂ）に示す如く、入力画像又は出力画像上の画素の水平位置及び垂直位置を表す記号としてｘ及びｙを導入し、入力画像又は出力画像上における各画素の位置を（ｘ，ｙ）にて表す。入力画像上の画素に対するｘ及びｙは、それぞれ、その画素の属する、入力画像の垂直ライン及び水平ラインの位置を表している。出力画像上の画素に対するｘ及びｙは、それぞれ、その画素の属する、出力画像の垂直ライン及び水平ラインの位置を表している。入力画像に関し、ｘが大きくなれば入力画像上の位置は右方向に向かい、ｙが大きくなれば入力画像上の位置は下方向に向かう。同様に、出力画像に関し、ｘが大きくなれば出力画像上の位置は右方向に向かい、ｙが大きくなれば出力画像上の位置は下方向に向かう。

入力画像の水平方向及び垂直方向の画素数を夫々Ｘｓｉｚｅ及びＹｓｉｚｅとする。以下の説明では、Ｘｓｉｚｅ＝６４０且つＹｓｉｚｅ＝４８０、であるとする。出力画像の水平方向及び垂直方向の画素数は、入力画像のそれらと同じであるとする。従って、ｘは「０≦ｘ＜Ｘｓｉｚｅ」を満たす各整数値を取り、ｙは「０≦ｙ＜Ｙｓｉｚｅ」を満たす各整数値を取る。

映像信号Ｖｉｎ及びＶｏｕｔをインターレース方式による映像信号とすることも可能であるが、今、映像信号Ｖｉｎ及びＶｏｕｔがノンインターレース方式による映像信号であるものとし、入力画像の画像データ及び出力画像の画像データがラスター走査順に入力及び出力されるものとする。つまり、１枚の入力画像に関し、位置（０，０）、（１，０）、（２，０）、・・・、（Ｘｓｉｚｅ−１，０）、（０，１）、（１，１）、（２，１）、・・・、（Ｘｓｉｚｅ−１，１）、・・・、（０，Ｙｓｉｚｅ−２）、・・・、（Ｘｓｉｚｅ−１，Ｙｓｉｚｅ−２）、（０，Ｙｓｉｚｅ−１）、・・・、（Ｘｓｉｚｅ−１，Ｙｓｉｚｅ−１）の画素信号の順番で、入力画像の画像データが画像処理回路１１に入力される。出力画像の画像データも同様である。画素信号とは、画像を形成する画素の輝度又は輝度及び色を表す値である。入力画像を形成する各画素の画素信号によって入力画像の画像データが形成され、出力画像を形成する各画素の画素信号によって出力画像の画像データが形成される。

本例では説明を簡単にするため、出力画像のフレーム周期は、入力画像のそれと同じであるとする。従って、垂直同期信号ＶｓｙｎｃとＶｓｙｎｃ２の発生周期は同じである。更に説明を簡単にするため、本例では、或る入力画像の画素信号の入力周期（画像処理回路１１への入力周期）と出力画像の画素信号の出力周期（画像処理回路１１からの出力周期）は同じであるものとする（ピクセルクロックは同じであるものとする）。

図３のフレームメモリ領域１２ａ内には、図５に示す如く、カメラごとに４つのフレームメモリが設けられる。カメラＣＡ１に対して４つのフレームメモリＭ₁［１］〜Ｍ₁［４］が設けられ、カメラＣＡ２に対して４つのフレームメモリＭ₂［１］〜Ｍ₂［４］が設けられ、カメラＣＡ３に対して４つのフレームメモリＭ₃［１］〜Ｍ₃［４］が設けられ、カメラＣＡ４に対して４つのフレームメモリＭ₄［１］〜Ｍ₄［４］が設けられる。各フレームメモリは、入力画像の画像データを１枚分記憶可能である。カメラＣＡ１にて周期的に取得された入力画像は、Ｍ₁［１］、Ｍ₁［２］、Ｍ₁［３］、Ｍ₁［４］、Ｍ₁［１］・・・の順番で４フレーム前の入力画像を最新フレームの入力画像で上書きするように循環的に（サイクリックに）記憶されてゆく。カメラＣＡ２〜ＣＡ４に対しても同様である。

本実施形態に係る運転支援システムは、入力画像が取得されてから該入力画像に基づく出力画像が表示されるまでの遅延を低減する機能を備えている。この機能の基本原理について説明する。

図１８に示す如く表示画面の全表示領域を使って全周鳥瞰画像が表示されるように、第１ＬＵＴを用いて各入力画像から出力画像を生成する場合を考える。ｃｈ４に対応する画像にのみ着目した、図１９と対比されるべき図６を参照する。図６には、ｃｈ４の入力画像の入力タイミングと出力画像の出力タイミングとの関係が示されている。第１、第２、第３、第４及び第５フレームにおけるｃｈ４の入力画像が、順次、画像処理回路１１に与えられ、それらはｃｈ４用のフレームメモリ（即ち、フレームメモリＭ₄［１］〜Ｍ₄［４］）に循環的に記憶されてゆく（第１フレームの入力画像は不図示）。画像処理回路１１は、タイミングｔ１、ｔ２、ｔ３及びｔ４において、夫々、出力画像３０１、３０２、３０３及び３０４用の垂直同期信号Ｖｓｙｎｃ２を発生する。

図６に示す例の場合、タイミングｔ１において、第１フレームのｃｈ４の入力画像の全画像データがフレームメモリ領域１２ａに保持されている一方で、第２フレームのｃｈ４の入力画像の画像データはフレームメモリ領域１２ａに書き込まれている最中である。しかしながら、ｃｈ４の入力画像が反映される領域は出力画像３０１内の下方に位置しており、ｃｈ４の入力画像の画像データを実際にフレームメモリ領域１２ａから読み出す開始タイミングｔ_Aにおいては、第２フレームのｃｈ４の入力画像の全画像データがフレームメモリ領域１２ａに書き込まれている（尚、タイミングｔ_Aは、タイミングｔ１とｔ２との間のタイミングである）。

従って、この場合、画像処理装置１１は、第２フレームのｃｈ４の入力画像を用いて出力画像３０１を生成する。同様に、第３、４、５フレームのｃｈ４の入力画像を用いて、夫々、出力画像３０２、３０３及び３０４を生成して表示する。尚、図６において、出力画像３０１〜３０４内の、ｃｈ４に対応する部分に記載された数値は、ｃｈ４のフレーム番号を表している。

図６に示す例では、タイミングｔ_Aにおいて第２フレームのｃｈ４の入力画像の全画像データがフレームメモリ領域１２ａに書き込まれているが、図７に示す如く、タイミングｔ_Aにおいて第２フレームのｃｈ４の入力画像の全画像データがフレームメモリ領域１２ａに書き込まれていなかったとしても、第２フレームのｃｈ４の入力画像を用いて出力画像３０１が生成されうる。タイミングｔ_Aにおいては未だ書き込まれていない第２フレームのｃｈ４の入力画像の一部画像データ３０６が、仮に、タイミングｔ_A直後では読み出されず、タイミングｔ２近辺に出力画像３０１の一部画像データとして読み出されるならば、他の条件にも依存するが図７のような状況においても第２フレームのｃｈ４の入力画像を用いて出力画像３０１を生成することが可能である。

次に、図２０に示すような表示画像が表示されるように、第２ＬＵＴを用いて各入力画像から出力画像を生成する場合を考える。ｃｈ３に対応する画像にのみ着目した、図２１と対比されるべき図８を参照する。図８には、ｃｈ３の入力画像の入力タイミングと出力画像の出力タイミングとの関係が示されている。第１、第２、第３、第４及び第５フレームにおけるｃｈ３の入力画像が、順次、画像処理回路１１に与えられ、それらはｃｈ３用のフレームメモリ（即ち、フレームメモリＭ₃［１］〜Ｍ₃［４］）に循環的に記憶されてゆく（第１フレームの入力画像は不図示）。画像処理回路１１は、タイミングｔ１１、ｔ１２、ｔ１３及びｔ１４において、夫々、出力画像３１１、３１２、３１３及び３１４用の垂直同期信号Ｖｓｙｎｃ２を発生する。

図８に示す例の場合、タイミングｔ１１において、第１フレームのｃｈ３の入力画像の全画像データがフレームメモリ領域１２ａに保持されている一方で、第２フレームのｃｈ３の入力画像の画像データはフレームメモリ領域１２ａに書き込まれている最中である。タイミングｔ１１直後から表示画面の右上領域にｃｈ３の入力画像に基づく画像を描画する必要があるため、出力画像３１１の右上領域には第１フレームのｃｈ３の入力画像を適用する。一方、出力画像３１１の左側領域に描画されるべき全周鳥瞰画像内のｃｈ３の対応領域は、出力画像３１１内の下方に位置しており、この領域に対するｃｈ３の画像データを実際にフレームメモリ領域１２ａから読み出す開始タイミングｔ_Bにおいては、第２フレームのｃｈ３の入力画像の全画像データがフレームメモリ領域１２ａに書き込まれている（尚、タイミングｔ_Bは、タイミングｔ１１とｔ１２との間のタイミングである）。

従って、画像処理装置１１は、出力画像３１１に含まれる全周鳥瞰画像内のｃｈ３の対応領域に対して第２フレームのｃｈ３の入力画像を用いることも可能であり、この場合、出力画像３１１内に、第１フレームと第２フレームのｃｈ３の入力画像が混在することになる。出力画像３１２〜３１４に対しても同様である。このように画面下部のｃｈ３の画像の分だけでも最新の情報を運転者に提示できれば、安全上のメリットはある。尚、図８において、出力画像３１１〜３１４内の、ｃｈ３に対応する部分に記載された数値は、ｃｈ３のフレーム番号を表している。

上述のような出力画像の生成のために、基本的には、以下のような判断処理を行う。説明の単純化のため、ｃｈ４の入力画像の一部矩形領域を切り出した画像を、そのまま、出力画像の所定領域に嵌め込んで出力画像を生成する場合を考える。図９は、この状況に対応するｃｈ４の入力画像と出力画像の関係を表している。具体的な例として、位置（１００，１００）と位置（３００，３００）とを結ぶ線分を対角線として有する矩形領域内の画像をｃｈ４の入力画像から切り出し、その切り出し画像を、位置（５０，１００）を起点として出力画像内に嵌め込むことを想定する。位置（５０，１００）と位置（２５０，３００）とを結ぶ線分を対角線として有する、出力画像内の矩形領域に、その切り出し画像が嵌め込まれる。この場合、出力画像上の位置（５０，１００）の画素の画素信号を読み出す時点において、最新フレームのｃｈ４の位置（１００，１００）の画素信号が書き込まれて読み出し可能であるならば、その最新フレームのｃｈ４の入力画像を出力可能である。

一般に、出力画像の位置（Ｘｏｕｔ，Ｙｏｕｔ）に入力画像の位置（Ｘｉｎ，Ｙｉｎ）の画素の像を表示する場合、Ｙｏｕｔの水平ラインの画素信号の出力時点で着目フレームの（Ｙｉｎ＋α）の水平ラインの各画素信号がフレームメモリ領域１２ａに書き込まれていると、その着目フレームの入力画像を用いて出力画像を生成することが可能となる。ここで、αは、ＳＤＲＡＭへのアクセス時間に代表される、回路内部の処理自体にかかるレイテンシ（遅延時間）をライン数で表したものである。αの値は、システムの処理速度などに依存して予め定められる。フレーム内補間（映像信号がインターレース方式の映像信号である場合は、フィールド内補間）を使用しない回路であれば、αを１とすれば十分である。以下、α＝１であるとする。

従って、図９に示す例の場合は、Ｙｏｕｔ＝５０且つ（Ｙｉｎ＋α）≒（１００＋１）＝１０１より、５０番目の水平ラインの画素信号の出力時点で着目フレームの１０１番目の水平ラインの各画素信号がフレームメモリ領域１２ａに書き込まれていると、その着目フレームの入力画像を用いて出力画像を生成することが可能となる。つまり、ｃｈ４用のフレームメモリＭ₄［１］〜Ｍ₄［４］の内、最新の入力画像の画像データが書きこまれるべきフレームメモリ（図１０の例において、Ｍ₄［３］）に着目し、５０番目の水平ラインの各画素信号が出力されるべきタイミングにおいて着目したフレームメモリの１０１番目の水平ラインの各画素信号が書き込まれているか否かを判定すればよい。そして、書き込まれておれば、着目したフレームメモリ内の画像データを用いて出力画像を生成し、書き込まれていなければ、１つ前のフレームの入力画像が保持されているフレームメモリ（図１０の例において、Ｍ₄［２］）内の画像データを用いて出力画像を生成する。

説明の単純化のため、切り出し画像を出力画像にそのまま嵌め込む例を説明したが、入力画像の画像データに、レンズ歪補正、鳥瞰変換及び（又は）画像の拡大／縮小処理を施す場合は、入力画像の画素と出力画像の画素との関係は非常に複雑となる。尚、鳥瞰変換とは、入力画像を地面に投影して鳥瞰画像を得るための変換を意味し、全周鳥瞰画像も鳥瞰変換を利用して得られる。

図１１に、図１８に対応する全周鳥瞰画像を得るための第１ＬＵＴのテーブルデータを模式的に表す。図１１は、（６４０×４８０）の画像サイズに適合したＬＵＴのテーブルデータを表しており、このＬＵＴのテーブルデータには（６４０×４８０）個の入力画素位置情報が含まれている。各入力画素位置情報には、画素の水平位置及び垂直位置を表す情報とチャネル番号とが含まれている。ＬＵＴ上のアドレス（ｐ，ｑ）における入力画素位置情報は、出力画像上の位置（ｐ，ｑ）の画素に対する入力画素位置情報である（ｐ及びｑは、０≦ｐ＜Ｘｓｉｚｅ且つ０≦ｑ＜Ｙｓｉｚｅ、を満たす整数）。

例えば、図１１におけるＬＵＴ上のアドレス（０，０）には入力画素位置情報（６００，８０，ｃｈ１）が格納されており、これは、“ｃｈ１の入力画像における位置（６００，８０）の画素の画素信号を出力画像における位置（０，０）の画素の画素信号として読み出すべき”ことを規定している。また例えば、図１１におけるＬＵＴ上のアドレス（１，０）には入力画素位置情報（１０，７８，ｃｈ２）が格納されており、これは、“ｃｈ２の入力画像における位置（１０，７８）の画素の画素信号を出力画像における位置（１，０）の画素の画素信号として読み出すべき”ことを規定している。また例えば、図１１におけるＬＵＴ上のアドレス（０，１）には入力画素位置情報（６０１，７９，ｃｈ１）が格納されており、これは、“ｃｈ１の入力画像における位置（６０１，７９）の画素の画素信号を出力画像における位置（０，１）の画素の画素信号として読み出すべき”ことを規定している。

図９に示す例では、入力画像上の水平ラインと該水平ラインに対する出力画像上の水平ラインとのライン位置の相違は常に５０ライン分であったが、鳥瞰変換などを実現すべく図１１に示すようなＬＵＴを用いると、この相違を表す（Ｙｉｎ−Ｙｏｕｔ）の値は、出力画像上の画素の位置によって様々の値をとる。最新の画像を表示するためには（Ｙｉｎ−Ｙｏｕｔ）の値を正確に把握する必要がある。

そこで、ＬＵＴによって入力画像上の位置（Ｘｉｎ，Ｙｉｎ）における画素が出力画像上の位置（Ｘｏｕｔ，Ｙｏｕｔ）に対応付けられていると考えた時の（Ｙｉｎ−Ｙｏｕｔ）をΔＹとおき、ＬＵＴ上で一塊となっているチャネル毎に全てのΔＹの値を求める。そして、チャネル毎にΔＹの値の最大値ΔＹ_MAXを求め、その塊が表示される最初の水平ラインの画素信号の読み出しタイミングにおいて（Ｙｏｕｔ＿ｔｏｐ＋ΔＹ_MAX＋α）番目の水平ラインの画素信号が書き込まれている最新のフレームメモリを出力画像生成用のフレームメモリとして選択するようにする。Ｙｏｕｔ＿ｔｏｐは、上記の塊が表示される最初の水平ラインの番号を表す。これにより、映像遅延の最小化が図られる。

具体例を挙げてΔＹ_MAX等の意義を説明する。図９に示す例では、ｃｈ１に対するΔＹは全て５０であるためｃｈ１に対するΔＹ_MAXは５０となる。一方で、ｃｈ１の入力画像に基づく画像が表示される、出力画像上の最初の水平ラインの番号は、Ｙｏｕｔ＿ｔｏｐ＝５０である。従って、ｃｈ１に対する（Ｙｏｕｔ＿ｔｏｐ＋ΔＹ_MAX＋α）は、５０＋５０＋１＝１０１より、１０１となる。従って、ｃｈ１の入力画像が表示される最初の水平ライン、即ち５０（＝Ｙｏｕｔ＿ｔｏｐ）番目の水平ラインの画素信号の読み出しタイミングにおいて１０１（＝Ｙｏｕｔ＿ｔｏｐ＋ΔＹ_MAX＋α）番目の水平ラインの画素信号が書き込まれている最新のフレームメモリを出力画像生成用のフレームメモリとして選択するようにする。

図１１に示す例では、ＬＵＴ上のアドレス（０，０）に対するΔＹは（Ｙｉｎ−Ｙｏｕｔ）＝８０−０より８０となり且つＬＵＴ上のアドレス（０，１）に対するΔＹは（Ｙｉｎ−Ｙｏｕｔ）＝７９−１より７８となる。この２つのΔＹは、ｃｈ１に対するΔＹである。ｃｈ１に関して、ＬＵＴ上の他のアドレスに対しても同様にΔＹを求め、求めたΔＹの最大値をｃｈ１に対するΔＹ_MAXとする。一方、図１１に示すＬＵＴを用いると、ｃｈ１の入力画像に基づく画像が表示される、出力画像上の最初の水平ラインの番号Ｙｏｕｔ＿ｔｏｐは０である（ＬＵＴ上のアドレス（０，０）における入力画素位置情報はｃｈ１に対するものであるため）。従って、仮にｃｈ１に対するΔＹ_MAXが１２０であるなら、ｃｈ１に対する（Ｙｏｕｔ＿ｔｏｐ＋ΔＹ_MAX＋α）は、０＋１２０＋１＝１２１より、１２１となる。ｃｈ２、ｃｈ３及びｃｈ４の夫々に対しても、ΔＹ_MAX及びＹｏｕｔ＿ｔｏｐが同様にして求められる。尚、図１１のＬＵＴを用いる場合、ｃｈ４に対するＹｏｕｔ＿ｔｏｐだけが０以外の値をとる。

以下、ｃｈ１〜ｃｈ４に対するΔＹ_MAXをΔＹ_MAX1〜ΔＹ_MAX4で表すこととし、ｃｈ１〜ｃｈ４に対するＹｏｕｔ＿ｔｏｐをＹｏｕｔ＿ｔｏｐ₁〜Ｙｏｕｔ＿ｔｏｐ₄で表すことする。図３のＬＵＴ領域１２ｂ内に形成されるＬＵＴごとにΔＹ_MAX1〜ΔＹ_MAX4及びＹｏｕｔ＿ｔｏｐ₁〜Ｙｏｕｔ＿ｔｏｐ₄の値は定められ、出力画像を形成するために使用するＬＵＴを指定すれば、その指定されたＬＵＴ内のテーブルデータに基づいてΔＹ_MAX1〜ΔＹ_MAX4及びＹｏｕｔ＿ｔｏｐ₁〜Ｙｏｕｔ＿ｔｏｐ₄の値は自動的に決まる。各ＬＵＴ内のテーブルデータは予め定められるものであるため、各ＬＵＴに対するΔＹ_MAX1〜ΔＹ_MAX4及びＹｏｕｔ＿ｔｏｐ₁〜Ｙｏｕｔ＿ｔｏｐ₄の値も予め定めておくこととができる。

上述した出力画像の生成処理に関する実施例として、以下に、第１〜第３実施例を例示する。或る実施例に記載した事項は、矛盾なき限り、他の実施例にも適用可能である。

＜＜第１実施例＞＞
まず、第１実施例について説明する。図１２は、第１実施例に係る画像処理回路１１の内部構成をも示す、運転支援システムの一部ブロック図である。第１実施例に係る画像処理回路１１は、図１２の符号２１〜２５にて参照される各部位を備える。ＲＡＭ部１２は書き込みアドレス生成回路２１、ＬＵＴアドレス生成回路２３及び読み出しアドレス生成回路２４の他、ＭＰＵ１６からもアクセスされる（ＭＰＵ１６によるアクセスの様子は不図示）。従って、ＲＡＭ部１２に対するデータの読み書きは実際には調停回路２５による調停制御の下で実行されるが、説明の簡略化のため、この調停回路２５の存在を無視して以下の説明を行うものとする。

チャネル数は４であるが各チャネルのデータに対する画像処理回路１１の動作は４つのチャネル間で同様である。従って、チャネルの番号を表す変数ｉを導入し、適宜、ｉを用いて説明の簡略化を図る（ｉは、１、２、３又は４である）。例えば、デコーダＤＥＣｉとは、チャネルｃｈ１を考える場合はデコーダＤＥＣ１を意味し、チャネルｃｈ２を考える場合はデコーダＤＥＣ２を意味する。

書き込みアドレス生成回路２１は、図３のデコーダＤＥＣｉからの垂直同期信号Ｖｓｙｎｃ及び水平同期信号ＨｓｙｎｃとデコーダＤＥＣｉからの画素信号の出力間隔に同期したピクセルクロック（不図示）とに基づいて、現時点において図３のデコーダＤＥＣｉから送られてくる画素信号（画像データＤｉｎを形成する画素信号）が書き込まれるべきＲＡＭ部１２上のアドレス（以下、書き込みアドレスという）を生成し、これをＲＡＭ部１２に与える。書きこみアドレスは、ＲＡＭ部１２内のフレームメモリＭ_i［１］〜Ｍ_i［４］上のアドレスである。

図３のデコーダＤＥＣｉからの画素信号は、フレームメモリＭ_i［１］〜Ｍ_i［４］内の、書き込みアドレスにて指定されたアドレスに書き込まれる。現時点において入力される画素信号がフレームメモリＭ_i［１］〜Ｍ_i［４］の内の何れのフレームメモリに格納されるべきかをも、書き込みアドレス生成回路２１は管理している。また、書き込みアドレスは、読み出しアドレス生成回路２４にも与えられる。

映像出力アドレス生成回路２２は、映像信号Ｖｉｎとは非同期で駆動し、出力画像用の垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２を生成して出力すると共に、垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２に同期した映像出力アドレスを生成し、該映像出力アドレスをＬＵＴアドレス生成回路２３に送る。

ＬＵＴアドレス生成回路２３は、ＭＰＵ１６から送られてくるＬＵＴ選択情報に従って、ＲＡＭ部１２のＬＵＴ領域１２ｂに格納されている複数のＬＵＴの内の１つのＬＵＴを選択する。選択されたＬＵＴを、以下「指定ＬＵＴ」と呼ぶ。そして、ＬＵＴアドレス生成回路２３は、映像出力アドレスに応じた、指定ＬＵＴ上のアドレス（以下、ＬＵＴアドレスという）を生成する。このＬＵＴアドレスはＲＡＭ部１２に送られて、指定ＬＵＴ上のＬＵＴアドレスにおけるデータがＲＡＭ部１２からＬＵＴ情報として読み出され、このＬＵＴ情報は読み出しアドレス生成回路２４に送られる。ＬＵＴ情報は、図１１を用いて示した、（６００，８０，ｃｈ１）などの入力画素位置情報と同じものである。

読み出しアドレス生成回路２４は、入力画像の画像データの入力タイミングと出力画像の画像データの出力タイミングとのタイミング関係と、指定ＬＵＴに対するΔＹ_MAX1〜ΔＹ_MAX4及びＹｏｕｔ＿ｔｏｐ₁〜Ｙｏｕｔ＿ｔｏｐ₄に応じて作成される読み出しメモリ切替情報と、に基づいて、出力画像の生成に利用可能な最新の入力画像が格納されるフレームメモリをチャネル毎に１つずつ選択する。入力画像の画像データの入力タイミングは書き込みアドレスによって特定される。出力画像の画像データの出力タイミングは、垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２に基づいて、又は、映像出力アドレスに基づいて特定される。

選択したフレームメモリを、以下、「指定フレームメモリ」という。つまり、上記タイミング関係と読み出しメモリ切替情報に基づいて、ｃｈ１用のフレームメモリＭ₁［１］〜Ｍ₁［４］の内の１つをｃｈ１用の指定フレームメモリとして選択し、且つ、ｃｈ２用のフレームメモリＭ₂［１］〜Ｍ₂［４］の内の１つをｃｈ２用の指定フレームメモリとして選択し、ｃｈ３用のフレームメモリＭ₃［１］〜Ｍ₃［４］の内の１つをｃｈ３用の指定フレームメモリとして選択し、ｃｈ４用のフレームメモリＭ₄［１］〜Ｍ₄［４］の内の１つをｃｈ４用の指定フレームメモリとして選択する。この選択は、読み出しメモリ切替情報に基づく、指定フレームメモリの切替判定を介して行われる（詳細は後述）。

読み出しアドレス生成回路２４は、ＬＵＴ情報によって指定されるチャネル及び画素位置の画素信号を指定フレームメモリから読み出すべく、ＬＵＴ情報に基づいて指定フレームメモリ上の読み出しアドレスを生成する。この読み出しアドレスに書き込まれていた画素信号は、出力画像の、映像出力アドレスに対応する位置の画素の画素信号としてエンコーダ１３に出力される。

以下、特に記述無き限り、指定ＬＵＴが第１ＬＵＴであって且つ第１ＬＵＴのテーブルデータが図１１に示すそれと同じである場合を想定する。

また、映像出力に関し、全期間は、出力画像上の各位置（０，０）〜（Ｘｓｉｚｅ−１，Ｙｓｉｚｅ−１）における画素信号が実際に出力される有効映像期間と、ブランキング期間を含む無効映像期間と、に分類される（図４（ｂ）参照）。映像出力アドレス生成回路２２から出力される映像出力アドレスは、無効映像期間をも含むアドレスであるため、その映像出力アドレスの水平成分（換言すれば、垂直ラインの番号を表す成分）及び垂直成分（換言すれば、水平ラインの番号を表す成分）は夫々Ｘｓｉｚｅ及びＹｓｉｚｅ以上の値を示す場合がある。

本実施例及び後述の各実施例では、映像出力アドレス生成回路２２からの、無効映像期間をも含めた映像出力アドレスの水平成分及び垂直成分の最大値を夫々Ｘｓｉｚｅ’及びＹｓｉｚｅ’とする。即ち、映像出力アドレス生成回路２２は、（０，０）、（１，０）、（２，０）、・・・、（Ｘｓｉｚｅ’，０）、（０，１）、（１，１）、（２，１）、・・・、（Ｘｓｉｚｅ’，Ｙｓｉｚｅ’）の順に映像出力アドレスを生成するものとする。ここで、Ｘｓｉｚｅ’＞Ｘｓｉｚｅ、且つ、Ｙｓｉｚｅ’＞Ｙｓｉｚｅである。

上述してきた位置（ｘ，ｙ）は、出力画像上に実際に描写される画素の座標を表している。出力画像上に実際に描写される画素が配列される座標系を、有効映像座標系と呼ぶ。一方、無効映像期間をも含めた座標系を無効映像座標系と呼ぶ。有効映像座標系は、無効映像座標系に内包される。無効映像座標系上の座標を（ｘ’，ｙ’）で表す。以下、有効映像座標系上の座標（ｘ，ｙ）を有効映像座標とも呼び、無効映像座標系上の座標（ｘ’，ｙ’）を無効映像座標とも呼ぶ。そして、今、有効映像座標（０，０）に対応する無効映像座標（ｘ’，ｙ’）が（２０，２０）であり、無効映像座標（２０，２０）から出力画像上の実際の画素が配列されるものとする。

有効映像座標（０，０）の１水平ライン前の座標は無効映像座標（２０，１９）に相当し、無効映像座標（２０，１９）を有効映像座標で表すと（０，−１）となるものとして以下の説明を行う。また、説明の簡略化のため、映像出力アドレス生成回路２２から出力される映像出力アドレスが無効映像期間に属するアドレス（例えば、（０，−１））である場合は、ＬＵＴアドレス生成回路２３からＬＵＴアドレス（０，０）が出力されるものとする。

尚、映像出力アドレスを基にしてＬＵＴアドレスの生成を介してフレームメモリから読み出される画素信号と、垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２とのタイミング関係は、調停回路２５とエンコーダ１３との間に設けられた図示されないＦＩＦＯ（First In, First Out）により調整されるものとする。また、エンコーダ１３の前段に映像信号Ｖｏｕｔを受ける同期付加回路（不図示）が設けられ、その同期付加回路によって、映像信号Ｖｏｕｔに無効映像期間の同期信号が付加されると共に同期信号以外の信号の信号レベルが決定される。

具体的な数値を挙げて画素信号の読み出し動作の説明を具体化する。映像出力アドレス生成回路２２は、ＳＤＲＡＭへのアクセス時間を含むレイテンシを考慮し、着目した画素が実際に表示されるタイミングよりも１水平ライン分早く、その画素に対応する映像出力アドレスを生成する。例えば、出力画像の位置（０，０）の画素信号をエンコーダ１３に出力しようとする場合、映像出力アドレス生成回路２２は、映像出力アドレス（０，−１）をＬＵＴアドレス生成回路２３に送る。ＬＵＴアドレス生成回路２３は、映像出力アドレス（０，−１）に応じたＬＵＴアドレスを生成する。このＬＵＴアドレスは、出力画像上の位置（０，０）に対応した入力画素位置情報（即ち、（６００，８０，ｃｈ１）；図１１参照）が格納された指定ＬＵＴ上のアドレスである。実際には、ＬＵＴアドレスはＳＤＲＡＭの全体メモリ空間上のアドレスであるが、図１１を参照して説明したように、出力画像上の位置（０，０）に対応した入力画素位置情報が格納されているＬＵＴ上のアドレスを（０，０）と捉えているため、ＬＵＴアドレスは（０，０）となる。

ＬＵＴアドレス（０，０）におけるデータはＬＵＴ情報として読み出される。このＬＵＴ情報は、出力画像上の位置（０，０）に対応した入力画素位置情報（６００，８０，ｃｈ１）である（図１１参照）。今、ｃｈ１に対する指定フレームメモリがフレームメモリＭ₁［３］であるとした場合、読み出しアドレス生成回路２４は、このＬＵＴ情報に基づき、ｃｈ１の入力画像における位置（６００，８０）の画素の画素信号が書き込まれているフレームメモリＭ₁［３］上のアドレスを、読み出しアドレスとして生成する。この読み出しアドレスに従って読み出された画素信号は、出力画像の位置（０，０）の画素信号としてエンコーダ１３に出力される。以上のような動作を出力画像上の各位置に対して実行することにより、出力画像の全体を表す画像データＤｏｕｔがエンコーダ１３に出力され、出力画像が表示画面上に表示されるようになる。

図１３に、読み出しメモリ切替情報の構成を示す。読み出しメモリ切替情報は、切替判定タイミングを規定する切替判定タイミング情報と切替判定条件を規定する切替判定条件情報とをチャネルごとに含んでいる。ｃｈｉに対する切替判定タイミング情報は（Ｙｏｕｔ＿ｔｏｐ_i−α）であり、ｃｈｉに対する切替判定条件情報は（Ｙｏｕｔ＿ｔｏｐ_i＋ΔＹ_MAXi）である（上述したように、ｉは１、２、３又は４である）。読み出しメモリ切替情報はＬＵＴごとに設定されており、指定ＬＵＴが或るＬＵＴから他のＬＵＴに切り替えられると、その切り替え時の垂直帰線期間にＭＰＵ１６から切り替え先のＬＵＴに適応した読み出しメモリ切替情報が読み出しアドレス生成回路２４に送られる。

読み出しアドレス生成回路２４は、各チャネルを対象とし、切替判定タイミング情報によって規定される切替判定タイミングにおいて、対象となるチャネルの入力画像を読み出すべきフレームメモリを切り替えるか否かを判断する。この判断は、対象となるチャネルに対する切替判定条件が満たされるか否かを判定することによって行われる。

ｃｈ４に着目してより具体的に説明する（図１０の状況を想定する）。出力画像の（Ｙｏｕｔ＿ｔｏｐ₄−α）番目の水平ライン、即ち、ｃｈ４の切替判定タイミング情報によって表される（Ｙｏｕｔ＿ｔｏｐ₄−α）番目の水平ラインの画素信号をＲＡＭ部１２から読み出してエンコーダ１３に出力すべきタイミングが、ｃｈ４に対する切替判定タイミングである。尚、切替判定タイミングを認識できるように、読み出しアドレス生成回路２４は、適宜、垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２や映像出力アドレスを参照する。

読み出しアドレス生成回路２４は、この切替判定タイミングにおいて、ｃｈ４の入力画像を読み出すべきフレームメモリを切り替えるか否かを書き込みアドレスに基づいて判断する。この判断前におけるｃｈ４の指定フレームメモリがフレームメモリＭ₄［２］である場合は、指定フレームメモリをフレームメモリＭ₄［２］からｃｈ４の最新の入力画像の画像データが書き込まれている最中であることが想定されるフレームメモリＭ₄［３］に切り替えるか否かを判断する。

この切り替えに関する判断は、ｃｈ４の最新の入力画像における（Ｙｏｕｔ＿ｔｏｐ₄＋ΔＹ_MAX4）番目の水平ラインの各画素信号が、ｃｈ４の切替判定タイミングにおいて、フレームメモリＭ₄［３］に既に書き込まれているか否かを判定することによって行われる。即ち、ｃｈ４の切替判定条件情報によって表される（Ｙｏｕｔ＿ｔｏｐ₄＋ΔＹ_MAX4）番目の水平ラインの各画素信号が、ｃｈ４の切替判定タイミングにおいて、フレームメモリＭ₄［３］に既に書き込まれているか否かを判定することによって、この切り替えに関する判断を行う。そして、書き込みアドレスに基づいて、それが既に書き込まれていると判定された場合は出力画像の形成にフレームメモリＭ₄［３］を利用できるためｃｈ４の指令フレームメモリをフレームメモリＭ₄［２］からフレームメモリＭ₄［３］へと切り替え、それが既に書き込まれていると判定されなかった場合はｃｈ４の指令フレームメモリをフレームメモリＭ₄［２］のままとする。

このように、読み出しアドレス生成回路２４は、各カメラからの画像データの入力タイミングと出力画像の画像データの出力タイミングとのタイミング関係を考慮して、チャネルごとに出力画像の形成に利用される指定フレームメモリを複数のフレームメモリの中から選択する。この際、この選択動作を、チャネルごとに個別に設定された切替判定タイミング（換言すれば、選択タイミング）において行うようにする。上述の説明から理解されるように、切替判定タイミング情報を含む読み出しメモリ切替情報は、各チャネルの入力画像に基づく画像を出力画像上のどの位置にどのように配置するかに依存して決定され、その決定内容はＬＵＴによって表現される。

また、切替判定条件は、ΔＹ_MAX1〜ΔＹ_MAX4に依存する。一方で、入力画像上の各画素と出力画像上の各画素との対応関係を規定するＬＵＴのテーブルデータが定まれば自動的にΔＹ_MAX1〜ΔＹ_MAX4が決まる。従って、切替判定条件に基づく指定フレームメモリの切替判定はそのテーブルデータに基づいて実行されていると解釈することができる。

また、図１８に示すような表示画像を得るための第１ＬＵＴが指定ＬＵＴとなっている場合、各チャネルの切替判定タイミングの個数は１枚の出力画像に対して１つであるが、指定ＬＵＴによっては、それを２つ以上とすることもできる。例えば、図２０に示すような表示画像を得るための第２ＬＵＴが指定ＬＵＴとなっている場合は、ｃｈ３の入力画像に基づく画像が配置される領域が１枚の出力画像中に２つ設けられるため、ｃｈ３の切替判定タイミングの個数を１枚の出力画像に対して２つとすることも可能である。この場合、その２つの切替判定タイミングの夫々に対して切替判定条件が設定される。そして、各切替判定タイミングにおいて、対応する切替判定条件の成立／不成立を判定し、その判定結果に基づいてｃｈ３に対する指定フレームメモリの選択を行えば良い。

＜＜第２実施例＞＞
第１実施例では、ライン単位で指定フレームメモリの切替判定を行うことで映像出力における遅延の低減を図っているが、回路規模の増大が許されるなら、画素単位で該切替判定を行うことも可能である。画素単位で指定フレームメモリの切替判定を行えば、遅延の低減効果が更に高まる。画素単位で指定フレームメモリの切替判定を行う実施例を、第２実施例として説明する。第２実施例は、第１実施例の一部を変形した実施例に相当する。そのため、第１実施例との相違点にのみ着目して説明を行う。

まず、図３のＬＵＴ領域１２ｂ内の各ＬＵＴに着目し、上述したΔＹの代わりにΔＸＹを求める。具体的には（図１１参照）、ＬＵＴによって入力画像上の位置（Ｘｉｎ，Ｙｉｎ）（即ち、無効映像期間をも含めた無効映像座標（Ｘｉｎ’，Ｙｉｎ’））における画素が出力画像上の位置（Ｘｏｕｔ，Ｙｏｕｔ）（即ち、無効映像期間をも含めた無効映像座標（Ｘｏｕｔ’，Ｙｏｕｔ’））に対応付けられていると考えた時の（Ｘｉｎ＋Ｙｉｎ・Ｘｓｉｚｅ’−（Ｘｏｕｔ＋Ｙｏｕｔ・Ｘｓｉｚｅ’））をΔＸＹとおき、ＬＵＴ上で一塊となっているチャネル毎に全てのΔＸＹの値を求める。そして、チャネル毎にΔＸＹの値の最大値ΔＸＹ_MAXを求め、その塊が表示される最初の画素の画素信号の読み出しタイミングにおいて（ＸＹｏｕｔ＿ｔｏｐ＋ΔＸＹ_MAX＋α’）の画素の画素信号が書き込まれている最新のフレームメモリを出力画像生成用のフレームメモリとして選択するようにする。

ＸＹｏｕｔ＿ｔｏｐは、上記の塊が表示される最初の画素の画素番号を表し、その画素の位置（換言すれば座標）が（ｘ，ｙ）である場合、即ち無効映像期間をも含めた該画素の座標が（ｘ’，ｙ’）である場合は、ＸＹｏｕｔ＿ｔｏｐ＝ｘ’＋ｙ’・Ｘｓｉｚｅ’、と定義される。α’は、ＳＤＲＡＭへのアクセス時間に代表される、回路内部の処理自体にかかるレイテンシ（遅延時間）を画素数で表したものである。α’の値は、システムの処理速度などに依存して予め定められる。

具体例を挙げてΔＸＹ等の意義を説明する。Ｘｓｉｚｅ’＝７２０且つＹｓｉｚｅ’＝５２５であるとし、図１１に示すＬＵＴを例にとる。ＬＵＴ上のアドレス（０，０）に対するΔＸＹは（Ｘｉｎ＋Ｙｉｎ・Ｘｓｉｚｅ’−（Ｘｏｕｔ＋Ｙｏｕｔ・Ｘｓｉｚｅ’））＝６００＋８０・７２０−（０＋０・７２０）＝５８２００より５８２００となり且つＬＵＴ上のアドレス（０，１）に対するΔＸＹは（Ｘｉｎ＋Ｙｉｎ・Ｘｓｉｚｅ’−（Ｘｏｕｔ＋Ｙｏｕｔ・Ｘｓｉｚｅ’））＝６０１＋７９・７２０−（０＋１・７２０）＝５６７６１より５６７６１となる。この２つのΔＸＹは、ｃｈ１に対するΔＸＹである。ｃｈ１に関する、ＬＵＴ上の他のアドレスに対しても同様にΔＸＹを求め、求めたΔＸＹの最大値をｃｈ１に対するΔＸＹ_MAXとする。

一方、図１１に示すＬＵＴを用いると、ｃｈ１の入力画像に基づく画像が表示される、出力画像上の最初の画素の画素番号ＸＹｏｕｔ＿ｔｏｐは０である（ＬＵＴ上のアドレス（０，０）における入力画素位置情報はｃｈ１に対するものであるため）。従って、仮にｃｈ１に対するΔＸＹ_MAXが６００００であるなら、ｃｈ１に対する（ＸＹｏｕｔ＿ｔｏｐ＋ΔＸＹ_MAX＋α’）は、（６００００＋α’）となる。ｃｈ２、ｃｈ３及びｃｈ４の夫々に対しても、ΔＸＹ_MAX及びＸＹｏｕｔ＿ｔｏｐが同様にして求められる。

以下、ｃｈ１〜ｃｈ４に対するΔＸＹ_MAXをΔＸＹ_MAX1〜ΔＸＹ_MAX4で表すこととし、ｃｈ１〜ｃｈ４に対するＸＹｏｕｔ＿ｔｏｐをＸＹｏｕｔ＿ｔｏｐ₁〜ＸＹｏｕｔ＿ｔｏｐ₄で表すことする。図３のＬＵＴ領域１２ｂ内に形成されるＬＵＴごとにΔＸＹ_MAX1〜ΔＸＹ_MAX4及びＸＹｏｕｔ＿ｔｏｐ₁〜ＸＹｏｕｔ＿ｔｏｐ₄の値は定められ、出力画像を形成するために使用する指定ＬＵＴを定まれば、その指定ＬＵＴ内のテーブルデータに基づいてΔＸＹ_MAX1〜ΔＸＹ_MAX4及びＸＹｏｕｔ＿ｔｏｐ₁〜ＸＹｏｕｔ＿ｔｏｐ₄の値は自動的に決まる。各ＬＵＴ内のテーブルデータは予め定められるものであるため、各ＬＵＴに対するΔＸＹ_MAX1〜ΔＸＹ_MAX4及びＸＹｏｕｔ＿ｔｏｐ₁〜ＸＹｏｕｔ＿ｔｏｐ₄の値も予め定めておくこととができる。

第２実施例に係る画像処理回路１１の内部構成は、図１２のそれと同じであり、画像処理回路１１内の各部の動作は基本的には第１実施例と同じである。但し、画素単位の切替判定を行うべく、読み出しメモリ切替情報は、第１実施例のそれと異なる。

図１４に、第２実施例に係る読み出しメモリ切替情報の構成を示す。読み出しメモリ切替情報は、切替判定タイミングを規定する切替判定タイミング情報と切替判定条件を規定する切替判定条件情報とをチャネルごとに含んでいる。ｃｈｉに対する切替判定タイミング情報は（ＸＹｏｕｔ＿ｔｏｐ_i−α’）であり、ｃｈｉに対する切替判定条件情報は（ＸＹｏｕｔ＿ｔｏｐ_i＋ΔＸＹ_MAXi）である（上述したように、ｉは１、２、３又は４である）。読み出しメモリ切替情報はＬＵＴごとに設定されており、指定ＬＵＴが或るＬＵＴから他のＬＵＴに切り替えられると、その切り替え時の垂直帰線期間にＭＰＵ１６から切り替え先のＬＵＴに適応した読み出しメモリ切替情報が読み出しアドレス生成回路２４に送られる。

読み出しアドレス生成回路２４は、各チャネルを対象とし、切替判定タイミング情報によって規定される切替判定タイミングにおいて、対象となるチャネルの入力画像を読み出すべきフレームメモリを切り替えるか否かを判断する。この判断は、対象となるチャネルに対する切替判定条件が満たされるか否かを判定することによって行われる。

ｃｈ４に着目してより具体的に説明する（図１０の状況を想定する）。出力画像の（ＸＹｏｕｔ＿ｔｏｐ₄−α’）番目の画素、即ち、ｃｈ４の切替判定タイミング情報によって表される（ＸＹｏｕｔ＿ｔｏｐ₄−α’）番目の画素の画素信号をＲＡＭ部１２から読み出してエンコーダ１３に出力すべきタイミングが、ｃｈ４に対する切替判定タイミングである。尚、切替判定タイミングを認識できるように、読み出しアドレス生成回路２４は、適宜、垂直同期信号Ｖｓｙｎｃ２及び水平同期信号Ｈｓｙｎｃ２や映像出力アドレスを参照する。

読み出しアドレス生成回路２４は、この切替判定タイミングにおいて、ｃｈ４の入力画像を読み出すべきフレームメモリを切り替えるか否かを判断する。この判断前におけるｃｈ４の指定フレームメモリがフレームメモリＭ₄［２］である場合は、指定フレームメモリをフレームメモリＭ₄［２］からｃｈ４の最新の入力画像の画像データが書き込まれている最中であることが想定されるフレームメモリＭ₄［３］に切り替えるか否かを判断する。

この切り替えに関する判断は、ｃｈ４の最新の入力画像における（ＸＹｏｕｔ＿ｔｏｐ₄＋ΔＸＹ_MAX4）番目の画素の画素信号が、ｃｈ４の切替判定タイミングにおいて、フレームメモリＭ₄［３］に既に書き込まれているか否かを判定することによって行われる。即ち、ｃｈ４の切替判定条件情報によって表される（ＸＹｏｕｔ＿ｔｏｐ₄＋ΔＸＹ_MAX4）番目の画素の画素信号が、ｃｈ４の切替判定タイミングにおいて、フレームメモリＭ₄［３］に既に書き込まれているか否かを判定することによって、この切り替えに関する判断を行う。そして、書き込みアドレスに基づいて、それが既に書き込まれていると判定された場合は出力画像の形成にフレームメモリＭ₄［３］を利用できるためｃｈ４の指令フレームメモリをフレームメモリＭ₄［２］からフレームメモリＭ₄［３］へと切り替え、それが既に書き込まれていると判定されなかった場合はｃｈ４の指令フレームメモリをフレームメモリＭ₄［２］のままとする。

第１実施例では、切替判定タイミングをライン単位で設定し、入出力画像間の対応する水平ラインの位置の相違ΔＹの最大値（ΔＹ_MAX1〜ΔＹ_MAX4）に基づいて指定フレームメモリの切替判定（換言すれば、指定フレームメモリの選択）を行っているのに対し、第２実施例では、切替判定タイミングを画素単位で設定し、入出力画像間の対応する画素の位置の相違ΔＸＹの最大値（ΔＸＹ_MAX1〜ΔＸＹ_MAX4）に基づいて指定フレームメモリの切替判定（換言すれば、指定フレームメモリの選択）を行っている。

尚、第１実施例でも述べたのと同様、指定ＬＵＴによっては、或るチャネルの切替判定タイミングの個数が１枚の出力画像に対して２以上となりうる。例えば、第２ＬＵＴが指定ＬＵＴとなっている場合は、ｃｈ３の切替判定タイミングの個数を１枚の出力画像に対して２つとすることも可能である。この場合、その２つの切替判定タイミングの夫々に対して切替判定条件が設定される。そして、各切替判定タイミングにおいて、対応する切替判定条件の成立／不成立を判定し、その判定結果に基づいてｃｈ３に対する指定フレームメモリの選択を行えば良い。

＜＜第３実施例＞＞
第１及び第２実施例では、画像処理回路１１内部で指定フレームメモリの選択などをも行っているが、第１及び第２実施例の画像処理回路１１が行っていた機能の一部を、演算処理手段としてのＭＰＵ１６に担わせることも当然に可能である。このことを具体化した実施例として、第３実施例を説明する。

図１５は、第３実施例に係る画像処理回路１１の内部構成をも示す、運転支援システムの一部ブロック図である。第３実施例に係る画像処理回路１１は、図１５の符号２１〜２３、２４ａ、２５及び２６にて参照される各部位を備える。第３実施例でも、調停回路２５の存在を無視した説明を行う。

図１５の書き込みアドレス生成回路２１、映像出力アドレス生成回路２２及びＬＵＴアドレス生成回路２３の各動作は、第１実施例で示したものと同じである。ＬＵＴアドレス生成回路２３が生成したＬＵＴアドレスに従ってＲＡＭ部１２から読み出されたＬＵＴ情報は、読み出しアドレス生成回路２４ａに送られる。

読み出しアドレス生成回路２４ａには、ＭＰＵ１６からフレームメモリ指定情報が与えられる。フレームメモリ指定情報は、各チャネルの指定フレームメモリを定める情報である。読み出しアドレス生成回路２４ａは、フレームメモリ指定情報に従って各チャネルの指定フレームメモリを特定し、ＬＵＴ情報によって指定されるチャネル及び画素位置の画素信号を指定フレームメモリから読み出すべく、ＬＵＴ情報に基づいて指定フレームメモリ上の読み出しアドレスを生成する。この読み出しアドレスに書き込まれていた画素信号は、出力画像の、映像出力アドレスに対応する位置の画素の画素信号としてエンコーダ１３に出力される。

ＭＰＵ１６にてフレームメモリ指定情報を作成するために、ＭＰＵ１６が入力画像の画像データの入力タイミングと出力画像の画像データの出力タイミングを正確に把握する必要がある。そこで、図１５に示す構成では、書き込みアドレス生成回路２１が生成した書き込みアドレスをレジスタ２６に与えるようにし、垂直同期信号Ｖｓｙｎｃ２の発生時点における書き込みアドレスをレジスタ２６にラッチさせてＭＰＵ１６に与える。一方で、垂直同期信号Ｖｓｙｎｃ２の発生時点において、ＭＰＵ１６に対する割り込み要求を発生させるようにする。これにより、ＭＰＵ１６は、割り込み要求発生時点を垂直同期信号Ｖｓｙｎｃ２の発生時点として把握すると共に、その時点における書き込みアドレスを同時に認識する。即ち、入力画像の画像データの入力タイミングと出力画像の画像データの出力タイミングとのタイミング関係がＭＰＵ１６において認識される。

ＭＰＵ１６は、指定ＬＵＴに適応した図１３に示すような読み出しメモリ切替情報を予め認識している。そして、ＭＰＵ１６は、切替判定タイミングをＭＰＵ１６に内蔵されたタイマ（不図示）を用いて認識し、その切替判定タイミングにおいて切替判定条件の成立／不成立を判断することにより指定フレームメモリの切替判断及びその判断結果に応じたフレームメモリ指定情報の更新を行う（尚、切替判定タイミングがＶｓｙｎｃ２の発生時点と同じであるのなら、タイマの使用は必要ない）。

指定ＬＵＴが第１ＬＵＴであって且つ図１３に示す読み出しメモリ切替情報が定められている場合を想定し、ｃｈ４に対するＭＰＵ１６の動作について説明する。出力画像の（Ｙｏｕｔ＿ｔｏｐ₄−α）番目の水平ライン、即ち、ｃｈ４の切替判定タイミング情報によって表される（Ｙｏｕｔ＿ｔｏｐ₄−α）番目の水平ラインの画素信号をＲＡＭ部１２から読み出してエンコーダ１３に出力すべきタイミングが、ｃｈ４に対する切替判定タイミングである。この切替判定タイミングにおいてタイマによる割り込み要求が発生するようにＶｓｙｎｃ２の発生時点を基準にタイマを設定しておくことで、ＭＰＵ１６は、この切替判定タイミングを認識する。図１６に、タイマによる割り込み要求の様子を示す。

そして、ＭＰＵ１６は、この切替判定タイミングにおいて、ｃｈ４の入力画像を読み出すべきフレームメモリを切り替えるか否かの判断を、レジスタ２６から与えられた書き込みアドレスに基づいて実行する。判断の主体がＭＰＵ１６に変わっただけで、この判断の方法自体は第１実施例で述べたものと同様である。判断結果は、フレームメモリ指定情報に反映される。

尚、第１実施例でも述べたのと同様、指定ＬＵＴによっては、或るチャネルの切替判定タイミングの個数が１枚の出力画像に対して２以上となりうる。例えば、第２ＬＵＴが指定ＬＵＴとなっている場合は、ｃｈ３の切替判定タイミングの個数を１枚の出力画像に対して２つとすることも可能である。この場合、その２つの切替判定タイミングの夫々に対して切替判定条件が設定される。そして、各切替判定タイミングにおいて、ＭＰＵ１６が、対応する切替判定条件の成立／不成立を判定し、その判定結果に基づいてｃｈ３に対する指定フレームメモリの選択を行えば良い。例えば、第２ＬＵＴを指定ＬＵＴとして用いた場合、ｃｈ３に対しては、Ｖｓｙｎｃ２の発生タイミングと（Ｙｏｕｔ＿ｔｏｐ₃−α）で表されるタイミングが切替判定タイミングとされ、後者のタイミングにおいてタイマによる割り込み要求が発生するようにしておく（図１７参照）。

また、ライン単位で指定フレームメモリの切替判定を行う例を示したが、第２実施例に記載した事項を第３実施例に適用することも可能である。即ち、回路規模の増大が許されるなら、第２実施例で示したように、画素単位で該切替判定を行うことも可能である。

また、第１又は第２実施例の如くハードウェアが主体となって指定フレームメモリの切替判定を行うようにすると、時間の管理が正確になり、映像出力における遅延を良好に低減することができる。これに対し、第３実施例では、ＭＰＵ１６がリアルタイム制御に介在するため、Ｖｓｙｎｃ２による割り込みやタイマによる割り込みの処理優先順位によっては、時間管理に誤差が発生しうる。このため、映像出力における遅延の低減効果は第１実施例のそれよりも若干小さいと言えるが、一方で、読み出しアドレス生成回路の回路構成を簡素化できるというメリットがある。

＜＜変形等＞＞
上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈５を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。

［注釈１］
上述の例では、１つのチャネルに対して設けられているフレームメモリの個数が４であるが、その個数を２以上の任意の個数とすることができる。

［注釈２］
上述の例では、入力画像上の各画素と出力画像上の各画素との対応関係を規定する対応情報としてＬＵＴ（テーブルデータ）を用意し、該ＬＵＴを用いて各入力画像から出力画像を形成するようにしているが、ＬＵＴを用いる場合と等価な出力画像が得られるのであればＬＵＴの使用は必須ではない。例えば、上記の対応情報に応じた幾何学的変換を各入力画像に施すことよって出力画像を得るようにしていもよい。

［注釈３］
図３の運転支援システムは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に、図１２又は図１５に示される、画像処理装置１１内の各部位の機能は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。

［注釈４］
車両に対する運転支援システムに本発明を適用した場合の実施形態を上述したが、本発明は、車両用途に限定されない。即ち、本発明は、互いに非同期の複数カメラからの入力画像に対して画像処理を施して出力画像を得る様々な装置及びシステム（監視システムなど）に適用可能であり、特にリアルタイム性を要求する用途全てに適用可能である。尚、画像処理の内容によっては画像処理にかかる時間が大きくなるが、その際は、上述のレイテンシ（α又はα’）を大きな値に設定しておくことで対応可能である。

また、カメラからの映像信号がデコーダを介して画像処理回路に入力される構成を上述の実施形態にて示したが、本発明に係る映像信号の入出力形態は、上述の実施形態におけるそれに限定されない。例えば、カメラからの映像信号をネットワークを介して受信する形態であっても、その映像信号を一旦復号してフレームメモリに蓄えることができるのであれば、本発明を適用可能である。但し、この場合は、入力される映像信号がフレーム途中で途切れる可能性があることを想定し、入力画像を形成する画素の内、表示に使用する画素全ての画素信号の受信を待って実際の表示を行う必要がある。

従って、ネットワークを介した映像信号受信を第１実施例に適用する場合、例えば、表示に使用する画素が属する最後の水平ラインに１ラインを加えた水平ライン上の画素の画素信号が受信された時に、指定フレームメモリ（即ち、表示に使用するフレームメモリ）の切替判定を行うようにする。同様に、ネットワークを介した映像信号受信を第２実施例に適用する場合、例えば、表示に使用する最後の画素の次の画素の画素信号が受信された時に、指定フレームメモリの切替判定を行うようにする。第３実施例では、タイマを用いて切替判定タイミングの予測を行っているため、ネットワークを介した映像信号受信をそのまま第３実施例に使用することができない。ネットワークを介した映像信号受信を第３実施例に適用する場合は、表示に使用する最後の画素の受信時にＭＰＵ１６に対して割り込み要求が発生するようにしておき、その割り込み要求に対応してＭＰＵ１６内で実行される割り込みルーチン中において、指定フレームメモリの切替判定を行う必要がある。

［注釈５］
例えば、以下のように考えることができる。各カメラから取得した入力画像より出力画像を生成する画像処理装置は、主として、図３の画像処理回路１１、ＲＡＭ部１２及びＭＰＵ１６によって形成される。第１又は第２実施例では、指定フレームメモリを選択する選択手段は画像処理回路１１に内在しているが、第３実施例では、選択手段はＭＰＵ１６に内在している。

本発明の実施形態に係る運転支援システムが適用される車両を上方から見た平面図である。 図１の車両を左斜め前方から見た図である。 本発明の実施形態に係る運転支援システムの全体構成ブロック図である。 図３の画像処理回路の入力画像及び出力画像の構成を示す図である。 図３のＲＡＭ部内に設けられるフレームメモリ群を示す図である。 図３の運転支援システムによる出力画像の生成方法を説明するための図であり、入力画像の入力タイミングと出力画像の出力タイミングとの関係を表す図である。 図３の運転支援システムによる出力画像の生成方法を説明するための図であり、入力画像の入力タイミングと出力画像の出力タイミングとの関係を表す図である。 図３の運転支援システムによる出力画像の生成方法を説明するための図であり、入力画像の入力タイミングと出力画像の出力タイミングとの関係を表す図である。 図３の運転支援システムによる出力画像の生成方法を説明するための図であり、入力画像からの切り出し画像が出力画像内に嵌め込まれる様子を示す図である。 ｃｈ４に対するフレームメモリ群に画像データが書き込まれていく様子を示す図である。 図３のＬＵＴ領域内に形成されるＬＵＴのテーブルデータを示す図である。 本発明の第１実施例に係り、画像処理回路の内部構成をも示す、図３の運転支援システムの一部ブロック図である。 本発明の第１実施例に係り、図１２の読み出しアドレス生成回路に与えられる読み出しメモリ切替情報の構成を示す図である。 本発明の第２実施例に係り、図１２の読み出しアドレス生成回路に与えられる読み出しメモリ切替情報の構成を示す図である。 本発明の第３実施例に係り、画像処理回路の内部構成をも示す、図３の運転支援システムの一部ブロック図である。 本発明の第３実施例に係り、ＭＰＵ内蔵タイマによる割り込み発生の様子を示す図である。 本発明の第３実施例に係り、ＭＰＵ内蔵タイマによる割り込み発生の様子を示す図である。 出力画像（表示画像）の例を示す図である。 従来技術に係り、入力画像の入力タイミングと図１８の出力画像の出力タイミングとの関係を表す図である。 出力画像（表示画像）の他の例を示す図である。 従来技術に係り、入力画像の入力タイミングと図２０の出力画像の出力タイミングとの関係を表す図である。

符号の説明

ＣＡ１〜ＣＡ４ カメラ
１００ 車両
１１ 画像処理回路
１２ ＲＡＭ部
１２ａ フレームメモリ領域
１２ｂ ＬＵＴ領域
１６ ＭＰＵ

Claims (7)

1. 第１〜第ｎの内部同期カメラの夫々にて順次撮像される入力画像の画像データの入力を受け、各々が１枚分の入力画像の画像データを記憶する複数のフレームメモリを前記内部同期カメラごとに有する入力メモリ部と（ｎは２以上の整数）、
   前記第１〜第ｎの内部同期カメラの夫々からの画像データの入力タイミングと出力画像の画像データの出力タイミングとのタイミング関係に基づいて、前記内部同期カメラごとに前記出力画像の形成に利用されるフレームメモリを指定フレームメモリとして選択する選択手段と、
   各指定フレームメモリに記憶される前記入力画像を合成することによって前記出力画像の画像データを生成して出力する出力手段と、を備えた画像処理装置であって、
   前記出力手段は、各内部同期カメラからの前記入力画像上の各画素と前記出力画像上の各画素との対応関係を規定する所定の対応情報に基づいて、各指定フレームメモリに記憶される前記入力画像の画像データから前記出力画像の画像データを生成し、
   ｉを１以上ｎ以下の整数とした場合、
   前記選択手段は、
   第ｉの内部同期カメラからの最新の入力画像の画像データを記憶すべきフレームメモリに着目し、
   前記対応情報から定まる情報に基づいて、第ｉの内部同期カメラからの入力画像の画像データが前記出力画像の画像データとして出力されるべきタイミングにおいて着目したフレームメモリの画像データを利用できるか否か、の判定を行い、その判定結果に基づいて、第ｉの内部同期カメラに対する前記指定フレームメモリを前記選択タイミングにおいて選択する
   ことを特徴とする画像処理装置。
2. 第ｉの内部同期カメラからの前記入力画像上の水平ラインと該水平ラインに対応する前記出力画像上の水平ラインとのライン位置の相違及び該相違の最大量が前記対応情報によって定まり、
   前記選択手段は、前記選択タイミングを水平ライン単位で設定し、前記相違の最大量に基づいて前記判定を行う
   ことを特徴とする請求項１に記載の画像処理装置。
3. 第ｉの内部同期カメラからの前記入力画像上の画素と該画素に対応する前記出力画像上の画素との画素位置の相違及び該相違の最大量が前記対応情報によって定まり、
   前記選択手段は、前記選択タイミングを画素単位で設定し、前記相違の最大量に基づいて前記判定を行う
   ことを特徴とする請求項１に記載の画像処理装置。
4. 前記選択手段は、前記第１〜第ｎの内部同期カメラの内の少なくとも１台の内部同期カメラに対する前記選択タイミングを複数個設定し、複数個の選択タイミングが設定された
   内部同期カメラに対する前記指令フレームメモリの選択を前記複数個の選択タイミングの夫々において行う
   ことを特徴とする請求項１〜請求項３の何れかに記載の画像処理装置。
5. 前記選択手段を有するとともに割り込み要求を発生するタイマを内蔵した演算処理手段を更に備え、
   前記演算処理手段は、前記選択タイミングに前記割り込み要求が発生するように前記タイマを作動させて前記割り込み要求の発生時に前記指定フレームメモリの選択を行う
   ことを特徴とする請求項１〜請求項４の何れかに記載の画像処理装置。
6. 車両に取り付けられた第１〜第ｎの内部同期カメラと（ｎは２以上の整数）、
   請求項１〜請求項５の何れかに記載の画像処理装置と、を備え、
   前記画像処理装置にて生成された出力画像の画像データを表示手段に供給することにより前記出力画像を表示手段において表示する
   ことを特徴とする運転支援システム。
7. 第１〜第ｎの内部同期カメラが取り付けられ（ｎは２以上の整数）、且つ、請求項１〜請求項６の何れかに記載の画像処理装置が設置された
   ことを特徴とする車両。

Images