JP5966148B2 - 映像処理装置 - Google Patents

Description

本発明は車両に設けられた複数のカメラから入力された互いに非同期な映像信号のクロストークを除去する映像処理装置に関する。

従来、車両に複数の撮像装置が設けられ、これらの撮像装置から入力された映像信号に基づいて車両周辺を監視する合成画像を作成する映像処理装置が知られている。また、映像処理装置への映像信号の入力は、各映像信号を伝送する信号線が束ねれらたハーネスを介して行われる。（例えば特許文献１を参照）。

特開２０１１−１５１７３１号公報

しかし、車両においては、ハーネス内の各信号線が近接して併走するハーネス長が無視できない長さになるため、各映像信号に互いの映像信号の色成分が重畳され、各映像信号にクロストークノイズが発生することがある。特に、通常、車両内にハーネスが引き回されるのはシステム設計の最終段階であるため、ハーネス引き回しの自由度が小さい。これらによって、互いの信号線が近接するハーネス長を短くする手法ではクロストークノイズを除去することが難しいという問題があった。

本発明は、従来の問題を解決するためになされたもので、設計自由度の向上とクロストークノイズの除去とを両立することができる映像処理装置を提供することを目的とする。

上記目的を達成するために本発明の映像処理装置は、ノイズ除去手段が、複数の非同期映像信号の入力タイミングと、他の映像信号によって重畳されたクロストークノイズの振幅レベルとを算出し、これらに基づいて自らの映像信号のクロストークノイズを除去することを特徴とする。

本発明によれば、設計自由度の向上とクロストークノイズの除去とを両立することができる映像処理装置を提供することができるという効果を奏する。

本発明の実施形態における映像処理装置の構成を示すブロック図 図１の要部である撮像装置の自車両への実装状態をイメージで説明する図 図１の要部であるノイズ除去部によるクロストークノイズ除去処理を説明するフローチャート図 図１の要部であるノイズ除去部によるクロストークノイズ除去処理をイメージで説明する図

以下、本発明の実施形態の映像処理装置について図面を参照しながら説明する。

図１は本発明の実施形態の映像処理装置の構成を示すブロック図である。

図１に示すように、映像処理装置１は、ＥＣＵ（Ｅｌｅｃｔｒｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）で構成され、撮像装置２、表示装置３とそれぞれ接続する。撮像装置２、表示装置３は、映像処理装置１に含まれてもよい。

映像処理装置１は入力映像処理装置４と、揮発性メモリ５と、不揮発性メモリ６と、画像処理装置７と、これらを互いに接続するバス８とを有する。映像処理装置１は、撮像装置２から入力された自車両周囲の撮像画像を所定時間毎に合成し、この合成画像を映像として表示装置３に出力する。

撮像装置２はカメラ２Ａ、２Ｂを有する。このカメラ２Ａ、２Ｂの自車両への取り付け位置について説明する。カメラ２Ａ、２Ｂは、それぞれ自車両の任意の２箇所に取り付けられる。図２は、撮像装置２の自車両への実装状態をイメージで説明する図である。図２に示すように、例えばカメラ２Ａは車両後方に設けられ、カメラ２Ｂは助手席側のドアミラーに設けられる。このカメラ２Ａ、２Ｂの実装状態により、撮像装置２は、自車両の特定の周囲を撮像することができる。カメラ２Ａ、２Ｂは、信号線９Ａ、９Ｂの一端にそれぞれ接続されている。信号線９Ａ、９Ｂの他端は、束ねられて１つのハーネス９Ｃを構成する。このハーネス９Ｃは映像処理装置１に接続される。カメラ２Ａは信号線９Ａとハーネス９Ｃを介して、カメラ２Ｂは信号線９Ｂとハーネス９Ｃを介して、それぞれ所定時間毎に撮像した撮像映像を映像処理装置１に入力する。ハーネス９Ｃにおいて信号線９Ａ、９Ｂが互いに近接して併走するため、このハーネス９Ｃを伝送するそれぞれの撮像映像には互いの撮像映像に基づくクロストークノイズが重畳している。ハーネス９Ｃのハーネス長が長く設定されると、クロストークノイズは増大する。例えば、両サイドミラーにカメラが設けられて映像処理装置１が車両後方に配置された場合、図２の状態に比べて、ハーネス９Ｃのハーネス長が長くなるため、クロストークノイズを除去する効果は大きい。

表示装置３は、例えばナビゲーション装置やリアシートのディスプレイ、ルームミラーのディスプレイで構成される。表示装置３は、映像処理装置１から自車両周囲の撮像映像にガイドラインなどの画像が重畳された合成画像を映像として表示する。

入力映像処理装置４は、例えばＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ
Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）やＶＬＳＩ（Ｖｅｒｙ Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）で構成される。入力映像処理装置４は、Ａ／Ｄ変換部４Ａ、４Ｃと、ＹＣ分離部４Ｂ、４Ｄとを有する。Ａ／Ｄ変換部４Ａ、４Ｃは、それぞれカメラ２Ａ、２Ｂと接続する。Ａ／Ｄ変換部４Ａ、４Ｃは、それぞれカメラ２Ａ、２Ｂから所定時間毎に入力された撮像映像によって得られるＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｙｓｔｅｍ Ｃｏｍｍｉｔｔｅｅ）映像データを、アナログ映像信号からデジタル映像信号へ変換する。変換されたデジタル映像信号は、それぞれＹＣ分離部４Ｂ、４Ｄへ出力される。ＹＣ分離部４Ｂ、４Ｄは、それぞれＡ／Ｄ変換部４Ａ、４Ｃから入力されたデジタル映像信号を、Ｙ信号（輝度信号）とＣ信号（色信号）に分離する。ＹＣ分離部４Ｂ、４Ｄで分離された映像データは、ノイズ除去部４Ｅに入力される。ノイズ除去部４Ｅは、入力された各映像データに重畳している他の映像信号に基づくクロストークノイズを後述の処理によって除去する。ノイズ除去部４Ｅによってクロストークノイズが除去された映像データは、バス８を介して揮発性メモリ５に出力される。

揮発性メモリ５は、例えばビデオメモリやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成される。揮発性メモリ５は画像メモリ５Ａ、５Ｂを有する。画像メモリ５Ａ、５Ｂは、それぞれバス８を介して入力映像処理装置４と接続する。揮発性メモリ５は、入力映像処理装置４から所定時間毎に入力された映像によって得られる映像データを
一時記憶する。揮発性メモリ５に記憶された映像データは、バス８を介して画像処理装置７に出力される。

不揮発性メモリ６は、例えばフラッシュメモリやＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）で構成される。不揮発性メモリ６は、自車両の画像データ、出力用映像に重畳するガイドライン等の各種画像データや、カメラ２Ａ、２Ｂの撮像画像から視点変換した画像を作成するためのマッピングテーブルを記憶する。不揮発性メモリ６に記憶された各種画像データは、いったん揮発性メモリ５に格納されてから画像処理装置７に出力される。

画像処理装置７は、例えばＡＳＩＣやＶＬＳＩで構成される。画像処理装置７は、合成画像作成部７Ａと、画像重畳部７Ｂとを有する。画像処理装置７は、表示装置３と接続する。合成画像作成部７Ａは、画像メモリ５Ａ、５Ｂから入力されたカメラ２Ａ、２Ｂの撮像映像の映像データを合成して表示用の合成画像を作成する。画像重畳部７Ｂは、不揮発性メモリ６から入力されたガイドライン等の各種画像データと自車両の画像データとを重畳した合成画像を所定時間毎に作成する。画像処理装置７は、この所定時間毎に作成された合成画像を映像として表示装置３に出力する。ここで、表示装置３が映像をアナログ表示するとき、画像処理装置７において合成画像はＤ／Ａ変換された上で出力される。なお、入力映像処理装置４と画像処理装置７のハード構成は一体であってもよいし別体であってもよい。例えば１つのＡＳＩＣで構成されてもよい。

次に、入力映像処理装置４のノイズ除去部４Ｅによる、複数の非同期の入力映像におけるクロストーク除去処理について説明する。

図３は、入力映像処理装置４のノイズ除去部４Ｅによる、複数の非同期入力映像におけるクロストーク除去処理のフローチャート図である。

ここではカメラ２Ａから入力された任意のｍライン目の映像信号Ａが、カメラ２Ｂから入力された任意のｎライン目の映像信号Ｂにクロストークノイズとして重畳している場合を考える。ここで、ｍライン目の映像信号Ａは、ｎライン目の映像信号Ｂが入力映像処理装置４に入力される直前のタイミングで、入力映像処理装置４に入力されているものとする。なお、映像信号Ｂが映像信号Ａにクロストークノイズとして重畳している場合、映像信号Ａに対する映像信号Ｂの処理が映像信号Ｂに対する映像信号Ａの処理になるのみの違いなので、詳細な説明は省略する。

まず、ステップＳ３１に示すように、入力映像処理装置４のＹＣ分離部４Ｄは、Ａ／Ｄ変換部４Ｃから入力されたｎライン目の映像信号ＢをＹＣ分離する。また、このとき、入力映像処理装置４に具備されるＹＣ分離部４Ｂでは、Ａ／Ｄ変換部４Ａから入力されたｍライン目の映像信号ＡのＹＣ分離が完了している。

次に、ステップＳ３２に示すように、ノイズ除去部４Ｅは、クロストークノイズ除去の対象である映像信号Ｂとクロストークノイズの原因である映像信号Ａとの入力時間差を把握するため、ｎライン目の映像信号Ｂから水平同期信号を検出する。また、このときノイズ除去部４Ｅは、ｍライン目の映像信号Ａの水平同期信号検出を完了している。

次に、ステップＳ３３に示すように、ノイズ除去部４Ｅは、ステップＳ３２で検出したｎライン目の映像信号Ｂの水平同期信号と、ｍライン目の映像信号Ａの水平同期信号との検出時間差ΔＴ＿ｂａを算出する。

次に、ステップＳ３４に示すように、ノイズ除去部４Ｅは、ｎライン目の映像信号Ｂの水平同期信号と、ｍライン目の映像信号Ａのバースト信号のタイミングが重なり合ってい
たか否かを判定する。ここで、各映像信号Ａ、Ｂのタイミングが重なり合っていたか否かは、Ｓ３３で算出されたｎライン目の映像信号Ｂの水平同期信号と、ｍライン目の映像信号Ａの水平同期信号との検出時間差ΔＴ＿ｂａの情報で判定される。この判定に際して、映像信号Ａ、ＢはＮＴＳＣ信号であるため、映像信号Ａ、Ｂが重なり合っているかは数値で判定できる。例えば、ノイズ除去部４Ｅは、ｍライン目の映像信号Ａの水平同期信号が、ｎライン目の映像信号Ｂの水平同期信号よりも、５．３μｓから７．８２μｓの間の時間だけ早いタイミングで入力されていた場合に、ｎライン目の映像信号Ｂの水平同期信号と、ｍライン目の映像信号Ａのバースト信号のタイミングが重なり合っていたと判定する。ここで、ＮＴＳＣ信号においては、水平同期信号の開始からバースト信号開始までの時間が５．３μｓに、水平同期信号の開始からバースト信号終了までの時間が７．８２μｓにそれぞれ対応する。

ステップＳ３４でＹＥＳの場合、ステップＳ３５に示すように、ノイズ除去部４Ｅは、ｎライン目の映像信号Ｂに重畳している、ｍライン目の映像信号Ａのクロストークノイズレベルを把握するため、ｍライン目の映像信号ＡのＣ信号のバースト信号レベルを測定するとともに、ｎライン目の映像信号Ｂの水平同期期間におけるＣ信号の振幅電圧を測定する。ここで、ＮＴＳＣ信号における水平同期期間とは、水平同期信号の開始位置から４．７μｓまでの時間内の期間である。ノイズ除去部４Ｅは、測定したｍライン目の映像信号ＡのＣ信号のバースト信号レベルを最新のバースト信号レベルＶｐｐ＿ａ＿ｂｕｒｓｔとして、また、ｎライン目の映像信号Ｂの水平同期期間におけるＣ信号の振幅電圧を、最新の振幅電圧値Ｖｐｐ＿ｃｂとして、図示しない内部メモリに記憶されている各値を更新する。

次に、ステップＳ３６に示すように、ノイズ除去部４Ｅは、ｎライン目の映像信号Ｂにおけるノイズ除去用係数Ｇａｉｎ＿ｂを更新する。ここで、ｎライン目の映像信号Ｂにおけるノイズ除去用係数Ｇａｉｎ＿ｂは、ステップＳ３４で更新されたｎライン目の映像信号Ｂの水平同期期間におけるＣ信号の振幅電圧Ｖｐｐ＿ｃｂを、ｍライン目の映像信号Ａのバースト信号レベルＶｐｐ＿ａ＿ｂｕｒｓｔで除算することで算出することができる。

次に、ステップＳ３７に示すように、ノイズ除去部４Ｅは、ｎライン目の映像信号ＢのＣ信号に重畳されている、ｍライン目の映像信号Ａのクロストークノイズを除去するための計算を行う。まず、ノイズ除去部４Ｅは、ｍライン目の映像信号ＡのＣ信号を−Ｇａｉｎ＿ｂ倍する。次に、ノイズ除去部４Ｅは、−Ｇａｉｎ＿ｂ倍したｍライン目の映像信号ＡのＣ信号を、ΔＴ＿ｂａ時間分進めた信号ΔＮｏｉｓｅ＿ｂａを、ｎライン目の映像信号ＢのＣ信号に加算する。つまり、ノイズ除去部４Ｅは、カメラ２Ａから出力されたｍライン目の映像信号Ａが入力映像処理装置４に入力されたタイミングと、カメラ２Ｂから出力されたｎライン目の映像信号Ｂが入力映像処理装置４に入力されたタイミングを算出して、各映像信号Ａ、Ｂ間のクロストークノイズ除去を行う。これにより、ノイズ除去部４Ｅは、ｎライン目の映像信号Ｂに重畳していたｍライン目の映像信号ＡのＣ成分を除去し、ｎライン目の映像信号Ｂを本来あるべき映像信号の品質を再現することができる。

一方、ステップＳ３４でＮＯの場合、ノイズ除去部４Ｅは、そのままステップＳ３７の処理を行う。

次に、本発明のクロストークノイズ除去処理の詳細な流れをイメージで説明する。

図４は、図１の要部である入力映像処理装置４によるクロストークノイズ除去処理をイメージで説明する図である。

図４に示すように、状態（Ａ）はカメラ２Ａ、２Ｂからそれぞれ入力されたＮＴＳＣ映
像データが、Ａ／Ｄ変換部４Ａ、４ＣによってＡ／Ｄ変換処理４０４、４０６される直前までを示している。一般に車両に取り付けたカメラ２Ａ、２Ｂから映像処理装置１までの間を引き回されるハーネスは、非常に距離が長い。また、しばしば、他のハーネスと併走して配線されることもある。このような状況下において、例えば状態（Ａ）に示すように、映像信号Ａ４０１に含まれているＣ信号成分である３．５８ＭＨｚの周波数成分が、クロストークノイズとして映像信号Ｂ４０２に重畳してしまうケースが発生する。ここでは、本来の映像信号Ｂ４０３に映像信号Ａ４０１のクロストークノイズが重畳して映像信号Ｂ４０２になった状態で、Ａ／Ｄ変換以降の処理が行われた場合の、各映像信号の流れと、映像信号Ｂ４０２のノイズ除去処理について述べる。

各カメラ２Ａ、２Ｂから出力された映像信号Ａ４０１、Ｂ４０２は入力映像処理装置４内部においてそれぞれ、Ａ／Ｄ変換処理４０４、４０６と、ＹＣ分離処理４０５、４０７とを実施される状態（Ｂ）へ遷移する。

ＹＣ分離処理４０５、４０７で処理された映像信号はそれぞれ、Ｙ信号４０８、４１０と、Ｃ信号４０９、４１１Ａとなって出力される状態（Ｃ）に遷移する。状態（Ｃ）において、映像信号Ｂ４０２から分離されたＣ信号４１１Ａには、状態（Ａ）時に重畳された映像信号Ａ４０１のＣ信号成分が重畳したまま残っている。

状態（Ｃ）にてＣ信号４１１Ａに重畳している可能性のあるクロストークノイズを除去するため、Ｙ信号４０８、４１０と、Ｃ信号４０９、４１１Ａは、ノイズ除去処理の状態（Ｄ）に遷移する。状態（Ｄ）において、ノイズ除去部４Ｅによってクロストーク除去処理４００が行われる。具体的には以下の処理が行われる。

水平同期信号検出部４１２は、Ｙ信号４０８から映像信号Ａ４０１の水平同期信号を検出することで、映像信号Ａ４０１の映像信号の入力タイミングを図示しない内部メモリに記録する。また、同様にして水平同期信号検出部４１３も、Ｙ信号４１０から映像信号Ｂ４０２の水平同期信号を検出することで、映像信号Ｂ４０２の映像信号の入力タイミングを図示しない内部メモリに記録する。

次に、水平同期信号時間差検出部４１４は、水平同期信号検出部４１２、４１３にて検出された、映像信号Ａ４０１と映像信号Ｂ４０２の映像信号入力タイミングにおける差分ΔＴ＿ｂａを算出する。そして、水平同期信号時間差検出部４１４は、映像信号Ｂ４０２の水平同期信号と、映像信号Ａ４０１のバースト信号のタイミングが重なり合っていたか否かを判定する。ここで、映像信号Ｂ４０２の水平同期信号と、映像信号Ａ４０１のバースト信号のタイミングが重なり合っていた場合、バースト信号レベル検出部４１５は、映像信号Ａ４０１のＣ信号４０９より、映像信号Ａ４０１のバースト信号レベルを検出し、最新の映像信号Ａ４０１のバースト信号Ｖｐｐ＿ａ＿ｂｕｒｓｔとして図示しない内部メモリに記憶された値を更新する。また、Ｃ信号レベル検出部４１６は、Ｃ信号４１１Ａの水平同期期間における振幅電圧を測定し、最新のＣ信号４１１Ａの振幅電圧値Ｖｐｐ＿ｃｂとして図示しない内部メモリに記憶された値を更新する。映像信号Ｂ４０２の水平同期信号と、映像信号Ａ４０１のバースト信号のタイミングが重なり合っていない場合には、Ｃ信号レベル検出部４１６は、Ｃ信号４１１Ａの振幅電圧値Ｖｐｐ＿ｃｂの値を更新せずに、図示しない内部メモリに記憶された前回の値を使用する。このようにして、Ｃ信号レベル検出部４１６は、映像信号Ｂ４０２に重畳している映像信号Ａ４０１のクロストークノイズレベルを検出することができる。

次に、−Ｇａｉｎ部４１７は、バースト信号レベル検出部４１５で算出された映像信号Ａ４０１のバースト信号レベルＶｐｐ＿ａ＿ｂｕｒｓｔと、Ｃ信号レベル検出部４１６で検出されたＣ信号４１１Ａの振幅電圧値Ｖｐｐ＿ｃｂとを用いて、映像信号Ｂ４０２にお
ける映像信号Ａ４０１のノイズを除去するノイズ除去係数Ｇａｉｎ＿ｂを算出し、図示しないメモリ内に記憶された値を更新する。−Ｇａｉｎ部４１７は、映像信号Ａ４０１のＣ信号４０９の振幅値を−Ｇａｉｎ＿ｂ倍し、水平同期信号検出時間差部４１４で算出されたΔＴ＿ｂａ時間分だけ時間軸を進めた信号ΔＮｏｉｓｅ＿ｂａを作成する。加算部４１８はこの作成されたΔＮｏｉｓｅ＿ｂａを映像信号Ｂ４０２のＣ信号４１１Ａに加算する。

状態（Ｄ）で、映像信号Ｂ４０２における映像信号Ａ４０１のノイズ除去処理４００が施された後、映像信号Ａ４０１、映像信号Ｂ４０２のＹＣ信号は、状態（Ｅ）に遷移する。Ｃ信号４１１Ｂは、Ｃ信号４１１Ａから映像信号Ｂ４０２における映像信号Ａ４０１のＣ信号によるクロストークノイズが除去された後のＣ信号である。

以上のように、本発明によれば、車両に引き回されたハーネスによって、複数の非同期の入力映像信号Ａ、Ｂに互いの映像信号によるクロストークノイズが重畳しても、各映像信号の水平同期信号に基づく入力タイミングと、水平同期期間における他の映像信号のバースト信号レベルを用いて、クロストークノイズを除去し、本来あるべき映像信号の品質を再現することができる。また、車両周辺監視システムを車両に取り付ける際にハーネスの配置の自由度を向上させることができる。

なお、本実施形態では、映像信号Ｂ４０２に重畳した映像信号Ａ４０１のクロストークノイズ除去を例としたが、同様にして、映像信号Ａ４０１に重畳した映像信号Ｂ４０２のクロストークノイズ除去も可能である。

本発明の映像処理装置は、複数の非同期の映像信号を車内の映像処理装置に入力して車両周辺の状況を表示する車両周辺監視システムにおいて有用である。

１ 映像処理装置
２ 撮像装置
３ 表示装置
４ 入力映像処理装置
４Ａ、４Ｃ Ａ／Ｄ変換部
４Ｂ、４Ｄ ＹＣ分離部
４Ｅ ノイズ除去部

Claims (4)

1. 複数の撮像手段から入力された互いに非同期の映像信号を輝度信号と色信号に分離する分離手段と、
   前記分離手段が分離した映像信号Ａの色信号成分が映像信号Ｂに重畳して生じるクロストークノイズを除去するノイズ除去手段とを備え、
   前記ノイズ除去手段は、
   前記分離手段が分離した映像信号の輝度信号成分に基づいて映像信号Ａ及び映像信号Ｂにおける水平同期信号を検出する同期検出手段と、
   前記同期検出手段が検出した各水平同期信号の時間差を検出する時間差検出手段と、
   前記分離手段が分離した映像信号Ｂの色信号の信号レベルを検出する色信号レベル検出手段と、
   前記分離手段が分離した映像信号Ａの色信号のバースト信号レベルを検出するバースト信号レベル検出手段と、
   前記色信号レベル検出手段が検出した信号レベルと前記バースト信号レベル検出手段が検出したバースト信号レベルとに基づいてノイズ除去係数を算出する算出手段と、
   この算出手段が算出したノイズ除去係数と、前記時間差検出手段が検出した各水平同期信号の時間差と、前記色信号レベル検出手段が検出した色信号の信号レベルとに基づいてクロストークノイズを除去する除去手段とを有することを特徴とする映像処理装置。
2. 前記複数の撮像手段から互いに入力された非同期のアナログ映像信号をそれぞれデジタル映像信号に変換するとともにこの変換したそれぞれのデジタル映像信号を前記分離手段に出力するＡ／Ｄ変換手段をさらに備えたことを特徴とする請求項１に記載の映像処理装置。
3. 前記アナログ映像信号は、車両に引き回されたハーネスを介して前記Ａ／Ｄ変換手段に入力されることを特徴とする請求項２に記載の映像処理装置。
4. 前記複数の撮像手段と、前記ノイズ除去手段によってクロストークノイズが除去された各映像信号を合成した合成画像を表示する表示手段とをさらに備えたことを特徴とする請求項１〜３に記載の映像処理装置。