JP2016207040A - 画像処理装置、画像処理方法および車載装置 - Google Patents

Abstract

【課題】合成用画像に異常がある場合に適切な処理を行うことができる画像処理装置、画像処理方法および車載装置を提供すること。【解決手段】本発明に係る画像処理装置は、撮像画像に合成用画像を合成する合成部と、合成用画像の異常を検出する合成用画像異常検出部とを備え、合成部は、合成用画像異常検出部が合成用画像の異常を検出した場合、撮像画像と合成用画像との合成を停止する。【選択図】図１

Description

本発明は、画像処理装置、画像処理方法および車載装置に関する。

従来、車両の周辺を撮像する撮像装置から出力される撮像画像に合成用画像を合成して表示部に表示する技術が知られている（例えば、特許文献１参照）。かかる合成用画像は、例えば、運転を支援するための指標となる画像であり、撮像画像に合成用画像を合成した合成画像により、車両の運転者は、運転をより適切に行うことが可能となる。

特開２０１３−２２８８３２号公報

しかしながら、例えば、合成用画像に異常がある場合、異常画像が表示されるおそれがある。そのため、合成用画像が例えば運転を支援するための指標となる画像である場合、運転を却って阻害してしまうおそれがある。

本発明は、上記に鑑みてなされたものであって、合成用画像に異常がある場合に適切な処理を行うことができる画像処理装置、画像処理方法および車載装置を提供することを目的とする。

上記課題を解決し、目的を達成するために、本発明は、画像処理装置であって、撮像部の撮像画像を取得する撮像画像取得部と、合成用画像を取得する合成用画像取得部と、前記撮像画像に前記合成用画像を合成する合成部と、前記合成用画像の異常を検出する合成用画像異常検出部と、を備え、前記合成部は、前記合成用画像異常検出部が前記異常を検出した場合、前記撮像画像と前記合成用画像との合成を停止することを特徴とする。

本発明によれば、合成用画像に異常がある場合に適切な処理を行うことができる画像処理装置、画像処理方法および車載装置を提供することができる。

図１は、本発明の実施形態に係る画像処理方法を示す説明図である。 図２は、本発明の実施形態に係る画像処理装置を含む車載装置の構成例を示す図である。 図３は、撮像装置の配置例を示す図である。 図４の（ａ）は、ＣＬＵＴ圧縮部の構成の一例を示す図であり、（ｂ）は、ＣＬＵＴの一例を示す図である。 図５の（ａ）は、クロック異常の検出方法の一例を示す図であり、（ｂ）は、垂直同期異常の検出方法の一例を示す図である。 図６は、ＣＬＵＴ異常の検出方法の一例を示す図である。 図７の（ａ）は、圧縮データ記憶部の構成例の説明図であり、（ｂ）は、メモリ容量異常検出方法の一例を示す図である。 図８は、画像処理装置が実行する合成処理手順を示すフローチャートである。 図９は、図８に示す異常検出処理手順を示すフローチャートである。 図１０は、画像処理装置が実行するバックライト制御処理手順を示すフローチャートである。

以下に、本発明に係る画像処理装置、画像処理方法および車載装置の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。

［１．画像処理方法］
図１は、本発明の実施形態に係る画像処理方法を示す説明図であり、かかる画像処理方法は、例えば、車両に搭載される車両用画像処理装置（以下、画像処理装置と記載する）によって実行される。

図１（ａ）に示すように、画像処理装置は、撮像画像と合成用画像を取得する。図１（ａ）に示す例では、撮像画像は、車両（図示せず）の後方を撮像する撮像装置によって撮像された画像であり、合成用画像は、ガイド線の画像であり、例えば、合成用画像生成装置によって生成される。

かかるガイド線の画像は、例えば、舵角センサ（図示せず）によって検出された舵角に基づいて予測される車両の走行軌跡を示す画像であり、運転を支援するための指標となる画像の一例である。

画像処理装置は、合成用画像異常検出部と合成部とを有している。合成用画像異常検出部は、合成用画像生成装置から取得された合成用画像に異常がないか否かを判定する。合成用画像異常検出部は、合成用画像に異常がないと判定すると、合成部の合成機能をＯＮにする。

合成部は、合成機能がＯＮである場合、図１（ａ）に示すように、撮像画像と合成用画像とを合成して合成画像を生成し、かかる合成画像を出力する。かかる合成画像は、画像処理装置から表示部へ出力され、表示部に表示される。これにより、車両の乗員は、ガイド線が重畳された撮像画像を見ることができ、運転をより適切に行うことが可能となる。

一方、合成用画像異常検出部は、合成用画像に異常があると判定すると、合成部の合成機能をＯＦＦにする。異常がある合成用画像は、例えば、画像そのものに異常がある合成用画像や最新の画像に更新されていない合成用画像などである。

合成部は、合成機能がＯＦＦである場合、図１（ｂ）に示すように、撮像画像と合成用画像とを合成せずに、撮像画像を出力する。かかる撮像画像は、画像処理装置から表示部へ出力され表示部に表示される。

これにより、異常がある合成用画像が重畳された撮像画像が表示部に表示されることを抑制することができ、合成画像によって車両の運転が阻害されることを抑制できる。また、撮像画像が表示されることから、表示部への表示を停止する場合に比べ、撮像画像による運転の支援を適切に行うことができる。

このように、実施形態に係る画像処理方法では、撮像画像に合成するための合成用画像に何らかの異常がある場合に撮像画像と合成用画像との合成を停止することから、異常画像が表示されることを抑制できる。

［２．車載装置の構成］
図２は、車載装置の構成例を示す図である。図２に示すように、車載装置１００は、撮像装置１（撮像部の一例）と、合成用画像生成装置２（以下、画像生成装置２と記載する）と、画像処理装置３と、表示装置４とを備える。なお、画像処理装置３は、例えば、画像生成装置２および表示装置４の少なくとも一つを含む構成であってもよい。

撮像装置１は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を備え、かかる撮像素子によって撮像した動画像である撮像画像を画像処理装置３へ出力する。かかる撮像装置１は、例えば、図３に示すように、車両５の後方部に配置され、車両５の後方を撮像する。図３は、撮像装置１の配置例を示す図である。なお、撮像装置１の配置は、図３に示す例に限定されない。

画像生成装置２は、撮像装置１の撮像画像にクロマキー合成を行うための合成用画像を生成して出力する。かかる合成用画像は、運転を支援するための指標となる画像であり、例えば、ガイド線の画像や警告画像である。

画像生成装置２は、例えば、ガイド線の画像を生成する場合、車両に設けられた舵角センサ（図示せず）によって検出された舵角の情報などを取得し、かかる舵角などに基づいて車両の走行軌跡を予測する。画像生成装置２は、予測した走行軌跡を示すガイド線の画像を生成する。

また、画像生成装置２は、例えば、警告画像を生成する場合、撮像装置１の撮像画像を解析し、車両の後方に存在する障害物を検出する。画像生成装置２は、車両の乗員に対し障害物の存在を報知するための警告画像を生成する。かかる警告画像は、障害物の位置を報知する画像であり、例えば、障害物を囲む囲い線の画像である。

画像処理装置３は、撮像装置１から撮像画像を取得すると共に画像生成装置２から合成用画像を取得し、これらの撮像画像と合成用画像とをクロマキー合成する。画像処理装置３は、生成した合成画像を表示装置４へ出力する。一方、画像処理装置３は、画像生成装置２から取得した合成用画像に異常がある場合、合成処理を行わずに、撮像画像を表示装置４へ出力する。

表示装置４は、ＬＣＤ（Liquid Crystal Display）４１と、バックライト４２とを備える。ＬＣＤ４１は、画像処理装置３から取得した合成画像や撮像画像のデータに基づき、合成画像や撮像画像を表示する。バックライト４２は、ＬＣＤ４１を照射し、これにより、ＬＣＤ４１に表示された画像を車両の乗員に視認可能にすることができる。

［３．画像処理装置３の構成］
画像処理装置３は、図２に示すように、撮像画像取得部１０と、合成用画像取得部１１と、ＣＬＵＴ圧縮部１２と、ランレングス圧縮部１３と、圧縮データ記憶部１４と、ランレングス伸張部１５と、ＣＬＵＴ伸張部１６と、合成部１７と、出力部１８と、設定情報記憶部１９と、撮像画像異常検出部２０と、合成用画像異常検出部２１と、バックライト制御部２２（表示制御部の一例）とを備える。

かかる画像処理装置３は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるデバイスである。また、画像処理装置３は、ＣＰＵやＭＰＵ等のプロセッサと、ＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子などの記憶部を備え、プロセッサが記憶部に記憶されたプログラムを実行することにより上述した各部位の機能を実現する構成であってもよい。

撮像画像取得部１０は、撮像装置１から出力される撮像画像を取得する。撮像装置１は、例えば、ＲＧＢ信号やコンポーネント信号などの映像信号により撮像画像のデータ（以下、撮像画像データと記載する）を画像処理装置３へ出力する。なお、以下においては、合成用画像は、予め使用する色が限定されているものとして説明する。

撮像画像取得部１０は、撮像装置１から撮像画像データを取得すると、取得した撮像画像データを合成部１７へ出力する。撮像画像データは、撮像装置１によって撮像される動画像の各フレームの画像に対応するデータであり、撮像画像取得部１０によって撮像動画像のフレーム単位で順次合成部１７へ出力される。

合成用画像取得部１１は、画像生成装置２から出力される合成用画像を取得する。画像生成装置２は、例えば、ＲＧＢ信号やコンポーネント信号などの映像信号により撮像画像のデータ（以下、合成用画像データと記載する）を画像処理装置３へ出力する。合成用画像取得部１１は、画像生成装置２から合成用画像データを取得すると、取得した合成用画像データをＣＬＵＴ圧縮部１２へ出力する。

上述したように、合成用画像データは使用する色が限定されていることから、ＣＬＵＴ（Color Look-Up Table）を用いることでデータ圧縮ができる。そこで、ＣＬＵＴ圧縮部１２は、ＣＬＵＴに基づいて合成用画像データを圧縮する。図４（ａ）は、ＣＬＵＴ圧縮部１２の構成の一例を示す図である。

図４（ａ）に示すように、ＣＬＵＴ圧縮部１２は、データ変換部５１と、ＣＬＵＴ記憶部５２とを備える。データ変換部５１は、ＣＬＵＴ記憶部５２に記憶されたＣＬＵＴに基づいて、合成用画像データを圧縮した画像データ（以下、ＣＬＵＴ圧縮画像データと記載する）をランレングス圧縮部１３や合成用画像異常検出部２１へ出力する。

図４（ｂ）は、ＣＬＵＴの一例を示す図である。図４（ｂ）に示すように、ＣＬＵＴは、Ｎビットの入力値とＭビットの変換値とを関連付けたテーブルである。入力値は、合成用画像を構成する画素の色データであり、例えば、ＲＧＢ値（Ｒ、Ｇ、Ｂ）である。図４（ｂ）に示す例では、ＲＧＢ値は、２４ビット（Ｎ＝２４）であり、Ｒ（Red）値、Ｇ（Green）値、および、Ｂ（Blue）値は、それぞれ８ビットである。

変換値は、例えば、８ビット（Ｍ＝８）である。例えば、入力値が「０ｘＦＦＦＦＦＦ」である場合、変換値は、「０ｘ００」であり、入力値が「０ｘＦＦＦＦ００」である場合、変換値は、「０ｘ０１」である。

データ変換部５１は、ＣＬＵＴに基づき、合成用画像を構成する各画素の色データを入力値としてそれぞれ変換値に置き換える。データ変換部５１は、ＲＧＢ値が例えば「０ｘＦＦＦＦＦＦ」である画素に対する変換値として、ＣＬＵＴにおいて「０ｘＦＦＦＦＦＦ」に対応付けられた変換値「０ｘ００」を出力する。

図２に戻って、画像処理装置３の構成についての説明を続ける。ランレングス圧縮部１３は、ＣＬＵＴ圧縮部１２から出力されたＣＬＵＴ圧縮画像データを、ランレングス法によって更に圧縮する。

かかるランレングス圧縮部１３は、例えば、連続する「０」や「１」をその連続数で置き換えることによってＣＬＵＴ圧縮画像データを圧縮して圧縮画像データ（以下、ランレングス圧縮画像データと記載する）を生成し、圧縮データ記憶部１４に記憶する。

ランレングス伸張部１５は、圧縮データ記憶部１４に記憶された最新のランレングス圧縮画像データを読み出し、かかるランレングス圧縮画像データをランレングス法による逆変換によってＣＬＵＴ圧縮画像データへ伸張する処理を行う。ランレングス伸張部１５は、このように伸張されたＣＬＵＴ圧縮画像データをＣＬＵＴ伸張部１６へ出力する。

ＣＬＵＴ伸張部１６は、例えば、図４（ｂ）に示すＣＬＵＴに対応するＣＬＵＴを有しており、ＣＬＵＴ圧縮画像データをＣＬＵＴによる逆変換によって合成用画像データへ伸張する処理を行う。ＣＬＵＴ伸張部１６は、このように伸張された合成用画像データを合成部１７へ出力する。

合成部１７は、撮像画像取得部１０から取得した撮像画像データとＣＬＵＴ伸張部１６から取得した合成用画像データとに基づき、撮像画像に合成用画像をクロマキー合成した合成画像のデータ（以下、合成画像データと記載する）を生成する。合成部１７は、例えば、合成用画像を構成する複数の画素のうち予め指定された色を有する画素の色を透過色にした後、かかる合成用画像を撮像画像上に合成する。

かかる合成部１７は、例えば、外部装置から設定によって、撮像画像と合成用画像とを合成する合成設定をＯＮにしたり、合成設定をＯＦＦにしたりする。合成部１７は、合成設定がＯＮである場合、合成用画像異常検出部２１による合成用画像の異常検出の有無に基づいて、合成機能をＯＮにしたり、合成機能をＯＦＦにしたりする。

合成部１７は、合成設定や合成機能がＯＦＦである場合、撮像画像と合成用画像との合成を行わずに、撮像画像取得部１０から取得した撮像画像データを出力部１８へ出力する。出力部１８は、撮像画像データを例えば表示装置４によって受信可能な映像信号のフォーマットへ変換して表示装置４へ出力する。

なお、ランレングス伸張部１５は、画像生成装置２から映像信号が出力されない場合であっても、圧縮データ記憶部１４に記憶された最新のランレングス圧縮画像データを読み出す。そのため、合成用画像が変化のない固定の映像である場合（例えば、固定ガイド線）、後述する異常検出機能をＯＦＦに設定することで、画像生成装置２から映像信号が出力されない場合であっても、撮像画像と合成用画像との合成を合成部１７によって行うことができる。

設定情報記憶部１９は、各種の設定情報を記憶しており、かかる設定情報は例えば操作部（不図示）への操作によって設定することができる。設定情報には、例えば、後述する合成設定の情報、各種の異常検出機能設定の情報および画像表示設定の情報などが含まれる。

撮像画像異常検出部２０は、ＣＬＫ／Ｖｓｙｎｃ異常検出部３１と、フラグ記憶部３２とを有しており、撮像装置１から入力される撮像画像が異常であるか否かを検出し、かかる検出結果を記憶する。ＣＬＫ／Ｖｓｙｎｃ異常検出部３１は、撮像装置１からの映像信号に含まれるクロック信号ＣＬＫや垂直同期信号Ｖｓｙｎｃが異常である場合に撮像装置１から入力される撮像画像が異常であると判定する。

図５（ａ）は、クロック異常の検出方法の一例を示す図であり、図５（ｂ）は、垂直同期異常の検出方法の一例を示す図である。図５（ａ）に示すように、ＣＬＫ／Ｖｓｙｎｃ異常検出部３１は、撮像装置１からの映像信号に含まれるクロック信号ＣＬＫを例えば所定期間受信できない場合に、クロック信号ＣＬＫが異常であると判定する。

また、ＣＬＫ／Ｖｓｙｎｃ異常検出部３１は、図５（ｂ）に示すように、撮像装置１からの映像信号に含まれる垂直同期信号Ｖｓｙｎｃを例えば所定間隔で受信できない場合に、垂直同期信号Ｖｓｙｎｃが異常であると判定する。

ＣＬＫ／Ｖｓｙｎｃ異常検出部３１は、クロック信号ＣＬＫおよび垂直同期信号Ｖｓｙｎｃのいずれかが異常であると判定すると、フラグ記憶部３２に記憶されるＣＬＫ異常フラグをＯＮ（例えば、「１」）にする。また、ＣＬＫ／Ｖｓｙｎｃ異常検出部３１は、クロック信号ＣＬＫおよび垂直同期信号Ｖｓｙｎｃのいずれも異常ではないと判定すると、フラグ記憶部３２に記憶されるＣＬＫ異常フラグをＯＦＦ（例えば、「０」）にする。

バックライト制御部２２は、フラグ記憶部３２に記憶されるＣＬＫ異常フラグの状態を合成部１７による合成前または定期的に監視しており、かかるＣＬＫ異常フラグがＯＮからＯＦＦになった場合に、バックライト４２をＯＦＦからＯＮにする。また、バックライト制御部２２は、ＣＬＫ異常フラグがＯＦＦからＯＮになった場合に、バックライト４２をＯＮからＯＦＦにする。

映像信号に含まれる撮像画像データそのものに異常がない場合であっても、クロック信号ＣＬＫおよび垂直同期信号Ｖｓｙｎｃのいずれかに異常がある場合、撮像装置１から撮像画像データを正常に取得できないおそれがある。そのため、このような場合、異常な撮像画像が合成用画像に合成されてしまうおそれがあるが、本実施形態に係る画像処理装置３は、上述したように、バックライト４２をＯＦＦにする。

そのため、異常がある撮像画像がＬＣＤ４１に描画された場合であっても、車両の乗員が視認可能に撮像画像が表示装置４に表示されず、これにより、異常な画像を表示することを抑制して車両の運転が阻害されることを抑制できる。

なお、出力部１８は、フラグ記憶部３２のＣＬＫ異常フラグがＯＦＦからＯＮになった場合に、合成部１７から出力される画像データの表示装置４への出力を停止することもできる。また、出力部１８は、フラグ記憶部３２のＣＬＫ異常フラグがＯＦＦからＯＮになった場合に、撮像画像の異常を通知する画像のデータを表示装置４へ出力することもできる。この場合、バックライト制御部２２によるバックライト４２のＯＮ／ＯＦＦ制御は停止される。

図２に戻って、画像処理装置３の構成についての説明を続ける。合成用画像異常検出部２１は、ＣＬＫ／Ｖｓｙｎｃ異常検出部３３と、ＣＬＵＴ異常検出部３４と、メモリ容量異常検出部３５と、フラグ記憶部３６とを備える。

ＣＬＫ／Ｖｓｙｎｃ異常検出部３３は、設定情報記憶部１９に記憶された異常検出機能設定の情報に基づき、ＣＬＫ／Ｖｓｙｎｃ異常検出機能がＯＮに設定されている場合に動作する。

かかるＣＬＫ／Ｖｓｙｎｃ異常検出部３３は、画像生成装置２からの映像信号に含まれるクロック信号ＣＬＫや垂直同期信号Ｖｓｙｎｃが異常である場合に、画像生成装置２から入力される合成用画像が異常であると判定する。ＣＬＫ／Ｖｓｙｎｃ異常検出部３３は、クロック信号ＣＬＫや垂直同期信号Ｖｓｙｎｃが異常であるか否かを、上述したＣＬＫ／Ｖｓｙｎｃ異常検出部３１と同様の処理により判定する。

ＣＬＫ／Ｖｓｙｎｃ異常検出部３３は、クロック信号ＣＬＫおよび垂直同期信号Ｖｓｙｎｃのいずれかが異常であると判定すると、フラグ記憶部３６に記憶されるＣＬＫ異常フラグをＯＮ（例えば、「１」）にする。また、ＣＬＫ／Ｖｓｙｎｃ異常検出部３３は、クロック信号ＣＬＫおよび垂直同期信号Ｖｓｙｎｃのいずれも異常ではないと判定すると、フラグ記憶部３６に記憶されるＣＬＫ異常フラグをＯＦＦ（例えば、「０」）にする。

合成部１７は、フラグ記憶部３６に記憶されるＣＬＫ異常フラグの状態を合成前または定期的に監視しており、かかるＣＬＫ異常フラグがＯＦＦからＯＮになった場合に、合成機能をＯＮからＯＦＦにする。

映像信号に含まれる合成用画像データそのものに異常がない場合であっても、クロック信号ＣＬＫおよび垂直同期信号Ｖｓｙｎｃのいずれかに異常がある場合、画像生成装置２から合成用画像を正常に取得できないおそれがある。

そのため、異常な合成用画像が撮像画像に合成されてしまう場合があるが、画像処理装置３は、上述したように、撮像画像と合成用画像との合成を停止することで、異常な画像を表示することが抑制でき、車両の運転が阻害されることを抑制できる。

また、画像生成装置２の異常などによって、画像生成装置２からの映像信号の出力が停止した場合、合成用画像が取得できず、圧縮データ記憶部１４に記憶されるランレングス圧縮画像データは更新されない。そのため、映像信号の出力が停止する前に画像生成装置２から出力される映像信号に含まれる過去の合成用画像データが合成部１７によって合成されることがある。

この場合、意図しない合成用画像が撮像画像に合成されてしまうことから、合成後の画像は異常画像であるおそれがあるが、画像処理装置３は、上述したように、撮像画像と合成用画像との合成を停止する。そのため、異常な画像を表示することが抑制でき、車両の運転が阻害されることを抑制できる。

図２に戻って、合成用画像異常検出部２１の構成についての説明を続ける。合成用画像異常検出部２１のＣＬＵＴ異常検出部３４は、設定情報記憶部１９に記憶された異常検出機能設定の情報に基づき、ＣＬＵＴ異常検出機能がＯＮに設定されている場合に動作する。

かかるＣＬＵＴ異常検出部３４は、合成用画像取得部１１によって取得された合成用画像に予め設定された色以外の色が含まれている場合に、合成用画像に異常があると判定する。例えば、ＣＬＵＴが図４（ｂ）に示す状態である場合、ＣＬＵＴ異常検出部３４は、ＣＬＵＴ圧縮画像データに「０ｘＦＦ」が所定数以上（例えば１つ以上）含まれている場合に、合成用画像に異常があると判定する。

ＣＬＵＴ異常検出部３４は、合成用画像の異常を検出すると、この検出結果をＣＬＵＴ圧縮部１２へ通知する。ＣＬＵＴ圧縮部１２は、ＣＬＵＴ異常検出部３４からの通知に基づき、異常がある合成用画像データの圧縮を停止する。

また、ＣＬＵＴ異常検出部３４は、合成用画像の異常を検出すると、フラグ記憶部３６に記憶されるＣＬＵＴ異常フラグをＯＮ（例えば、「１」）にする。また、ＣＬＵＴ異常検出部３４は、合成用画像の異常を検出しない場合、フラグ記憶部３６に記憶されるＣＬＵＴ異常フラグをＯＦＦ（例えば、「０」）にする。

合成部１７は、フラグ記憶部３６に記憶されるＣＬＵＴ異常フラグの状態を合成前または定期的に監視しており、かかるＣＬＫ異常フラグがＯＦＦからＯＮになった場合に、合成機能をＯＮからＯＦＦにする。

図６は、ＣＬＵＴ異常の検出方法の一例を示す図であり、垂直同期信号Ｖｓｙｎｃ、合成用画像データの状態、圧縮データ記憶部１４の記憶状態（メモリ状態）、および、合成部１７による合成処理の内容が示される。図６に示す「Ｂｕｆ０」〜「Ｂｕｆ２」は、それぞれフレーム単位の合成用画像データが格納されることを示す。

図６に示すように、ＣＬＵＴ異常検出部３４が合成用画像の異常を検出すると、ＣＬＵＴ圧縮部１２は、異常がある合成用画像データの圧縮を停止するため、ランレングス圧縮部１３によるデータ圧縮処理が停止される。そのため、圧縮データ記憶部１４へのランレングス圧縮画像データの記憶（キャプチャ）が停止される。

ＣＬＵＴ異常検出部３４によって合成用画像の異常が検出されると、ＣＬＵＴ異常フラグがＯＦＦからＯＮになるため、合成部１７は、合成機能をＯＮからＯＦＦにし、異常が検出されたフレームの合成用画像を用いた合成処理を停止する。

その後、ＣＬＵＴ異常検出部３４が合成用画像の異常を検出しなくなると、ＣＬＵＴ圧縮部１２は、異常がない合成用画像データから圧縮処理を開始する。これにより、ランレングス圧縮部１３によるデータ圧縮処理が再開され、圧縮データ記憶部１４へのランレングス圧縮画像データの記憶が再開される。

合成部１７は、ＣＬＵＴ異常検出部３４が合成用画像の異常を検出しなくなると、ＣＬＵＴ異常フラグがＯＮからＯＦＦになるため、合成用画像に対する他の異常フラグがＯＦＦである場合、合成機能をＯＦＦからＯＮにし、異常が検出されなくなった合成用画像を用いた合成処理を再開する。なお、合成用画像は、図６に示すように、圧縮データ記憶部１４に記憶（キャプチャ）が完了した後に読み出されて合成処理が行われる。

合成用画像の生成に用いられる画素色以外の画素色を示すデータが合成用画像データに含まれる場合、合成用画像データの少なくとも一部が壊れているおそれがある。合成部１７は、合成用画像を撮像用画像にクロマキー合成することから、例えば、透過色にする色（以下、指定色と記載する）の画素の一部または全部が指定色以外の色になっているような場合、クロマキー合成が正常に行なわれず、異常画像を出力するおそれがある。

そこで、画像処理装置３は、上述したように、合成用画像に用いられる色以外の色が含まれている場合に、撮像画像と合成用画像との合成処理を停止し、撮像画像データを表示装置４へ出力する。これにより、異常な画像を表示することが抑制でき、車両の運転が阻害されることを抑制できる。

また、画像処理装置３は、画像生成装置２が合成用画像の生成に用いる画素色のみを有効色としその他の画素色を無効色としてＣＬＵＴに設定しており、無効色に対応する画素データが撮像画像データに含まれる場合、エラーを示す変換値（例えば、図４（ｂ）に示す「０ｘＦＦ」）を出力する。そのため、圧縮に用いるＣＬＵＴに基づき、合成用画像の異常を容易に検出することができる。

図２に戻って、合成用画像異常検出部２１の構成についての説明を続ける。合成用画像異常検出部２１のメモリ容量異常検出部３５は、設定情報記憶部１９に記憶された異常検出機能設定の情報に基づき、メモリ容量異常検出機能がＯＮに設定されている場合に動作する。

かかるメモリ容量異常検出部３５は、圧縮データ記憶部１４に記憶されるフレーム単位のランレングス圧縮画像データのデータ量が所定値以上である場合に、ランレングス圧縮画像データが異常であると判定し、合成用画像の異常を検出する。

図７（ａ）は、圧縮データ記憶部１４の構成例の説明図である。図７（ａ）に示すように、圧縮データ記憶部１４は、例えば、複数のラインメモリによって構成されている。メモリ容量異常検出部３５は、例えば、圧縮データ記憶部１４に記憶されたランレングス圧縮画像データのデータ量が予め設定された数のラインメモリのメモリ容量よりも大きい場合に、ランレングス圧縮画像データが異常であると判定し、合成用画像の異常を検出する。

メモリ容量異常検出部３５は、合成用画像の異常を検出すると、フラグ記憶部３６に記憶されるメモリ容量異常フラグをＯＮ（例えば、「１」）にする。また、メモリ容量異常検出部３５は、合成用画像の異常を検出しない場合、フラグ記憶部３６に記憶されるメモリ容量異常フラグをＯＦＦ（例えば、「０」）にする。

合成部１７は、フラグ記憶部３６に記憶されるメモリ容量異常フラグの状態を合成前または定期的に監視しており、かかるメモリ容量異常フラグがＯＦＦからＯＮになった場合に、合成機能をＯＮからＯＦＦにする。

図７（ｂ）は、メモリ容量異常検出方法の一例を示す図であり、垂直同期信号Ｖｓｙｎｃ、合成用画像データの状態、圧縮データ記憶部１４におけるランレングス圧縮画像データの記憶状態（メモリ状態）、および、合成部１７による合成処理の内容が示される。

図７（ｂ）に示すように、圧縮データ記憶部１４に記憶されるランレングス圧縮画像データのデータ量が予め設定された数のラインメモリのメモリ容量よりも大きい場合、容量オーバにより、メモリ容量異常検出部３５によって合成用画像の異常が検出される。

合成部１７は、メモリ容量異常検出部３５によって合成用画像の異常が検出されると、ＣＬＵＴ異常フラグがＯＦＦからＯＮになるため、合成機能をＯＮからＯＦＦにし、異常が検出されたフレームの合成用画像を用いた合成処理を停止する。

合成部１７は、メモリ容量異常検出部３５が合成用画像の異常を検出しなくなると、ＣＬＵＴ異常フラグがＯＮからＯＦＦになるため、合成用画像に対する他の異常フラグがＯＦＦである場合、合成機能をＯＦＦからＯＮにし、異常が検出されなくなったフレームの合成用画像を用いた合成処理を再開する。

合成用画像が例えばガイド線の画像や警告画像のように複雑な画像でない場合には、圧縮画像データのデータ量は小さい。このような合成用画像が異常である場合、圧縮画像データは大きくなる。そこで、画像処理装置３は、圧縮画像データのデータ量が予め設定された閾値よりも大きい場合に、合成用画像に異常があると判定する。これにより、合成用画像の異常を容易に検出することができる。

［４．画像処理装置３の画像処理］
次に、図８〜図１０を参照して画像処理装置３によって実行される画像処理について説明する。図８は、画像処理装置３が実行する画像処理手順を示すフローチャートである。

図８に示すように、画像処理装置３は、設定情報記憶部１９に記憶された設定情報に基づき、合成設定がＯＮになっているか否かを判定する（ステップＳ１）。合成設定がＯＮになっていると判定された場合（ステップＳ１；Ｙｅｓ）、画像処理装置３の合成用画像取得部１１は、画像生成装置２からの合成用画像を取得する（ステップＳ２）。

画像処理装置３の合成用画像異常検出部２１は、合成用画像取得部１１により取得した合成用画像の異常があるか否かの異常検出処理を行う（ステップＳ３）。かかる処理は、図９に示すステップＳ１０〜Ｓ２１に示す処理であり、後で詳述する。

合成部１７は、合成用画像異常検出部２１のフラグ記憶部３６に記憶されたフラグの状態に基づき、合成用画像の異常が検出されているか否かを判定する（ステップＳ４）。合成用画像の異常が検出されていない場合（ステップＳ４；Ｎｏ）、合成部１７は、撮像画像と合成用画像との合成処理を実行し、合成画像を出力する（ステップＳ５）。

一方、合成用画像の異常が検出されている場合（ステップＳ４；Ｙｅｓ）、合成部１７は、撮像画像と合成用画像との合成処理を行わずに、撮像画像データを出力する（ステップＳ６）。

ステップＳ５、Ｓ６の処理が終了した場合、画像処理装置３は、合成設定がＯＦＦになっているか否かを判定する（ステップＳ７）。合成設定がＯＦＦになっていないと判定した場合（ステップＳ７；Ｎｏ）、画像処理装置３は、ステップＳ２の処理に移行する。

一方、合成設定がＯＦＦになっていると判定した場合（ステップＳ７；Ｙｅｓ）、画像処理装置３は、図８に示す画像処理を終了する。また、ステップＳ１において、合成設定がＯＮになっていないと判定された場合（ステップＳ１；Ｎｏ）、合成部１７は、撮像画像と合成用画像との合成処理を行わずに、撮像画像データを出力し（ステップＳ８）、図８に示す画像処理を終了する。

次に、図８に示すステップＳ３の異常検出処理について図９を参照して説明する。図９は、異常検出処理手順を示すフローチャートである。

図９に示すように、画像処理装置３の合成用画像異常検出部２１は、設定情報記憶部１９に記憶された設定情報に基づき、合成用画像用のＣＬＫ／Ｖｓｙｎｃ異常検出機能がＯＮになっているか否かを判定する（ステップＳ１０）。ＣＬＫ／Ｖｓｙｎｃ異常検出機能がＯＮになっている場合（ステップＳ１０；Ｙｅｓ）、合成用画像異常検出部２１は、ＣＬＫ異常やＶｓｙｎｃ異常があるか否かを判定する（ステップＳ１１）。

合成用画像異常検出部２１は、ＣＬＫ異常またはＶｓｙｎｃ異常がある場合（ステップＳ１１；Ｙｅｓ）、フラグ記憶部３６のＣＬＫ異常フラグをＯＮにし（ステップＳ１２）、ＣＬＫ異常およびＶｓｙｎｃ異常がない場合（ステップＳ１１；Ｎｏ）、ＣＬＫ異常フラグをＯＦＦにする（ステップＳ１３）。

ステップＳ１２、Ｓ１３の処理が終了した場合、または、ステップＳ１０においてＣＬＫ／Ｖｓｙｎｃ異常検出機能がＯＮになっていない場合（ステップＳ１０；Ｎｏ）、合成用画像異常検出部２１は、設定情報記憶部１９に記憶された設定情報に基づき、ＣＬＵＴ異常検出機能がＯＮになっているか否かを判定する（ステップＳ１４）。ＣＬＵＴ異常検出機能がＯＮになっている場合（ステップＳ１４；Ｙｅｓ）、合成用画像異常検出部２１は、ＣＬＵＴ異常があるか否かを判定する（ステップＳ１５）。

合成用画像異常検出部２１は、ＣＬＵＴ異常がある場合（ステップＳ１５；Ｙｅｓ）、フラグ記憶部３６のＣＬＵＴ異常フラグをＯＮにし（ステップＳ１６）、ＣＬＵＴ異常がない場合（ステップＳ１５；Ｎｏ）、ＣＬＵＴ異常フラグをＯＦＦにする（ステップＳ１７）。

ステップＳ１６、Ｓ１７の処理が終了した場合、または、ステップＳ１４においてＣＬＵＴ異常検出機能がＯＮになっていない場合（ステップＳ１４；Ｎｏ）、合成用画像異常検出部２１は、設定情報記憶部１９に記憶された設定情報に基づき、メモリ容量異常検出機能がＯＮになっているか否かを判定する（ステップＳ１８）。メモリ容量異常検出機能がＯＮになっている場合（ステップＳ１８；Ｙｅｓ）、合成用画像異常検出部２１は、メモリ容量異常があるか否かを判定する（ステップＳ１９）。

合成用画像異常検出部２１は、メモリ容量異常がある場合（ステップＳ１９；Ｙｅｓ）、フラグ記憶部３６のメモリ容量異常フラグをＯＮにし（ステップＳ２０）、メモリ容量異常がない場合（ステップＳ１９；Ｎｏ）、フラグ記憶部３６のメモリ容量異常フラグをＯＦＦにする（ステップＳ２１）。ステップＳ２０、Ｓ２１の処理が終了した場合、または、ステップＳ１８においてメモリ容量異常検出機能がＯＮになっていない場合（ステップＳ１８；Ｎｏ）、図９に示す処理を終了する。

次に、画像処理装置３が実行するバックライト制御処理について図１０を参照して説明する。図１０は、画像処理装置３が実行するバックライト制御処理手順を示すフローチャートである。

図１０に示すように、画像処理装置３は、設定情報記憶部１９に記憶された設定情報に基づき、画像表示設定がＯＮになっているか否かを判定する（ステップＳ３０）。画像表示設定がＯＮになっていると判定された場合（ステップＳ３０；Ｙｅｓ）、画像処理装置３の撮像画像取得部１０は、撮像装置１から撮像画像を取得する（ステップＳ３１）。

次に、画像処理装置３の撮像画像異常検出部２０は、設定情報記憶部１９に記憶された設定情報に基づき、撮像画像用のＣＬＫ／Ｖｓｙｎｃ異常検出機能がＯＮになっているか否かを判定する（ステップＳ３２）。ＣＬＫ／Ｖｓｙｎｃ異常検出機能がＯＮになっている場合（ステップＳ３２；Ｙｅｓ）、撮像画像異常検出部２０は、ＣＬＫ異常やＶｓｙｎｃ異常があるか否かを判定する（ステップＳ３３）。

ＣＬＫ異常またはＶｓｙｎｃ異常がある場合（ステップＳ３３；Ｙｅｓ）、バックライト制御部２２は、バックライト４２の点灯をＯＦＦにする（ステップＳ３４）。また、ＣＬＫ異常およびＶｓｙｎｃ異常がない場合（ステップＳ３３；Ｎｏ）、バックライト制御部２２は、バックライト４２の点灯をＯＮにする（ステップＳ３５）。

ステップＳ３４、Ｓ３５の処理が終了した場合、画像処理装置３は、画像表示設定がＯＦＦになっているか否かを判定する（ステップＳ３６）。画像表示設定がＯＦＦになっていないと判定した場合（ステップＳ３６；Ｎｏ）、画像処理装置３は、処理をステップＳ３１へ移行する。

一方、画像表示設定がＯＦＦになっていると判定した場合（ステップＳ３６；Ｙｅｓ）、ステップＳ３０において、画像表示設定がＯＮになっていないと判定された場合（ステップＳ３０；Ｎｏ）、または、ステップＳ３２において、ＣＬＫ／Ｖｓｙｎｃ異常検出機能がＯＮになっていない場合（ステップＳ３２；Ｎｏ）、画像処理装置３は、図１０に示すバックライト制御処理を終了する。

以上のように、実施形態に係る画像処理装置３は、合成用画像の異常を検出した場合、撮像画像と合成用画像との合成を自動的に停止するため、合成用画像に異常がある場合に適切な処理を行うことができる。

なお、上述した実施形態では、撮像装置１を車両後方に配置し、撮像装置１によって車両後方を撮像するものとして説明したが、例えば、運転を支援するために車両周辺を撮像するものであれば撮像装置１はどのような配置および撮像方向であってもよい。

また、上述した実施形態では、車両に搭載される車載装置１００を構成する画像処理装置３を一例として説明したが、画像処理装置３は、例えば、スマートフォンなどに内蔵される画像処理装置であってもよい。

また、上述した実施形態では、合成用画像は、運転を支援するための指標となる画像を例に挙げて説明したが、例えば、利用者の利便性を高めるための合成用画像などであればよい。

また、上述した実施形態では、同期信号の異常として、垂直同期信号Ｖｓｙｎｃの異常を一例に挙げて説明したが、同期信号の異常は、水平同期信号Ｈｓｙｎｃの異常であってもよく、また、垂直同期信号Ｖｓｙｎｃと水平同期信号Ｈｓｙｎｃとを共に検出することもできる。また、上述した映像信号は、例えば、アナログ形式の映像信号でもデジタル形式の映像信号でもよい。

また、上述した実施形態では、ＣＬＵＴを用いたデータ圧縮とランレングス法を用いたデータ圧縮を行って記憶しているが、他のデータ圧縮方法を行って記憶するようにしてもよい。

また、上述した実施形態では、メモリ容量異常検出部３５は、ランレングス圧縮画像データのデータ量が予め設定された数のラインメモリのメモリ容量よりも大きい場合に、ランレングス圧縮画像データが異常であると判定したが、ランレングス圧縮画像データのデータ量が閾値データ量を超えた場合に、ランレングス圧縮画像データが異常であると判定することもできる。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 撮像装置（撮像部の一例）
２ 合成用画像生成装置
３ 画像処理装置
４ 表示装置
１０ 撮像画像取得部
１１ 合成用画像取得部
１２ ＣＬＵＴ圧縮部
１３ ランレングス圧縮部
１４ 圧縮データ記憶部
１５ ランレングス伸張部
１６ ＣＬＵＴ伸張部
１７ 合成部
１８ 出力部
１９ 設定情報記憶部
２０ 撮像画像異常検出部
２１ 合成用画像異常検出部
２２ バックライト制御部（表示制御部の一例）
３１ ＣＬＫ／Ｖｓｙｎｃ異常検出部
３２ フラグ記憶部
３３ ＣＬＫ／Ｖｓｙｎｃ異常検出部
３４ ＣＬＵＴ異常検出部
３５ メモリ容量異常検出部
３６ フラグ記憶部
４１ ＬＣＤ
４２ バックライト
１００ 車載装置

Claims (10)

1. 撮像部の撮像画像を取得する撮像画像取得部と、
   合成用画像を取得する合成用画像取得部と、
   前記撮像画像に前記合成用画像を合成する合成部と、
   前記合成用画像の異常を検出する合成用画像異常検出部と、を備え、
   前記合成部は、
   前記合成用画像異常検出部が前記異常を検出した場合、前記撮像画像と前記合成用画像との合成を停止する
   ことを特徴とする画像処理装置。
2. 前記合成部は、
   前記撮像画像と前記合成用画像との合成を停止した場合、前記撮像画像を出力する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像画像の異常を検出する撮像画像異常検出部と、
   前記撮像画像異常検出部が前記撮像画像の異常を検出した場合、前記撮像画像と前記合成用画像との合成画像の表示を停止する表示制御部と、を備える
   ことを特徴とする請求項１または２に記載の画像処理装置。
4. 前記表示制御部は、
   前記撮像画像異常検出部が前記撮像画像の異常を検出した場合、前記合成画像を表示する表示部のバックライトをＯＦＦにすることによって、前記合成画像の表示を停止する
   ことを特徴とする請求項３に記載の画像処理装置。
5. 前記合成用画像異常検出部は、
   前記合成用画像取得部によって前記合成用画像を取得する際に用いられるクロック信号と同期信号の少なくとも一つに異常がある場合に、前記合成用画像取得部によって取得される前記合成用画像に異常があると判定する
   ことを特徴とする請求項１〜４のいずれか一つに記載の画像処理装置。
6. 前記合成用画像異常検出部は、
   前記合成用画像に用いられる色以外の色が前記合成用画像取得部によって取得された前記合成用画像に含まれている場合に、前記合成用画像取得部によって取得される前記合成用画像に異常があると判定する
   ことを特徴とする請求項１〜５のいずれか一つに記載の画像処理装置。
7. 前記合成用画像を圧縮したデータのデータ量が閾値以上である場合に、前記合成用画像取得部によって取得される前記合成用画像に異常があると判定する
   ことを特徴とする請求項１〜６のいずれか一つに記載の画像処理装置。
8. 前記撮像画像異常検出部は、
   前記撮像画像取得部によって前記撮像画像を取得する際に用いられるクロック信号と同期信号の少なくとも一つに異常がある場合に、前記撮像画像取得部によって取得される前記撮像画像に異常があると判定する
   ことを特徴とする請求項３または４に記載の画像処理装置。
9. 撮像部の撮像画像を取得する撮像画像取得工程と、
   合成用画像を取得する合成用画像取得工程と、
   前記撮像画像に前記合成用画像を合成する合成工程と、
   前記合成用画像の異常を検出する合成用画像異常検出工程と、を含み、
   前記合成工程は、
   前記合成用画像異常検出工程において前記異常が検出された場合、前記撮像画像と前記合成用画像との合成を停止する
   ことを特徴とする画像処理方法。
10. 車両の周辺の画像を撮像し、当該撮像画像を出力する撮像部と、
    合成用画像を生成する合成用画像生成部と、
    前記撮像画像に前記合成用画像を合成する合成部と、
    前記撮像画像と前記合成用画像との合成画像を表示する表示部と、
    前記合成用画像の異常を検出する合成用画像異常検出部と、を備え、
    前記合成部は、
    前記合成用画像異常検出部が前記異常を検出した場合、前記合成部による前記撮像画像と前記合成用画像との合成を停止する
    ことを特徴とする車載装置。

Images