JP2010252015A - 画像合成装置、画像合成方法およびプログラム - Google Patents

Abstract

【課題】フレームメモリを要することなく補正値適用ズレの弊害を防ぐことができる画像合成装置を提供する。
【解決手段】複数のカメラ２によって撮像した複数の画像を合成する画像合成装置であって、カメラ２から入力される複数のカメラ画像を記憶する画像メモリ１１と、画像メモリ１１から、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出す画像抽出部１２と、画像レベルに基づいて、重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出する補正値算出部１９と、読み出したカメラ画像を補正値を用いて補正する画像補正部１４と、補正後のカメラ画像を合成する画像合成部１５とを備え、補正値算出部１９による補正値の算出を、画像抽出部１２によって画像を読み出す映像有効区間の直前の垂直ブランキング区間に行う構成を有する。
【選択図】図１

Description

本発明は、車両に搭載された複数のカメラにて撮像された画像を合成して表示する車載カメラの画像合成装置および画像合成方法に関し、特に車両周囲の画像を視認しやすく合成する技術に関する。

近年、車両に取り付けられた複数台のカメラの画像を、車両上方から見下ろした視点等の所定の仮想視点から見た画像に変形・合成し、リアルタイムで画面に表示する視点変換技術を用いた画像合成装置が開発されている。運転者は、車両周辺の状況を画面で確認でき、事故を回避したり、駐車場等での運転操作を容易にすることができる。

図５（ａ）および図５（ｂ）は、このような画像合成装置のカメラの搭載位置を示す図である。図５（ａ）は、カメラ２１〜２５を搭載した自動車の上面図であり、図５（ｂ）はその左側面図である。図５（ａ）および図５（ｂ）に示す自動車には、５台のカメラ２１〜２５が搭載されている。カメラ２１は車両の真後ろを撮像し、車両の左サイドの前後に取り付けられたカメラ２２、カメラ２３が車両の左サイド斜め後方を撮像し、車両の右サイドの前後に取り付けられたカメラ２４、カメラ２５が車両の右サイド斜め後方を撮像する。

図６は、図５（ａ）および図５（ｂ）に示す５台のカメラ２１〜２５の各撮像画像とその合成画像を示す図である。この例では、車両が駐車場にバックするときの画像を示している。運転者が５台のカメラ２１〜２５の撮像画像を順番に表示画面で監視することは困難である。図６に示すように、５台のカメラ２１〜２５の撮像画像を、車両の上方位置の仮想視点から見下ろした画像に変換して合成し、画面に表示することにより、車両の周辺を一度に監視でき、状況を容易に把握できる。なお、図６に示す合成画像において、自分の車両を表す画像は、カメラ画像の合成ではなく（カメラに写らないため）、イラストデータの画像である。

ところが、複数のカメラ２１〜２５の撮像画像を合成して表示装置の画面に表示する場合、複数のカメラが同一規格であっても、輝度や色バランス等をカメラ毎に独立に制御しているため、カメラ２１〜２５の撮像範囲の境界部においてカメラ間で輝度や色バランスの差ができてしまい、非常に見づらい画像になってしまうという問題があった。

この問題を解決するため、以下の方法が提案されている。複数のカメラの配置を、それぞれの撮像範囲が境界部において重複するような配置とする。カメラの撮像画像を合成する際に、画像の重なった部分の画像レベルを参照して、カメラ間の輝度や色バランスが一致するように補正を行う。

特許文献１は、補正方法の一例を開示している。第１のカメラの画像の輝度の平均値、第１のカメラと隣接して配置された第２のカメラの画像の輝度の平均値、この２つの映像の重複部の輝度のそれぞれの平均値を計測する。そして、重複部の輝度が等しく、かつ、画面全体の輝度の平均値があらかじめ設定した目標値になるように、各カメラ画像に対する補正値を算出し、合成画像に対して補正を行う。なお、特許文献１では、輝度のみを補正している。

特許文献１に記載された方法で、あるフレームの映像の補正値を求めるためには、フレーム全体を走査して、画像レベルを計測する必要がある。リアルタイムで動作する画像合成装置においては、補正値の算出のためにフレーム全体を走査する時間をかけることができない。従って、時刻Ｎ＋１のフレームに適用される補正値は、時刻Ｎのフレームで算出した値から算出した補正値である。本来は、時刻Ｎのフレームから求めた補正値は時刻Ｎのフレームに適用すべきであるが、実際には時刻Ｎ＋１のフレームに適用しているため、補正値を求めるためのフレーム（ここでは時刻Ｎのフレーム）と補正対象のフレーム（ここでは時刻Ｎ＋１のフレーム）とが一致しない（以下、「補正値適用ズレ」という）。この補正値適用ズレによる弊害としては、被写体の明るさが変動したときに、画面がちらついて、カメラ間の明るさの差がかえって目立ってしまう点が主に挙げられる。

この補正値適用ズレの問題に対して、特許文献２に記載の画像比較装置は、映像１フレーム分のフレームメモリを持ち、補正値を適用する映像側を１フレーム遅延させることによって、補正値適用ズレをなくしている。

特開２００６−１７３９８８公報 特開２００１−１６９３１１公報

しかしながら、フレームメモリを必要とすることはコスト面で不利であり、また、入力された画像が、システムディレイに加えて、さらに１フレーム遅延する。従って、リアルタイム性を求められる車載用途において望ましくない。

本発明は、上記背景に鑑み、フレームメモリを要することなく補正値適用ズレの弊害を防ぐことができる画像合成装置を提供することを目的とする。

本発明の画像合成装置は、互いの撮像範囲の一部が重複するように配置された複数のカメラによって撮像した複数の画像を合成する画像合成装置であって、前記カメラから入力される複数のカメラ画像を記憶する画像メモリと、前記画像メモリから、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出す第１の画像抽出部と、読み出した画像の画像レベルを計測する画像レベル計測部と、前記画像レベルに基づいて、前記重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出する補正値算出部と、前記画像メモリから前記カメラ画像を読み出す第２の画像抽出部と、読み出したカメラ画像を前記補正値を用いて補正する画像補正部と、前記補正後のカメラ画像を合成する画像合成部とを備え、前記補正値算出部による補正値の算出を、前記第２の画像抽出部によって画像を読み出す映像有効区間の直前の垂直ブランキング区間に行う構成を有する。

この構成により、複数のカメラ画像の重複部分だけから補正値を求めるので、垂直ブランキング区間に補正値を求めることができ、垂直ブランキング区間に続く映像有効区間に読み出したカメラ画像に対して補正値を適用できる。これにより、補正値を求めるための画像フレームと補正対象の画像フレームとを一致させることができる。

本発明の画像合成装置は、前記重複部分に対応する前記カメラ画像の座標を記憶した重複部分抽出用テーブルを備え、前記第１の画像抽出部は、前記重複部分抽出用テーブルに記憶された座標から重複部分の画像のデータを読み出す構成を有する。

この構成により、画像を解析して重複部分を判断することなく、重複部分の画像を読み出すことができる。

本発明の画像合成装置は、前記カメラ画像の座標と合成画像の座標との対応関係を記憶した合成画像抽出用テーブルを備え、前記第２の画像抽出部は、前記合成画像抽出用テーブルに記憶されたカメラ画像の座標から画像のデータを読み出し、前記画像合成部は、読み出した画像のデータを対応する合成画像の座標にマッピングまたは合成してマッピングする構成を有する。

この構成により、複数のカメラ画像を容易に合成することができる。

本発明の画像合成方法は、互いの撮像範囲の一部が重複するように配置された複数のカメラによって撮像した複数の画像を合成する画像合成方法であって、前記カメラから入力される複数のカメラ画像を画像メモリに記憶するステップと、垂直ブランキング区間に、前記画像メモリから、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出すステップと、読み出した画像の画像レベルを計測するステップと、前記画像レベルに基づいて、前記重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出するステップと、前記垂直ブランキング区間に続く映像有効区間に、前記画像メモリから前記カメラ画像を読み出すステップと、読み出したカメラ画像を前記補正値を用いて補正するステップと、前記補正後のカメラ画像を合成するステップとを備えた構成を有する。

この構成により、上記した画像合成装置と同様に、補正値を求めるための画像フレームと補正対象の画像フレームとを一致させることができる。また、上記した画像合成装置の各種の構成を本発明の画像合成方法に適用することができる。

本発明のプログラムは、互いの撮像範囲の一部が重複するように配置された複数のカメラによって撮像した複数の画像を合成するためのプログラムであって、コンピュータに、前記カメラから入力される複数のカメラ画像を画像メモリに記憶するステップと、垂直ブランキング区間に、前記画像メモリから、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出すステップと、読み出した画像の画像レベルを計測するステップと、前記画像レベルに基づいて、前記重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出するステップと、前記垂直ブランキング区間に続く映像有効区間に、前記画像メモリから前記カメラ画像を読み出すステップと、読み出したカメラ画像を前記補正値を用いて補正するステップと、前記補正後のカメラ画像を合成するステップとを実行させる。

この構成により、上記した画像合成装置と同様に、補正値を求めるための画像フレームと補正対象の画像フレームとを一致させることができる。また、上記した画像合成装置の各種の構成を本発明のプログラムに適用することができる。

本発明によれば、垂直ブランキング区間に補正値を求め、垂直ブランキング区間に続く映像有効区間に読み出したカメラ画像に対して補正値を適用するので、補正値を求めるための画像フレームと補正対象の画像フレームとを一致させることができるというすぐれた効果を有する。

実施の形態における画像合成装置のブロック図 （ａ）本実施の形態における合成画像の一例を示す図、（ｂ）合成画像抽出用テーブルの説明図、（ｃ）重複部分抽出用テーブルの説明図 実施の形態における画像合成装置の画像合成補正処理の手順を示すフローチャート 実施の形態における画像合成装置の画像合成補正処理のフレームタイミングを示す図 （ａ）５台の車載カメラを搭載した自動車の例を示す上面図、（ｂ）５台の車載カメラを搭載した自動車の例を示す側面図 ５台の車載カメラを搭載した自動車の各カメラの画像とその合成画像の例を示す図

以下、本発明の実施の形態の画像合成装置について、図面を参照しながら説明する。本実施の形態の画像合成装置は、図６に示したような複数の車載カメラの撮像画像を、視点変換、合成して表示装置に表示させる装置である。

図１は、本発明の実施の形態の画像合成装置１の構成を示す図である。画像合成装置１には、ｎ台の車載カメラ２と表示装置３が接続されている。ｎ台の車載カメラ２は、互いに隣接する車載カメラ２と撮像範囲の一部が重複するように配置されている。

画像合成装置１は、車載カメラ２から入力されたカメラ画像を記憶する画像メモリ１１と、重複部分に対応するカメラ画像の座標を記憶した重複部分抽出用テーブル１６と、カメラ画像の座標と合成画像の座標の対応関係を記憶した合成画像抽出用テーブル１７と、２つのテーブル１６，１７に基づき画像メモリ１１から、重複部分の画像または合成用画像を抽出する画像抽出部１２と、画像メモリ１１から抽出された重複部分のデータに基づいて補正値を算出する補正信号発生部１３と、補正信号発生部１３が算出した画像信号補正値に基づいて画像データの補正を行う画像補正部１４と、補正後の画像データを合成し、合成後の画像を表示装置３に表示する画像合成部１５とを備えている。なお、画像抽出部１２は、請求項に記載の「第１の画像抽出部」、「第２の画像抽出部」の機能を兼ね備えている。補正信号発生部１３は、画像レベル計測部１８と、補正値算出部１９とを有している。画像抽出部１２は、後述する重複部分抽出用テーブル１６、合成画像抽出用テーブル１７にて指定される座標値と、読み出しであることを示す制御信号を画像メモリ１１に送り、画像メモリ１１から当該座標の画像データを読み出す。

図２（ａ）〜図２（ｃ）は、合成画像抽出用テーブル１７と、重複部分抽出用テーブル１６の詳細について説明するための図である。図２（ａ）は本実施の形態における合成画像の一例を示す図であり、図５（ａ）、図５（ｂ）に示すような５台のカメラで撮像した撮像画像を変形、合成して得られる１フレーム分の合成画像の例である。

図２（ｂ）は、合成画像抽出用テーブルの例を示す図である。合成画像抽出用テーブル１７は、合成画像の画素座標と１対１に対応している。合成画像抽出用テーブル１７には、出力画像の各座標において、どのカメラ画像のどの座標と、どのカメラ画像のどの座標を合成するかの対応が記述されている。各座標のテーブルとして、その座標に対応する合成画像画素を生成するためのカメラ画像のカメラ番号および、画素座標を示す２次元配列が表現されている。その座標が隣接するカメラとの重複部分の場合は、各々のカメラ番号、および、画素座標を示す２次元配列が表現されている。また、イラスト重畳かどうかの情報も表現されている。図２（ｂ）に示す例では、合成画像抽出用テーブルの座標（ｘ１，ｙ１）に「イラスト：ＮＯ、重複：ＮＯ、カメラ番号：２、座標：（Ｘａ，Ｙｂ）」の情報が格納されている。これは、合成画像の座標（ｘ１，ｙ１）の画素は、カメラ２の画像の座標（Ｘａ，Ｙｂ）の画素によって生成される、ということを示している。また、合成画像抽出用テーブルの座標（ｘ２，ｙ１）に、「イラスト：ＮＯ、重複：ＹＥＳ、カメラ番号：２、座標：（Ｘｃ，Ｙｄ）、カメラ番号：１、座標：（Ｘｅ，Ｙｆ）、重み付け：α」の情報が格納されている。これは、合成画像の座標（ｘ２，ｙ１）の画素は、カメラ２の画像の座標（Ｘｃ，Ｙｄ）と、カメラ１の画像の座標（Ｘｅ，Ｙｆ）の重複部分であり、それぞれの画素値をα：（１−α）の重み付けでブレンドして生成される、ということを示している。

図２（ｃ）は、重複部分抽出用テーブル１６の一例を示す図である。この重複部分抽出用テーブル１６には、どのカメラ画像のどの座標と、どのカメラ画像のどの座標が重複しているかの対応が記述されている。重複部分抽出用テーブル１６には、合成画像中の隣接するカメラ画像の重複部分の全部、または、一部における、各々のカメラのカメラ番号、および、画素座標を示す２次元配列が記憶されている。図２（ｃ）に示す例では、Ｍ番目のデータは、「カメラ番号：１、座標：（Ｘｇ，Ｙｈ）、カメラ番号：２、座標：（Ｘｉ，Ｙｊ）」の情報が格納されている。これは、重複部分の画像のＭ番目の画素は、カメラ１の撮像画像の座標（Ｘｇ，Ｙｈ）と、カメラ２の撮像画像の座標（Ｘｉ，Ｙｊ）の重複部分である、ということを示している。

上記に説明した画像合成装置１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及びこれらを接続するデータバスなどによって構成されるコンピュータによって構成される。ＲＯＭに書き込まれたプログラムに従ってＣＰＵが演算処理を実行することにより、上記機能が実現される。重複部分抽出用テーブル１６および合成画像抽出用テーブル１７は、ＲＯＭに記憶してもよいし、外部の記憶媒体に記憶してもよい。

図３は、画像合成装置１による合成用の画像の補正処理の手順を示すフローチャートである。画像合成装置１は、カメラ画像を例えば、１秒に３０枚ずつ取り込む。画像合成装置１は、カメラ画像を取り込む毎に、図３に示す補正処理を行う。

まず、ブランキング区間に入ると、画像抽出部１２は、重複部分抽出用テーブル１６に基づき、画像メモリ１１から重複部分の画像データを読み出す（Ｓ１０）。画像レベル計測部１８は、補正に必要な各隣接するカメラの画像の重複部分における画像データの画素レベルを、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の色別に積算し、同時に画素数の計測を行う（Ｓ１１）。このとき、Ｒ、Ｇ、Ｂの値が予め定められた閾値の範囲外である場合には、その画素レベルは積算せず、画素数も計測しない。これにより、画素レベルの異常値を補正値の算出から除外し、適切な補正値を求めることができる。続いて、各重複部分における各カメラの画像データのＲ、Ｇ、Ｂの画素レベルの積算値を画素数で割り、重複部分における各カメラ画像の信号レベルの平均値を算出する（Ｓ１２）。

次に、補正値算出部１９は、各重複部分における各カメラの信号レベルの平均値を用いて、隣接カメラ画像間における重複部分の信号レベルの平均値を一致させるための各カメラ画像の補正値を算出する（Ｓ１３）。映像有効区間が始まったら、画像抽出部１２は、合成画像抽出用テーブル１７に基づき、画像メモリ１１から合成用画像データを読み出す（Ｓ１４）。画像合成部１５は、合成画像抽出用テーブル１７に記述されたデータに基づいて、対応するカメラ画像の画素データをマッピングまたは合成してマッピングすることにより、合成画像を生成する（Ｓ１５）。

図４は、補正値を算出のタイミングを示す図である。図４に示す垂直同期信号は、１フレームの区間を示す同期信号であり、垂直同期信号がＬＯＷのときが映像有効区間、ＨＩＧＨのときが垂直ブランキング区間である。垂直同期信号がＬＯＷからＨＩＧＨに変化した時点で映像１フレーム分が終了し、ＨＩＧＨから再びＬＯＷに変化した時点で次のフレームの映像が始まる。ｎフレームの画像について説明をする。垂直ブランキング区間に入ると、重複部分抽出用テーブル１６に基づき、画像メモリ１１からｎフレームにおける重複部分の画像を読み出す。画像レベル計測部１８は、各隣接するカメラの画像の重複部分における画像データの画素レベルの計測を行う。重複部分の画像の読み出しが終了したら、補正値算出部１９は補正値算出を行い、ｎフレーム用補正値を決定する。なお、重複部分抽出用テーブル１６は、合成画像の画素座標と１対１に対応している必要はなく、重複部分の全部、または、一部のみのデータである。画像メモリ１１から読み出す画素数は、合成画像に比べて十分に少ないため、垂直ブランキング区間内で重複部分の画像の読み出しから、補正算出までの処理が十分に可能である。映像有効期間が始まったら、画像抽出部１２は、合成画像抽出用テーブル１７に基づき、画像メモリ１１からｎフレームの合成用画像データを読み出し、画像補正部１４において、ｎフレームの合成用画像に対してｎフレーム用補正値を用いて補正を行う。

以上、本発明の実施の形態の画像合成装置１について説明した。本発明の画像合成装置は、画像の重なった部分（重複部分）の画像レベルを参照して、カメラ間の輝度や色バランスが一致するように補正を行うので、垂直ブランキング区間に補正値を求めることができる。これにより、垂直ブランキング区間に続く映像有効区間に読み出したカメラ画像に対して補正値を適用することができ、補正値を求めるための画像フレームと補正対象の画像フレームとを一致させることができる。図４に見られるように、ｎフレームから求めた補正値をｎフレームの画像に適用することができる。

なお、本実施の形態においては、重複部分抽出用テーブル１６、合成画像抽出用デーブル１７を別々に記載していたが、一つのデータ保持装置に、両方のデータを保持させても実施可能である。画像メモリ１１と兼用しても実施可能である。

本実施の形態においては、カメラを５台、車両前方が未撮像領域として記載したが、他のカメラ台数のシステムや、車両全周囲を撮像して表示するシステムにおいても実施可能である。

以上説明したように、本発明は、補正値を求めるための画像フレームと補正対象の画像フレームとを一致させることができるというすぐれた効果を有し、複数のカメラで撮像した画像を合成する画像合成装置等として有用である。

１ 画像合成装置
２ 車載カメラ
３ 表示装置
１１ 画像メモリ
１２ 画像抽出部
１３ 補正信号発生部
１４ 画像補正部
１５ 画像合成部
１６ 重複部分抽出用テーブル
１７ 合成画像抽出用テーブル
１８ 画像レベル計測部
１９ 補正値算出部

Claims (5)

1. 互いの撮像範囲の一部が重複するように配置された複数のカメラによって撮像した複数の画像を合成する画像合成装置であって、
   前記カメラから入力される複数のカメラ画像を記憶する画像メモリと、
   前記画像メモリから、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出す第１の画像抽出部と、
   読み出した画像の画像レベルを計測する画像レベル計測部と、
   前記画像レベルに基づいて、前記重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出する補正値算出部と、
   前記画像メモリから前記カメラ画像を読み出す第２の画像抽出部と、
   読み出したカメラ画像を前記補正値を用いて補正する画像補正部と、
   前記補正後のカメラ画像を合成する画像合成部と、
   を備え、
   前記補正値算出部による補正値の算出を、前記第２の画像抽出部によって画像を読み出す映像有効区間の直前の垂直ブランキング区間に行う画像合成装置。
2. 前記重複部分に対応する前記カメラ画像の座標を記憶した重複部分抽出用テーブルを備え、
   前記第１の画像抽出部は、前記重複部分抽出用テーブルに記憶された座標から重複部分の画像のデータを読み出す請求項１に記載の画像合成装置。
3. 前記カメラ画像の座標と合成画像の座標との対応関係を記憶した合成画像抽出用テーブルを備え、
   前記第２の画像抽出部は、前記合成画像抽出用テーブルに記憶されたカメラ画像の座標から画像のデータを読み出し、
   前記画像合成部は、読み出した画像のデータを対応する合成画像の座標にマッピングまたは合成してマッピングする請求項１または２に記載の画像合成装置。
4. 互いの撮像範囲の一部が重複するように配置された複数のカメラによって撮像した複数の画像を合成する方法であって、
   前記カメラから入力される複数のカメラ画像を画像メモリに記憶するステップと、
   垂直ブランキング区間に、前記画像メモリから、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出すステップと、
   読み出した画像の画像レベルを計測するステップと、
   前記画像レベルに基づいて、前記重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出するステップと、
   前記垂直ブランキング区間に続く映像有効区間に、前記画像メモリから前記カメラ画像を読み出すステップと、
   読み出したカメラ画像を前記補正値を用いて補正するステップと、
   前記補正後のカメラ画像を合成するステップと、
   を備える画像合成方法。
5. 互いの撮像範囲の一部が重複するように配置された複数のカメラによって撮像した複数の画像を合成するためのプログラムであって、コンピュータに、
   前記カメラから入力される複数のカメラ画像を画像メモリに記憶するステップと、
   垂直ブランキング区間に、前記画像メモリから、複数のカメラ画像の重複部分のうちの少なくとも一部の画像を読み出すステップと、
   読み出した画像の画像レベルを計測するステップと、
   前記画像レベルに基づいて、前記重複部分における複数のカメラ画像の画像レベルが同じになるように、複数のカメラ画像を補正するための補正値を算出するステップと、
   前記垂直ブランキング区間に続く映像有効区間に、前記画像メモリから前記カメラ画像を読み出すステップと、
   読み出したカメラ画像を前記補正値を用いて補正するステップと、
   前記補正後のカメラ画像を合成するステップと、
   を実行させるプログラム。