JP6513309B2 - 画像合成装置、画像合成方法、及び画像合成プログラム - Google Patents

Description

本発明は、複数の撮影装置の撮影により取得された複数の撮影画像を合成して一つの連続した画像を生成する画像合成装置、画像合成方法、及び画像合成プログラムに関する。

従来、被写体（例えば、車両）周辺に取り付けた複数のカメラにより複数の撮影画像を生成し、生成した複数の撮影画像を連結（合成）してパノラマ画像を生成する技術がある。この際、撮影時刻及び撮影場所によって被写体の明るさ（照度）が変化する場合は、撮影画像の輝度調整は、カメラの持つＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）機能を使用して、各カメラ撮影画像の輝度を調整するのが一般的である。

しかし、カメラの向き又は取付け方向が異なると、各撮影画像の輝度にばらつきが生じるため、複数の撮影画像をそのまま合成しただけでは、撮影画像間の輝度差のために、撮影画像間のつなぎ目が目立ち、合成画像の連続性が損なわれ、一枚の画としての見た目が不自然となる問題がある。そこで、特許文献１には、複数の撮影画像の中から画面内の平均輝度が最も高い画像を基準画像として選定し、基準画像の輝度に合わせるように、合成画像全体の輝度を調整する技術が開示されている。

特開２０１１−１６００１９号公報

しかしながら、特許文献１の技術では、複数の撮影画像の中で平均輝度が最も高い画像を基準にしているため、他の撮影画像の平均輝度を増加するように輝度調整がされる。このとき、輝度調整される撮影画像内には、輝度の低い部分（暗部）と輝度の高い部分（明部）が混在しており、画面全体の輝度調整を行うと、元々の明部の輝度が高い場合は、明部の輝度は元画像よりもさらに高くなってしまい、輝度が飽和した状態（いわゆる白とび）になるという問題がある。

また、車両などの移動体を監視する用途に合成画像を使用する場合であって、明部に移動体が現れることが予めわかっている場合では、輝度調整後の撮影画像の輝度が飽和した状態であると、監視者が移動体を認識することが困難となる（認識までに時間がかかる）問題がある。

本発明に係る画像合成装置、画像合成方法、及び画像合成プログラムは、上記のような問題点を解決するためになされたものであり、合成画像のつなぎ目において撮影画像間の輝度の違いによる輝度むらを低減し、認識しやすい合成画像を提供することを目的とする。

本発明の一態様に係る画像合成装置は、複数の撮影装置の撮影により取得された複数の撮影画像の一部が重畳するように前記複数の撮影画像を合成して一つの連続した画像を生成する画像合成装置において、前記複数の撮影画像の内の少なくとも一つの撮影画像の一部を参照領域として設定する参照領域設定部と、前記参照領域が設定された前記撮影画像である第１の撮影画像における前記参照領域の平均輝度が予め定められた第１の閾値以上であるときは、前記参照領域の平均輝度が前記第１の閾値未満となるように前記参照領域の平均輝度を調整する第１の調整と、前記参照領域の前記第１の調整後の平均輝度に基づいて前記第１の撮影画像に隣接する前記撮影画像である第２の撮影画像の平均輝度を調整する第２の調整とを行い、前記参照領域の平均輝度が前記第１の閾値未満であるときは、前記第１の調整が行われていない前記第１の撮影画像の平均輝度に基づいて前記第２の調整を行う、輝度調整部と、前記輝度調整部により輝度が調整された前記複数の撮影画像を合成して前記一つの連続した画像を生成する画像合成部とを有する。

本発明の他の態様に係る画像合成方法は、複数の撮影装置の撮影により取得された複数の撮影画像の一部が重畳するように前記複数の撮影画像を合成して一つの連続した画像を生成するための画像合成方法において、前記複数の撮影画像の内の少なくとも一つの撮影画像の一部を参照領域として設定する参照領域設定ステップと、前記参照領域が設定された前記撮影画像である第１の撮影画像における前記参照領域の平均輝度が予め定められた第１の閾値以上であるときは、前記参照領域の平均輝度が前記第１の閾値未満となるように前記参照領域の平均輝度を調整する第１の調整と、前記参照領域の前記第１の調整後の平均輝度に基づいて前記第１の撮影画像に隣接する前記撮影画像である第２の撮影画像の平均輝度を調整する第２の調整とを行い、前記参照領域の平均輝度が前記第１の閾値未満であるときは、前記第１の調整が行われていない前記第１の撮影画像の平均輝度に基づいて前記第２の調整を行う、輝度調整ステップと、前記輝度調整ステップにより輝度が調整された前記複数の撮影画像を合成して前記一つの連続した画像を生成する画像合成ステップとを有する。

本発明によれば、合成画像のつなぎ目において撮影画像間の輝度の違いによる輝度むらを低減し、認識しやすい合成画像を提供することができる。

本発明の実施の形態１に係る画像合成装置の概略的な構成を示すブロック図である。 実施の形態１における、第１撮影装置、第２撮影装置、第３撮影装置、及び第４撮影装置の配置と、撮影範囲を示す図である。 実施の形態１における、第１撮影装置、第２撮影装置、第３撮影装置、及び第４撮影装置により撮影される映像（画像）内における参照領域について示す図である。 実施の形態１における輝度調整部の動作を示すフローチャートである。 図４における処理Ａの動作の詳細を示すフローチャートである。 実施の形態１における画像合成部の動作を説明するための図である。 実施の形態２における、第１撮影装置、第２撮影装置、第３撮影装置、第４撮影装置で撮影される映像（画像）内における参照領域及び周辺領域について示す図である。 実施の形態２における輝度調整部の動作を示すフローチャートである。 図８における処理Ａの動作の詳細を示すフローチャートである。 変形例における合成画像の形態を示す図である。

以下、本発明の実施の形態に係る画像合成装置について説明する。なお、実施の形態では、撮影装置を４台用いた例について説明するが、撮影装置の数は４台に限定されない。また、以下で説明する画像合成装置の発明は、画像合成方法又は画像合成プログラムの発明として捉えることも可能である。

《１》実施の形態１
《１−１》実施の形態１の構成
図１は、本発明の実施の形態１に係る画像合成装置１００の概略的な構成を示すブロック図である。実施の形態１において、画像合成装置１００は、例えば、コンピュータである。図１に示されるように、画像合成装置１００は、画像処理部２００と、記憶装置２１０と、入力インタフェース２２０と、出力インタフェース２３０と、参照領域設定部２４０とを備える。画像処理部２００と、記憶装置２１０と、入力インタフェース２２０と、出力インタフェース２３０とは、画像合成装置１００のハードウェアである。図１に示されるように、入力インタフェース２２０は、第１撮影装置１０１ａと、第２撮影装置１０１ｂと、第３撮影装置１０１ｃと、第４撮影装置１０１ｄとに接続されている。

図１に示されるように、画像処理部２００は、歪補正部１１０と、輝度調整部１２０と、画像合成部１３０とを備える。画像処理部２００は、画像合成装置１００におけるソフトウェアに記述された命令を実行するプロセッサである。

画像処理部２００は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。画像処理部２００は、プロセッシングを行うＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）である。画像処理部２００は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）である。

以下の説明では、画像処理部２００における歪補正部１１０と、輝度調整部１２０と、画像合成部１３０との機能をまとめて、画像処理部２００の機能という。画像合成装置１００の画像処理部２００の機能は、ソフトウェアにより実現されることができる。

画像合成装置１００は、１つの画像処理部２００のみを備えていてもよいし、複数の画像処理部２００を備えていてもよい。複数の画像処理部２００が、画像処理部２００の機能を実現するプログラムを連携して実行してもよい。

図１に示されるように、記憶装置２１０は、補助記憶装置２１１と、メモリ２１２とを備える。補助記憶装置２１１は、記憶部１５０を備える。記憶部１５０には、歪補正テーブル１６０と、参照領域情報１７０と、座標変換テーブル１８０と、カメラ設置情報１９０とが記憶されている。記憶装置２１０は、補助記憶装置２１１及びメモリ２１２を含む。

補助記憶装置２１１は、例えば、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、又は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。メモリ２１２は、例えば、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。記憶部１５０は、補助記憶装置２１１により実現される。なお、記憶部１５０が補助記憶装置２１１とメモリ２１２とにより実現されてもよい。

補助記憶装置２１１には、画像処理部２００の機能を実現するプログラムが記憶されている。このプログラムは、メモリ２１２にロードされ、画像処理部２００に読み込まれ、画像処理部２００によって実行される。補助記憶装置２１１には、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）も記憶されている。ＯＳの少なくとも一部がメモリ２１２にロードされ、画像処理部２００はＯＳを実行しながら、画像処理部２００の機能を実現するプログラムを実行する。

画像処理部２００の機能による処理の結果を示す情報、データ、信号値、及び、変数値は、補助記憶装置２１１、メモリ２１２、又は、画像処理部２００内のレジスタ又はキャッシュメモリに記憶される。なお、図１において、各部と記憶部１５０とを結ぶ矢印は、各部が処理の結果を記憶部１５０に記憶すること、あるいは、各部が記憶部１５０から情報を読み出すことを表している。また、各部を結ぶ矢印は、制御の流れを表している。また、各画像情報が各部間でメモリ２１２を介して授受されることを表すメモリ２１２と各部間の矢印については省略する。

画像処理部２００の機能を実現するプログラムは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ブルーレイ（登録商標）ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）といった可搬記録媒体に記憶されてもよい。

なお、画像処理部２００の機能を実現するプログラムを画像処理プログラムともいう。また、画像処理プログラムプロダクトと称されるものは、画像処理プログラムが記録された記憶媒体及び記憶装置であり、見た目の形式に関わらず、コンピュータ読み取り可能なプログラムをロードしているものである。

入力インタフェース２２０は、第１撮影装置１０１ａと、第２撮影装置１０１ｂと、第３撮影装置１０１ｃと、第４撮影装置１０１ｄとに接続されるポートである。入力インタフェース２２０は、各撮影装置により撮像された画像を画像合成装置１００に取り込む画像入力インタフェースである。入力インタフェース２２０により取り込まれた各撮影画像はメモリ２１２に記憶される。また、入力インタフェース２２０は、マウス、キーボード、タッチパネルといった入力装置と接続されるポートであってもよい。

入力インタフェース２２０は、具体的には、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）と接続されるポートである。なお、入力インタフェース２２０は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）端子であってもよい。また、入力インタフェース２２０は、ＳＤＩ（Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ）、コンポーネント等の映像信号を画像合成装置１００に取り込むことのできる、キャプチャボードであってもよい。

出力インタフェース２３０は、ディスプレイといった表示機器のケーブルが接続されるポートである。出力インタフェース２３０は、例えば、ＵＳＢ端子又はＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）端子である。ディスプレイは、例えば、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）である。

参照領域設定部２４０は、各撮影画像に参照領域を設定する機能を有する。参照領域とは、合成画像の観測者（監視者）が撮像画像内で優先的に注視する領域である。この参照領域は、観測者（ユーザ）が各撮影装置の任意の画像内の任意の領域に設定することが可能である。図１に示されるように、参照領域設定部２４０により設定された参照領域は、記憶部１５０の参照領域情報１７０に記憶される。

《１−２》実施の形態１の動作
次に、本発明の実施の形態１に係る画像合成装置１００の動作について説明する。図２は、実施の形態１における、第１撮影装置１０１ａ、第２撮影装置１０１ｂ、第３撮影装置１０１ｃ、及び第４撮影装置１０１ｄの配置と、撮影範囲３００を示す図である。以下の説明において、第１撮影装置１０１ａ、第２撮影装置１０１ｂ、第３撮影装置１０１ｃ、及び第４撮影装置１０１ｄを、撮影装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄともいう。

図２に示されるように、実施の形態１では、広範囲の撮影範囲３００を４台の撮影装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄにより撮影している。図２の例では、撮影範囲３００は道路であり、撮影装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄは道路状況を監視する監視カメラであり、監視対象（被写体）３０１は道路を走る車両である。

撮影装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄは、ＣＣＤ（Ｃｈａｒｇｅｄ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）あるいはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−ｏｘｉｄｅ−Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）といった撮像素子とレンズとを備えるカメラ機器である。

撮影装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄは、同一種類の撮像素子及び同一種類のレンズを備える。撮影装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄは、例えば、監視カメラのような固定カメラである。また、撮影装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄは、ＡＧＣ（Ａｕｔｏｍａｔｉｃ Ｇａｉｎ Ｃｏｎｔｒｏｌ）機能を備えていることが望ましい。

次に、撮影装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄにより撮像された画像を合成する動作について説明する。まず、画像処理部２００における歪補正部１１０の動作について説明する。撮影装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄで撮像された画像には、撮影装置のレンズ特性などにより歪みが生じている。特に、広角レンズを用いた場合は撮影画像の歪みが大きくなる。

この歪みを補正するために、撮影装置１０１ａ、１０１ｂ、１０１ｃ、１０１ｄにより撮像された各画像は、入力インタフェース２２０により画像合成装置１００に取り込まれ、一旦、メモリ２１２に保持された後、歪補正部１１０に送られる。

歪補正部１１０では、撮影画像の歪みを補正する処理を行う。歪みの補正処理は、使用する撮影装置にレンズ歪みを補正するための補正データを、予め歪補正テーブル１６０として作成して、記憶部１５０に保持しておく。歪補正部１１０は、記憶部１５０に保持された歪補正テーブル１６０の補正データを参照して、撮影画像の歪みを補正する。

歪補正テーブル１６０は、撮影装置の種類毎に個別に設けることができる。撮影装置の種類が異なる場合でも、撮影装置に合わせた歪補正テーブルを使用することにより、撮影画像の歪を補正することができる。歪補正部１１０により歪補正が施された撮影画像は、輝度調整部１２０に送られる。輝度調整部１２０では、歪補正が施された後の撮影画像の輝度が調整される。

次に、輝度調整部１２０の動作について図３から図５を用いて説明する。図２に示すように異なる向きで設置された４台のカメラから出力されるカメラ映像（画像）を一つの投影面３６０に射影変換して繋ぎ合わせた画像では、第１撮影装置１０１ａ、第２撮影装置１０１ｂ、第３撮影装置１０１ｃ、及び第４撮影装置１０１ｄの撮影映像（画像）間での明るさのばらつきが大きいと、合成画像の連続性が損なわれてしまう。そこで、輝度調整部１２０により、撮影画像間における輝度を調整する。

図３は、実施の形態１における、第１撮影装置１０１ａ、第２撮影装置１０１ｂ、第３撮影装置１０１ｃ、第４撮影装置１０１ｄにより撮影される映像（画像）内において、合成画像の輝度調整をする際に参照する参照領域（輝度参照領域）について示す図である。

図３において、画像４００ａは第１撮影装置１０１ａで撮影された画像が歪補正部１１０で歪補正された画像であり、画像４００ｂは第２撮影装置１０１ｂで撮影された画像が歪補正部１１０で歪補正された画像であり、画像４００ｃは第３撮影装置１０１ｃで撮影された画像が歪補正部１１０で歪補正された画像であり、画像４００ｄは第４撮影装置１０１ｄで撮影された各画像が歪補正部１１０で歪補正された画像である。

なお、以降では、画像４００ａ、画像４００ｂ、画像４００ｃ、及び画像４００ｄをまとめて、歪補正された画像４００ａ、４００ｂ、４００ｃ、４００ｄともいう。

図２に示される例のように、実施の形態１における画像合成装置１００を監視用途として使用する場合、監視対象となる被写体（例えば、車両）が撮像映像（画像）内に現れる（フレームイン）または撮像映像（画像）内から無くなる（フレームアウト）する瞬間を捕えることは重要となる。

そこで、実施の形態１では、画像合成装置１００が撮影画像内で被写体がフレームインまたはフレームアウトする領域を参照領域として予め指定しておき、被写体がフレームインまたはフレームアウトする際において、参照領域内の輝度が適切になるように、合成画像全体の輝度調整を行うようにしている。

具体的には、画像４００ａ内の道路の右端部分に参照領域Ａ１を、画像４００ｄ内の道路の左端部分に参照領域Ａ２を設定している。なお、参照領域は、画像の中（特に動画）で被写体がフレームインまたはフレームアウトする一部領域を指すものとし、画面全体を示すものではない。

参照領域Ａ１、Ａ２を参照する際の優先順位はＡ１、Ａ２の順とし、第１参照領域を参照領域Ａ１、第２参照領域を参照領域Ａ２とする。なお、参照領域は合成画像の中に一つ以上設ける。参照領域は、例えば、合成画像を形成する各撮影画像の中に複数設けてもよいし、参照領域を設けない撮影画像が存在してもよい。

また、図３には、画像４００ａ、４００ｂ、４００ｃ、４００ｄを合成する際の重畳領域（重畳部分）が示されている。４５２ａは、画像４００ａにおける画像４００ａと画像４００ｂとの重畳領域であり、４５１ｂは、画像４００ｂにおける画像４００ａと画像４００ｂとの重畳領域であり、４５２ｂは、画像４００ｂにおける画像４００ｂと画像４００ｃとの重畳領域であり、４５１ｃは、画像４００ｃにおける画像４００ｂと画像４００ｃとの重畳領域であり、４５２ｃは、画像４００ｃにおける画像４００ｃと画像４００ｄとの重畳領域であり、４５１ｄは、画像４００ｄにおける画像４００ｃと画像４００ｄとの重畳領域である。画像４００ａ、４００ｂ、４００ｃ、４００ｄを合成する処理の詳細については、後述する。

次に、実施の形態１における輝度調整部１２０の輝度調整処理について、図４及び図５を用いて説明する。図４は、実施の形態１における輝度調整部１２０の動作を示すフローチャートである。輝度調整部１２０は、まず、参照領域情報１７０から第１参照領域である参照領域Ａ１を読み込み、参照領域Ａ１含む画像４００ａを基準画像としてメモリ２１２に記憶する（ステップＳＴ１０１）。参照領域情報１７０には、参照領域に係る情報（例えば、参照領域を含む撮影装置、画面内の参照領域の位置、参照領域の輝度の閾値）が保存されている。

次に、輝度調整部１２０は、第１参照領域である参照領域Ａ１の平均輝度Ｉａ１を算出し（ステップＳＴ１０２）、予め参照領域情報１７０に保持されている参照領域の輝度に関する閾値Ｘ（第１の閾値）と参照領域Ａ１の平均輝度Ｉａ１を比較する（ステップＳＴ１０３）。

輝度調整部１２０は、参照領域Ａ１の平均輝度Ｉａ１が閾値Ｘ以上である場合（ステップＳＴ１０３においてＮＯ）は、ステップＳＴ１０４に移行し、参照領域Ａ１の平均輝度Ｉａ１が閾値Ｘよりも低くなるまで基準画像４００ａの画面輝度レベルを下げる（第１の調整）。参照領域Ａ１の平均輝度Ｉａ１が閾値Ｘ未満である場合（ステップＳＴ１０３においてＹＥＳ）は、次のステップ（ステップＳＴ１０５）に移行する。

なお、閾値Ｘは、参照領域内の平均輝度が白とびしない（輝度が高すぎない）程度の値に設定する。例えば２５５を最も明るい最高輝度とする８ビットデータにおいて、２００から２５０程度の範囲の値に設定する。閾値Ｘは前記値に限らず、撮影装置の設置環境、被写体種類などにより適宜調整するのが好ましい。なお、閾値Ｘは図示しない手段により観測者（ユーザ）が適宜設定できるようにしてもよい。

ステップＳＴ１０５の処理では、輝度調整部１２０は、基準画像４００ａに隣接する画像４００ｂの画面輝度を調整する（第２の調整）。参照領域Ａ１の平均輝度Ｉａ１が閾値Ｘを超えない範囲で、基準画像４００ａと隣接画像４００ｂの重畳部分４５２ａと４５１ｂの輝度レベルが同じとなるように、基準画像４００ａあるいは隣接画像４００ｂの画面輝度レベルを調整する。

ここで、一般的には、撮影画像は画面輝度が高い方が観測者に見やすい画面となる。したがって、参照領域Ａ１の平均輝度Ｉａ１が閾値Ｘに満たない場合は、参照領域Ａ１の平均輝度Ｉａ１が閾値Ｘを超えない範囲で基準画像４００ａの画面輝度が高くなるように調整して、調整後の基準画像４００ａの画面輝度と同じレベルになるように隣接画像４００ｂの画面輝度を調整する。

また、基準画像４００ａの画面輝度を変えずに（基準画像４００ａの画面輝度はそのまま）隣接画像４００ｂの輝度を調整することにしてもよい。これは、観測者にとって基準画像４００ａが最も重要な画像であり、基準画像４００ａの画面輝度に合わせて合成画像を生成した方が、自然な見え方となる場合があるためである。

基準画像と隣接画像の画面輝度調整方法に関して、基準画像の画面輝度を変えずに調整するか、基準画像の画面輝度が高くなるように調整するかは、観測者（ユーザ）が予め選択できるようにしておき、参照領域情報１７０にどちらを選択するのかという輝度調整方法の選択肢を保持させておき、ステップＳＴ１０５にて、輝度調整方法の選択肢を読み出し、読み出した方法により輝度調整を行うようにしてもよい。

ここで、基準画像４００ａと隣接画像４００ｂの重畳部分４５２ａと４５１ｂの輝度レベルの調整方法は、重畳部分４５２ａの平均輝度と重畳部分４５１ｂの平均輝度が同じレベルとなるようにすればよい。また、重畳部分４５２ａと重畳部分４５１ｂの対応点が既知なことより、予め重畳部分４５２ａと重畳部分４５１ｂの特徴点を数点から数十点抽出しておいて、前記特徴点の平均輝度が同じレベルになるように輝度調整をしてもよい。

次に、ステップＳＴ１０６の処理では、輝度調整部１２０は、輝度調整された隣接画像４００ｂに参照領域が存在するか判定する。実施の形態１では、隣接画像４００ｂに参照領域は存在しないので、次のステップＳＴ１０７に移行する。

次に、ステップＳＴ１０７の処理では、輝度調整部１２０は、全ての撮影画面（撮影画像）に対して輝度調整処理が行われたか否かを判定する。本実施の形態では、画像４００ｃと画像４００ｄの輝度調整処理が未実施なので、ステップＳＴ１０８の処理に移行する。

次に、ステップＳＴ１０８の処理では、輝度調整部１２０は、ステップＳＴ１０５により輝度調整された隣接画像４００ｂを仮基準画像として設定し、仮基準画像４００ｂに隣接する画像４００ｃとの重畳部分４５２ｂの輝度レベルを算出してメモリ２１２に記憶する。

次に、ステップＳＴ１０９の処理では、輝度調整部１２０は、仮基準画像４００ｂに隣接する画像４００ｃの重畳部分４５１ｃの輝度レベルが、メモリ２１２に記憶した重畳部分４５２ｂの輝度レベルと同一となるように、隣接画像４００ｃの画面輝度レベルの調整を行う。ステップＳＴ１０９の処理が終わると、ステップＳＴ１０６の処理に移行する。

ここでの画面輝度レベルの調整方法は、基準画像４００ａと隣接画像４００ｂと同様に、重畳部分４５２ｂの平均輝度と重畳部分４５１ｃの平均輝度が同じレベルとなるようにすればよい。また、重畳部分４５２ｂと重畳部分４５１ｃの対応点が既知なことより、予め重畳部分４５２ｂと重畳部分４５１ｃの特徴点を数点から数十点抽出しておいて、前記特徴点の平均輝度が同じレベルになるように輝度調整をしてもよい。

次に、ステップＳＴ１０６で、輝度調整部１２０は、直前の処理で画面輝度レベルを調整した画像４００ｃに参照領域が含まれるか判定する。本実施の形態では、隣接画像４００ｃに参照領域は存在しないので、次のステップＳＴ１０７に移行し、輝度調整部１２０は、全ての撮影画面に対して輝度調整処理が行われたか否かを判定する。本実施の形態では、画像４００ｄの輝度調整処理が未実施なので、ステップＳＴ１０８の処理に移行する。

ステップＳＴ１０８の処理では、輝度調整部１２０は、直前に輝度調整された隣接画像４００ｃを仮基準画像として設定し、仮基準画像４００ｃの隣接画像４００ｄとの重畳部分４５２ｃの輝度レベルを算出してメモリ２１２に記憶する（ステップＳＴ１０８）。

ステップＳＴ１０９の処理では、輝度調整部１２０は、仮基準画像４００ｃに隣接する画像４００ｄの重畳部分４５１ｄの輝度レベルが、メモリ２１２に記憶した重畳部分４５２ｃの輝度レベルと同一となるように、隣接画像４００ｄの画面輝度レベルの調整を行う。ここでの画面輝度レベルの調整方法は、基準画像４００ａと隣接画像４００ｂと同様である。

次に、ステップＳＴ１０６で、輝度調整部１２０は、直前の処理で画面輝度レベルを調整した画像４００ｄに参照領域が含まれるか判定する。隣接画像４００ｄには第２参照領域Ａ２が含まれるので、処理Ａに移行する。

図５は、図４における処理Ａの動作の詳細を示すフローチャートである。図５に示されるように、処理Ａでは、輝度調整部１２０は、第２参照領域を含む画像４００ｄを仮基準画像として設定し、参照領域Ａ２の平均輝度Ｉａｎを算出し、メモリ２１２に記憶する（ステップＳＴ２０１）。

次に、輝度調整部１２０は、予め参照領域情報１７０に保持されている閾値Ｘと参照領域Ａ２の平均輝度Ｉａｎを比較する（ステップＳＴ２０２）。輝度調整部１２０は、参照領域Ａ２の平均輝度Ｉａｎが閾値Ｘ未満の場合（ステップＳＴ２０２においてＹＥＳ）は、何も処理をせずに処理Ｂに移行し、全ての撮影画面に対して輝度調整処理が行われたか否かを判定する（図４におけるステップＳＴ１０７）。

ステップＳＴ２０２において、輝度調整部１２０は、参照領域Ａ２の平均輝度Ｉａｎが閾値Ｘ以上である場合（ステップＳＴ２０２においてＮＯ）は、ステップＳＴ２０３の処理に移行し、参照領域Ａ２の平均輝度Ｉａｎが閾値Ｘ未満となるまで、仮基準画像４００ｄの画面輝度レベルを下げる。

ステップＳＴ２０４において、輝度調整部１２０は、仮基準画像４００ｄの画面輝度レベルを下げた割合（下げ率）をメモリ２１２に記憶し、メモリ２１２に記憶した下げ率に合わせて、仮基準画像４００ｄを除くすべての画像４００ｃ、画像４００ｂ、画像４００ａの画面輝度レベルを下げる。ステップＳＴ２０４の処理が終了した後、処理Ｂに移行し、輝度調整部１２０は、全ての撮影画面に対して輝度調整処理が行われたか否かを判定する（ステップＳＴ１０７）。

実施の形態１では、画像４００ｄの輝度調整処理が終了したことによりすべての画像に対する輝度調整処理が終了となり、輝度調整された４枚の画像である、画像４００ａ、画像４００ｂ、画像４００ｃ、画像４００ｄはメモリ２１２に記憶される。画像合成部１３０は記憶された前記４枚の輝度調整された画像から合成画像を生成する。生成された合成画像は、参照領域Ａ１及びＡ２に白とびが無く、かつ、合成画像全体で輝度のばらつきの少ない、認識しやすい画像となる。

次に、画像合成部１３０の動作について図６を用いて説明する。図６は、実施の形態１における画像合成部１３０の動作を説明するための図である。輝度調整部１２０により輝度調整処理が施された画像は、一旦、メモリ２１２に記憶され、画像合成部１３０に送られる。なお、画像合成部１３０に送られる画像は、輝度調整部１２０で輝度調整処理が施されていなくても、画像合成部１３０での処理動作は同じである。

画像合成部１３０では、歪補正及び輝度調整が施された複数の撮影画像を１枚の画像として合成する処理が行われる。合成処理は、画像合成部１３０で定義されている投影面３６０に、歪補正及び輝度調整が施された複数の画像を貼り付けることにより実現される。なお投影面３６０は実空間に設けられた面ではなく、メモリ２１２に設けられた仮想の投影面であり、投影面３６０として定義されたメモリ空間上の定められた座標位置に、各画像を貼り付ける。

まず、歪補正及び輝度調整が施された複数の撮影画像を投影面３６０に貼り付けるための前処理として、記憶部１５０に保持されている座標変換テーブル１８０を用いて、歪補正及び輝度調整が施された複数の撮影画像の射影変換を行う。

歪補正及び輝度調整が施された第１撮影画像４００ａ、第２撮影画像４００ｂ、第３撮影画像４００ｃ、及び第４撮影画像４００ｄは、射影変換により、第１撮影画像４１０ａ、第２撮影画像４１０ｂ、第３撮影画像４１０ｃ、及び第４撮影画像４１０ｄに変換される。以下、射影変換後の第１撮影画像４１０ａ、第２撮影画像４１０ｂ、第３撮影画像４１０ｃ、及び第４撮影画像４１０ｄを、画像４１０ａ、４１０ｂ、４１０ｃ、４１０ｄともいう。

次に、画像合成部１３０は、射影変換後の画像４１０ａ、４１０ｂ、４１０ｃ、４１０ｄを投影面３６０上へ貼り付ける。

射影変換後の画像４１０ａ、４１０ｂ、４１０ｃ、４１０ｄの投影面３６０上への貼り付け位置は、第１撮影装置１０１ａ、第２撮影装置１０１ｂ、第３撮影装置１０１ｃ、及び第４撮影装置１０１ｄの設置位置情報（例えば、カメラ姿勢、設置座標）を基にして予め決められており、記憶部１５０のカメラ設置情報１９０に記憶されている。

図６に示されるように、画像合成部１３０は、射影変換後の第１撮影画像４１０ａを第１画像投影領域３６１に、射影変換後の第２撮影画像４１０ｂを第２画像投影領域３６２に、射影変換後の第３撮影画像４１０ｃを第３画像投影領域３６３に、射影変換後の第４撮影画像４１０ｄを第４投影領域３６４に貼り付ける。

図６に示されるように、射影変換後の画像４１０ａ、４１０ｂ、４１０ｃ、４１０ｄを投影面３６０に貼り付ける際には、それぞれ隣接する画像の一部が重畳するように貼り付け位置が決められている。

図６における重畳領域３７０は、射影変換後の第１撮影画像４１０ａと射影変換後の第２撮影画像４１０ｂとの重畳領域であり、重畳領域３８０は、射影変換後の第２撮影画像４１０ｂと射影変換後の第３撮影画像４１０ｃとの重畳領域であり、重畳領域３９０は、射影変換後の第３撮影画像４１０ｃと射影変換後の第４撮影画像４１０ｄとの重畳領域である。

歪補正された画像４００ａ、４００ｂ、４００ｃ、４００ｄを射影変換して投影面３６０に貼り付けるまでの工程は、定式により行われることから、投影面３６０上の画素位置と歪補正後の画像との対応を取る（知る）ことが可能となる。つまり、歪補正された画像４００ａ、４００ｂ、４００ｃ、４００ｄの各画素が、投影面３６０上のどの位置に投影されるかを予め知ることができる。

前述のように、投影面３６０上の画素位置と歪補正後の画像との対応関係を予め知ることができるので、図３における歪補正された画像４００ａ、４００ｂ、４００ｃ、４００ｄと、図６における投影面３６０上での各画像が重畳する領域３７０、３８０、３９０との対応関係を知ることができる。

具体的には、図６における重畳領域３７０は、図３における領域４５２ａと領域４５１ｂとに対応し、図６における重畳領域３８０は、図３における領域４５２ｂと領域４５１ｃとに対応し、図６における重畳領域３９０は、図３における領域４５２ｃと領域４５１ｄとに対応する。

射影変換後の画像４１０ａ、４１０ｂ、４１０ｃ、４１０ｄを投影面３６０に貼り付けることにより、合成画像３５０が生成される。以上のようにして生成された合成画像３５０は、出力インタフェース２３０を介して、ディスプレイなどの表示機器に出力される。

《１−３》実施の形態１の効果
以上のように、実施の形態１に係る画像合成装置１００によれば、複数の撮影画像を合成する際に、被写体が撮影画面内に現れる領域、または被写体が撮影画面から無くなる領域を参照領域として設定し、参照領域の輝度が予め決めた閾値Ｘを超えないように、複数の撮影画像の輝度を調整する。これにより、輝度ばらつきの少ない合成画像が得られるとともに、観測者が観測するべき被写体が撮影画面内に現れる領域また被写体が撮影画面から無くなる領域においても、輝度過剰による白とびのない、見やすい画像を得ることができる。特に、監視領域に被写体が出現（または消失）したか否かを監視する用途において、監視者に見やすい合成画像を提供できる。特に、合成画像を監視者の目視補助として使用する場合に有用である。

《２》実施の形態２
《２−１》実施の形態２の構成
実施の形態２では、主に、実施の形態１と異なる点について説明する。実施の形態１では、参照領域の平均輝度が、少なくとも参照領域周辺部の輝度に対して急峻に変化しない場合を前提としていた。これに対して、実施の形態２では、参照領域の平均輝度が、参照領域周辺部の輝度に対して急峻に変化する場合の画像合成装置１００の輝度調整部１２０の動作について説明する。

図７、図８、図９を用いて、実施の形態２における輝度調整部１２０の動作について説明する。なお、画像合成装置１００の構成は実施の形態１で説明した構成と同様であるので、その説明を省略する。

図７は、実施の形態２における、第１撮影装置１０１ａ、第２撮影装置１０１ｂ、第３撮影装置１０１ｃ、第４撮影装置１０１ｄで撮影される映像（画像）内における参照領域及び周辺領域について示す図である。実施の形態２では、第１撮影装置１０１ａ、第２撮影装置１０１ｂ、第３撮影装置１０１ｃ、第４撮影装置１０１ｄで撮影される映像（画像）の画面輝度が低い場合、例えば、夜間の屋外撮影を想定している。

図７において、Ｂ１は参照領域Ａ１の周辺領域、Ｂ２は参照領域Ａ２の周辺領域である。周辺領域Ｂ１、Ｂ２は、参照領域Ａ１、Ａ２に隣接する領域である。なお、周辺領域Ｂ１、Ｂ２には、それぞれ参照領域Ａ１、Ａ２は含まれない。図７では、参照領域Ａ１内に、ライトを点灯した車両３０１が映っている状態を示している。

参照領域Ａ１、Ａ２と周辺領域Ｂ１、Ｂ２とは近接しており、通常は両者の間に大きな輝度差は生じない。しかし、図７に示される例では、参照領域Ａ１内に車両３０１のライトが点灯した画像が写っているため、参照領域Ａ１の輝度が高く、周辺領域Ｂ１の輝度が低くなっており、参照領域Ａ１の輝度と周辺領域Ｂ１の輝度との間に大きな差が生じている。

次に、実施の形態２における輝度調整部１２０の動作について説明する。図８及び図９は、実施の形態２における輝度調整部１２０の輝度調整動作を説明するフローチャートである。図８及び図９のフローチャートにおいて、実施の形態２の特徴となる処理はステップＳＴ３００、ステップＳＴ３０１、ステップＳＴ３０２、ステップＳＴ３０３である。他の処理ステップについては実施の形態１と同様であるので説明を省略する。

ステップＳＴ１０３で第１参照領域の平均輝度Ｉａ１が閾値Ｘ以上となった場合、参照領域情報１７０に記憶されている周辺領域Ｂ１の情報（画面内の位置、画素情報）から、周辺領域Ｂ１の平均輝度Ｉｂ１を算出し（ステップＳＴ３００）、次に、第１参照領域の平均輝度Ｉａ１と周辺領域Ｂ１の平均輝度Ｉｂ１の輝度差分を求め、前記輝度差分と予め参照領域情報１７０に記憶されている閾値Ｙ（第２の閾値）とを比較する（ステップＳＴ３０１）。閾値Ｙは、参照領域輝度と周辺輝度との輝度差が、経験的（見た目、主観）で不自然となるような値に設定するとよい。

例えば、図７の場合、夜間の屋外状態を想定しているので、２５５を最も明るい最高輝度とする８ビットデータにおいて、参照領域の輝度と周辺領域の輝度との差が１００以上になるように設定する。閾値Ｙは上記値に限らず、撮影装置の設置環境、被写体種類などにより適宜調整するのが好ましい。なお、閾値Ｙは図示しない手段により観測者（ユーザ）が適宜設定できるようにしてもよい。

前記輝度差分が閾値Ｙ以上の場合（ＳＴ３０１においてＮＯ）は、参照領域内に高輝度の被写体が映ったと判断して、輝度調整処理を行わないでステップＳＴ１０５へ移行する。前記輝度差分が閾値Ｙ未満の場合（ＳＴ３０１においてＹＥＳ）は、実施の形態１と同様にステップＳＴ１０４の処理が実行される。

前記輝度差分が閾値Ｙ以上の場合は、参照領域内に高輝度の被写体が映る場合である。図７の場合では、ライトを点灯した車両３０１が参照領域Ａ１内に映るため参照領域Ａ１の輝度が高くなるが、実際は、画面全体が明るくなるわけではない。この状態でステップＳＴ１０４の処理を実行すると、基準画像全体の輝度を下げることになるため、結果的に合成画像全体の輝度が低くなり、見にくい画像になってしまう。

よって、実施の形態２では、前記輝度差分が閾値Ｙ以上の場合は、参照領域内に高輝度の被写体が映ったと判断して、基準画像の輝度調整を行わないようにすることにより、基準画像の輝度を下げることなく合成画像を生成することができる。

図９のフローチャートにおけるステップＳＴ３０３、ステップＳＴ３０４の処理も、基本的にステップＳＴ３００、ステップＳＴ３０１の処理と同様である。第２参照領域Ａ２の平均輝度Ｉａｎと第２参照領域の周辺領域輝度Ｉｂｎの差分輝度が閾値Ｙ以上の場合は、参照領域を含む画面輝度の調整を行わないようにする。

《２−２》実施の形態２の効果
以上のように、実施の形態２に係る画像合成装置１００によれば、複数の撮影画像を合成する際に、被写体が撮影画面内に現れる領域、または被写体が撮影画面から無くなる領域を参照領域として設定し、また、参照領域の周辺の領域である周辺領域を設定し、参照領域の輝度と周辺領域の輝度との差が大きい場合は、参照領域を含む画面の輝度調整を行わないようにするので、合成画像全体の輝度を無駄に下げることなく、見やすい合成画像を提供することができる。

《３》変形例
上記実施の形態２では、参照領域の平均輝度と周辺領域の平均輝度とを比較していたが、周辺領域の輝度の代わりに、参照領域の過去時刻における参照領域の平均輝度を取得してメモリ２１２に保持しておき、前記過去時刻の参照領域の平均輝度と現在時刻における参照領域の平均輝度を比較して、両者の間に大きな輝度差が生じる場合は、参照領域内に高輝度の被写体が映った場合と判断するようにしてもよい。この場合には、メモリ２１２は、時刻情報を取得する時刻取得部を有することが望ましい。

すなわち、前記高輝度の被写体が映った場合は、参照領域を含む画面輝度の調整を行わないようにする。なお、この場合、過去時刻における参照領域の平均輝度は、参照領域に被写体が映っていない場合の参照領域の平均輝度となる。なお、過去時刻における参照領域の平均輝度を取得するタイミングは、被写体の移動速度などにより適宜設定すればよい。

また、上記実施の形態では、第１参照領域である参照領域Ａ１が合成画像３５０の一番端に位置する画像４００ａにある場合について説明した。この場合、輝度調整順序は第１参照領域が含まれる画像４００ａに隣接する画像４００ｂ、４００ｃ、４００ｄの順で処理した。

一方、第１参照領域である参照領域Ａ１が合成画像の端以外にある画像に含まれる場合、例えば、画像４００ｂに参照領域Ａ１が含まれる場合は、参照領域Ａ１が含まれる画像４００ｂに離接する画像は画像４００ｃと画像４００ａの２つある。ここで、輝度調整の順序を、次の参照領域Ａ２が含まれる画像４００ｄに近い方から行うと効率的に輝度調整処理を行うことができる。具体的には、輝度調整順序を、画像４００ｃ、画像４００ｄ、画像４００ａの順に行えばよい。

また、上記実施の形態では、横長の合成画像（いわゆるパノラマ画像）を生成する場合について説明したが、本発明の画像合成装置１００の合成画像の形態は横長画像だけに限らない。図１０は、変形例における合成画像の形態を示す図である。例えば、図１０に示されるように、画像を上下左右に合成する場合にも適用できる。

図１０に示される例では、画像４００ａに隣接する画像４００ｂ、画像４００ｃ、画像４００ｄとの重畳部分４４０の輝度レベルが同一となるように輝度調整を行う。図１０の例では、第１参照領域Ａ１を含む画像４００ａと第２参照領域Ａ２を含む画像４００ｃの輝度調整を行った後、残りの隣接画像である画像４００ｂと画像４００ｄの輝度を調整すればよい。

また、合成画像は、上から見下ろすような俯瞰画像であってもよい。俯瞰画像に変換する場合は、画像合成装置１００において、画像合成部１３０の処理に俯瞰変換処理機能を設ければよい。

上記実施の形態では、参照領域を予め設定するようにしていたが、画像合成装置１００とは別に被写***置検出手段を設け、前記被写体検知手段から得られる被写***置情報を基にして参照領域を設定するようにしてもよい。被写***置検出手段としては、被写体にＧＰＳ発信機を持たせる、路側帯に物体検出センサーを設置するなどの方法が考えられる。

上記実施の形態では、撮影範囲を屋外、被写体を車両としていたが、本発明の画像合成装置の使用例はこれに限るものではなく、撮影範囲内のある程度定められた領域に被写体がフレームインあるいはフレームアウトするような用途に適用可能である。例えば飛行場面（空港面、滑走路面）の監視用途に適用した場合が考えられる。

この場合、図２における道路３００に滑走路面が相当し、図２における車両３０１に飛行機が相当する。また、参照領域は滑走路端上の空域となる。飛行上面の場合、空港監視レーダーの情報等から飛行機が滑走路に着陸してくる方向が予め知ることが可能で、飛行機が着陸してくる方向に合わせて、撮影画像面内に参照領域を適宜設定することが可能となる。

１００ 画像合成装置、 １０１ａ 第１撮影装置、 １０１ｂ 第２撮影装置、 １０１ｃ 第３撮影装置、 １０１ｄ 第４撮影装置、 １１０ 歪補正部、 １２０ 輝度調整部、 １３０ 画像合成部、 １５０記憶部、 １６０ 歪補正テーブル、 １７０ 参照領域情報、 １８０ 座標変換テーブル、 １９０ カメラ設置情報、 ２００ 画像処理部、 ２１０ 記憶装置、 ２１１ 補助記憶装置、 ２１２ メモリ、 ２２０ 入力インタフェース、 ２３０ 出力インタフェース、 ２４０ 参照領域設定部、 ３００ 撮影範囲、 ３０１ 被写体、 ３５０ 合成画像、 ３６０ 投影面、 ３６１ 第１画像投影領域、 ３６２ 第２画像投影領域、 ３６３ 第３画像投影領域、 ３６４ 第４画像投影領域、 ３７０ 射影変換後の第１撮影画像と射影変換後の第２撮影画像との重畳領域、 ３８０ 射影変換後の第２撮影画像と射影変換後の第３撮影画像との重畳領域、 ３９０ 射影変換後の第３撮影画像と射影変換後の第４撮影画像との重畳領域、 ４００ａ 歪補正後の第１撮影画像、 ４００ｂ 歪補正後の第２撮影画像、 ４００ｃ 歪補正後の第３撮影画像、 ４００ｄ 歪補正後の第４撮影画像、 ４１０ａ 射影変換後の第１撮影画像、 ４１０ｂ 射影変換後の第２撮影画像、 ４１０ｃ 射影変換後の第３撮影画像、 ４１０ｄ 射影変換後の第４撮影画像、 ４４０ 第１撮影画像と第２撮影画像と第３撮影画像と第４撮影画像の重畳領域、 ４５２ａ 第１撮影画像と第２撮影画像との重畳領域の第１撮影装置で撮影された画像部分、 ４５１ｂ 第１撮影画像と第２撮影画像との重畳領域の第２撮影装置で撮影された画像部分、 ４５２ｂ 第２撮影画像と第３撮影画像との重畳領域の第２撮影装置で撮影された画像部分、 ４５１ｃ 第２撮影画像と第３撮影画像との重畳領域の第３撮影装置で撮影された画像部分、 ４５２ｃ 第３撮影画像と第４撮影画像との重畳領域の第３撮影装置で撮影された画像部分、 ４５１ｄ 第３撮影画像と第４撮影画像との重畳領域の第４撮影装置で撮影された画像部分、 Ａ１ 第１参照領域、 Ａ２ 第２参照領域、 Ｂ１ 第１参照領域の周辺領域、 Ｂ２ 第２参照領域の周辺領域。

Claims (9)

1. 複数の撮影装置の撮影により取得された複数の撮影画像の一部が重畳するように前記複数の撮影画像を合成して一つの連続した画像を生成する画像合成装置において、
   前記複数の撮影画像の内の少なくとも一つの撮影画像の一部を参照領域として設定する参照領域設定部と、
   前記参照領域が設定された前記撮影画像である第１の撮影画像における前記参照領域の平均輝度が予め定められた第１の閾値以上であるときは、前記参照領域の平均輝度が前記第１の閾値未満となるように前記参照領域の平均輝度を調整する第１の調整と、前記参照領域の前記第１の調整後の平均輝度に基づいて前記第１の撮影画像に隣接する前記撮影画像である第２の撮影画像の平均輝度を調整する第２の調整とを行い、
   前記参照領域の平均輝度が前記第１の閾値未満であるときは、前記第１の調整が行われていない前記第１の撮影画像の平均輝度に基づいて前記第２の調整を行う、輝度調整部と、
   前記輝度調整部により輝度が調整された前記複数の撮影画像を合成して前記一つの連続した画像を生成する画像合成部と
   を有する画像合成装置。
2. 前記輝度調整部は、前記参照領域における平均輝度と、前記参照領域に隣接する周辺領域における平均輝度との差が、予め定められた第２の閾値以上である場合には、前記第１の調整を行わない
   請求項１に記載の画像合成装置。
3. 時刻情報を取得する時刻取得部と、
   過去時刻における前記参照領域の平均輝度を記憶する記憶部と
   をさらに有し、
   前記輝度調整部は、現在時刻における前記参照領域の平均輝度と、前記過去時刻における前記参照領域の平均輝度との差が、予め定められた第２の閾値以上である場合には、前記第１の調整を行わない
   請求項１又は２に記載の画像合成装置。
4. 前記参照領域が設定される前記第１の撮影画像は、前記複数の撮影画像の内、前記画像合成装置のユーザにより任意に選択された撮影画像であり、
   前記参照領域は、前記ユーザにより前記第１の撮影画像の任意の位置に設定された領域である
   請求項１から３のいずれか１項に記載の画像合成装置。
5. 前記参照領域設定部は、前記複数の撮影画像の内の一つの撮影画像の異なる領域に前記参照領域を二つ以上設定する、又は、前記複数の撮影画像の内の二つ以上の撮影画像に前記参照領域を二つ以上設定する
   請求項１から４のいずれか１項に記載の画像合成装置。
6. 前記輝度調整部は、前記二つ以上の参照領域に優先順位をつけ、前記優先順位に従って前記第１及び第２の調整を行う
   請求項５に記載の画像合成装置。
7. 前記複数の撮影画像の歪みを補正する歪補正部を更に有する
   請求項１から６のいずれか１項に記載の画像合成装置。
8. 複数の撮影装置の撮影により取得された複数の撮影画像の一部が重畳するように前記複数の撮影画像を合成して一つの連続した画像を生成するための画像合成方法において、
   前記複数の撮影画像の内の少なくとも一つの撮影画像の一部を参照領域として設定する参照領域設定ステップと、
   前記参照領域が設定された前記撮影画像である第１の撮影画像における前記参照領域の平均輝度が予め定められた第１の閾値以上であるときは、前記参照領域の平均輝度が前記第１の閾値未満となるように前記参照領域の平均輝度を調整する第１の調整と、前記参照領域の前記第１の調整後の平均輝度に基づいて前記第１の撮影画像に隣接する前記撮影画像である第２の撮影画像の平均輝度を調整する第２の調整とを行い、
   前記参照領域の平均輝度が前記第１の閾値未満であるときは、前記第１の調整が行われていない前記第１の撮影画像の平均輝度に基づいて前記第２の調整を行う、輝度調整ステップと、
   前記輝度調整ステップにより輝度が調整された前記複数の撮影画像を合成して前記一つの連続した画像を生成する画像合成ステップと
   を有する画像合成方法。
9. コンピュータに、
   複数の撮影装置の撮影により取得された複数の撮影画像の一部が重畳するように前記複数の撮影画像を合成して一つの連続した画像を生成させるための画像合成プログラムにおいて、
   前記複数の撮影画像の内の少なくとも一つの撮影画像の一部を参照領域として設定する参照領域設定処理と、
   前記参照領域が設定された前記撮影画像である第１の撮影画像における前記参照領域の平均輝度が予め定められた第１の閾値以上であるときは、前記参照領域の平均輝度が前記第１の閾値未満となるように前記参照領域の平均輝度を調整する第１の調整と、前記参照領域の前記第１の調整後の平均輝度に基づいて前記第１の撮影画像に隣接する前記撮影画像である第２の撮影画像の平均輝度を調整する第２の調整とを行い、
   前記参照領域の平均輝度が前記第１の閾値未満であるときは、前記第１の調整が行われていない前記第１の撮影画像の平均輝度に基づいて前記第２の調整を行う、輝度調整処理と、
   前記輝度調整処理により輝度が調整された前記複数の撮影画像を合成して前記一つの連続した画像を生成する画像合成処理と
   を実行させる画像合成プログラム。

Images