WO2004057531A1

WO2004057531A1 - 画像合成装置、及びプログラム

Info

Publication number: WO2004057531A1
Application number: PCT/JP2002/013337
Authority: WO
Inventors: Shigeaki Nakata; Tatsuya Honmaru
Original assignee: Jicoux Datasystems, Inc.
Priority date: 2002-12-20
Filing date: 2002-12-20
Publication date: 2004-07-08
Also published as: JPWO2004057531A1; AU2002357631A1

Abstract

　第１画像及び第２画像から、合成画像を生成する画像合成装置であって、第１画像及び第２画像は重なり合う共通画像を有し、第１画像の共通画像である第１共通画像の明度と、第２画像の共通画像である第２共通画像の明度とを比較する比較部と、比較部の比較結果に基づいて、第２画像の少なくとも一部の明度を、第１画像の明度に調整する調整部と、調整部によって明度が調整された第２画像と第１画像とを含む合成画像を生成する合成画像生成部とを備えることを特徴とする画像合成装置を提供する。

Description

画像合成装置、及ぴプログラム技術分野

本発明は、複数の画像から合成画像を生成する画像合成装置に関する。

明

背景技術

従来、複数の元画像から一つの合成画像田を生成する画像合成が行われている。例えば、異なる位置の小領域を撮影した複数の画像を合成し、一つの大領域の合成画像を生成している。概念的には、それぞれの元画像を平面に投影することによって合成画像が合成される。

このような画像合成の一例として、複数の衛星画像を合成して一つの合成画像を生成する場合がある。この場合、異なる緯度経度の位置を撮影した元画像を合成することにより、大領域の合成画像を生成している。

しかし、従来の画像合成において、元画像の撮影条件が異なる場合、画像合成した合成画像が好ましくない場合がある。例えば、撮影時期が異なる場合、それぞれの元画像の色味が異なるため、合成画像のそれぞれの領域において色味が異なってしまう。また、元画像の明度が異なる場合、合成画像のそれぞれの領域において明度が異なってしまう。

また、複数の衛星画像を合成して、大領域の地形情報を有する合成画像を生成するような場合、それぞれの衛星画像に雲が撮影されると当該箇所の地形情報が抜けてしまう。

そこで本発明は、上記の課題を解決することのできる画像合成装置、及びプログラムを提供することを目的とする。この目的は、請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。発明の開示

上記課題を解決する fこめに、本発明の第 1の形態においては、第 1画像及ぴ第 2画像から、合成画像を生成する画像合成装置であって、第 1画像及び第 2画像は重なり合う共通画像を有し、第 1画像の共通画像である第 1共通画像の明度と、第 2画像の共通画像である第 2共通画像の明度とを比較する比較部と、比較部の比較結果に基づいて、第 2画像の少なくとも一部の明度を、第 1画像の明度に調整する調整部と、調整部によって明度が調整された第 2画像と第 1画像とを含む合成画像を生成する合成画像生成部とを備えることを特徴とする画像合成装置を提供する。

比較部は、所定の色毎に、第 1共通画像の明度と、第 2共通画像の明度とを比較し、調整部は、比較部の比較結果に基づいて、第 2画像の少なくとも一部における所定の色毎の明度を、第 1画像の所定の色毎の明度に調整してよい。また、比較部は、第 1共通画像の色度と第 2共通画像の色度とを更に比較し、調整部は、比較部の比較結果に基づいて、第 2画像の少なくとも一部の色度を、第 1画像の色度に更に調整してもよい。

比較部は、第 2共通画像の各画素と、第 1共通画像の対応する各画素との明度差を算出し、明度差に基づいて第 2画像の画素の明度毎に補正係数を算出する補正係数算出部を有し、調整部は、明度毎の補正係数に基づいて、第 2画像の各画素の明度を調整してよレ、。補正係数算出部は、所定の範囲内の明度を有する第 2 共通画像における画素と、所定の範囲内の明度を有し第 2共通画像の画素と対応する第 1共通画像の画素との明度差を算出し、明度差に基づいて第 2画像の全ての明度に対する補正係数を算出してよい。

比較部は、第 1共通画像における各画素の明度の分布の標準偏差である第 1標準偏差、及び第 2共通画像における各画素の明度の分布の標準偏差である第 2標準偏差を算出する偏差算出部を更に有し、捕正係数算出部は、第 1共通画像における明度の平均値から、第 1標準偏差の定数倍の範囲内の明度を有する第 1共通画像における画素と、第 2共通画像における明度の平均値から、第 2標準偏差の定数倍の範囲内の明度を有し、第 1共通画像の画素と対応する第 2共通画像の画素との明度差を算出し、明度差に基づいて補正係数を算出してよい。

比較部は、第 1共通画像及ぴ第 2共通画像において、所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接している場合、高明度画素以外の領域における明度を比較してよい。

補正係数算出部は、算出した明度差において、明度差が所定の値より小さい領域を抽出し、抽出した領域における明度差に基づいて、補正係数を算出してよい。画像合成装置は、第 3画像を更に合成して合成画像を生成し、第 3画像は、第 2 画像と重なり合う第 3共通画像を有し、第 2画像は、第 3共通画像と重なり合う第 4共通画像を有し、比較部は、第 1共通画像の明度と第 2共通画像の明度との比較結果、及び第 3共通画像の明度と第 4共通画像の明度との比較結果に基づいて、第 3画像の少なくとも一部の明度を、第 1画像の明度に更に調整し、合成画像生成部は、調整部によって明度が調整された第 2画像及び第 3画像、並びに第 1画像とを含む合成画像を生成してよい。

画像合成装置は、与えられた複数の画像のうち、指定された画像を第 1画像として選択し、他の画像を第 2画像として選択する選択部を更に備え、調整部は、第 2の画像の少なくとも一部の明度を、指定された第 1の画像の明度に調整してよい。

また、画像合成装置は、与えられた複数の画像のうち、共通画像における各画素の明度の分布の標準偏差が最も大きい画像を第 1画像として選択し、他の画像を第 2画像として選択する選択部を更に備えることにより、調整部に第 2画像の少なくとも一部の明度を、標準偏差が最も大きい画像である第 1画像の明度に調整させてもよい。

合成画像生成部は、第 1画像及び第 2画像において、所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接する場合に、高明度画素の領域に代えて、他の画像を用いて合成画像を生成してよい。本発明の第 2の形態においては、コンピュータを、第 1画像及ぴ第 2画像から合成画像を生成する画像合成装置として機能させるプログラムであって、第 1画像及び第 2画像は重なり合う共通画像を有し、プログラムはコンピュータを、第 1画像の共通画像である第 1共通画像の明度と、第 2画像の共通画像である第 2 共通画像の明度とを比較する比較部と、比較部の比較結果に基づいて、第 2画像の少なくとも一部の明度を、第 1画像の明度に調整する調整部と、調整部によつて明度が調整された第 2画像と第 1画像とを含む合成画像を生成する合成画像生成部として機能させることを特徴とするプログラムを提供する。

尚、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又、発明となりうる。図面の簡単な説明

図 1は、本発明の実施形態に係る画像合成装置 1 0 0の構成の一例を示す図である。

図 2は、画像合成装置 1 0 0の動作の一例を説明する図である。

図 3は、比較部 1 0の動作の一例を説明する図である。図 3 ( a ) は、偏差算出部 2 0が算出した第 1共通画像の明度の分布の一例を示し、図 3 ( b ) は、偏差算出部 2 0が算出した第 2共通画像の明度の分布の一例を示す。

図 4は、第 1共通画像の画素と、対応する第 2共通画像の画素との明度差の分布の一例を示す図である。

図 5は、第 1共通画像及び第 2共通画像の一例を示す図である。

図 6は、合成画像生成部 6 0が合成した合成画像の一例を示す図である。図 7は、画像合成装置 1 0 0の動作の一例を示すフローチヤ一トである。図 8は、画像合成装置 1 0 0として機能するコンピュータ 2 0 0の構成の一例を示す図である。発明を実施するための最良の形態以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、又実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図 1は、本発明の実施形態に係る画像合成装置.1 0 0の構成の一例を示す。画像合成装置 1 0 0は、重なり合う共通画像を複数の画像から合成画像を生成する。本例においては、重なり合う共通画像を有する第 1画像及び第 2画像から合成画像を生成する場合について説明する。

画像合成装置 1 0 0は、比較部 1 0、選択部 4 0、調整部 5 0、及ぴ合成画像生成部 6 0を備える。選択部 4 0は、第 1画像又は第 2画像のいずれの明度及び色度に、他の画像の明度及び色度を調整するかを選択する。例えば、選択部 4 0は、使用者の指示に応じて与えられる指示信号に基づいて、第 1画像又は第 2画像の一方を基準画像として選択し、他方を明度及ぴ色が調整されるべき調整画像として選択する。

また、他の例においては、選択部 4 0は、第 1画像及ぴ第 2画像の色度及び明度の分布の標準偏差に基づいて、基準画像及び調整画像を選択してもよい。例えば、選択部 4 0は、色度の分布の標準偏差が最も大きい画像を基準画像として選択してよい。つまり、レンジの大きい画像の明度及び色度に、他の画像の明度及び色度を調整することにより、より好ましい画像を合成することができる。また、選択部 4 0は、撮影時期、撮影時の天候、撮影角度等の撮影条件に基づいて、複数の画像から基準画像を選択してもよい。また、選択部 4 0は、画像合成装置 1 0 0に与えられた複数の画像から、略同一の撮影条件によって撮影された画像を選択し、画像合成装置 1 0 0は、選択された画像を合成して合成画像を生成してもよい。また、選択部 4 0は、与えられた画像の撮影時及び撮影場所と、当該撮影場所の撮影時における天候の情報とに基づいて、画像を選択してもよい。本例においては、選択部 4 0が第 1画像を基準画像として選択し、第 2画像を調整画像として選択する場合について説明する。

比較部 1 0は、第 1画像及び第 2画像を受け取り、第 1画像の共通画像である第 1共通画像の明度及び色度と、第 2画像の共通画像である第 2共通画像の明度及び色度とを比較し、第 1画像又は第 2画像の明度及び色度を調整するための補正係数を算出する。また、比較部 1 0は、所定の色毎に、第 1共通画像の明度と、第 2共通画像の明度とを比較することが好ましい。

また、比較部 1 0は、それぞれの共通画像における画素の明度及ぴ色度の分布及び標準偏差を算出し、選択部 4 0に通知する偏差算出部 2 0と、第 1画像及び第 2 画像の明度及び色度の差分に基づいて、いずれかの画像の明度及び色度を調整するための補正係数を算出する補正係数算出部 3 0を有する。補正係数算出部 3 0は、選択部 4 0が選択した基準画像及び選択画像に応じて、補正係数を算出する。偏差算出部 2 0及ぴ補正係数算出部 3 0の動作の詳細については後述する。

調整部 5 0は、比較部 1 0の比較結果に基づいて、第 2画像の少なくとも一部の明度を、第 1画像の明度に調整する。つまり、調整部 5 0は、補正係数算出部 3 0 が算出した補正係数に応じて、選択部 4 0が選択した調整画像の明度及び色度を調整する。また、調整部 5 0は、第 2画像の少なくとも一部における所定の色毎の明度を、第 1画像の所定の色毎の明度に調整することが好ましい。

合成画像生成部 6 0は、調整部 5 0によって明度が調整された第 2画像と第 1画像とを含む合成画像を生成する。合成画像生成部 6 0の動作の詳細については後述する。

本例における画像合成装置 1 0 0によれば、複数の画像の明度及び色度の差を調整し、明度及び色度が統一された合成画像を生成することができる。つまり、第 1 共通画像及ぴ第 2共通画像は、同一の領域を撮影した画像であるため、対応する画素同士の明度差、色度差等を算出し、算出した明度差等に応じて第 1画像又は第 2 画像の全体の画素値を補正することにより、明度及び色度の調整をすることができる。このため、異なる時期、異なる天気、異なる撮影角度等の異なる撮影条件において撮影され、明度及び色度の異なる複数の衛星画像から画像を合成した場合であつても、第 1共通画像及び第 2共通画像の明度差等に基づいて画像を補正することにより、同一の撮影条件で撮影された画像から合成する場合と同様に明度及び色度が統一された合成画像を生成することができる。

図 2は、画像合成装置 1 0 0の動作の一例を説明する図である。本例においては、画像合成装置 1 0 0が、第 1画像、第 2画像、及び第 3画像を合成する場合について説明する。第 1画像は、第 2画像と重なり合う第 1共通画像を含み、第 3画像は第 2画像と重なり合う第 3共通画像を含む。また、第 2画像は、第 1画像と重なり合う第 2共通画像、及び第 3画像と重なり合う第 4共通画像を含む。

選択部 4 0は、第 1画像を基準画像として選択し、第 2画像及び第 3画像を順次調整画像として選択する。比較部 1 0は、第 1共通画像の明度と第 2共通画像の明度との比較結果、及び第 3共通画像の明度と第 4共通画像の明度との比較結果に基づいて、第 3画像の少なくとも一部の明度を、第 1画像の明度に調整する。

補正係数算出部 3 0は、共通画像における明度及び色度の差分に基づいて補正係数,を算出する。つまり、補正係数算出部 3 0は、第 2共通画像の明度及び色度と、第 1共通画像の明度及び色度の差分、並びに第 3共通画像の明度及び色度と、第 4 共通画像の明度及ぴ色度の差分を算出する。捕正係数算出部 3 0は、第 2共通画像の明度及び色度と、第 1共通画像の明度及び色度の差分に基づいて、第 2画像を補正するための補正係数を算出し、第 2共通画像の明度及ぴ色度と、第 1共通画像の明度及び色度の差分、並びに第 3共通画像の明度及ぴ色度と、第 4共通画像の明度及び色度の差分に基づいて、第 3画像を補正するための補正係数を算出する。調整部 5 0は当該補正係数に基づいて、対応する第 2画像の全体及ぴ第 3画像の全体の明度及び色度を、第 1画像の明度及び色度に調整する。

合成画像生成部 6 0は、明度及び色度が調整された第 2画像及び第 3画像と、第 1画像とを、一つの平面に投影することにより合成し、合成画像を生成する。また、合成画像生成部 6 0は、合成画像を所定のトリミング枠に基づいて、トリミングしてもよい。このとき、共通画像の領域については、選択部 4 0が選択した共通画像を用いて合成画像を生成する。本例においては、第 1画像と第 2画像の共通画像領域には第 1共通画像を使用し、第 2画像と第 3画像の共通画像領域には第 2共通画像を使用する。選択部 4 0は、例えばそれぞれの共通画像において、雲等の不要な画像が少な！/、共通画像を選択してよい。

図 3は、比較部 1 0の動作の一例を説明する図である。前述したように第 1共通画像及び第 2共通画像は、同一の領域を撮影した画像であるため、対応する画素同士の明度差、色度差等を算出し、算出した明度差等に応じて第 1画像又は第 2画像の全体の画素値を補正することにより、明度及び色度の調整をすることができる。，し力し、いずれかの共通画像に雲や影のような不要な画像が撮影されている場合、これらの画像要素を含めて明度差を算出すると、精度よく明度差を算出することができない。本例における比較部 1 0は、これらの不要な画像要素を除去して、第 1 共通画像と第 2共通画像の明度差等を算出する。

まず、偏差算出部 2 0は、与えられた第 1画像及び第 2画像から、第 1共通画像及び第 2共通画像を抽出する。偏差算出部 2 0は、例えば第 1画像及び第 2画像に付加された付加情報に基づいて第 1共通画像及び第 2共通画像を抽出する。つまり、画像の撮影領域の緯度経度の情報等に基づいて、それぞれの共通画像抽出してよレ、。また、第 1画像及ぴ第 2画像には、予め共通画像の情報が付加されており、比較部 1 0は、当該情報に基づいてそれぞれの共通画像を抽出してもよい。

補正係数算出部 3 0は、第 1共通画像の各画素と、第 2共通画像の対応する各画素との明度差を算出し、明度差に基づいて第 2画像の画素の明度毎に補正係数を算出する。ここで、補正係数算出部 3 0は、所定の範囲内の明度を有する第 1 共通画像におけ δ画素と、所定の範囲内の明度を有し前記第 1共通画像の画素と対応する第 2共通画像の画素との明度差を算出し、当該明度差に基づいて補正係数を算出する。当該所定の範囲は、偏差算出部 2 0から通知される。補正係数算出部 3 0は、当該補正係数を、所定の色毎に算出することが好ましい。例えば、補正係数算出部 3 0は、赤、青、及び緑の各色要素毎に、当該補正係数を算出する。

偏差算出部 2 0は、第 1共通画像及び第 2共通画像のそれぞれの画素の明度の分布に基づいて、上述した所定の範囲を算出する。比較部 1 0は、当該明度の分布を、所定の色毎に算出することが好ましい。例えば、比較部 1 0は、赤、青、 + . 及び緑の各色要素毎に、当該明度の分布を算出する。

図³ ( a ) は、偏差算出部 2 0が算出した第 1共通画像の明度の分布の一例を示す。図 3 ( a ) において、横軸は明度の強度を示し、縦軸は各明度の度数を示す。偏差算出部 2 0は、算出した明度の分布に基づいて、第 1共通画像の明度の平均値、及び第 1共通画像における各画素の明度の分布の標準偏差である第 1標準偏差を算出する。また、偏差算出部 2 0は、第 1共通画像の明度の平均値から、第 1標準偏差の定数倍である明度の範囲を算出し、第 1共通画像の明度の所定の範囲（x ₂〜y ₂ ) として補正係数算出部 3 0に通知する。

図 3 ( b ) は、偏差算出部 2 0が算出した第 2共通画像の明度の分布の一例を示す。図 3 ( b ) において、横軸は明度の強度を示し、縦軸は各明度の度数を示す。偏差算出部 2 0は、算出した明度の分布に基づいて、第 2共通画像の明度の平均値、及び第 2共通画像における各画素の明度の分布の標準偏差である第 2標準偏差を算出する。また、偏差算出部 2 0は、第 2共通画像の明度の平均値から、第 2標準偏差の定数倍である明度の範囲を算出し、第 2共通画像の明度の所定の範囲（x ₂〜y ₂ ) として補正係数算出部 3 0に通知する。ここで、偏差算出部 ' 2 0は、第 1標準偏差と第 2標準偏差とを、'同一の定数倍した範囲を算出することが好ましい。これにより、第 1共通画像と第 2共通画像において、同数の画素の明度をそれぞれ含む明度の範囲を算出することができる。

本例における偏差算出部 2 0によれば、例えば雲や影のような、周囲に比べて高明度の画素及び低明度の画素の明度を所定の範囲から除くことができ、補正係数算出部 3 0に第 1共通画像と第 2共通画像の明度差を精度よく算出させることができる。また、偏差算出部 2 0は、予め定められた明度の範囲を、所定の範囲として補正係数算出部 3 0に通知してもよい。

図 4は、第 1共通画像の画素と、対応する第 2共通画像の画素との明度差の分布の一例を示す図である。図 4において、横軸は第 2共通画像の画素の明度を示し、縦軸は、第 2共通画像の画素と、対応する第 1共通画像の画素との明度差を示す。補正係数算出部 3 0は、当該明度差を、第 2共通画像のそれぞれの画素毎に算出する。次に、補正係数算出部 3 0は、第 1共通画像の画素及び第 2共通画像の画素のそれぞれの明度が、偏差算出部 2 0から通知された所定の範囲内にある画素同士の明度差を抽出する。つまり、補正係数算出部 3 0は、第 2共通画像の画素の明度が所定の明度範囲内（x ₂〜y ₂ ) であって、且つ対応する第 1共通画像の画素の明度が所定の明度範囲内（_{X l}〜_{y i} ) である画素同士の明度差を抽出する。

次に、補正係数算出部 3 0は、抽出した明度差に基づいて、第 2共通画像の画素の明度を補正するための補正係数を算出する。例えば、補正係数算出部 3 0は抽出した明度差を直線近似することにより、第 2画像の全てめ明度に対する補正係数を算出する。また、補正係数算出部 3 0は、更に高次の近似をすることにより、補正係数を算出してもよい。

本例における補正係数算出部 3 0によれば、例えば不要な雲や影を含む画像同土から、不要な画像を除去した場合の明度差を算出することができる。このため、補正係数を精度よく算出することができる。

また、補正係数算出部 3 0は、算出した明度差において、明度差が所定の値より小さい領域を抽出し、当該領域における明度差に基づいて補正係数を算出してもよい。第 1共通画像と第 2共通画像とは同一の領域を撮影しているため、対応する画素同士の明度差は、大部分が所定の範囲内にあるが、いずれかの画像に雲や影等が撮影された場合、当該箇所の明度差が大きくなる場合がある。明度差が所定の値より小さい領域を抽出することにより、補正係数を精度よく算出することができる。

また、補正係数算出部 3 0は、算出した明度差において、分布のバラツキが少ない領域を抽出し、当該領域における明度差に基づいて補正係数を算出してもよい。

図 5は、第 1共通画像及び第 2共通画像の一例を示す。本例において第 1共通画像には不要な雲 1 0 2が撮影され、第 2共通画像には不要な影 1 0 4が撮影されている。図 4において説明したように、比較部 1 0は、第 1共通画像と第 2共通画像の対応する画素同士の明度差に基づいて補正係数を算出するが、図 4において説明したように第 1共通画像及ぴ第 2共通画像において、雲 1 0 2及ぴ影 1 0 4に対応する領域における画素の明度差については除外して補正係数を算出する。これにより、精度よく補正係数を算出することができる。

図 1に関連して説明した調整部 5 0は、図 4に関連して説明した補正係数算出部 3 0が算出した明度毎の補正係数に基づいて、第 2画像の各画素の明度を、所定の色毎に補正する。これにより、第 2画像の明度及び色度を、第 1画像の明度及び色度に調整することができる。また、比較部 1 0は、図 3及ぴ図 4に関連して説明した明度の補正係数と同様に、第 1共通画像の色度と第 2共通画像の色度とを比較し、調整部 5 0は、比較部 1 0の比較結果に基づいて、第 2画像の少なくとも一部の色度を、第 1画像の色度に調整してもよい。

また、比較部 1 0は、図 3及び図 4において説明したように、明度差の分布に基づいて雲や影の領域を除外していたが、他の例においては、画像処理によって雲や影の領域を抽出して除外してもよい。例えば、比較部 1 0は、第 1共通画像及び第 2共通画像において、所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接している場合、高明度画素以外の領域における明度を比較してもよい。

図 6は、合成画像生成部 6 0が合成した合成画像の一例を示す。本例において、合成画像生成部 6 0は、合成画像から不要な雲や影の画像を除去する。まず、合成画像において、共通画像の領域に不要な画像が有る場合について説明する。例えば、第 2画像の第 4共通画像に不要な画像が撮影されている場合、合成画像生成部 6 0は、第 2共通画像に代えて、明度及び色度が調整された第 3画像の第 3 共通画像を用いて合成画像を生成する。つまり、重なりあう共通画像においては、不要な画像が撮影されていない共通画像を優先して使用して画像を合成することが好ましい。

また、合成画像生成部 6 0は、共通画像において不要な画像が撮影されている領域を画像処理により抽出して、当該領域を他の共通画像の対応する領域に置き換えてもよい。例えば、合成画像生成部 6 0は、共通画像において所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接する場合に、当該高明度画素を雲と判定し、当該領域に代えて他の共通画像の対応する領域を用いて画像を合成してよい。

次に、合成画像において、共通画像以外の領域に不要な画像がある場合には、合成画像生成部 6 0は、当該領域を画像処理により抽出して、当該領域を他の画像に置き換えてよい。当該他の画像は、予め与えられていることが好ましい。例えば、合成画像生成部 6 0は、所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接する場合に、高明度画素の領域に代えて、他の画像を用いて画像を合成してよい。また、画像合成装置 1 0 0は、同一の領域を撮影した画像が複数ある場合、不要な画像要素が少ない画像を優先して選択して合成画像を生成してもよレ、。

本例における画像合成装置 1 0 0によれば、不要な画像を除去した合成画像を容易に生成することができる。

図 7は、画像合成装置 1 0 0の動作の一例を示すフローチャートである。まず、比較段階で、比較部 1 0が共通画像の明度を比較する（S 3 0 0 ) 。 S 3 0 0において、比較部 1 0は、図 1から図 6において説明したように、共通画像の明度を比較する。次に、調整段階で、調整部 5 0が比較部 1 0の比較結果に基づいて、第 2画像の少なくとも一部の明度を調整する（S 3 0 2 ) 。 S 3 0 2において、調整部 5 0は、図 1から図 6において説明したように、第 2画像の明度を調整する。次に、画像合成段階で、合成画像生成部 6 0が合成画像を生成する（S 3 0 4 ) 。 S 3 0 4において、合成画像生成部 6 0は、図 1から図 6において説明したように、合成画像を生成する。

図 8は、画像合成装置 1 0 0として機能するコンピュータ 2 0 0の構成の一例を示す。本例において、コンピュータ 2 0 0は、コンピュータ 2 0 0を図 1から図 6において説明した画像合成装置 1 0 0として機能させるプログラムを格納する。コンピュータ 2 0 0は、 C P U 7 0 0と、 R OM 7 0 2と、 R AM 7 0 4 と、通信インターフェース 706と、ハードディスクドライブ 7 1 0と、 FDデイスクドライブ 7 1 2と、 CD— ROMドライブ 7 1 6とを備える。 CPU 70 0は、 ROM 702、 RAM 704、ハードディスク 7 1 0、 FDディスク 71 4、及び/又は CD— ROM7 1 8に格納されたプログラムに基づいて動作する。例えば、コンピュータ 200を画像合成装置 1 00として機能させるプログラムは、コンピュータ 200を第 1画像の共通画像である第 1共通画像の明度と、第 2画像の共通画像である第 2共通画像の明度とを比較する比較部 10と、比較部 1 0の比較結果に基づいて、第 2画像の少なくとも一部の明度を、第 1画像の明度に調整する調整部 50と、調整部 50によって明度が調整された第 2画像と第 1画像とを含む合成画像を生成する合成画像生成部 60として機能させる。例えば、プログラムは、 CPU700を、画像合成装置 1 00として機能させる。通信ィンターフェース 706は、外部と通信し、画像を合成するべき元画像を受信する。格納装置の一例としてのハードディスクドライブ 7 1 0は、設定情報、受信した画像及ぴ C PU 700を動作させるプログラムを格納する。 ROM70 2、 RAM 704、及び/又はハードディスクドライブ 7 1 0は、画像合成装置 1 00を図 1から図 6に関連して説明した画像合成装置 1 00として機能させるためのプログラムを格納する。また、画像を合成するべき元画像は、フレキシブルディスク 720、 CD— ROM 722、ハードディスクドライブ 7 1 0等に格納されていてもよい。

FDドライブ 712はフレキシブルディスク 714からプログラムを読み取り C Ρϋ 700に提供する。 CD— ROMドライブ 716は CD— ROM718からプログラムを読み取り CPU 700に提供する。

また、プログラムは記録媒体から直接 RAMに読み出されて実行されても、一且ハードディスクドライブにィンストールされた後に RAMに読み出されて実行されても良い。更に、上記プログラムは単一の記録媒体に格納されても複数の記録媒体に格納されても良い。また記録媒体に格納されるプログラムは、ォペレーティングシステムとの共同によつてそれぞれの機能を提供してもよレ、。例えば、プログラムは、機能の一部または全部を行うことをオペレーティングシステムに依頼し、オペレーティングシステムからの応答に基づいて機能を提供するものであってもよレヽ。

プログラムを格納する記録媒体としては、フレキシブルディスク、 C D— R OM の他にも、 D V D、 P D等の光学記録媒体、 MD等の光磁気記録媒体、テープ媒体、磁気記録媒体、 I Cカードやミニチュア一カードなどの半導体メモリー等を用いることができる。又、専用通信ネットワークやインターネットに接続されたサーバシステムに設けたハードディスクまたは R AM等の格納装置を記録媒体として使用してもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本明の技術的範囲に含まれ得ることが、請求の範囲の記載から明らかである。産業上の利用可能性

上記説明から明らかなように、本発明によれば、複数の画像を合成して合成画像を生成する場合に、それぞれの画像の明度及び色度を精度よく調整することができる。また、合成画像から不要な画像要素を除去することができる。

Claims

請求の範囲

1 . 第 1画像及び第 2画像から、合成画像を生成する画像合成装置であって、前記第 1画像及び前記第 2画像は重なり合う共通画像を有し、

前記第 1画像の前記共通画像である第 1共通画像の明度と、前記第 2画像の前記共通画像である第 2共通画像の明度とを比較する比較部と、

前記比較部の比較結果に基づいて、前記第 2画像の少なくとも一部の明度を、前記第 1画像の明度に調整する調整部と、

前記調整部によって明度が調整された前記第 2画像と前記第 1画像とを含む合成画像を生成する合成画像生成部と

を備えることを特徴とする画像合成装置。

2 . 前記比較部は、所定の色毎に、前記第 1共通画像の明度と、前記第 2共通画像の明度とを比較し、

前記調整部は、前記比較部の比較結果に基づいて、前記第 2画像の少なくとも一部における前記所定の色毎の明度を、前記第 1画像の前記所定の色毎の明度に調整することを特徴とする請求項 1に記載の画像合成装置。

3 . 前記比較部は、前記第 1共通画像の色度と前記第 2共通画像の色度とを更に比較し、

前記調整部は、前記比較部の比較結果に基づいて、前記第 2画像の少なくとも一部の色度を、前記第 1画像の色度に更に調整することを特徴とする請求項 1に記載の画像合成装置。

4 . 前記比較部は、

前記第 2共通画像の各画素と、前記第 1共通画像の対応する各画素との明度差を算出し、前記明度差に基づいて前記第 2画像の画素の明度毎に補正係数を算出する補正係数算出部を有し、

前記調整部は、前記明度毎の補正係数に基づいて、前記第 2画像の各画素の明度を調整することを特徴とする請求項 1に記載の画像合成装置。

5 . 前記補正係数算出部は、所定の範囲内の明度を有する前記第 2共通画像における画素と、所定の範囲内の明度を有し前記第 2共通画像の画素と対応する前記第 1共通画像の画素との明度差を算出し、前記明度差に基づいて前記第 2画像の全ての明度に対する前記補正係数を算出することを特徴とする請求項 4に記載の画像合成装置。

6 . 前記比較部は、

前記第 1共通画像における各画素の明度の分布の標準偏差である第 1標準偏差、及び前記第 2共通画像における各画素の明度の分布の標準偏差である第 2標準偏差を算出する偏差算出部を更に有し、

前記補正係数算出部は、前記第 1共通画像における明度の平均値から、前記第 1標準偏差の定数倍の範囲内の明度を有する前記第 1共通画像における画素と、前記第 2共通画像における明度の平均値から、前記第 2標準偏差の前記定数倍の範囲内の明度を有し、前記第 1共通画像の画素と対応する前記第 2共通画像の画素との明度差を算出し、前記明度差に基づいて前記補正係数を算出することを特徴とする請求項 5に記載の画像合成装置。

7 . 前記比較部は、前記第 1共通画像及び前記第 2共通画像において、所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接している場合、前記高明度画素以外の領域における明度を比較することを特徴とする請求項 1 に記載の画像合成装置。

8 . 前記補正係数算出部は、算出した前記明度差において、前記明度差が所定の値より小さい領域を抽出し、抽出した前記領域における前記明度差に基づいて、前記補正係数を算出することを特徴とする請求項 4に記載の画像合成装置。

9 . 前記画像合成装置は、第 3画像を更に合成して前記合成画像を生成し、前記第 3画像は、前記第 2画像と重なり合う第 3共通画像を有し、

前記第 2画像は、前記第 3共通画像と重なり合う第 4共通画像を有し、前記比較部は、前記第 1共通画像の明度と前記第 2共通画像の明度との比較結果、及び前記第 3共通画像の明度と前記第 4共通画像の明度との比較結果に基づいて、前記第 3画像の少なくとも一部の明度を、前記第 1画像の明度に更に調整し、

前記合成画像生成部は、前記調整部によつて明度が調整された前記第 2画像及ぴ前記第 3画像、並びに前記第 1画像とを含む合成画像を生成することを特徴とする請求項 1に記載の画像合成装置。

1 0 . 与えられた複数の画像のうち、指定された画像を前記第 1画像として選択し、他の画像を前記第 2画像として選択する選択部を更に備え、

前記調整部は、前記第 2の画像の少なくとも一部の明度を、指定された前記第 1の画像の明度に調整することを特徴とする請求項 1に記載の画像合成装置。

1 1 . 与えられた複数の画像のうち、前記共通画像における各画素の明度の分布の標準偏差が最も大きい画像を前記第 1画像として選択し、他の画像を前記第 2画像として選択する選択部を更に備え.ることにより、前記調整部に前記第 2画像の少なくとも一部 < 明度を、前記標準偏差が最も大きい画像である前記第 1画 ' 像の明度に調整させることを特徴とする請求項 1に記載の画像合成装置。

1 2 . 前記合成画像生成部は、前記第 1画像及び前記第 2画像において、所定の明度より高い明度を有する高明度画素が、所定の画素数以上隣接する場合に、前記高明度画素の領域に代えて、他の画像を用いて前記合成画像を生成することを特徴とする請求項 1に記載の画像合成装置。

1 3 . コンピュータを、第 1画像及び第 2画像から合成画像を生成する画像合成装置として機能させるプログラムであって、

前記第 1画像及び前記第 2画像は重なり合う共通画像を有し、

前記プログラムは前記コンピュータを、

前記調整部によって明度が調整された前記第 2画像と前記第 1画像とを含む合成画像を生成する合成画像生成部として機能させることを特徴とするプログラム