JPH11242737A

JPH11242737A - 画像処理方法及び装置並びに情報記録媒体

Info

Publication number: JPH11242737A
Application number: JP10045238A
Authority: JP
Inventors: Shin Aoki; 青木　　伸
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1998-02-26
Filing date: 1998-02-26
Publication date: 1999-09-07

Abstract

(57)【要約】【課題】撮影条件が異なる複数の要素画像から、明る
さや色のむらの少ない合成画像を作成する。【解決手段】隣接するものが部分的にオーバーラップ
するように撮影された複数の要素画像を入力し（２０
０）、要素画像の位置関係を入力し（２０１），要素画
像の輝度倍率を推定する（２０２）。輝度倍率に基づき
出力ガンマ特性を設定し（２０３）、要素画像のガンマ
変換を行い（２０４）、しかる後に要素画像を貼り合わ
せ合成する（２０５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理の分野に
係り、特に、デジタルカメラなどを用いて撮影された画
像の貼り合わせ合成処理の分野に関する。

【０００２】

【従来の技術】高解像度の広角画像やパノラマ画像が必
要な場合に、デジタルカメラなどを用いてシーンを分割
撮影し、個々の画像（要素画像）を貼り合わせて１枚の
大きな画像を合成する手法が用いられることがある。こ
の場合、切れ目のない合成画像を得るために、隣り合う
要素画像が部分的にオーバーラップするように撮影され
る。

【０００３】このような画像の貼り合わせ合成に関して
は、特許第２５５５０４１号（特開昭６３−１４２９９
１号）のパノラマ画像合成システム、特開平５−２６０
２６４号の画像合成処理装置など、多くの従来技術が知
られている。いずれの従来技術も、基本的には、隣り合
う要素画像のオーバーラップ部分に同じ対象の像が写っ
ていることを利用し、オーバーラップ部分の像が重なる
ように、要素画像の相対移動や必要に応じて回転又は変
倍を行うことによって貼り合わせ合成を行う。なお、公
知技術ではないが、本出願人は特願平９−３０３８９３
号などで、要素画像を参照球面上で貼り合わせ合成する
手法を提案している。

【０００４】

【発明が解決しようとする課題】一般に、デジタルスチ
ルカメラ、ビデオカメラなどには露出やホワイトバラン
スなどの自動補正機構が搭載されている。このような自
動補正機構を持つカメラで要素画像を撮影すると、それ
ぞれの撮影時の対象物やカメラアングルによって、露出
やホワイトバランスの補正量（以下、これらを撮影条件
と呼ぶことがある）が変化し、同じ撮影対象であっても
要素画像ごとに輝度、色が異なることがある。このよう
な撮影条件にばらつきのある要素画像を前述のような従
来技術によって貼り合わせて得られる合成画像は、位置
によって、同じ色や明るさを持つ撮影対象が異なった明
るさや色で表現され、非常に見苦しい。

【０００５】このような明るさや色のむらを避けるため
に、カメラの自動補正機構を利用しないで要素画像を撮
影することも考えられる。しかし、そのためには撮影前
に撮影範囲全体での適正な露出などを決定する必要があ
るが、これを適切確実に行うことは困難である。したが
って、自動補正機構を作動させて撮影した要素画像か
ら、明るさや色のむらのない画像を合成できることが望
まれる。

【０００６】よって、本発明の目的は、撮影条件が相違
する可能性のある複数の要素画像から、明るさや色のむ
らのない画像を合成できるようにすることである。

【０００７】

【課題を解決するための手段】上記目的を達成するた
め、請求項１乃至８の各項記載の画像処理方法は、デジ
タルカメラなどを用い、隣接するものが部分的にオーバ
ーラップするように撮影された複数の要素画像に関し、
基準に選ばれた要素画像に対する他の要素画像の輝度倍
率を推定し、推定された輝度倍率に基づいて各要素画像
に輝度補正を施し、しかる後に要素画像を貼り合わせ合
成する構成とされる。

【０００８】輝度倍率については、各要素画像のオーバ
ーラップ部分の画素値の平均値に基づいて輝度倍率を推
定し（請求項２）、この画素値の平均値の計算には予め
決められた一定範囲内の画素値だけを用いる（請求項
３）。あるいは、デジタルカメラなどで撮影時の絞り
値、シャッタースピード、アンプゲインなど、撮影対象
の輝度と画像データの画素値を関係付ける撮影条件に関
する情報を要素画像のデータとともに記録するように
し、各要素画像の絞り値などの撮影条件から直接的に輝
度倍率を推定する（請求項４）、構成とされる。

【０００９】輝度補正については、推定された輝度倍率
に従って画素値を変換した場合の要素画像の貼り合わせ
合成画像の画素値分布を推定し、その分布に基づいて輝
度変換特性を決定し、この輝度変換特性と輝度倍率を用
いて各要素画像の画素値を変換することにより各要素画
像の輝度補正を行う構成とされる（請求項５）。

【００１０】また、要素画像の貼り合わせ合成後又はそ
の前に、任意の要素画像が基準として指定された場合
に、指定された要素画像を基準とした輝度倍率を、推定
された輝度倍率から算出し、算出された輝度倍率に基づ
いて再び要素画像を輝度補正してから貼り合わせ合成す
る（請求項６）。あるいは、要素画像の貼り合わせ合成
後に輝度変換特性が修正された場合に、修正後の輝度変
換特性を用いて再び要素画像を輝度補正してから貼り合
わせ合成する（請求項７）、構成とされる。

【００１１】請求項８記載の画像処理方法にあっては、
基準に選ばれた要素画像に対する他の要素画像の輝度倍
率を推定し、推定された輝度倍率に基づいて要素画像を
輝度補正してから貼り合わせ合成することにより、要素
画像の元の階調数より大きな階調数を持つ合成画像を作
成する。そして、この合成画像の任意に指定される範囲
の画素値の分布を求め、この分布に基づいて指定範囲の
画像を合成画像より階調数の少ない画像、例えば要素画
像の元の階調数を持つ画像に変換し表示する、構成とさ
れる。

【００１２】なお、要素画像がカラー画像の場合、Ｒ，
Ｇ，Ｂ各色の輝度（画素値）を補正すればよい。ただ
し、デジタルカメラなどの自動ホワイトバランス補正機
構を作用させて要素画像を撮影した場合には、要素画像
ごとにＲ，Ｇ，Ｂのバランスが変化している可能性が高
いので、輝度補正前後のホワイトバランスの変化を防ぐ
ため、Ｒ，Ｇ，Ｂ各色別に輝度倍率の推定及び輝度補正
特性の決定を行うのがよい。他方、自動ホワイトバラン
ス補正機構を作用させずに要素画像を撮影した場合に
は、Ｒ，Ｇ，Ｂのバランスは固定しているから、ホワイ
トバランスを変化させないために、Ｇ画像に関して、輝
度倍率を推定し、また輝度変換特性を決定し、この輝度
変換特性と輝度倍率をＲ，Ｇ，Ｂ各色の輝度補正に用い
るのがよい。

【００１３】また、請求項９記載の画像処理装置は、以
上に述べた画像処理方法の各処理を実行するための手段
を具備する構成とされ、請求項１０記載の情報記録媒体
は、以上に述べた画像処理方法の処理手順をコンピュー
タに実行させるためのプログラムが記録される構成とさ
れる。

【００１４】

【発明の実施の形態】以下、添付図面を参照し、本発明
の実施の形態を説明する。

【００１５】本発明を実施するためには、要素画像の輝
度倍率を推定するための手段、推定された輝度倍率に基
づいて要素画像を輝度補正するための手段、輝度補正後
の要素画像を貼り合わせ合成するための手段などが必要
である。このような手段を含む処理系は、専用のハード
ウェアとして実現することも、プログラム制御のプロセ
ッサを利用してプログラム処理により実現することも、
専用ハードウェアとプログラム処理との組合せにより実
現することも可能である。そのような処理系は、要素画
像を撮影するためのデジタルカメラなどに内蔵させるこ
とも可能であるし、デジタルカメラなどと独立した外部
装置として実現することも可能である。

【００１６】プログラム処理による処理系の一例を図１
に示す。図１に示す処理系は、一般的なコンピュータと
同様の構成であり、プログラム制御による各種演算や制
御を行うＣＰＵ１００、本発明の画像処理の各処理ステ
ップの手順を実行するための（換言すれば、各処理ステ
ップのための手段を実現するための）処理プログラム１
２０や制御プログラム１２１などを記憶するためのプロ
グラムメモリ１０１、ＣＰＵ１００のワークエリアなど
として利用されるデータメモリ１０２、ユーザインター
フェースのための画像表示装置１０４とマウスなどのポ
インティングデバイス１０５、フロッピーディスクなど
の情報記録媒体１０７の読み書きのためのドライブ１０
６、補助記憶装置やデジタルカメラ１１０などの外部装
置を接続するための外部インターフェイス部１０８，１
０９などをバス１１１で接続した構成である。

【００１７】本発明の処理を実行するための処理プログ
ラム１２０は、例えば、同処理プログラムが記録された
情報記録媒体１０７よりドライブ１０６を介して、ある
いは外部の補助記憶装置から外部インターフェイス部１
０８を介してプログラムメモリ１０１にロードされる。
要素画像のデータ１２４は、例えば外部インターフェイ
ス部１０９を介してデジタルカメラ１１０から直接的に
データメモリ１０２に読み込まれ、あるいは、外部の補
助記憶装置などに一旦保存され、これが外部インターフ
ェイス部１０８を介してデータメモリ１０２に読み込ま
れる。本発明を実施するための処理系はこれに限らない
が、以下、この処理系を前提にして説明する。

【００１８】図２に、本発明の第１の実施例の処理フロ
ーを示す。ここに示す各処理ステップを図１の処理系に
おいて実行するための処理プログラムは、前述のように
してプログラムメモリ１０１にロードされる。

【００１９】まず、ステップ２００において、処理対象
の複数の要素画像のデータが前述のようにしてデータメ
モリ１０２に読み込まれる。ここでは、例えば図５に示
すような３枚の要素画像１，２，３が読み込まれるとす
る。要素画像１，２，３は、この順番で、網掛けした部
分をオーバーラップさせて撮影されたものとする。

【００２０】次に、ステップ２０１において、要素画像
１，２，３の相対的な位置関係を入力する。この位置関
係の入力は、例えば、図１の処理系のユーザインターフ
ェイス機構を利用して行うことができる。すなわち、要
素画像を画像表示装置１０４の画面に表示し、マウスな
どのポインティングデバイス１０５の操作によって、画
面上で隣り合う要素画像のオーバーラップ部分がほぼ正
しく重なり合うように、すなわち同じ対象物が同じ位置
に来るように、各要素画像の表示位置を調整することに
より、各要素画像の相対的な位置関係を検出して入力す
る。図３はこのようにして位置合わせをした様子を示し
ており、３００は画面、３０１と３０２は例えば要素画
像１と要素画像２に対応する。３０３はポインティング
デバイス１０５の操作によって移動するカーソルであ
る。

【００２１】要素画像の相対的な位置関係が既知の場合
は、その位置関係を利用すればよく、上に述べたような
入力操作は不要である。例えば、図４に示すように、デ
ジタルカメラ４００を回転台４０１に取り付け、一定の
角度ずつ撮影方位を変えながら要素画像を順に撮影し、
要素画像の撮影の順番と回転角度が既知である場合など
である。なお、任意の順番で任意の撮影方位で要素画像
を撮影する場合であっても、要素画像の撮影方位が要素
画像データのヘッダなどに記録されるようにしておき、
要素画像データとともに撮影方位の情報を入力し、その
撮影方位の情報から要素画像の位置関係を算出するよう
にしてもよい。

【００２２】次に、ステップ２０２において、要素画像
の輝度倍率を推定する。図５に示す３枚の要素画像１，
２，３を例にして説明すると、各要素画像のオーバーラ
ップ部分（網掛け部分）の画素値の平均値Ａ１，Ａ２，
Ａ３，Ａ４を計算する。オーバーラップ部分は、要素画
像の相対的位置関係から知ることができる。そして、例
えば要素画像１を基準として、平均値Ａ１，Ａ２，Ａ
３，Ａ４から要素画像１，２，３の輝度倍率を計算す
る。すなわち、基準の要素画像１の輝度倍率を１とする
と、要素画像２の輝度倍率はＡ１／Ａ２、要素画像３の
輝度倍率は（Ａ１／Ａ２）＊（Ａ３／Ａ４）となる。た
だし、この輝度倍率は定数倍の自由度があり、上のよう
にして算出した輝度倍率の最低値が１となるように、す
べての要素画像の輝度倍率をスケーリングしてもよい。

【００２３】隣り合う２枚の要素画像のオーバーラップ
部分には、ほぼ同じ対象が撮影されており、それらの撮
影条件が同じであれば、それらの画素値の平均値（例え
ばＡ１とＡ２）はほぼ同じになるはずである。したがっ
て、それらの平均値の比（Ａ１／Ａ２）は、ほぼ同じ対
象を撮影したデータが、２枚の要素画像データ中でどの
ような値を持っているかを表す、撮影条件の相対的な推
定値である。すなわち、ここで求めた輝度倍率は、基準
として選ばれた要素画像１に対する、各要素画像２，３
の相対的な撮影条件の推定値としての意味を持つ。

【００２４】ところで、要素画像の撮影に用いられるデ
ジタルカメラなどの内部では、一般に、図１０に模式的
に示すように、輝度補正とガンマ補正が行われる。輝度
補正は、通常、光学系の絞り、シャッター、ＣＣＤセン
サの電子シャッターなどにより、光量を制限することに
より行われ、あるいは画像信号のアンプのゲイン調整に
よって等価的な光量制限が行われる。さらに、テレビモ
ニタなど撮影画像を最終的に表示する装置のガンマ特性
に合わせ、通常、１／２程度のガンマ係数でガンマ補正
が行われる。このガンマ補正は、画像信号をＡ／Ｄ変換
前に非線形変換する方法、Ａ／Ｄ変換後の画像データを
テーブル参照によって変換する方法などによって行われ
る。よって、記録される画像データＤと実際の光量との
関係は、Ｉ＝gamma^-1（Ｄ）／Ｋによって表される。ただし、gamma^-1（）はガンマ変換
の逆特性、Ｋは絞りなどによる光量制限の倍率であ。ガ
ンマ変換特性が単純なＤ^rの形式ならば、画像データＤ
に一定の係数を掛けることで絞りの影響を補正可能であ
る。しかし、ガンマ変換にはニー特性などがあり、画像
データは単純な比例関係にならない。特に、明るい部分
と黒等部分は、通常、ニー特性やつぶれ、飽和などのた
め比例関係から外れやすい。

【００２５】その影響を受けにくくして、より正確に輝
度倍率を推定するため、本実施例では、ステップ２０２
でオーバーラップ部分の画素値の平均値を計算する際
に、一定の範囲に含まれる画素値だけを用いる。要素画
像を２５６階調（８ビット／画素）の画像とすると、例
えば、３２〜２２４の範囲内の画素値がオーバーラップ
部分の画素値の平均値の計算に用いられる。

【００２６】なお、要素画像の撮影時の絞り値、シャッ
タースピード、アンプゲインなど、撮影対象の輝度と画
像データの画素値を関係付ける撮影条件に関する情報が
要素画像データのヘッダなどに記録されている場合に
は、ステップ２０２において、各要素画像の絞り値など
の撮影条件の情報を用いて直接的に輝度倍率を計算する
こともできる。

【００２７】輝度倍率が推定されると、その輝度倍率に
基づいて各要素画像の輝度補正を行う。本実施例では、
まず輝度補正のための出力ガンマ特性を設定し（ステッ
プ２０３）、この出力ガンマ特性を用いて各要素画像の
ガンマ変換を行う（ステップ２０４）。

【００２８】ステップ２０３においては、推定された輝
度倍率に従って画素値を変換した場合の要素画像の貼り
合わせ合成画像の画素値分布を推定し、その分布に基づ
いて出力ガンマ特性を設定する。

【００２９】具体的には、図５の３枚の要素画像１，
２，３の場合、オーバーラップ部分を除いて、要素画像
１はその画素値をそのまま、合成した時の仮画素値とし
て用い、要素画像２はその画素値に輝度倍率Ａ１／Ａ２
を掛けた値を合成した時の仮画素値として用い、要素画
像３はその画素値に輝度倍率Ａ１／Ａ２＊Ａ３／Ａ４を
掛けた値を仮画素値として用いる。要素画像１と要素画
像２とのオーバーラップ部分については、要素画像１の
各画素の画素値と、それに重なる要素画像２の各画素の
画素値に輝度倍率Ａ１／Ａ２を掛けた値との平均値を仮
画素値として用いる。要素画像２と要素画像３とのオー
バーラップ部分については、要素画像２の各画素の画素
値に輝度倍率Ａ１／Ａ２を掛けた値と、それに重なる要
素画像３の各画素の画素値に輝度倍率Ａ１／Ａ２＊Ａ３
／Ａ４を掛けた値との平均値を仮画素値として用いる。
ただし、２つの要素画像の重なる２画素は１画素として
カウントすることは当然である。このようにして計算し
た全要素画像の仮画素値のヒストグラムを求める。

【００３０】そして、このヒストグラムを用いて、要素
画像の合成のための出力ガンマ特性を設定する。この
際、予め決められたニーポイント、ガンマ係数などを使
用する。例えば、合成画像の階調数を２５６（８ビット
／画素）とした場合、図６に例示するように、ヒストグ
ラムにおいて仮画素値の最大値から１０％の画素が存在
する仮画素値をニーポイントとして、その仮画素値を９
０％の出力階調つまり２３０の出力画素値に割り当て、
ニーポイント以上の領域は線形に２３０〜２５５の出力
画素値の範囲に納め、ニーポイントより下の領域はガン
マ係数０．５の曲線とした出力ガンマ特性を設定する。

【００３１】ステップ２０４では、各要素画像の輝度倍
率と設定された出力ガンマ特性から、各要素画像用のガ
ンマ変換テーブルを設定し、各要素画像の画素値のガン
マ変換を実行する。つまり、要素画像の輝度倍率をＡ、
出力ガンマ特性をＧout（）とすると、ガンマ変換テー
ブルの入力ｉｎ(変換前の画素値)に対する出力ｏｕｔ
（変換後の出力画素値）はｏｕｔ＝Ｇout（Ａ＊ｉｎ）と表される。

【００３２】このようにして輝度補正された要素画像に
ついて、ステップ２０５で高精度に貼り合わせ合成し、
合成画像をデータメモリ１０２上に作成する。この貼り
合わせ合成処理は、前記特願平９−３０３８９３号の明
細書に述べられているような、各要素画像を参照球面に
投影し、座標変換行列を用いて各要素画像を統一された
方位角度座標に変換するような方法や、前記従来技術の
ような適宜の方法で行うことができるので、これ以上の
説明は省略する。

【００３３】作成された合成画像は、輝度変換特性の良
否の判断をオペレータに求めるため画像表示装置１０４
の画面に表示される（ステップ２０６）。オペレータが
肯定の判断を例えばポインティングデバイス１０５の操
作により入力した時には、合成画像は例えば外部インタ
ーフェイス部１０８を介して外部の補助記憶装置などに
出力され（ステップ２０７）、全体の処理が終了する。

【００３４】オペレータより否定の判断が入力された時
には、輝度補正の修正モードに入る。この修正モードは
本実施例ではモード（１）とモード（２）を選択でき
る。モード（１）が選択された場合、ステップ２０４で
前回用いられた出力ガンマ特性（図６参照）が画像表示
装置１０４の画面に表示され（ステップ２０８）、ユー
ザは画面上でポインティングデバイス１０５の操作によ
り出力ガンマ特性を直接的に修正することができる（ス
テップ２０９）。この修正が終わると、修正後の出力ガ
ンマ特性によるガンマ変換（ステップ２０４）、貼り合
わせ合成（ステップ２０５）、合成画像の表示（ステッ
プ２０６）が順に再実行される。この修正のループは必
要なだけ繰り返すことができる。

【００３５】修正のモード（２）が選択された場合、オ
ペレータはポインティングデバイス１０５の操作によ
り、画面上で輝度補正の基準にしたい任意の要素画像を
指定することができる（ステップ２１０）。そうする
と、ステップ２０２で推定された輝度倍率から、ここで
指定された要素画像を基準とした輝度倍率が再計算され
る（ステップ２１１）。すなわち、例えば図５の要素画
像２が指定された場合、要素画像１と要素画像３の輝度
倍率（それぞれ１，Ａ１／Ａ２＊Ａ３／Ａ４）を要素画
像２の輝度倍率（Ａ１／Ａ２）で割り算することによっ
て、それぞれの輝度倍率が求められる。基準となった要
素画像２の輝度倍率は１とする。そして、再計算された
輝度倍率を用いて、ステップ２０３と同様にして出力ガ
ンマ特性が再設定される（ステップ２１２）。ただし、
合成画像の階調数を２５６とした場合、２５６以上の仮
画素値の出力画素値を２５５に飽和させるように出力ガ
ンマ特性が設定される。この再設定が終わると、再設定
された出力ガンマ特性によるガンマ変換（ステップ２０
４）、貼り合わせ合成（ステップ２０５）、合成画像の
表示（ステップ２０６）が順に再実行される。この修正
のループは必要なだけ繰り返すことができる。なお、最
初の合成処理（ステップ２０５）の前に任意の要素画像
を基準画像として指定できるようにし、その指定がなさ
れた場合には、指定された要素画像を基準画像として輝
度倍率の再計算を行わせ、しかる後に貼り合わせ合成と
表示（ステップ２０５，２０６）を行わせるようにして
もよい。

【００３６】図７及び図８に、本発明の第２の実施例の
処理フローを示す。ここに示す各処理ステップを図１の
処理系において実行するための処理プログラムは、前述
のようにしてプログラムメモリ１０１にロードされる。

【００３７】本実施例は、図９に示すように、複数の要
素画像を貼り合わせ、一度に表示できないような大きな
合成画像９００（パノラマ画像など）を作成して保存し
ておき、この合成画像の任意に指定される表示領域９０
１の画像を表示させるものである。

【００３８】図７は、要素画像から合成画像を作成して
保存するための処理フローを示す。処理の流れを述べる
と、要素画像が入力され（ステップ７００）、入力され
た要素画像の相対的な位置関係が入力され（ステップ７
０１）、要素画像の輝度倍率が推定され（ステップ７０
２）、輝度倍率に基づいて出力ガンマ特性が設定され
（ステップ７０３）、出力ガンマ特性と輝度倍率に基づ
いて要素画像の画素値がガンマ変換され（ステップ７０
４）、ガンマ変換後の要素画像が貼り合わせ合成され
（ステップ７０５）、生成された合成画像が補助記憶装
置などに保存される（ステップ７０７）。これらの処理
ステップ７００，７０１，７０３，７０４，７０５，７
０７の処理内容は、図２中の対応した処理ステップ２０
０，２０１，２０２，２０３，２０４，２０５，２０７
と同様である。

【００３９】ただし、階調のつぶれを避けるため、ステ
ップ７０２では輝度倍率の最低値を１とするように、必
要に応じ前述のようにして推定された輝度倍率をスケー
リングし、また、ステップ７０３では出力画素値の階調
数を要素画像の階調数より十分に大きくなるように（例
えば、要素画像が８ビット／画素の場合に、ガンマ変換
後の画像が１６ビット／画素となるように）出力ガンマ
特性を設定し、ステップ７０５では、その大きい階調数
の合成画像を生成する。

【００４０】図８は、以上のようにして作成され保存さ
れた合成画像を部分的に表示するための処理フローを示
す。まず、ステップ７０８で、外部の補助記憶装置など
から保存されている合成画像（要素画像ごとの撮影条件
の違いに対する輝度補正は済んでいる）がデータメモリ
１０２に読み込まれる。次にステップ７０９において、
オペレータによりポインティングデバイス１０５の操作
などによって視野と方位が指示され、見たい表示領域が
指定される（ステップ７０９）。

【００４１】合成画像は、その要素画像の撮影条件の違
いに対する輝度補正がなされているが、要素画像の元の
階調数より大きな階調数の画像であり、指定された表示
領域をそのまま切り出して表示したのでは、要素画像と
は明るさが異なった不自然な画像となってしまう。そこ
で、表示領域が指定されると、まずステップ７１０で合
成画像の表示領域内の画素値分布が計算される。ステッ
プ７１１で、前ステップ７１０で求められた分布に基づ
いて、ステップ７０３における出力ガンマ特性の設定と
同様の方法によって、表示用のガンマ特性（ただし要素
画像と同じ階調数、例えば２５６、つまり８ビット／画
素のためのガンマ特性）が設定される。そして、ステッ
プ７１２において、表示ガンマ特性を用いて、合成画像
から切り出された表示領域の画像の画素値がガンマ変換
されて、要素画像と同じ階調数の表示画像が作成され、
これがステップ７１３で画面表示装置１０４の画面に表
示される。オペレータがポインティングデバイス１０５
などによって終了を指示するまで、ステップ７０９〜ス
テップ７１３の処理を繰り返し、合成画像の様々な部分
を表示させることができる。なお、表示画像の階調数
は、一般的には、合成画像の階調数より小さな任意の階
調数に選ぶことが可能である。

【００４２】なお、前記各実施例において、要素画像が
カラー画像の場合、Ｒ，Ｇ，Ｂ各色の輝度（画素値）を
補正すればよい。ただし、デジタルカメラなどの自動ホ
ワイトバランス補正機構を作用させて要素画像を撮影し
た場合には、要素画像ごとにＲ，Ｇ，Ｂのバランスが変
化している可能性が高いので、輝度補正前後のホワイト
バランスの変化を防ぐため、Ｒ，Ｇ，Ｂ各色別に輝度倍
率の推定（ステップ２０２，７０２），輝度倍率の再計
算（ステップ２１１）、出力ガンマ特性の決定（ステッ
プ２０３，２１２，７０３）を行うのがよい。他方、自
動ホワイトバランス補正機構を作用させずに要素画像を
撮影した場合には、Ｒ，Ｇ，Ｂのバランスは固定してい
るから、ホワイトバランスを変化させないために、Ｇ画
像に関して輝度倍率の推定や再計算、出力ガンマ特性の
決定を行い、この出力ガンマ特性と輝度倍率をＲ，Ｇ，
Ｂ各色のガンマ変換に用いるのがよい。

【００４３】

【発明の効果】以上の説明から明らかなように、本発明
によれば次のような効果を得られる。

【００４４】（１）請求項１乃至８の各項記載の発明の
画像処理方法によれば、貼り合わせ合成の前に要素画像
の輝度倍率を推定して輝度補正を施すことにより、要素
画像の撮影条件の違いがあっても、明るさや色のむらの
少ない合成画像を作成できる。

【００４５】（２）請求項２記載の発明の画像処理方法
によれば、各要素画像の撮影時の絞り値、シャッタース
ピード、アンプゲインなど、撮影条件が分かっていない
場合にも、要素画像のオーバーラップ部分の画素値の平
均値から輝度倍率を推定し、適切な輝度補正を行うこと
ができる。

【００４６】（３）請求項３記載の発明の画像処理方法
によれば、オーバーラップ部分の画素値の平均値を求め
る際に、一定範囲内の画素値だけを用いることにより、
要素画像の撮影に用いられたデジタルカメラなどで施さ
れるガンマ変換の影響を受けにくくし、より正確な輝度
倍率の推定が可能になる。

【００４７】（４）請求項４記載の発明の画像処理方法
によれば、要素画像データとともに撮影時の絞り値、シ
ャッタースピード、アンプゲインなど、撮影対象の輝度
と画像データの画素値を関係付ける撮影条件に関する情
報が記録されるデジタルカメラなどが用いられた場合に
は、その絞り値などの撮影条件の情報を利用することに
より輝度倍率推定の処理を簡略化でき、また正確な推定
が可能になる。

【００４８】（５）請求項５記載の発明の画像処理方法
によれば、輝度倍率に従って画素値を変換した場合の貼
り合わせ合成画像の画素値分布に基づいて輝度補正特性
を決定することにより、的確な輝度補正が可能になる。

【００４９】（６）請求項６又は７記載の発明の画像処
理方法によれば、人が必要に応じて基準画像を任意に指
定することにより合成画像の輝度補正の適否を確認して
必要な輝度補正の修正が可能であり、より高品質の、ま
たは好ましい品質の合成画像を作成することができる。

【００５０】（７）請求項８記載の発明の画像処理方法
によれば、要素画像の撮影条件のちがいによる明るさや
色のむらが少なく、また階調のつぶれの少ないパノラマ
画像などの大きな画像を合成し、その任意の領域を高品
質な画像として表示することができる。

【００５１】（８）請求項９記載の発明の画像処理装置
によれば、上記（１）乃至（７）に述べたような効果を
有する画像処理方法に従って、明るさや色のむらの少な
い高品質な合成画像を作成し、また表示することができ
る。

【００５２】（９）請求項１０記載の発明の情報記録媒
体によれば、上記（１）乃至（７）に述べたような利点
を有する画像処理方法をコンピュータを利用して実施す
ることができる。

【図面の簡単な説明】

【図１】本発明をプログラム処理によって実施するため
の処理系の一例を示すブロック図である。

【図２】本発明の第１の実施例における処理フローを示
すフローチャートである。

【図３】要素画像の相対的な位置関係の入力方法を説明
するための図である。

【図４】要素画像を一定の相対的位置関係で撮影する方
法の一例を説明するための図である。

【図５】要素画像のオーバーラップ部分の画素値の平均
値から輝度倍率を推定する方法を説明するための図であ
る。

【図６】画素値のヒストグラムと出力ガンマ特性を関連
付けて示す図である。

【図７】本発明の第２の実施例において要素画像の入力
から合成画像の保存までの処理フローを示すフローチャ
ートである。

【図８】本発明の第２の実施例において合成画像の任意
の領域を表示させるための処理フローを示すフローチャ
ートである。

【図９】本発明の第２の実施例における合成画像と表示
領域の関係を示す図である。

【図１０】デジタルカメラなどの内部における信号処理
の説明図である。

【符号の説明】

１００ＣＰＵ１０１プログラムメモリ１０２データメモリ１０４画像表示装置１０５ポインティングデバイス１０６情報記録媒体のドライブ１０７情報記録媒体１０８，１０９外部インターフェイス部１１０デジタルカメラ

Claims

【特許請求の範囲】

【請求項１】デジタルカメラなどを用い、隣接するも
のが部分的にオーバーラップするように撮影された複数
の要素画像に関し、基準に選ばれた要素画像に対する他
の要素画像の輝度倍率を推定し、推定された輝度倍率に
基づいて各要素画像に輝度補正を施し、輝度補正後の要
素画像を貼り合わせ合成することを特徴とする画像処理
方法。
【請求項２】請求項１記載の画像処理方法において、
各要素画像のオーバーラップ部分の画素値の平均値から
輝度倍率を推定することを特徴とする画像処理方法。
【請求項３】請求項２記載の画像処理方法において、
予め決められた一定範囲内の画素値だけを用いてオーバ
ーラップ部分の画素値の平均値を計算することを特徴と
する画像処理方法。
【請求項４】請求項１記載の画像処理方法において、
各要素画像に付加されている絞り値などの撮影条件に関
する情報から輝度倍率を推定することを特徴とする画像
処理方法。
【請求項５】請求項１記載の画像処理方法において、
推定された輝度倍率に従って画素値を変換した場合の要
素画像の貼り合わせ合成画像の画素値分布を推定し、そ
の分布に基づいて輝度変換特性を決定し、この輝度変換
特性と輝度倍率を用いて各要素画像の画素値を変換する
ことにより各要素画像の輝度補正を行うことを特徴とす
る画像処理方法。
【請求項６】請求項１乃至５のいずれか１項記載の画
像処理方法において任意の要素画像が基準として指定さ
れた場合に、指定された要素画像を基準とした輝度倍率
を、推定された輝度倍率から算出し、算出された輝度倍
率に基づいて再び要素画像を輝度補正してから貼り合わ
せ合成することを特徴とする画像処理方法。
【請求項７】請求項５記載の画像処理方法において、
要素画像の貼り合わせ合成後に輝度変換特性が修正され
た場合に、修正後の輝度変換特性を用いて再び要素画像
を輝度補正してから貼り合わせ合成することを特徴とす
る画像処理方法。
【請求項８】デジタルカメラなどを用い、隣接するも
のが部分的にオーバーラップするように撮影された複数
の要素画像に関し、基準に選ばれた要素画像に対する他
の要素画像の輝度倍率を推定し、推定された輝度倍率に
基づいて要素画像を輝度補正してから貼り合わせ合成す
ることにより、要素画像の元の階調数より大きな階調数
を持つ合成画像を作成し、この合成画像の任意に指定さ
れる範囲の画素値の分布を求め、この分布に基づいて合
成画像の指定範囲の画像を合成画像より階調数の少ない
画像に変換し表示することを特徴とする画像処理方法。
【請求項９】請求項１乃至８のいずれか１項記載の画
像処理方法の各処理を実行するための手段を具備する画
像処理装置。
【請求項１０】請求項１乃至８のいずれか１項記載の
画像処理方法の処理手順をコンピュータに実行させるた
めのプログラムが記録された機械読み取り可能な情報記
録媒体。