JP2004139219A

JP2004139219A - 画像処理方法および画像処理装置

Info

Publication number: JP2004139219A
Application number: JP2002301470A
Authority: JP
Inventors: Koji Kakiuchi; 垣内　宏司
Original assignee: Seiko Instruments Inc
Current assignee: Seiko Instruments Inc
Priority date: 2002-10-16
Filing date: 2002-10-16
Publication date: 2004-05-13

Abstract

【課題】連続的に撮影されたデジタル画像を繋ぎ合わせて一つの画像に合成処理する合成処理方法において、従来の照度むら補正方法では画面の全領域の輝度を補正することができなかったり、画像が破壊されるというような問題があった。
【解決手段】撮影したデジタル画像の一部が重複するように連続的に撮影場所または撮影方向を移動させながら撮影した複数のデジタル画像を連続的につなぎ合わせて一つのパノラマ画像に合成処理する画像処理方法であって、照度むら補正係数を画像面座標の既知関数の線形結合として表現し、そこでの線形結合定数を統計的手段によって計算するような画像処理方法である。
【選択図】　　　　図９

Description

【０００１】
【発明の属する技術分野】
本発明は、ビデオカメラによって取り込んだ連続画像や複数の静止画像をつなぎ合わせて一つのパノラマ画像として画像を合成処理する画像処理方法、及びこの画像処理方法を用いた画像処理装置に関する。
【０００２】
【従来の技術】
デジタルビデオの普及とパーソナルコンピュータの高性能化に伴って、かつては不可能であったデジタル画像データの大量保存や大量処理が可能になってきた。これに伴い、デジタル画像データを処理する新しい方法が行われるようになってきた。その一つとして、移動しながら撮影したビデオ画像や、同じ領域を場所や角度を変えて撮影した複数枚の静止画をつなぎ合わせて一つの合成画像（パノラマ画像）を生成する技術がある。これをモザイキングと呼ぶこともある。
【０００３】
この技術はトンネルや壁のひび割れなどの検査を行う場合に有効に使われている。画像処理装置においてこのモザイキング処理を行うときには、まず各画像が相互に重なる重複領域を求め、次にこの重複領域を「のりしろ」として画像を貼り付けるという処理を行っている。
【０００４】
このような画像合成を行う場合、画像毎の照明状態の変化などによって、合成画像の画素の輝度が画像のつなぎ目に相当する部分で急激に変化し、そのために合成画像内に濃淡および色調の境目ができることがある。
【０００５】
図１１は従来のモザイキング処理における撮影状態を説明する図である。図１１における領域１０１が一つの画像として撮影され、同様に領域１０２が一つ画像として撮影され、さらに領域１０３が一つ画像として撮影されたとする。境界線１１１から境界線１１２が領域１０１の画像の範囲となり、境界線１１３から境界線１１４が領域１０２の画像の範囲となり、境界線１１５から境界線１１６が領域１０３の画像の範囲となる。図１２は照度むらがあるときの図１１における各画像の輝度分布状態を説明するための図である。
【０００６】
図１２では、領域１０１を撮影した画像の輝度分布１２１に示したが、このような分布になる理由は、人工照明されている場合には、中央が明るくて端が暗くなるためである。同じ理由によって領域１０２、領域１０３を撮影した画像における輝度分布１２２、１２３においても同じような輝度分布が発生する。このとき重なり領域１０４を「のりしろ」として二つの領域１０１と１０２の画像を貼り付ける。ここで、領域１０１の画像の中で図１２の１１１から１１３の部分を切り取り、この切り取った画像を領域１０２の画像の左に貼り付ける。次に領域１０２の画像から図１２の１１３から１１５の領域を切り取って、領域１０３の画像の左に貼り付ける。
【０００７】
図１３はこのような従来の方法により図１２の画像をモザイキングしたときの結果を示す図である。ここで説明したような画面の貼り付けを行うと、図１３の境界線１１３と境界線１１５で輝度の不連続的な「飛び」１３１と１３２がここで発生し、パノラマ画像に不自然な線として見える。
【０００８】
この問題を解決するための一つの方法として、異なる画像間において重なっている領域を何らかの方法で検出し、そこでの輝度の違いを用いて照度むら効果を補正しようとする方法がある。即ち、重なっている領域は本来同じ場所であるから輝度は同じはずであるが、照度むら効果により画像に輝度が異なっている。そこでその領域での輝度を比較して同じになるように補正すればよいというのが基本的な考え方である。
【０００９】
このような考え方に基づく方法として、ヒストグラム法・線形濃度変換法・平均濃度差補正法などがある。ヒストグラム法と線形濃度変換法では画像全体の輝度補正はできるが、場所に応じた細かい輝度補正ができないという欠点がある。
【００１０】
人間の目は不連続的な変化には非常に敏感であるため、これらの方法では目立たない程度にまで輝度の不連続さをなくしてしまうことが難しい。一方、平均濃度差補正法では場所に応じた細かい補正が可能となるものの、重なっていない領域を含めた画像全体の補正はできないという欠点がある（例えば、非特許文献１参照）。
【００１１】
また別の種類の考え方として、画像の輝度データに平滑化フィルターを掛けて照度の画像内分布をカットするという方法もある（例えば、非特許文献２参照）。しかしこの方法では照度むらを検出しているのではないため、照度むら以外に元々の画像が持っていた情報までカットしている可能性がある。実際このような処理をモザイキング画像に対して行うことにより画像がぼけてしまったり、全体に白っぽくなったり黒っぽくなったりといった画像の劣化現象が発生していた。画像合成時の照度むら補正に関する従来技術としては、照明装置が固定されている場合に、照明からの位置により輝度が変化することを補正するための技術がある（例えば、特許文献１参照）。しかしこの技術は本発明が想定しているような照明装置が撮影装置ともに移動している状態には使えない。
【００１２】
また画像合成時の照度むら補正に関する別の従来技術としてスキャナなどで画像を取り込むときに、照明装置の揺らぎなどによって輝度が変化することを補正しようとするものがある（例えば、特許文献３参照。）。しかしそこでの補正手段は、基本的に画像全体の輝度平均の違いを補正しようとするものであり、本発明が考えているような場所ごとの細かい補正を考えたものではない。
【００１３】
また以上のような処理を行う場合に、画像列の間の画像移動量（オプティカルフローと通常呼ぶ）を画像パターンから計算するための方法として、マッチング法とグラディエント法が使われてきた（例えば、非特許文献３参照）。しかしマッチング法では画像データの量子化単位（ピクセル）までの計算精度しか出ないという問題があり、グラディエント法では大きな移動量は安定に計算できないという問題も付帯的問題としてあった。
【００１４】
【特許文献１】
特許第３２３３６０１号公報
【００１５】
【特許文献２】
特開平１１−１６４１３３号公報
【００１６】
【非特許文献１】
高木幹雄、下田陽久監修「画像解析ハンドブック」東京大学出版会　１９９１年１月、ｐ．４６３〜４６５　および　ｐ．４７８〜４７９
【００１７】
【非特許文献２】
Ｐｌａｎｅｔｒｏｎ，Ｉｎｃホームページ、Ｉｍａｇｅ−Ｐｒｏ　Ｐｌｕｓスタートアップマニュアル、［ｏｎｌｉｎｅ］、２００２年５月１５日、［平成１４年９月５日検索］、インターネット　＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｐｌａｎｅｔｒｏｎ．ｃｏ．ｊｐ／ｄｌ＿ｄｏｃｓ．ｈｔｍ＞第五章＜ＵＲＬ：ｈｔｔｐ：／／ｗｗｗ．ｐｌａｎｅｔｒｏｎ．ｃｏ．ｊｐ／ｐｄｆ／Ｖ４−Ｓｔ０５．ｐｄｆ＞第５−６頁
【００１８】
【非特許文献３】
三池秀敏　他　著、「パソコンによる動画像処理」森北出版株式会社　１９９３年７月、ｐ．１３５〜１７８　および　ｐ．２４１〜２４４
【００１９】
【発明が解決しようとする課題】
本発明は、上記のようなモザイキング時に発生する輝度の不連続な変化を人間の目には目立たない程度にまで精密に補正できて、しかも元の画像を劣化させることのない画像処理方法及びこの画像処理方法を用いた画像処理装置を提供することを目的としている。
【００２０】
【課題を解決するための手段】
本発明に係る画像処理方法は、例えば、画面の中央は明るく、画面の端は暗いというように、人工照明による照度分布は画像内の位置によってほぼ決まっていることに注目してなされたものであり、平均的な輝度変化を求めるのではなく、この画面内照度分布を画像面内座標値の関数として求めることを基本とするものである。
【００２１】
そのために画像面内座標値のべき乗関数の線形結合関数（多項式関数）を補正関数として構成し、その線形結合係数を最小二乗法により計算することによって、平均的な方法では除去できなかった場所ごとの細かい補正が比較的簡単な計算により可能となり、接合面における輝度の不連続性をかなり低減できる。また補正係数が座標値の関数として得られるので補正係数を画面全体にわたって計算することもできるので、重なった領域だけしか補正できないという欠点もない。さらに画像の照度分布を計算した上で照度むらの補正をしているので、照度むら以外の要因をカットしてしまうこともないため、画像の劣化も防ぐことができる。
【００２２】
また本発明に関わる画像処理方法は、撮影された画像を直接使うのではなく、その微分画像を使うものである。このように微分画像を使うと画像パターンのエッジが強調される。つまり、画像の中で特徴的なパターンに注目してオプティカルフローを算出することによってオプティカルフローの推定を安定に行うことができる。
【００２３】
また本発明に関わる画像処理方法では、従来から行われてきた二つのオプティカルフローの算出方法（マッチング法とグラディエント法）を組み合わせて、粗い算出と細かい算出の二段階で行うことにより、オプティカルフローの算出精度と安定性を高めている。
【００２４】
また本発明に関わる画像処理方法は、一つの貼り付け画像が持つ左右の境界線（図１１での１１３と１１５）での照度むら補正関数をそれぞれ計算し、画像の位置に応じてそれら二つの照度むら補正係数を連続的に変化・補間して補正するものであり、これにより更にスムーズな画像を得ることができる。
【００２５】
【発明の実施の形態】
以下では本発明の典型的な実施形態について説明する。
【００２６】
図１は、本発明に係る画像処理装置を含む合成画像作成装置１１の電気的構成を示すブロック図である。合成画像作成装置１１は、カメラで撮影した画像データの取り込み装置１２、画像処理装置１６、表示装置１７を含む。画像処理装置１６は、メモリ１３、外部記憶装置１４、中央演算処理回路１５を含む。画像データ取り込み装置１２でカメラから取り込んだ画像データは一度外部記憶装置１４に保存される。これらの画像データを入力画像データ列と以下呼ぶ。この入力画像データ列は、中央演算処理回路１５により順次取り出されながら処理を受け、再び外部記憶装置１４に保存される。ここで中央演算処理回路１５が処理を行うときにメモリ１３に一時的にデータを保存する処理をする。
【００２７】
図２は、本発明に係る画像処理装置１６の画像処理動作を説明するための機能的ブロック図である。機能的ブロック図では単一のブロックが中央演算処理回路１５の動作プログラムのサブルーチンを表す。中央演算処理回路１５が動作プログラムを実行した場合、まず中央演算処理回路１５は画像移動量算出手段２１として動作し、入力画像データ列各画像の相互の対応関係を調べて画像移動量を算出する。次いで中央演算処理回路９は照度むら補正手段として動作し、画像移動量算出手段２１が算出した画像移動量に基づいて照度むらの補正係数を算出する。次いで中央演算処理回路９は合成手段２３として動作し、画像移動量を参照して照度むら補正後の画像を合成する。この画像が出力画像として外部記憶装置１４に保存される。
【００２８】
図３は、本発明のモザイキング処理における撮影状態を説明する図である。図３における領域３１が一つの画像として撮影され、同様に領域３２が一つ画像として撮影され、さらに領域３３が一つ画像として撮影される。境界線４１から境界線４２が領域３１の画像の範囲となり、境界線４３から境界線４４が領域３２の画像の範囲となり、境界線４５から境界線４６が領域３３の画像の範囲となる。図４は、図３における各画像の輝度分布状態を説明するための図である。図４では、輝度分布５１は領域３１を撮影した画像の輝度分布であり、輝度分布５２は領域３２を撮影した画像の輝度分布であり、輝度分布５３は領域３３を撮影した画像の輝度分布である。
【００２９】
輝度分布グラフ５１に対応する輝度分布を画像面上の座標値の関数として表してＣ１（ｘ、ｙ）、とする。同様に輝度分布５２の輝度分布をＣ２（ｘ、ｙ）、輝度分布５３の輝度分布をＣ３（ｘ、ｙ）とする。ここでｘ、ｙは画像面での座標値である。以下ではモノクロ画像の場合を説明する。カラーの場合にはＲ（赤），Ｇ（緑），Ｂ（青）の色成分ごとに別々に照度むら補正係数を計算する方法や、Ｒ、Ｇ、Ｂ系をＸ、Ｙ、Ｚ系に変換した上で、輝度成分に対応するＹについて照度むら補正係数を求めてその照度むら補正係数をＲ、Ｇ，Ｂのすべてに適用すれば同様に適用可能である。
【００３０】
図５は、本発明の実施例における照度むら補正処理全体をまとめた図である。まず、ステップ６１では元画像の微分画像を計算する。次にステップ６２でオプティカルフローを粗く計算するためにマッチング法でのオプティカルフロー計算をする。次にステップ６３でオプティカルフローをさらに精密に計算するために、マッチング法の結果を出発点としてグラディエント法を用いることによりオプティカルフローを計算する。
【００３１】
次にステップ６４ではステップ６２とステップ６３の結果を組み合わせて最終的なオプティカルフローを計算する。次にステップ６５では照度むら補正係数を画像面の上の座標値ｘ、ｙの多項式（二次式）の形に展開して、多項式の係数を未知数として設定する。次にステップ６６ではステップ６５で未知数として設定した多項式係数の値を計算する。このとき重なり領域（図４の３４）では照度むら補正後の輝度が二つの輝度分布５１と輝度分布５２で一致するように決める。
【００３２】
以上のようにして二つの画像間での照度むら補正係数を計算する。この処理は図４における輝度分布５１と輝度分布５２の間で行われるとともに、輝度分布５２と輝度分布５３の間でも行われる。輝度分布５２と輝度分布５３の間での照度むら補正係数の計算が終了するとステップ６７に進み、ここでは、輝度分布５１と輝度分布５２の間での照度むら補正係数と、輝度分布５２と輝度分布５３の間での照度むら補正係数を、境界線４３からの距離に応じて重み付けを変えながら補間することによって、各ピクセルでの照度むら補正係数を計算する。
【００３３】
次にステップ６８ではステップ６７で計算した各ピクセルでの照度むら補正係数で補正しながら領域３２の画像を貼り付けていく。以下では図５の各ステップを詳細に説明していく。
【００３４】
ステップ６１：Ｃ１（ｘ、ｙ）とＣ２（ｘ、ｙ）の微分画像を計算して画像の輝度変化程度を計算する。微分画像を計算するためには画像データに微分フィルターを作用させる。微分フィルターとしては、Ｓｏｂｅｌ、Ｐｒｅｗｉｔｔ、Ｒｏｂｅｒｔｓ、Ｋｉｒｓｈ、Ｒｏｂｉｎｓｏｎなどの微分フィルターを使うことができる。本実施例では以下の微分フィルターを画像データに適用する。
【００３５】
【数１】

【００３６】
上のフィルターの場合には前後左右に隣り合ったピクセルの輝度データとの間で差を取ることに対応する。画像面座標（ｘ、ｙ）における微分画像輝度値をｄＣ１（ｘ、ｙ）とすると、上のフィルターは次の式で表すことができる。
【００３７】
【数２】

【００３８】
となる。ただし画面の端の部分（ｘ±１　あるいは　ｙ±１　がない場所）では若干変更する。同じ計算をＣ２についても行い、ｄＣ２（ｘ、ｙ）を計算する。
【００３９】
ステップ６２：次にマッチング法によるオプティカルフローの推定値を計算するために、画像全体を一定の大きさの区画（以下ブロックと呼ぶ）に分けて、その中からマッチング対象となるブロックを選び出す。例えば、１６ピクセルｘ１６ピクセルの区画を考えてこれをブロックとする。図６は、領域３１での微分画像ｄＣ１（ｘ、ｙ）をブロックに分割し、マッチング対象ブロック７０を選び出した状態を示す図である。マッチング対象ブロックを選び出す方法は次のようにする。
【００４０】
これらの各ブロックについて微分画像値の大きさを評価する。これはなるべく輝度変化の著しい特徴的なパターンを持つ領域をマッチングの対象とすることによりマッチング精度を高めるためである。このために各ブロックについて、ブロック内の各ピクセルにおける微分画像輝度値ｄＣ１（ｘ、ｙ）の２乗和を計算する。この計算結果をｄＣ１＊２と表すと次のような式で表すことができる（＾はべき乗を表す）。
【００４１】
【数３】

【００４２】
上式ではブロック内のピクセルについての和をΣ（ブロック内）と表している。ここで、大きな輝度変化を相対的に強調して小さな輝度変化を相対的に無視するために、微分画像値の４乗和を計算する方法を使うこともできる。
【００４３】
このようにして各ブロックについてｄＣ１＊２を計算し、それらの中で最も大きいｄＣ１＊２値を持つブロックを選び、このブロックをパターンマッチングの対象パターンとする。図６では斜線を引いたブロック７０がマッチング対象パターンとして選ばれている。
【００４４】
次に、マッチング対象パターン７０と領域３２の画像ｄＣ２（ｘ、ｙ）を重ねて相関係数を計算する。図７は、領域３２の微分画像ｄＣ２（ｘ、ｙ）にマッチング対象パターン７０を重ねて相関係数を計算するときの状態を示す図である。このときブロックの位置を元の位置から７３＝（ｄｘｗ、ｄｙｗ）だけ移動させた位置でｄＣ２（ｘ、ｙ）と重ねて相関を求める。このとき相関値は以下の式で計算する。
【００４５】
【数４】

【００４６】
ここで移動量（ｄｘｗ、ｄｙｗ）のｄｘｗ、ｄｙｗを全画面に渡って１ずつ変化させながら相関値を求める。そして相関値が最小となる移動量（ｄｘｗ、ｄｙｗ）を求める。これがマッチング法でのオプティカルフロー推定値となる。このようにして求めたオプティカルフロー推定値を以下ではｄｘ、ｄｙとする。
【００４７】
ステップ６３：次にステップ６２で得たオプティカルフロー推定値の精度をさらに高めるために、サブピクセル単位の微小なずれに対してどのように画像が変化するかを予測する方法を用いてオプティカルフローを計算するグラディエント法を適用する。
【００４８】
この方法では輝度の空間的な変化率から予測される輝度変化が、実際の輝度変化に対応するように空間変化量を計算し、それをオプティカルフローの推定値とする。即ち、或る点での輝度Ｉの空間微分が（∂Ｉ／∂ｘ、∂Ｉ／∂ｙ）であるとき、Δｘ、Δｙだけそこから離れた点における輝度変化量ΔＩは次式で与えられると推定する。
【００４９】
【数５】

【００５０】
このようにして得た輝度の変化量ΔＩが画像間での輝度変化と一致するようにΔｘ、Δｙを決めるというのがこの方法である。
本実施例の場合にはステップ６２で得たｄＣ１（ｘ＋ｄｘ、ｙ＋ｄｙ）とｄＣ２（ｘ、ｙ）との間での輝度変化を比較する。すると以下の式からΔｘとΔｙが推定される。
【００５１】
【数６】

【００５２】
ここで画像全体が一定量だけずれているとするならば、すべてのピクセルに対してΔｘとΔｙ　は同じ量になる。したがって二つの未知数ΔｘとΔｙ　に対してピクセルの数だけの方程式が存在することになる。これらの過剰な方程式を取り込むために最小二乗法により未知数ΔｘとΔｙ　を決める。即ち、以下の費用関数を定義して、
【００５３】
【数７】

【００５４】
これが最小になるようにΔｘとΔｙを決める。この方法によれば多数のデータを統計的に処理していることになるため、本来の単位であるピクセル以下の精度で運動量を決定することができる。ステップ６２とステップ６３を総合することによって画像Ｃ１（ｘ、ｙ）と画像Ｃ２（ｘ、ｙ）の間のオプティカルフローが（ｄｘ＋Δｘ、ｄｙ＋Δｙ）と計算される。このとき以下の式が成り立つ。
【００５５】
【数８】

【００５６】
（ｄｘ＋Δｘ、ｄｙ＋Δｙ）を（−Ｄｘ、−Ｄｙ）とすると、上の式は以下のようになる。
【００５７】
【数９】

【００５８】
これをＣ１（ｘ、ｙ）を中心に書き直して以下のように書くこともできる。
【００５９】
【数１０】

【００６０】
即ち、Ｃ１（ｘ、ｙ）において（ｘ、ｙ）であった点は、Ｃ２（ｘ、ｙ）では（ｘ＋Ｄｘ，ｙ＋Ｄｙ）に移動している。以下ではこの書き方を使う。
ステップ６４：次に照度むら補正のステップに進む。このために照度むら補正関数の形を仮定し、いくつかのパラメータを用いた関数形によって表現する。照度
むらの効果は
【課題を解決するための手段】でも述べたように画像上の座標で決まっていると考えられる。そこで画像面内の照度分布Ｌ（ｘ，ｙ）がスムーズな関数であると仮定する。このとき照度分布を均一にするための補正関数Ｈ（ｘ，ｙ）もスムーズな関数になる。ここでＨ（ｘ，ｙ）とＬ（ｘ，ｙ）の関係は次の式で与えられる。
【００６１】
【数１１】

【００６２】
ここで照度分布の関数を物理的に決める。図８は、本実施例における照明の位置と撮影対象の位置との関係を示す図である。８０は照明の位置を示し、８１が撮影対象点の位置である。８１の座標を（ｘ、ｙ）とする。照明と撮影平面との距離８２をｈ、照明の真正面に当たる場所８３と撮影対象点との距離８４をｄとする。このとき撮影対象点８１と照明８０との距離ｒは次式で与えられる。
【００６３】
【数１２】

【００６４】
一般に照度は光源からの距離の二乗に反比例するとされている。したがって、撮影対象点８１での照度Ｌ（ｘ，ｙ）は、Ｌ０を或る定数として次式で与えられる。
【００６５】
【数１３】

【００６６】
これから補正関数Ｈ（ｘ，ｙ）は次式のようになる。
【００６７】
【数１４】

【００６８】
これを一般化して、補正関数はｘ、ｙの二次関数を第一近似として採用することができる。一般にｘ、ｙ座標に関するより高次の多項式関数を補正関数に用いることにより、補正の精度を順次上げて行けば、必要な精度に合わせて補正をすることができて、実用上有効である。以下の説明では二次関数を仮定する。このとき、補正関数を以下のように６個のパラメータ（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）を用いて表現することができる。
【００６９】
【数１５】

【００７０】
ステップ６５：次に画像Ｃ１（ｘ、ｙ）とＣ２（ｘ、ｙ）で対応する点（物理的に同じ点）は同じ輝度になるように照度むら補正係数を決める。Ｃ１（ｘ、ｙ）とＣ２（ｘ、ｙ）において対応する点はオプティカルフローを用いて知ることができる。即ち、Ｃ１（ｘ、ｙ）において（ｘ、ｙ）であった点は、Ｃ２（ｘ、ｙ）では（ｘ＋Ｄｘ，ｙ＋Ｄｙ）に移動している。そこで、照度むら補正係数をＨ１（ｘ，ｙ）と書いたとき、Ｃ１（ｘ、ｙ）に照度むら補正を施すと
【００７１】
【数１６】

【００７２】
になる。一方Ｃ２（ｘ＋Ｄｘ，ｙ＋Ｄｙ）に照度むら補正を施すと、
【００７３】
【数１７】

【００７４】
になる。これら二つの点は本来同じ点であり同じ輝度であるので次式が成り立つ。
【００７５】
【数１８】

【００７６】
ここでＨ１（ｘ、ｙ）６個のパラメータ（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）で表されているから未知数が６個である。これに対して上の方程式はピクセルの数だけある。そこでステップ６３と同じように，最小二乗法によって次の費用関数を最小化するように６個のパラメータ（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）を求める。
【００７７】
【数１９】

【００７８】
ここで画像Ｃ１（ｘ、ｙ）と画像Ｃ２（ｘ、ｙ）が重なっている領域（図３の３４）内のピクセルに関する和をΣ（重なり領域）と表現した。
しかしこれだけでは（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）が求められない。なぜならば、もし式（ａ）を満足するＨ（ｘ、ｙ）が求まったとすると、それを定数倍したｋ＊Ｈ１（ｘ、ｙ）もやはり式（ａ）を満足するから、結局式（ａ）だけでは一意に（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）を決めることができないからである。このためにもう一つ条件式を追加する。それは上で述べた不定係数ｋを決めるためのもので、照度むら補正後の輝度の画面平均が照度むら補正前と変わらないという条件である。これを数式で表現すると次式のようになる。
【００７９】
【数２０】

【００８０】
以上をまとめると、式（Ｂ）の制限条件の下で式（Ａ）を満足するように（ａ、ｂ、ｃ、ｄ、ｅ、ｆ）を定めればよい。制限条件付の最大値・最小値問題は、ラグランジュ（Ｌａｇｒａｎｇｅ）の未定係数法により解くことができることが解析学で知られている。
ステップ６６：次にステップ６５で決まった照度むら補正関数Ｈ１（ｘ、ｙ）を用いてＣ１（ｘ、ｙ）とＣ２（ｘ、ｙ）の輝度補正を行う。輝度補正後のＣ１（ｘ、ｙ）、Ｃ２（ｘ、ｙ）をｃＣ２（ｘ、ｙ）、ｃＣ２（ｘ、ｙ）と書くと次式のようになる。
【００８１】
【数２１】

【００８２】
図９は、照度むら補正を行った状態を示す図である。領域３１での画像と領域３２での画像の間の照度むら補正係数９０を領域３１での画像の輝度分布５１に適用すると、照度むらが補正されて輝度分布９４が得られる。領域３１での画像と領域３２での画像の間の照度むら補正係数９１を領域３２での画像の輝度分布５２に適用すると、照度むらが補正されて輝度分布９５が得られる。両者は境界４３において一致していて、不連続的な輝度の変化がない。
【００８３】
以上のプロセスにより図３で領域３１での画像と領域３２での画像の間のモザイキングと照度むら補正ができる。そして同じことを図３の領域３２と領域３３との間でも行うことにより、領域３２での画像と領域３３での画像の間の照度むら補正係数Ｈ２（ｘ、ｙ）を計算することができる。この状態を図９に示した。領域３２での画像と領域３３での画像の間の照度むら補正係数９２を領域３２での画像の輝度分布５２に適用すると、照度むらが補正されて輝度分布９６が得られる。領域３１での画像と領域３２での画像の間の照度むら補正係数９３を領域３３での画像の輝度分布５３に適用すると、照度むらが補正されて輝度分布９７が得られる。両者は境界４５において一致していて、不連続的な輝度の変化がない。
【００８４】
ところが、一般には領域３１と領域３２の画像間で計算した照度むら補正係数と領域３２と領域３３の画像間で計算した照度むら補正係数は異なる。このために、領域３１と領域３２の画像間で計算した照度むら補正係数を領域３２での画像に使うと、境界線４５での不連続的な輝度変化９９が発生する。一方、領域３２と領域３３の画像間で計算した照度むら補正係数を領域３２での画像に使うと、境界線４３での不連続的な輝度変化９８が発生する。
【００８５】
この問題を解決するために、照度むら補正係数の値を領域３２での画像の中で連続的に変化させる方法を使う。図１０は、領域３２の画像面内での照度むら補正係数を補間した状態を示す図である。領域３２での画像において、境界４３では領域３１と領域３２の画像間で計算した照度むら補正係数を使い、境界４５では領域３２と領域３３の画像間で計算した照度むら補正係数を使う。その間は１００のように連続的に照度むら補正係数が変わるようにする。
【００８６】
この方法を、数式を用いて表現すると次のようになる。領域３１と領域３２の画像間で計算した照度むら補正係数をＨ１（ｘ、ｙ）とし、領域３２と領域３３の画像間で計算した照度むら補正係数をＨ２（ｘ、ｙ）とする。境界４３の、領域３２での画像上のｘ座標をｘ１，境界４５の領域３２での画像上のｘ座標をｘ２とするとき、座標値がｘの場所での補正係数として以下の係数を使う。
【００８７】
【数２２】

【００８８】
この方法により境界４３においても境界４５においても不連続的な輝度変化をなくすことができる。この手順の場合には、領域３２と領域３３の画像間で計算した照度むら補正係数が求まった段階で、領域３２での画像を照度むら補正しながらパノラマ画像に貼り付けることになる。
【００８９】
【発明の効果】
本発明によれば、画像面内の照度分布により発生するモザイキング画像内の不連続的な輝度変化を除去し、自然なパノラマ画像を得ることができる。しかも照度むら効果のみを抽出して本来の画像輝度を復元しているため、周波数フィルタリングのように本来の画像を壊してしまうことがない。また、画像面内の照度分布を考えているので場所毎の細かい補正が可能となり、不連続的な輝度変化の除去能力が高い。したがって極めて有効な方法である。
【図面の簡単な説明】
【図１】本発明の画像処理装置を含む合成画像作成装置の構成を示すブロック図である。
【図２】本発明に係る画像処理装置の画像処理動作を説明するための機能的ブロック図である。
【図３】本発明のモザイキング処理における撮影状態を説明する図である。
【図４】図３における各画像の輝度分布状態を説明するための図である。
【図５】本発明に係る画像処理方法を説明するためのフローチャートである。
【図６】領域３１での微分画像ｄＣ１（ｘ、ｙ）をブロックに分割し、マッチング対象パターン７０を選び出した状態を示す図である。
【図７】領域３２の微分画像ｄＣ２（ｘ、ｙ）にマッチング対象パターン７０を重ねて相関係数を計算するときの状態を示す図である。
【図８】本実施例における照明の位置と撮影対象の位置との関係を示す図である。
【図９】照度むら補正を行った状態を示す図である。
【図１０】領域３２の画像面内での照度むら補正係数を補間した状態を示す図である。
【図１１】従来のモザイキング処理における撮影状態を説明する図である。
【図１２】照度むらがあるときの図１１における各画像の輝度分布状態を説明するための図である。
【図１３】従来の方法により図１２の画像をモザイキングしたときの結果を示す図である。
【符号の説明】
１１　合成画像作成装置
１２　画像データ取り込み装置
１３　メモリ
１４　外部記憶装置
１５　中央演算処理回路
１６　画像処理装置
１７　表示装置
５１，５２，５３　画像列における各画像の輝度分布
９０，９１，９２，９３　画像列における各画像の照度むら補正係数の計算値
９４，９５，９６，９７　照度むら補正係数で画像列における画像の照度むらを補正した結果の画像の輝度分布

Claims

撮影したデジタル画像の一部が重複するように連続的に撮影場所または撮影方向を移動させながら撮影した複数のデジタル画像を連続的につなぎ合わせて一つのパノラマ画像に合成処理する画像処理方法であって、
前記移動させながら撮影した複数のデジタル画像のうち、それぞれの一部が重複する第１のデジタル画像と第２のデジタル画像との画像上の移動量を算出する画像移動量算出ステップと、前記画像移動量算出ステップにおいて求めた前記移動量に基づいて同一地点に対応すると予測される画像点を前記第１の画像と前記第２の画像についてそれぞれ求め、それらの画像点の輝度を用いて前記第１の画像と前記第２の画像との照度の差異を補正するための照度むら補正係数を算出する照度むら補正ステップとからなり、
前記照度むら補正ステップにおける前記照度むら補正係数を求めるときに、照度むら補正係数を画像面上の座標値を変数とする既知関数の線形結合で表現し、前記線形結合での線形結合定数を統計的手法で求めることを特徴とする画像処理方法。
前記照度むら補正ステップにおいて、前記既知関数として多項式関数を用いることを特徴とする請求項１記載の画像処理方法。
前記照度むら補正ステップにおいて、前記線形結合定数を求める前記統計的手法として最小二乗法を用いることを特徴とする請求項１記載の画像処理方法。
前記移動量算出ステップにおいて、微分画像を用いて前記移動量を推定することを特徴とする請求項１記載の画像処理方法。
前記移動量算出ステップが、画面の量子化単位であるピクセル単位で移動量を推定するマッチング法による第１の算出ステップと、統計的手法により量子化単位よりさらに高い精度のサブピクセル単位で移動量を推定するグラディエント法による第２の算出ステップとからなることを特徴とする請求項１記載の画像処理方法。
前記照度むら補正ステップにおいて、一つの画像に対して二つ以上の画像を比較することによって計算される複数の照度むら補正係数に基づいて、画面内での照度むら補正係数を連続的に変化させることを特徴とする請求項１記載の画像処理方法。
撮影したデジタル画像の一部が重複するように連続的に撮影場所または撮影方向を移動させながら撮影した複数のデジタル画像を連続的につなぎ合わせて一つのパノラマ画像に合成処理する画像処理装置であって、
請求項１〜６のいずれかに記載の画像処理方法により前記複数のデジタル画像を連続的につなぎ合わせる画像処理を行う中央演算処理回路と、前記中央演算処理回路において画像処理されたデジタル画像を記憶する記憶回路とを具備することを特徴とする画像処理装置。