JP6461777B2 - 画像差異検出方法、画像差異検出装置及び画像差異検出プログラム - Google Patents

Description

本発明は、複数の画像間の差異を検出する画像差異検出方法、画像差異検出装置及び画像差異検出プログラムに関する。

近年、監視用動画像からのイベント検出、医用における異常検出、航空・衛星画像からの変化検出などの複数の画像間の差異を検出する技術が注目されている。これに対し、動画像内からのイベントの有無を検出手法が提案されている（例えば、特許文献１参照）。本手法では、対象画像の複雑さ指標値（量子化ステップ幅と発生符号量から算出）と、時間的に直前にあたる画像の複雑さ指標値との比を基に、対象画像で変化があったか否かを検出する。すなわち、時間軸方向の画像の変化を検出することは可能であり、監視用動画像からのイベント検出には適用することができた。

特開２０１４−８６９１３号公報

しかしながら、画像内のどの領域で変化が起きたかは検出することができず、医用における異常検出や、航空・衛星画像からの変化検出には適用することができない。特に、特許文献１に記載の映像解析装置にあっては、領域の細分化を適用（画像をブロックに分割し、各ブロックの複雑さ指標値を利用）するだけでは、医用の異常検出や航空・衛星画像からの変化検出はできないという問題がある。理由としては、時間軸方向の変化のみに着目しており、空間的な変化は一切考慮されていない。このため、画像全体の特性（例えば明るさや精細感など）が少し異なるだけで、各ブロックの複雑さ指標値も異なってしまう。単純に時間軸方向で直前の画像内の空間的に同一なブロックの複雑さ指標値と対象画像内の対象ブロックの複雑さ指標値比をみるだけでは全てのブロックで一様に変化ありとなってしまうという問題がある。

本発明は、このような事情に鑑みてなされたもので、複数の画像同士を比較し、その差異を高速に検出することができる画像差異検出方法、画像差異検出装置及び画像差異検出プログラムを提供することを目的とする。

本発明の一態様は、画像符号化を行う画像符号化処理を用いて、少なくとも２つの画像間の差異を検出する画像差異検出装置が行う画像差異検出方法であって、第１の画像と、少なくとも１つの第２の画像を入力する画像入力ステップと、差異検出対象の大きさを入力する検出対象サイズ入力ステップと、前記大きさに基づき、前記第１の画像と前記第２の画像の解析処理を実施して画像解析情報を出力する画像解析ステップと、前記画像解析情報を入力して符号化パラメータを決定する符号化パラメータ決定ステップと、前記符号化パラメータを用いて、前記第１の画像及び前記第２の画像に対して前記画像符号化処理を用いて符号化する符号化ステップと、前記第１の画像の符号量と、前記第２の画像の符号量とを比較した結果に基づき、前記第１の画像に対して前記第２の画像に差異があるか否かを検出する検出ステップとを有する画像差異検出方法である。

本発明の一態様は、前記画像差異検出方法であって、前記符号化パラメータ決定ステップでは、前記画像解析情報に基づいて符号化に用いる量子化パラメータを前記符号化パラメータとして決定する。

本発明の一態様は、前記画像差異検出方法であって、前記検出ステップでは、前記画像解析情報に基づいて、前記符号量のスケーリングを行い、該スケーリングの後の前記符号量に基づき、前記差異があるか否かの検出を行う。

本発明の一態様は、前記画像差異検出方法であって、前記画像解析情報を所定の閾値と比較した結果に基づき、前記第１の画像に対して前記第２の画像に差異があるか否かを検出すべき領域を抽出する検出対象領域抽出手段をさらに備える。

本発明の一態様は、画像符号化を行う画像符号化処理を用いて、少なくとも２つの画像間の差異を検出する画像差異検出装置であって、第１の画像と、少なくとも１つの第２の画像を入力する画像入力手段と、差異検出対象の大きさを入力する検出対象サイズ入力手段と、前記大きさに基づき、前記第１の画像と前記第２の画像の解析処理を実施して画像解析情報を出力する画像解析手段と、前記画像解析情報を入力して符号化パラメータを決定する符号化パラメータ決定手段と、前記符号化パラメータを用いて、前記第１の画像及び前記第２の画像に対して前記画像符号化処理を用いて符号化する符号化手段と、前記第１の画像の符号量と、前記第２の画像の符号量とを比較した結果に基づき、前記第１の画像に対して前記第２の画像に差異があるか否かを検出する検出手段とを備える画像差異検出装置である。

本発明の一態様は、コンピュータに、前記画像差異検出方法を実行させるための画像差異検出プログラムである。

本発明によれば、複数の画像同士を比較し、その差異を高速に検出することができるという効果が得られる。

本発明の第１実施形態の構成を示すブロック図である。 図１に示す画像差異検出装置１０の処理動作を示すフローチャートである。 本発明の第２実施形態の構成を示すブロック図である。 図３に示す画像差異検出装置１０の処理動作を示すフローチャートである。 本発明の第３実施形態の構成を示すブロック図である。 図５に示す画像差異検出装置１０の処理動作を示すフローチャートである。 本発明の第４実施形態の構成を示すブロック図である。 本発明の第５実施形態の構成を示すブロック図である。 図８に示す画像差異検出装置１０の処理動作を示すフローチャートである。 本発明の第６実施形態の構成を示すブロック図である。 図１０に示す画像差異検出装置１０の処理動作を示すフローチャートである。 本発明の第７実施形態の構成を示すブロック図である。 図１２に示す画像差異検出装置１０の処理動作を示すフローチャートである。

以下、図面を参照して、本発明の実施形態による画像差異検出装置を説明する。本実施形態は、２枚以上の画像から、画像内の各領域における変化（または差異）を適切に検出するものであり、医用での異常検出や航空・衛星画像からの変化検出にも適用可能とするものである。

＜第１実施形態＞
本発明の第１実施形態による画像差異検出装置を説明する。以下では動画像符号化を用いた衛星画像間の変化点検出を例にあげて説明する。図１は同実施形態の構成を示すブロック図である。図２は、図１に示す画像差異検出装置１０の処理動作を示すフローチャートである。図１に示す画像差異検出装置１０は、コンピュータ装置で構成し、変化検出対象サイズ入力部１、符号化パラメータ決定部２、符号化部３、変化検出部４、画像入力部５を備える。ここでは、画像Ａに対して、画像Ｂではどの領域に変化があるか（２つの画像間において差異がどの空間領域にあるか）を検出する動作について説明する。なお以下では、用いる符号化方式はＨＥＶＣ、符号化パラメータとしては符号化サイズをそれぞれ一例とする。

次に、図１に示す画像差異検出装置１０の処理動作を説明する。まず、変化検出対象サイズ入力部１は、外部から検出したい変化対象の大きさ（例えば、画素サイズ）を入力し符号化パラメータ決定部２に対して出力する（ステップＳ１）。変化対象の大きさは、一例として画素サイズが挙げられるが、画像上の範囲を指定する視標であれば画素サイズに限るものではない。続いて、符号化パラメータ決定部２は、入力した変化対象の大きさに応じて符号化パラメータ、例えば各符号化サイズを決定する（ステップＳ２）。各符号化サイズとは、ＭＰＥＧ等のＭＢ（マクロブロック）やＨＥＶＣのＣＵ（符号化ユニット）、ＰＵ（予測ユニット）、ＴＵ（変換ユニット）などのサイズがあげられ、ここではＬＣＵ（Ｌａｒｇｅｓｔ ＣＵ）サイズを例として説明する。符号化パラメータ決定部２は決定したＬＣＵサイズを符号化部３に対して出力する。

一方、画像入力部５は、外部から変化検出対象の少なくとも２枚の画像Ａ（第１の画像）、画像Ｂ（第２の画像）を入力する（ステップＳ３）。画像Ａ、Ｂは、撮影日時は異なるが、撮影範囲の空間領域は同じであり、画像Ａは、画像Ｂより前の日時に取得した画像である。この画像Ａ、Ｂは、符号化部３に対して出力される。これを受けて、符号化部３では入力されたＬＣＵサイズで画像Ａおよび画像ＢのＨＥＶＣイントラ符号化を行う（ステップＳ４）。ここで、画像Ａは、参照（比較用）画像とし、画像Ｂを検出対象画像とする。

次に、図１に示す変化検出部４において、各ＬＣＵで変化があるか（差異があるか）否かを検出する処理について説明する。まず、変化検出部４は、検出対象画像における対象ＬＣＵにおいて、四方（上下左右）のＬＣＵと、対象ＬＣＵとの発生符号量を比較し、以下の条件Ｘ（（１）〜（８））のいずれかを満たすか否かを確認する（ステップＳ５）。

（１）ｍａｘ（Ｒ（Ｎ−１）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ−１））＞Ｒ＿Ｔｈ１
（２）ｍａｘ（Ｒ（Ｎ＋１）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ＋１））＞Ｒ＿Ｔｈ１
（３）ｍａｘ（Ｒ（Ｎ−ｘ）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ−ｘ））＞Ｒ＿Ｔｈ１
（４）ｍａｘ（Ｒ（Ｎ＋ｘ）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ＋ｘ））＞Ｒ＿Ｔｈ１
（５）ｍｉｎ（Ｒ（Ｎ−１）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ−１））＜Ｒ＿Ｔｈ２
（６）ｍｉｎ（Ｒ（Ｎ＋１）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ＋１））＜Ｒ＿Ｔｈ２
（７）ｍｉｎ（Ｒ（Ｎ−ｘ）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ−ｘ））＜Ｒ＿Ｔｈ２
（８）ｍｉｎ（Ｒ（Ｎ＋ｘ）／Ｒ（Ｎ），Ｒ（Ｎ）／Ｒ（Ｎ＋ｘ））＜Ｒ＿Ｔｈ２

ここで、ＲはＬＣＵの発生符号量、ｍａｘ（Ｒ（Ｎ−１）、Ｒ（Ｎ））はＲ（Ｎ−１）、Ｒ（Ｎ）の大きい値、ｍｉｎ（Ｒ（Ｎ−１）， Ｒ（Ｎ））はＲ（Ｎ−１）、Ｒ（Ｎ）の小さい値を意味し、Ｒ＿Ｔｈ１はＲ＿Ｔｈ１＞１、Ｒ＿Ｔｈ２は０＜Ｒ＿Ｔｈ２≦１を満たす閾値である。また、Ｎは画像ＢにおけるＮ番目のＬＣＵを意味しＮ−１は対象の左ＬＣＵ、Ｎ＋１は右ＬＣＵ、Ｎ−ｘは上ＬＣＵ、Ｎ＋ｘは下ＬＣＵをそれぞれ意味する。このときの符号量比の算出対象は、画像Ｂである。

対象ＬＣＵが条件Ｘを全て満たさない（上下左右の隣接ＬＣＵの発生符号量と、対象ＬＣＵの発生符号量が大きく異ならない）場合、変化検出部４は、対象ＬＣＵでは変化なしとして、変化検出部４内に対象ＬＣＵの検出結果を蓄積する（ステップＳ７）。

一方、条件Ｘのいずれかを満たす場合、変化検出部４は、画像Ａにおける対象ＬＣＵと空間的に同位置のＬＣＵの発生符号量との比較を行う。そして、変化検出部４は、画像Ｂの対象ＬＣＵと画像Ａの空間的に同位置のＬＣＵの発生符号量を比較し、以下の条件Ｙ（（９）、（１０））のいずれかを満たすか否かを確認する（ステップＳ６）。

（９）ｍａｘ（Ｒ＿Ａ（Ｎ）／Ｒ＿Ｂ（Ｎ），Ｒ＿Ｂ（Ｎ）／Ｒ＿Ａ（Ｎ））＞Ｒ＿Ｔｈ３
（１０）ｍｉｎ（Ｒ＿Ａ（Ｎ）／Ｒ＿Ｂ（Ｎ），Ｒ＿Ｂ（Ｎ）／Ｒ＿Ａ（Ｎ））＜Ｒ＿Ｔｈ４

ここで、Ｒ＿Ｂは対象ＬＣＵの発生符号量、Ｒ＿Ａは対象ＬＣＵと空間的に同位置ＬＣＵの発生符号量を意味し、Ｒ＿Ｔｈ３はＲ＿Ｔｈ３＞１、Ｒ＿Ｔｈ４は０＜Ｒ＿Ｔｈ４≦１を満たす閾値である。

対象ＬＣＵが条件Ｙを全て満たさない（対象ＬＣＵの発生符号量と比較用画像の空間的同位置ＬＣＵの発生符号量が大きく異ならない）場合、変化検出部４は、は、対象ＬＣＵでは変化なしとして、変化検出部内に対象ＬＣＵの検出結果を蓄積する（ステップＳ７）。

一方、条件Ｙのいずれかを満たす場合、変化検出部４は、対象ＬＣＵでは変化ありとして、検出結果を同様に蓄積する（ステップＳ７）。そして、画像Ｂにおける全てのＬＣＵに対して前述の処理が完了した時点で、対象画像（ここでは、画像Ｂ）の変化検出結果を出力し、終了となる（ステップＳ８）。入力画像が、画像Ａ、画像Ｂの２枚でなく、画像Ｂが２枚以上である場合は、それぞれの検出結果が出力されることになる。

なお、ＨＥＶＣの場合は画像左上端にあたる符号化開始点をずらし、符号化した場合の変化抽出結果も合わせて算出し、ずらした結果とずらさない結果を重畳（ＯＲをとる）したものを最終的な変化抽出結果としてもよい。

＜第２実施形態＞
次に、本発明の第２実施形態による画像差異検出装置を説明する。図３は同実施形態の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、変化検出対象種別入力部６が新たに設けられている点である。図４は、図３に示す画像差異検出装置１０の処理動作を示すフローチャートである。この図において、図２に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。この図に示す処理動作が図２に示す処理動作と異なる点は、ステップＳ４ａ、ステップＳ９、Ｓ１０が設けられている点である。

第１実施形態では変化検出対象サイズのみを符号化パラメータ決定部２に入力していたが、第２実施形態ではこれに加え、変化検出対象種別入力部６が外部から入力した変化検出対象とする種別（衛星画像等なら雲、建物、海など）である変化検出対象種別も同時に入力する（ステップＳ９）。そして、その種別に応じて符号化時に用いる量子化マトリクス等を決定する（ステップＳ１０）。これを受けて、符号化パラメータ決定部２は、指定された符号化サイズおよび量子化マトリクスで画像Ａおよび画像Ｂを符号化する（ステップＳ４ａ）。この追加された処理動作は、検出の高精度化につなげるものである。例えば、エッジが顕著な変化検出対象を指定した場合は、高周波成分が強調されるような量子化マトリクスを選定する。

＜第３実施形態＞
次に、本発明の第３実施形態による画像差異検出装置を説明する。図５は同実施形態の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、符号化結果調整部７が新たに設けられている点である。図６は、図５に示す画像差異検出装置１０の処理動作を示すフローチャートである。この図において、図２に示す処理動作と同一の部分には同一の符号を付し、その説明を省略する。この図に示す処理動作が図２に示す処理動作尾と異なる点は、ステップＳ１１が設けられている点である。

第３実施形態では第１実施形態と同様の処理であるが、変化検出部４で用いる画像Ａ、ＢのＬＣＵ毎の発生符号量に符号化結果調整部７が重みをつける（調整する）点が異なる。具体的には符号化結果調整部７の処理が追加されている処理であるため、該当部分のみ説明をする。

画像Ａと画像Ｂの特性（精細感、色味など）がほぼ同じ、例えば一般的な３０ｆｐｓなどの映像の場合は、画像Ａと画像Ｂの発生符号量は大きく異なることはない。しかし、撮影日や、撮影環境（屋外だと太陽光の条件や大気の状況など）が異なる場合、同じ部位や地点を撮影した画像であっても、画像同士で発生符号量が大きく異なる。これらの画像でＬＣＵ毎の変化検出を行ってもほぼ全てのＬＣＵが変化ありとして検出されてしまい、真の変化を検出することは困難となる。そこで、画像同士で発生符号量が異なる場合は、各ＬＣＵの符号量を調整する必要が生じる。本実施形態はその調整を行うものである。

まず、符号化部３で画像Ａ、Ｂの符号化を行い（ステップＳ４）、画像毎の発生符号量ｒ＿Ａ、ｒ＿Ｂを算出する。この値を使い、画像Ｂ内ＬＣＵの発生符号量Ｒ＿Ｂを以下のように調整する（ステップＳ１１）。
Ｒ＿Ｂ’＝（ｒ＿Ａ／ｒ＿Ｂ）×Ｒ＿Ｂ×Ｋ
ここでＲ＿Ｂ’はフロー後段の変化検出部４で用いる、調整後の符号量となる。また、Ｋは任意で与えられる０より大きい定数であり、画像全体やＬＣＵ毎の符号化情報に応じてＫを自動調整することも考えられる。変化検出部４では第１実施形態に示す通り、Ｒ＿ＡとＲ＿Ｂ’とを用い、変化検出処理を行う。

＜第４実施形態＞
次に、本発明の第４実施形態による画像差異検出装置を説明する。図７は同実施形態の構成を示すブロック図である。この図において、図５に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図５に示す装置と異なる点は、符号化結果調整部７の出力に基づいて、変化検出結果を出力する点である。

第４実施形態は第３実施形態の符号化結果調整部７からの出力で、変化検出部４を介さず変化検出結果を出力するものである。例えば、画像Ａと画像Ｂの符号量を比較し、以下（１１）、（１２）を満たす場合は、画像Ａと画像Ｂは特性が非常に大きく異なり、全てが変化と検出されるため、変化検出部４を介さず、画像全体として変化あり、または変化検出不能と判断し、それを出力結果とするものである。
（１１）ｍａｘ（ｒ＿Ａ／ｒ＿Ｂ）＞ｒ＿Ｔｈ１
（１２）ｍｉｎ（ｒ＿Ａ／ｒ＿Ｂ）＜ｒ＿Ｔｈ２
ここで、ｒ＿Ｔｈ１はｒ＿Ｔｈ１＞１を、ｒ＿Ｔｈ２は０＜ｒ＿Ｔｈ２≦１を満たす閾値である。

＜第５実施形態＞
次に、本発明の第５実施形態による画像差異検出装置を説明する。図８は同実施形態の構成を示すブロック図である。この図において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図１に示す装置と異なる点は、画像解析部８が新たに設けられている点である。図９は、図８に示す画像差異検出装置１０の処理動作を示すフローチャートである。ここでは、画像Ａに対して、画像Ｂではどの領域に変化があるか（差異がどの空間領域にあるか）を検出する処理動作について説明する。

次に、図８に示す画像差異検出装置１０の処理動作を説明する。まず、画像解析部８は、画像入力部５より画像Ａと画像Ｂを、変化検出対象サイズ入力部１より所望の変化検出対象サイズを入力し、画像Ａと画像Ｂそれぞれに対して画像解析を実施する（ステップＳ２１）。画像解析部８は、変化検出対象サイズをもとに分割するブロックサイズを特定し、そのブロックサイズごとにブロック内の各色成分の分散値（アクティビティ）を計算する。ここではアクティビティを例にするが、各色成分の平均値や最大値などでも適用可能である。そして、画像解析部８は、画像Ａと画像Ｂにおける空間的に対応するブロック同士でアクティビティの平均値の比率（差分でもよい）を出力し、符号化パラメータ決定部に移行する。

次に、符号化パラメータ決定部２は、入力した変化検出対象サイズにより符号化サイズ等を決定するとともに、画像解析部８より出力されたアクティビティ比率より画像Ａと画像Ｂに適用する量子化値等のパターンを決定する。後段の符号化をＨ．２６４／ＡＶＣやＨＥＶＣを利用する場合は、量子化マトリクスのパターンを決定することも可能である。

また、各色成分の解析結果をもとに、量子化パラメータ値や量子化マトリクスを色成分ごとに異なるものを適用することもできる。例えば、ブロックｎ（ｎ＝０、１、…、Ｎ）の各色成分のアクティビティをａ_Ａ（ｎ）、ａ_Ｂ（ｎ）とすると、画像内のアクティビティ平均値の比率ａｒは、
ａｒ＝Σａ_Ａ（ｎ）／Σａ_Ｂ（ｎ）
と示される。ここで、ａｒの値をもとに、画像Ａと画像Ｂそれぞれに適用する量子化パラメータＱＰ_ＡとＱＰ_Ｂを決定する（ステップＳ２２）。あらかじめ定めた基準量子化パラメータを画像Ａまたは画像Ｂのいずれかにそのまま適用し、他方をａｒより算出される量子化パラメータ差分ｅに変換する。

例えば、基準量子化パラメータをＱＰ_Ａとすると、
ＱＰ_Ｂ＝ＱＰ_Ａ−ｅ
ｅ＝ｆ（ａｒ）
と示される。ｆはアクティビティ比率を量子化パラメータ差分に変換する関数である。アクティビティの比率ａｒが大きい場合に、ｅが大きくなるような傾向を持つ関数形である。

次に、符号化部３は、この量子化値等を用いて画像Ａと画像Ｂそれぞれを符号化し、前述符号化サイズのブロックごとの符号量を出力する（ステップＳ２３）。符号化の手段は、前述のＨ．２６４／ＡＶＣやＨＥＶＣだけではなく、ＭＰＥＧ−２やＪＰＥＧなど任意の動画像・静止画像の符号化手段が適用可能である。

次に、変化検出部４は、各符号化サイズの符号量を比較し、所定のしきい値との比較等により、各ブロックが変化領域か否かの情報を出力する（ステップＳ２４）。出力する情報は変化領域か否か、の２判定だけではなく、判定不可なども加えた２つ以上の判定結果でもよい。

＜第６実施形態＞
次に、本発明の第６実施形態による画像差異検出装置を説明する。図１０は同実施形態の構成を示すブロック図である。この図において、図８に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図８に示す装置と異なる点は、画像解析部８の出力が変化検出部４に入力される点である。図１１は、図１０に示す画像差異検出装置１０の処理動作を示すフローチャートである。第５実施形態では画像解析部８より出力された画像解析情報を符号化パラメータの決定に利用していたが、第６実施形態では符号化情報を用いて変化領域を検出する際にこの画像解析情報を用いる。

本実施形態の変化検出部４は、画像解析部８より出力した画像Ａと画像Ｂのブロックごとのアクティビティ比率を入力し、画像Ａと画像Ｂそれぞれの符号化情報の補正を行う。具体例としては、画像Ａと画像Ｂの所定符号化サイズのブロックごとの符号量の情報に対して、アクティビティ比率の情報をもとに符号量のスケーリングを行う。そしてスケーリング後の符号量値を用いて、所定のしきい値との比較を実施し、各ブロックが変化領域か否かを判定して出力する。当該ブロックのスケーリング計算手順としては、当該ブロックのアクティビティ比率のみを用いてもよいし、指定の周囲領域のアクティビティ比率を考慮して算出してもよい。

例えば、符号化部３で画像Ａ、Ｂの符号化を行い、画像毎の発生符号量ｒ_Ａ、ｒ_Ｂを算出したと仮定する。第５実施形態の零時と同様に、アクティビティ比率ａｒを求めたとすると、この値を使い、画像Ｂ内ブロックごとの発生符号量Ｒ_Ｂを以下のように調整する。
Ｒ_Ｂ’＝Ｒ_Ｂ×Ｋ
Ｋ＝ｇ（ａｒ）
ここで、ｇはアクティビティ比率を符号量のスケーリング係数に変換する関数である。アクティビティの比率ａｒが大きい場合に、Ｋが大きくなるような傾向を持つ関数形である。

この処理動作を図１１を参照して説明する。まず、画像解析部８は、画像Ａおよび画像Ｂの変化抽出対象サイズの情報をもとに画像解析を実施する（ステップＳ２１）。続いて、符号化部３は、指定された符号化パラメータにて画像Ａおよび画像Ｂを符号化する（ステップＳ２３）。

次に、変化検出部４は、画像解析結果をもとに、画像Ａおよび画像Ｂの符号化情報の補正を実施する（ステップＳ２５）。そして、変化検出部４は、補正後の画像Ａおよび画像Ｂの符号化情報をもとに画像Ａに対する画像Ｂの変化領域を特定する（ステップＳ２４）。

＜第７実施形態＞
次に、本発明の第７実施形態による画像差異検出装置を説明する。図１２は同実施形態の構成を示すブロック図である。この図において、図８に示す装置と同一の部分には同一の符号を付し、その説明を省略する。この図に示す装置が図８に示す装置と異なる点は、符号化変化検出対象領域抽出処理部９が設けられている点である。図１３は、図１２に示す画像差異検出装置１０の処理動作を示すフローチャートである。第５実施形態では画像解析部８より出力された画像解析情報を符号化パラメータの決定に利用していたが、本実施形態では、符号化パラメータ決定部２、符号化部３、変化検出部４の一連の処理（変化点抽出処理）を行う前に、符号化変化検出対象領域抽出処理部９によりその処理の対象とする画像領域を、当画像解析情報を用いて特定する。

符号化変化検出対象領域抽出処理部９では、画像解析部８より出力した画像Ａと画像Ｂのブロックごとのアクティビティ比率を入力し、アクティビティ比率が所定のしきい値より大きい領域については後段の符号化による変化点抽出処理の対象外とする。対象外にする方法としては、
（１）対象外の領域が省かれるよう画像の切り出しや分割を行う
（２）対象外の領域を指定の色で塗りつぶす
（３）画像は変化させず、後段の変化検出部にて変化領域と必ず判定されるよう、対象外領域にのみ適用される符号化パラメータや変化検出のためのしきい値へと反映させる
などの方法が考えられる。

（１）の場合、分割や切り出しをされた画像ごとに符号化による変化点抽出処理を行う。符号化部ブロックサイズが小さい場合は、切り出しや分割により細かい画像が多数生成されてしまうことから、対象外と判定される領域がある一定面積以上存在する場合には、対象外でない領域も含めて対象外とみなして、分割数等を削減することも可能である。
（２）の場合、第５実施形態と同様の符号化による変化点抽出処理を行う。
（３）の場合、符号化パラメータ決定部２において、対象外領域においてのみ、符号量差分に対するしきい値を０もしくは非常に小さな値にする。

この処理動作を図１３を参照して説明する。まず、画像解析部８は、画像Ａおよび画像Ｂの変化抽出対象サイズの情報をもとに画像解析を実施する（ステップＳ２１）。続いて、符号化変化検出対象領域抽出処理部９は、画像解析結果をもとに、以降の符号化による変化抽出を行う領域を特定する。

次に、符号化部３は、特定後の画像領域を対象に、領域個々に設定した符号化パラメータにて画像ＡおよびＢを符号化（必要に応じて、画像の分割などを実施）する（ステップＳ２７）。そして、変化検出部４は、算出された画像Ａ・画像Ｂの符号化情報および画像解析結果による領域抽出の結果をもとに画像Ａに対する画像Ｂの変化領域を特定する（ステップＳ２８）。

なお、各実施形態ではＨＥＶＣイントラ符号化、符号化サイズ、発生符号量を用いて説明したが、符号化方式はＨＥＶＣ以外、例えばＡＶＣ、ＭＰＥＧ−２、ＪＰＥＧ等を用いることも可能である。さらにマクロブロックや符号化サイズより大きいまたは小さいサイズで分割した領域毎に実施することも可能であり、同様の効果を奏する。また、発生符号量の代わりに、各領域のアクティビティ平均値・最大値、ＤＣＴで得られるＤＣ係数および、各符号化モード等、符号化の結果で得られる各情報を用いることも可能であり、同様の効果を奏する。

また、前述した説明では撮影した時刻が異なる複数の画像の変化を検出するものとなっているが、前述した画像差異検出装置１０は、撮影した場所、時刻に限定されず複数の画像の差異を検出する用途にも適用可能である。

また、前述した説明においては、矩形の小領域（ブロック）に分割する符号化方式を用いて、差異がある小領域を特定するようにしたが、領域の特定は必須ではなく、単に２つの画像に差異があることを符号量の違いによって検出するようにしてもよい。

また、本実施形態は符号量を比較することで変化の判断を行う。比較を行う画像が同じ地点から撮影されたものであっても精細感などが異なると全体として情報量が大きく変わってしまうため「全体の符号量を近づける処理」を行うことを前提として行っている。

また、本実施形態は符号化を行う規格によらず使用することができるが、その中でも「可変ビットレート」であることが更に効果的である。

また、前述した画像差異検出装置１０は、他の発明（例えば先行技術文献記載の発明）と合わせて使用することも可能である。

また、前述した実施形態の変化の判定は、変化の判定のみならず、通常の符号化とセットで使うことも可能である。したがって、前述の画像差異検出装置１０は、他の目的を達成するものであってもよい。

以上説明したように、衛星画像、航空画像、医療画像等において、撮影日時が異なる同一空間領域の画像同士を比較することによりし、変化領域（差異がある位置）を高速に検出することができるようになる。

画像間の変化を検出する従来技術と比較して、符号量を視標として用いる本実施形態は高速にかつ演算量を削減することができる。従来技術と同様の環境で、従来技術と本実施形態とを比較をした際、結果が出力されるまで要する時間が大幅に短縮される結果が得られた。

前述した実施形態における画像差異検出装置の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

撮影時間が異なる同一空間領域の複数画像を比較し、その差異を高速に検出することが不可欠な用途に加え、複数の画像における差異がある空間領域の特定にも適用できる。

１０・・・画像差異検出装置、１・・・変化検出対象サイズ入力部、２・・・符号化パラメータ決定部、３・・・符号化部、４・・・変化検出部、５・・・画像入力部、６・・・変化検出対象種別入力部、７・・・符号化結果調整部、８・・・画像解析部、９・・・符号化変化検出対象領域抽出処理部

Claims (8)

1. 画像符号化を行う画像符号化処理を用いて、少なくとも２つの、撮影範囲の空間領域を同じとする、画像を分割した領域間の差異を検出する画像差異検出装置が行う画像差異検出方法であって、
   第１の画像と、少なくとも１つの第２の画像を入力する画像入力ステップと、
   検出したい差異検出対象の大きさを入力する検出対象サイズ入力ステップと、
   前記大きさに基づき、前記第１の画像と前記第２の画像の解析処理を実施して画像解析情報を出力する画像解析ステップと、
   前記大きさに基づき決定される前記画像を分割したサイズである分割サイズと、前記画像解析情報に基づき決定される符号化パラメータと、を決定する符号化パラメータ決定ステップと、
   前記符号化パラメータを用いて、前記第１の画像及び前記第２の画像に対して前記画像符号化処理を用いて符号化する符号化ステップと、
   前記第１の画像を分割した領域の符号量と、前記第２の画像を分割した領域であって前記第１の画像を分割した領域と空間的に同位置の符号量とを比較した結果に基づき、前記第１の画像を分割した領域に対して前記第２の画像を分割した領域に差異があるか否かを検出する検出ステップと
   を有し、
   前記検出ステップは、前記第１の画像における全ての分割した領域毎に、差異が有るか否かを検出する画像差異検出方法。
2. 前記符号化パラメータ決定ステップでは、前記画像解析情報に基づいて符号化に用いる量子化パラメータを前記符号化パラメータとして決定する請求項１に記載の画像差異検出方法。
3. 前記第１の画像を分割した領域の符号量と、前記第１の画像を分割した領域に空間的に隣接する領域の符号量と、を比較する隣接領域比較ステップ
   をさらに有し、
   前記検出ステップは、前記隣接領域比較ステップによって比較された結果が所定の条件を満たす場合、前記第１の画像を分割した領域に対して前記第２の画像を分割した領域に差異があるか否かを検出する
   請求項１又は請求項２に記載の画像差異検出方法。
4. 前記第１の画像の符号量と前記第２の画像の符号量とを比較し、前記第１の画像全体の特性と前記第２の画像全体の特性とが異なる場合、前記差異があるか否かを検出することが不可能であると判定する全体比較ステップ
   をさらに有する請求項１から３のうちいずれか一項に記載の画像差異検出方法。
5. 画像符号化を行う画像符号化処理を用いて、少なくとも２つの画像間の差異を検出する画像差異検出装置が行う画像差異検出方法であって、
   第１の画像と、少なくとも１つの第２の画像を入力する画像入力ステップと、
   差異検出対象の大きさを入力する検出対象サイズ入力ステップと、
   前記大きさに基づき、前記第１の画像と前記第２の画像の解析処理を実施して画像解析情報を出力する画像解析ステップと、
   前記画像解析情報を入力して符号化パラメータを決定する符号化パラメータ決定ステップと、
   前記符号化パラメータを用いて、前記第１の画像及び前記第２の画像に対して前記画像符号化処理を用いて符号化する符号化ステップと、
   前記第１の画像の符号量と、前記第２の画像の符号量とを比較した結果に基づき、前記第１の画像に対して前記第２の画像に差異があるか否かを検出する検出ステップと
   を有し、
   前記検出ステップでは、前記画像解析情報に基づいて、前記符号量のスケーリングを行い、該スケーリングの後の前記符号量に基づき、前記差異があるか否かの検出を行う画像差異検出方法。
6. 画像符号化を行う画像符号化処理を用いて、少なくとも２つの画像間の差異を検出する画像差異検出装置が行う画像差異検出方法であって、
   第１の画像と、少なくとも１つの第２の画像を入力する画像入力ステップと、
   差異検出対象の大きさを入力する検出対象サイズ入力ステップと、
   前記大きさに基づき、前記第１の画像と前記第２の画像の解析処理を実施して画像解析情報を出力する画像解析ステップと、
   前記画像解析情報を入力して符号化パラメータを決定する符号化パラメータ決定ステップと、
   前記符号化パラメータを用いて、前記第１の画像及び前記第２の画像に対して前記画像符号化処理を用いて符号化する符号化ステップと、
   前記第１の画像の符号量と、前記第２の画像の符号量とを比較した結果に基づき、前記第１の画像に対して前記第２の画像に差異があるか否かを検出する検出ステップと、
   前記画像解析情報を所定の閾値と比較した結果に基づき、前記第１の画像に対して前記第２の画像に差異があるか否かを検出すべき領域を抽出する検出対象領域抽出ステップと、
   を有する画像差異検出方法。
7. 画像符号化を行う画像符号化処理を用いて、少なくとも２つの、撮影範囲の空間領域を同じとする、画像を分割した領域間の差異を検出する画像差異検出装置であって、
   第１の画像と、少なくとも１つの第２の画像を入力する画像入力手段と、
   検出したい差異検出対象の大きさを入力する検出対象サイズ入力手段と、
   前記大きさに基づき、前記第１の画像と前記第２の画像の解析処理を実施して画像解析情報を出力する画像解析手段と、
   前記大きさに基づき決定される前記画像を分割したサイズである分割サイズと、前記画像解析情報に基づき決定される符号化パラメータと、を決定する符号化パラメータ決定手段と、
   前記符号化パラメータを用いて、前記第１の画像及び前記第２の画像に対して前記画像符号化処理を用いて符号化する符号化手段と、
   前記第１の画像を分割した領域の符号量と、前記第２の画像を分割した領域であって前記第１の画像を分割した領域と空間的に同位置の符号量とを比較した結果に基づき、前記第１の画像を分割した領域に対して前記第２の画像を分割した領域に差異があるか否かを検出する検出手段と
   を備え、
   前記検出手段は、前記第１の画像における全ての分割した領域毎に、差異が有るか否かを検出する画像差異検出装置。
8. コンピュータに、請求項１から６のいずれか１項に記載の画像差異検出方法を実行させるための画像差異検出プログラム。

Images