JP5046119B2 - プログラム、画像間変化箇所判読支援動画生成方法、及び画像間変化箇所判読支援動画生成装置 - Google Patents

Description

本発明は、プログラム、画像間変化箇所判読支援動画生成方法、及び画像間変化箇所判読支援動画生成装置に関する。

例えば、地震被害が発生した場合、液状化による地盤沈下等、その地域における地形変化の把握を行うことがある。このような場合、地震被害が発生する前の衛星画像と、地震被害が発生した後の衛星画像とを比較することにより、変化箇所を判読することが一般的に行われている。二つの画像の間における変化箇所を判読する方法の一つとして、二つの画像における画素ごとの画像濃度値の差分を計算し、その差分が所定の閾値より大きい箇所または小さい箇所を抽出することによって変化箇所を判読する方法が挙げられる（例えば、特許文献１参照）。
特開２００３−１８５４３３

ところで、比較対象となる二つの画像は、撮像された際の天候や明るさ等の環境が同じではないため、変化がほとんど生じていない箇所についても画像濃度値の差分が発生していることが多い。さらに、地震被害等による地形変化の他に、建築物の経年変化等によっても差分が生じる可能性がある。そして、このような撮像環境や経年変化等によって生じる差分の程度は常に同じではない。そのため、変化箇所を判読する際には閾値を設定する必要があるものの、画像にかかわらず閾値を固定にしたり、変化箇所を判読する際に予め閾値を設定したりすると、画像間の変化箇所を高精度に判読できないことがある。

本発明は上記課題を鑑みてなされたものであり、画像間の変化箇所の判読を支援することを目的とする。

上記目的を達成するため、本発明のプログラムは、コンピュータに、画像間の変化箇所を判読する際の比較対象となる第１及び第２画像の間における画素ごとの差分を生成する手順と、前記画素ごとの前記差分に基づいて、第１閾値と、前記第１閾値より小さい第２閾値との複数の組の夫々に対して、前記差分が前記第１閾値より大きい箇所及び前記差分が前記第２閾値より小さい箇所を、前記第１及び第２画像の間における変化箇所の候補として表示するための変化箇所候補画像を生成する手順と、前記複数の組の夫々に対する複数の変化箇所候補画像が、前記第１閾値が大きくなるとともに前記第２閾値が小さくなる順、もしくは、前記第１閾値が小さくなるとともに前記第２閾値が大きくなる順に、連続的に切り替えて表示される動画を生成する手順と、を実行させ、前記変化箇所候補画像を生成する手順は、前記複数の変化箇所候補画像の夫々に対して、複数方向を光源とみなす複数のエンボス画像を生成する手順を含み、前記動画を生成する手順は、前記複数のエンボス画像が前記第１及び第２閾値の組ごとに連続的に切り替えて表示されるとともに、前記第１閾値が大きくなるとともに前記第２閾値が小さくなる順、もしくは、前記第１閾値が小さくなるとともに前記第２閾値が大きくなる順に、連続的に切り替えて表示される動画を生成する手順を含む。

画像間の変化箇所の判読を支援することができる。

＝＝システム構成＝＝
本発明の一実施形態である画像間変化箇所判読支援動画生成システムの構成例について説明する。図１に示すように、システムは、クライアント１０及びサーバ２０（画像間変化箇所判読支援動画生成装置）を含んで構成されている。そして、クライアント１０及びサーバ２０は、ネットワーク３０を介して通信可能に接続されている。

クライアント１０は、例えば、パーソナルコンピュータや携帯情報端末、携帯電話機等の情報処理装置である。クライアント１０は、例えば地震発生地域の衛星画像等の変化箇所の判読対象となる画像に対して、サーバ２０から送信されてくるプログラムを用いて画像処理を施し、画像間の変化箇所の判読を支援するための動画を生成する。

サーバ２０は、例えば、ＰＣサーバやワークステーション等の情報処理装置である。サーバ２０は、クライアント１０からの要求に基づいて、動画を生成するための例えばＪＡＶＡ（登録商標）等で生成されたプログラムをクライアント１０に送信する。

ネットワーク３０は、例えば、インターネットやＬＡＮ（Local Area Network）等であり、クライアント１０とサーバ２０とを通信可能に接続する。なお、ネットワーク３０は、有線とすることもできるし、無線とすることもできる。

クライアント１０の構成について説明する。図２に示すように、クライアント１０は、ＣＰＵ（Central Processing Unit）４０、メモリ４１、記憶装置４２、表示インタフェース（Ｉ／Ｆ）４３、入力インタフェース（Ｉ／Ｆ）４４、通信インタフェース（Ｉ／Ｆ）４５、及び記録媒体読取装置４６を含んで構成されている。

ＣＰＵ４０は、メモリ４１に格納されたプログラムを実行することにより、クライアント１０を統括制御し、クライアント１０における様々な機能を実現する。メモリ４１は、例えばＲＡＭ（Random Access Memory）等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置４２は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。表示インタフェース４３は、ディスプレイ等の表示装置５０に画像を表示させるためのビデオカード等のインタフェース装置である。入力インタフェース４４は、キーボードやマウス、各種デジタル機器等の入力装置５１からデータを入力するためのＵＳＢ（Universal Serial Bus）やＰＳ／２（Personal System/2）等のインタフェース装置である。通信インタフェース４５は、ネットワーク３０を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置４６は、ＣＤ−ＲＯＭやメモリカード等の記録媒体５２に格納されたプログラムや各種データを読み取るためのＣＤ−ＲＯＭドライブやメモリカードインタフェース等のインタフェース装置である。

なお、クライアント１０では、変化箇所の判読対象とする画像を、例えば、記録媒体５２から読み取り、記憶装置４２に格納することができる。また、例えば、ネットワーク３０を介して他の情報処理装置から判読対象の画像を取得することもできる。また、イメージスキャナやデジタルカメラ等を入力装置５１として判読対象の画像を取得することもできる。

次に、サーバ２０の構成について説明する。図３に、サーバ２０のハードウェア構成例を示す。サーバ２０は、ＣＰＵ６０、メモリ６１、記憶装置６２、通信インタフェース６３、及び記録媒体読取装置６４を含んで構成されている。

ＣＰＵ６０は、メモリ６１に格納されたプログラムを実行することにより、サーバ２０を統括制御し、サーバ２０における様々な機能を実現する。メモリ６１は、例えばＲＡＭ等であり、プログラムやデータ等の一時的な記憶領域として用いられる。記憶装置６２は、例えばハードディスク等の記憶領域であり、プログラムや様々なデータ等が格納される。通信インタフェース６３は、ネットワーク３０を介してデータの送受信を行うためのネットワークカード等のインタフェース装置である。記録媒体読取装置６４は、ＣＤ−ＲＯＭやメモリカード等の記録媒体５３に格納されたプログラムや各種データを読み取るためのＣＤ−ＲＯＭドライブやメモリカードインタフェース等のインタフェース装置である。

また、サーバ２０は、図４に示すように、差分生成部７０、候補画像生成部７２、及び動画生成部７４を構成するためのプログラムを有している。このプログラムは、クライアント１０からの要求に基づいてクライアント１０に送信され、クライアント１０において各種処理を実行するために用いられる。なお、動画の生成処理をサーバ２０側で実行する場合には、同等のプログラムがサーバ２０のＣＰＵ４０で実行されることとなる。

差分生成部７０は、変化箇所の判読対象とする二つの画像の一方を比較画像、他方を基準画像とし、比較画像と基準画像との差分を示す差画像を生成する。差分生成部７０では、まず、比較画像及び基準画像の対応する画素ごとに、画像濃度値の差分が求められる。なお、比較画像及び基準画像がカラー画像の場合、例えば、カラー画像を構成するＲ（赤）・Ｇ（緑）・Ｂ（青）の何れかのバンドにおける画像濃度値の差分を取ることにより、図５のヒストグラムに例示するように、差分の最大値をＤmax、最小値をＤminとする、画素ごとの画像濃度値の差分の分布を得ることができる。図５の例に示すように、基準画像の画像濃度値の方が大きい画素については差分が負になるため、画像濃度値の差分のヒストグラムには負の領域が発生する。差分生成部７０では、比較画像と基準画像との差分を示す差画像を生成するために、図５に示す画像濃度値の差分を、画像として表現可能な範囲にする必要がある。例えば、各バンドにおける画素の画像濃度値を８ビット（０〜２５５）で表現する場合であれば、差画像を生成するためには画像濃度値の差分を０〜２５５の範囲にしなければならない。そのため、図６に示すように画像濃度値に｜Ｄmin｜を加算することにより、画像濃度値の差分の分布の最小値を０にすることができる。これにより、画像濃度値の最大値がＤmax＋｜Ｄmin｜となるため、図７に示すように、この最大値を２５５とするように正規化することにより、画像濃度値の差分を０〜２５５の範囲に収めることができる。すなわち、Ｘcを比較画像の画像濃度値、Ｘsを基準画像の画像濃度値とすると、差画像の画像濃度値を示すＸ'は次式（１）により得ることができる。
Ｘ'＝［｛（Ｘc−Ｘs）＋｜Ｄmin｜｝／（Ｄmax＋｜Ｄmin｜）］×２５５
・・・（１）
そして、図７に例示する画像濃度値の分布において、差画像における画像濃度値が最頻値の近辺については変化した可能性が低く、最頻値から離れるにつれて変化した可能性が高くなっていると推定することができる。例えば、最頻値より大きい閾値ＴＨを基準とした場合、差画像における画像濃度値が基準値ＴＨより大きい箇所を、変化箇所の候補としてあげることができる。

候補画像生成部７２は、差画像における画像濃度値の分布に基づいて複数の閾値を設定し、各閾値を基準とした変化箇所の候補を示す変化箇所候補画像を生成する。例えば、図８に示すように、差画像の画像濃度値における最頻値を閾値ＴＨ０とし、閾値ＴＨ０から高濃度側及び低濃度側に等間隔に閾値が設定される。つまり、閾値ＴＨｎ＋（第１閾値）と閾値ＴＨｎ−（第２閾値）とが組になっている。そして、候補画像生成部７２は、設定された閾値ごとに変化箇所候補画像を生成する。例えば、高濃度側の閾値ＴＨ２＋を基準とする場合であれば、候補画像生成部７２は、画像濃度値が閾値ＴＨ２＋より大きい画素を白（画像濃度値２５５）とし、画像濃度値が閾値ＴＨ２＋より小さい画素を黒（画像濃度値０）とした画像を閾値ＴＨ２＋に対する変化箇所候補画像として生成する。また、例えば、低濃度側の閾値ＴＨ２−を基準とする場合であれば、候補画像生成部７２は、画像濃度値が閾値ＴＨ２−より小さい画素を白（画像濃度値２５５）とし、画像濃度値が閾値ＴＨ２−より大きい画素を黒（画像濃度値０）とした画像を閾値ＴＨ２−に対する変化箇所候補画像として生成する。このように生成された変化箇所候補画像（モノクロ）は、図９に例示されるように、変化箇所の候補が白で表示されることになる。なお、本実施形態では、最頻値である閾値ＴＨ０の場合をレベル１とし、閾値ＴＨ１＋（ＴＨ１−）、閾値ＴＨ２＋（ＴＨ２−）と最頻値から離れるにつれてレベル２、レベル３と表現することとする。すなわち、レベルが高くなるにつれて、変化箇所候補画像において変化箇所の候補として抽出された箇所が実際に変化した箇所である可能性が高くなっていく。

さらに、候補画像生成部７２は、カラーの基準画像または比較画像に、変化箇所候補画像（モノクロ）を合成することにより、変化箇所の候補を基準画像上または比較画像上に表示した変化箇所候補画像（カラー）を生成する。このように生成される変化箇所候補画像（カラー）は、例えば図１０に例示されるように、カラーの基準画像または比較画像を、変化箇所候補画像（モノクロ）で変化箇所候補として白で表示された箇所を特定の色で着色した画像とすることができる。本実施形態では、最頻値より高濃度側の変化箇所候補画像（モノクロ）に対する変化箇所候補画像（カラー）においては、変化箇所の候補となる箇所を赤色（第１の色）に着色し、最頻値より低濃度側の変化箇所候補画像（モノクロ）に対する変化箇所候補画像（カラー）においては、変化箇所の候補となる箇所を青色に着色することとする。なお、最頻値より高濃度側の変化箇所候補画像（モノクロ）において変化箇所の候補として白で表示された箇所を赤色で着色するとともに、最頻値より低濃度側の同一レベルの変化箇所候補画像（モノクロ）において変化箇所の候補として白で表示された箇所を青色（第２の色）に着色することにより、高濃度側及び低濃度側の両方の変化候補となる箇所が示された高濃度側＋低濃度側の変化箇所候補画像（カラー）を生成することもできる。

また、候補画像生成部７２は、変化箇所の候補となる箇所を強調するために、生成した変化箇所候補画像（モノクロ）に対して複数方向を光源とみなす複数のエンボス画像（モノクロ）を生成する。例えば、候補画像生成部７２は、図１１に例示するように、変化箇所候補画像の北側を０度として右回りで４５度ずつ角度をずらした８方向を照射方向として、８つのエンボス画像を生成することができる。この場合、各照射方向におけるエンボス処理に用いられるフィルタ係数は、例えば、図１２（ａ）〜（ｈ）に示した３×３の行列とすることができる。なお、図１２（ａ）〜（ｈ）に示したフィルタ係数は一例であり、行列内の数値（重み）や行列のサイズを変更することも可能である。

候補画像生成部７２におけるエンボス処理の一例を示す。本実施形態では、変化箇所候補画像の各画素の画像濃度値は、例えば８ビット（０〜２５５）であることとする。図１３に示すように、エンボス処理前の変化箇所候補画像の一部を示す３×３の画素の中心の値が“１８”、左上の値が“５”、右下の値が“１３５”であるとする。このとき、図１２（ｄ）に示したフィルタ係数を用いてエンボス処理を行うと、３×３の中心画素のエンボス処理後の値は、（−５＋１３５）＋１２８＝２５８となる。ただし、候補画像生成部７２は、エンボス処理後の値が“２５５”を越えている場合は、画像濃度値が２５５以下となるように調整する。このようにして、変化箇所候補画像の各画素に対してエンボス処理が行われる。

さらに、候補画像生成部７２は、変化箇所候補画像（カラー）にエンボス画像（モノクロ）を合成することにより、図１４（ａ）や図１４（ｂ）に例示するように、変化箇所の候補が強調された変化箇所候補画像（カラー：エンボス）を生成する。ここで、変化箇所候補画像（カラー）の各画素の画素値をＰ_a、エンボス画像（モノクロ）の各画素の画素値をＰ_bとすると、変化箇所候補画像（カラー：エンボス）の各画素の画素値Ｐ_nは、例えば、画素値Ｐ_bが１２８以上の場合は次式（２）、画素値Ｐ_bが１２８未満の場合は次式（３）によって求めることができる。
Ｐ_n＝２５５−２×（２５５−Ｐ_a）×（２５５−Ｐ_b） ・・・（２）
Ｐ_n＝Ｐ_a×Ｐ_b×２ ・・・（３）
なお、高濃度側及び低濃度側の両方の変化候補となる箇所が示された変化箇所候補画像（カラー）の場合であれば、高濃度側及び低濃度側の両方のエンボス画像（モノクロ）が合成される。

動画生成部７４は、生成された変化箇所候補画像（カラー：エンボス）を、各レベルにおいて例えば照射方向を右回りに４５度ずつ変化させて表示するとともに、閾値の順に連続的に切り替えて表示するための動画を生成する。例えば、図１５のパターン１に示すように、最頻値よりも高濃度側の変化箇所の候補が示された変化箇所候補画像（カラー：エンボス）を、各レベルで照射方向を回転させつつ、レベルの高い方から低い方に向かって順次切り替えて表示する動画とすることができる。また、例えば、図１５のパターン２に示すように、最頻値よりも低濃度側において、レベルの高い方から低い方に向かって表示する動画とすることもできる。また、変化箇所候補画像（カラー：エンボス）が高濃度側及び低濃度側を合わせたものであれば、例えば、図１５のパターン３に示すように、高濃度側及び低濃度側のレベルをそれぞれ高い方から低い方に向かって順次切り替えて表示する動画とすることができる。なお、レベルの切り替えは高い方から低い方にかぎらず、低い方から高い方であってもよい。また、高い方から低い方に切り替えた後に、低い方から高い方に切り替えていくようにしてもよい。

このような動画は、例えば、ＷＥＢブラウザで表示可能なものとすることができる。そして、クライアント１０のＷＥＢブラウザで表示される際に、例えば、入力装置５１の一つであるマウスのスクロールボタンの操作によって、表示されるレベルを高くしたり低くしたり変更可能な動画とすることもできる。

＝＝画面説明＝＝
次に、クライアント１０に表示される画面について説明する。図１６に例示されるように、変化箇所の判読を支援するための動画を生成する際の条件等を入力するための動画生成画面１００は、基準画像入力エリア１０２、比較画像入力エリア１０４、バンド選択エリア１０６、動画種類選択エリア１０８、レベル間隔入力エリア１１０、及び動画生成ボタン１１２を含んで構成されている。動画生成画面１００は、例えば、クライアント１０がＷＥＢブラウザ等からサーバ２０の所定のＵＲＬ（Uniform Resource Locator）を参照することによってサーバ２０から送信されてくるＨＴＭＬ（Hyper Markup Text Language）やＪＡＶＡ（登録商標）アプレット等により実現される。なお、サーバ２０にアクセスせずに、クライアント１０内部のプログラムによって動画生成画面１００が起動されることとしてもよい。

基準画像入力エリア１０２には、基準画像とする画像の格納先（ファイルパス名等）が入力される。比較画像入力エリア１０４には、比較画像とする画像の格納先が入力される。なお、基準画像入力エリア１０２及び比較画像入力エリア１０４において入力される格納先には、幾何学的歪みが補正された基準画像及び比較画像が格納されていることとする。バンド選択エリア１０６では、差画像を生成する際に対象とするバンドが選択される。動画種類選択エリア１０８では、生成する動画の種類が選択される。本実施形態では、差画像の画像濃度値の分布における最頻値から高濃度側の変化箇所の候補を表示する動画、低濃度側の変化箇所の候補を表示する動画、または、高濃度側及び低濃度側の変化箇所の候補を同時に表示する動画を選択することができる。レベル間隔入力エリア１１０では、高濃度側及び低濃度側においてレベルを設定する際の間隔が入力される。動画生成ボタン１１２が押下されると動画生成処理が実行される。

また、図１７に例示されるように、動画表示画面１２０は、動画表示領域１２２、表示速度選択エリア１２４、及び連続表示選択エリア１２６を含んで構成されている。動画表示画面１２０も、動画生成画面１００と同様に、サーバ２０から送信されてくるＨＴＭＬやＪＡＶＡ（登録商標）アプレット等により実現される。そして、動画表示領域１２２には、動画生成処理によって生成された動画が表示される。動画表示領域１２２に表示される動画は、例えば、Ｍａｃｒｏｍｅｄｉａ Ｆｌａｓｈ（登録商標）等により実現される。表示速度選択エリア１２４では、動画を構成する複数の変化箇所候補画像（カラー：エンボス）を切り替える速度が選択される。本実施形態では、６ｆｐｓ（flame per second）、８ｆｐｓ、１０ｆｐｓ、１２ｆｐｓの何れかを選択可能としている。連続表示選択エリア１２６では、動画を構成する複数のレベルの変化箇所候補画像（カラー：エンボス）のうち、連続表示するレベルが選択される。全レベルが選択されると、全てのレベルの変化箇所候補画像（カラー：エンボス）がレベル順に表示されることになる。また、全レベルではなく、範囲を限定することもできる。例えば、標準偏差σを基準として、表示されるレベルの範囲を１σや１．５σ、２σまでのように限定することもできる。また、表示されているレベルから変化することなく、そのレベルを繰り返し表示し続けるようにすることもできる（単独レベル）。さらに、そのレベルを１つ小さくしたり（レベル−１）、大きくしたり（レベル＋１）することもできる。また、動画表示画面１２０には、動画表示領域１２２に現在表示されているレベルや、動画表示領域１２２に表示されている変化箇所候補画像（カラー：エンボス）における変化箇所候補部分の割合が表示される。

＝＝処理説明＝＝
次に、画像間変化箇所判読支援動画生成システムにおける処理の流れについて説明する。図１８に示すように、まず、クライアント１０では、例えば、動画生成画面１００を表示するためのＵＲＬをＷＥＢブラウザに入力することにより、動画生成画面１００の表示要求をサーバ２０に送信する（Ｓ１０１）。サーバ２０では、クライアント１０からの表示要求を受信すると（Ｓ１０２）、要求に従って動画生成画面１００及び動画表示画面１２０の表示や、動画生成処理を実行するためのＨＴＭＬやプログラムをクライアント１０に送信する（Ｓ１０３）。

これにより、クライアント１０に動画生成画面１００が表示され、基準画像・比較画像の選択が行われ（Ｓ１０４）、動画生成条件が入力される（Ｓ１０５）。そして、クライアント１０において、サーバ２０から受信したプログラムに基づいて画像間変化箇所判読支援動画の生成処理が実行される（Ｓ１０６）。動画生成処理が完了すると、動画表示画面１２０の動画表示領域１２２に動画が表示される（Ｓ１０７）。

続いて、動画生成処理（Ｓ１０５）について、図１９に例示するフローチャート及び図２０の処理イメージ図を用いて詳細に説明する。差分生成部７０は、基準画像及び比較画像から、選択されたバンドの差画像を生成する（Ｓ２０１）。図２０の例では、基準画像及び比較画像のＲバンドにおける差画像が生成されている。なお、一つのバンドの画像の差分ではなく、複数のバンドの画像の差分によって差画像を生成することもできる。例えば、基準画像を構成するＲバンド・Ｇバンド・Ｂバンドの画像濃度値と、比較画像を構成するＲバンド・Ｇバンド・Ｂバンドの画像濃度値との差を、各バンドの画像濃度値の差の総和の平方根、すなわちユークリッド距離として求めることとしてもよい。

続いて、候補画像生成部７２は、生成された差画像をもとに、複数のレベルに対する変化箇所候補画像（モノクロ）を生成する（Ｓ２０２）。なお、動画種類として高濃度側が選択された場合は高濃度側の変化箇所候補画像が生成され、低濃度側が選択された場合は低濃度側の変化箇所候補画像が生成され、高濃度側＋低濃度側が選択された場合は高濃度側＋低濃度側の変化箇所候補画像が生成される。

そして、候補画像生成部７２は、生成された変化箇所候補画像（モノクロ）に対して、例えば４５度刻みの８方向のエンボス処理を施してエンボス画像（モノクロ）を生成する（Ｓ２０３）。また、候補画像生成部７２は、カラーの基準画像に変化箇所候補画像（モノクロ）を合成することにより、変化箇所の候補を基準画像上に表示した変化箇所候補画像（カラー）を生成する（Ｓ２０４）。なお、カラーの基準画像ではなく、基準画像の何れか一つのバンドのモノクロ画像に合成することも可能である。また、基準画像ではなく比較画像に合成することとしてもよい。さらに、候補画像生成部７２は、変化箇所候補画像（カラー）にエンボス画像（モノクロ）を合成することにより、変化箇所候補画像（カラー：エンボス）を生成する（Ｓ２０５）。

その後、動画生成部７４は、生成された変化箇所候補画像（カラー：エンボス）を各レベルで照射方向を順次切り替えながら連続的に表示するとともに、レベルを順次切り替えて表示することが可能な画像間変化箇所判読支援動画を生成する（Ｓ２０６）。

＝＝動画生成例＝＝
次に、画像間変化箇所判読支援動画の生成例について説明する。なお、生成例では、エンボス処理における照射方向を４５度刻みの８方向、動画においてエンボス処理された画像の表示される順序を右回りとしている。

比較対象となる画像の一例が図２１に示されている。図２１（ａ）がカラーの基準画像であり、図２１（ｂ）がカラーの比較画像である。そして、図２１に示されたカラー画像を構成するＲバンドの画像が図２２に示されている。図２２（ａ）がＲバンドの基準画像であり、図２２（ｂ）がＲバンドの比較画像である。そして、図２２に示されたＲバンドの画像の差分によって生成された差画像の一例が図２３に示されている。本実施形態では、基準画像と比較画像との差分を画像濃度値の表現可能な範囲（例えば０〜２５５）に正規化しているため、図２３に示すように各画素の差分に応じた画像濃度値を有する差画像を生成することが可能となっている。

そして、図２３に例示された差画像をもとに、高濃度側のあるレベルの変化箇所候補画像（モノクロ）を生成した一例が図２４に示されている。図２４の例において、白く表示されている箇所が、このレベルにおいて変化箇所の候補として示されているところである。そして、レベルを大きくしていくと変化箇所候補画像において白く表示されている箇所が減っていき、レベルを小さくしていくと変化箇所候補画像において白く表示されている箇所が増えていくことになる。したがって、変化箇所候補画像をレベル順に連続的に切り替えて表示していくことにより、レベルの変化に伴う変化箇所候補の推移を確認することができる。なお、高濃度側の変化と低濃度側の変化とを区別する必要がない場合においては、高濃度側の変化候補箇所と低濃度側の変化候補箇所とを一緒に表示した変化箇所候補画像（モノクロ）を生成することもできる。

変化箇所候補画像（モノクロ）をカラーの基準画像と合成した一例が図２５に示されている。図２４に示された変化箇所候補画像（モノクロ）の一部を拡大したものが図２５（ａ）であり、図２５（ａ）に示された範囲に対応するカラーの基準画像が図２５（ｂ）である。そして、図２５（ｂ）の基準画像において、図２５（ａ）の変化箇所候補画像（モノクロ）で白く表示されている画素を赤くしたものが図２５（ｃ）の変化箇所候補画像（カラー）となっている。なお、高濃度側＋低濃度側の変化箇所候補画像（カラー）の場合は、例えば、基準画像において、高濃度側の変化箇所候補画像（モノクロ）で白く表示されている画素を赤くするとともに、低濃度側の変化箇所候補画像（モノクロ）で白く表示されている画素を青くしたものとすることができる。

また、図２５（ａ）の変化箇所候補画像（モノクロ）に対して、０度から４５度刻みの８方向の照射方向によるエンボス処理を施して得られる、８つのエンボス画像の一例が図２６に示されている。生成された８つのエンボス画像を見ると、凹凸についての錯視が光の照射方向によって異なっていることがわかる。したがって、照射方向の異なる複数のエンボス画像を連続的に切り替えて表示することにより、変化箇所の候補となっている部分について、一方向のエンボス画像だけを表示する場合と比較して、変化箇所の候補となっている部分を認識しやすくなる。

変化箇所候補画像（カラー）をエンボス画像と合成した一例が図２７に示されている。図２５（ｃ）に例示した変化箇所候補画像（カラー）が図２７（ａ）であり、図２６に示した０度のエンボス画像が図２７（ｂ）である。そして、図２７（ａ）の変化箇所候補画像（カラー）に図２７（ｂ）のエンボス画像を合成して得られる変化箇所候補画像（カラー：エンボス）の一例が図２７（ｃ）である。図２７には０度のエンボス画像との合成例を示したが、図２８に示すように、他の照射方向のエンボス画像についても同様に変化箇所候補画像（カラー）と合成され、変化箇所候補画像（カラー：エンボス）が生成される。そして、このような変化箇所候補画像（カラー：エンボス）が、動画生成の対象とする全レベルにおいて生成される。

変化箇所候補画像判読支援動画では、あるレベルの表示をする際に、図２８に示された８つの変化箇所候補画像（カラー：エンボス）が右回りに連続的に切り替えて表示されることになる。さらに、変化箇所候補画像判読支援動画では、レベルを大きくしたり小さくしたりしながら変化箇所候補画像（カラー：エンボス）が連続的に切り替えて表示されることになる。

以上、本発明の実施形態について説明した。前述したように、複数レベルの変化箇所候補画像（モノクロ）をレベル順に連続的に切り替えて表示することにより、レベルの変化による変化箇所の候補の推移を確認することができる。これにより、例えば、変化箇所候補となっている箇所の割合の推移を視覚的に認識することができ、変化箇所として判定するレベル、すなわち閾値を画像に合わせて柔軟に決定することが可能となる。したがって、変化箇所として抽出する箇所の精度を高め、変化箇所の判読を支援することが可能となる。

また、基準画像または比較画像において、変化箇所候補画像（モノクロ）で候補箇所として表示された箇所に所定の色（例えば赤色）を付して変化箇所候補画像（カラー）を生成することにより、図２５（ｃ）に例示したように、変化候補としてあげられている箇所がどのような基準画像または比較画像においてどのような場所であるかを認識することができる。そのため、このような変化箇所候補画像（カラー）をレベル順に連続的に切り替えて表示することにより、変化箇所として抽出する箇所の精度を高め、変化箇所の判読を支援することが可能となる。

また、変化箇所候補画像（モノクロ）に対して複数方向を光源とみなすエンボス画像を生成し、生成されたエンボス画像を、各レベルにおいて照射方向を変えながら連続的に切り替えて表示するとともに、レベルを大きくしたり小さくしたりしながら連続的に切り替えて表示することにより、変化箇所として抽出する箇所の精度を高め、変化箇所の判読を支援することが可能となる。

さらに、変化箇所候補画像（カラー）にエンボス画像を合成した変化箇所候補画像（カラー：エンボス）を生成し、生成された変化箇所候補画像（カラー：エンボス）を、各レベルにおいて照射方向を変えながら連続的に切り替えて表示するとともに、レベルを大きくしたり小さくしたりしながら連続的に切り替えて表示することにより、変化箇所として抽出する箇所の精度を高め、変化箇所の判読を支援することが可能となる。

また、高濃度側及び低濃度側の変化候補箇所を表示した変化箇所候補画像（モノクロ）を生成し、レベル順に連続的に切り替えて表示することにより、高濃度側及び低濃度側において変化箇所として判定するレベルを同時に決定することが可能となる。

そして、基準画像または比較画像において、高濃度側の変化候補箇所を例えば赤色に着色し、低濃度側の変化候補箇所を青色に着色することにより、基準画像または比較画像において、どのような場所で、どのような変化、すなわち画像濃度値が大きくなる向きの変化が生じているのか小さくなる向きの変化が生じているのかを認識することができる。

また、高濃度側及び低濃度側の変化候補箇所を同時に表示する場合においても、エンボス処理した画像を連続的に切り替えて表示することにより、変化箇所として抽出する箇所の精度を高め、変化箇所の判読を支援することが可能となる。

そして、高濃度側の変化箇所及び低濃度側の変化箇所が着色された変化箇所候補画像（カラー）にエンボス画像を合成して連続的に切り替えて表示することにより、基準画像または比較画像において、どのような場所で、どのような変化が生じているかを判読する精度を高めることが可能となる。

なお、上記実施形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更、改良され得ると共に、本発明にはその等価物も含まれる。

例えば、本実施形態においては、クライアント１０において動画を生成することとしたが、クライアント１０から基準画像や比較画像、動画生成条件をサーバ２０に送信し、サーバ２０において動画を生成することとしてもよい。また、クライアント１０を用いず、サーバ２０において、画像の選択や動画生成条件の入力、動画の表示等が行われることとしてもよい。また、判読対象とする画像は、地震発生地域の画像に限らず、あらゆる画像を対象とすることが可能である。また、判読対象とする画像は、衛星画像に限らず、あらゆる画像を対象とすることができる。例えば、光学センサによって得られた画像やマイクロ波レーダ画像、ハイパースペクトル画像、レーザプロファイラによって得られた画像、ＣＴスキャン等によって得られる各種医療画像、指紋や静脈パターン等の生体画像等、様々な画像を対象とすることが可能である。

本発明の一実施形態である画像間変化箇所判読動画生成支援システムの構成を示す図である。 クライアントのハードウェア構成例を示す図である。 サーバのハードウェア構成例を示す図である。 サーバに格納されたプログラムにより実現される機能ブロックの一例を示す図である。 基準画像と比較画像との画像濃度値の差分の分布の一例を示すヒストグラムである。 画像濃度値が０以上となるように画像濃度値を補正した分布を示すヒストグラムである。 画像濃度値が０〜２５５の範囲に収まるように正規化したヒストグラムの一例である。 レベル分割の一例を示す図である。 変化箇所候補画像（モノクロ）のイメージ図である。 変化箇所候補画像（カラー）のイメージ図である。 エンボス画像を生成する際の照射方向の一例を示す図である。 エンボス画像を生成する際のフィルタ係数の一例を示す図である。 エンボス処理の一例を示す図である。 変化箇所候補画像にエンボス画像を合成して得られる画像のイメージ図である。 表示順序の一例を示す図である。 動画生成画面の一例を示す図である。 動画表示画面の一例を示す図である。 システム全体におけるフローチャートの一例を示す図である。 動画生成処理のフローチャートの一例を示す図である。 動画生成処理のイメージ図である。 カラーの基準画像及び比較画像の一例を示す図である。 Ｒバンドの基準画像及び比較画像の一例を示す図である。 差画像の一例を示す図である。 変化箇所候補画像（モノクロ）の一例を示す図である。 変化箇所候補画像（カラー）の生成例を示す図である。 エンボス画像の一例を示す図である。 変化箇所候補画像（カラー：エンボス）の生成例を示す図である。 あるレベルの変化箇所候補画像（カラー：エンボス）が連続的に切り替えて表示される様子の一例を示す図である。

符号の説明

１０ クライアント ２０ サーバ
３０ ネットワーク ４０，６０ ＣＰＵ
４１，６１ メモリ ４２，６２ 記憶装置
４３ 表示インタフェース ４４ 入力インタフェース
４５，６３ 通信インタフェース ４６，６４ 記録媒体読取装置
５０ 表示装置 ５１ 入力装置
５２，５３ 記録媒体 ７０ 差分生成部
７２ 候補画像生成部 ７４ 動画生成部

Claims (4)

1. コンピュータに、
   画像間の変化箇所を判読する際の比較対象となる第１及び第２画像の間における画素ごとの差分を生成する手順と、
   前記画素ごとの前記差分に基づいて、第１閾値と、前記第１閾値より小さい第２閾値との複数の組の夫々に対して、前記差分が前記第１閾値より大きい箇所及び前記差分が前記第２閾値より小さい箇所を、前記第１及び第２画像の間における変化箇所の候補として表示するための変化箇所候補画像を生成する手順と、
   前記複数の組の夫々に対する複数の変化箇所候補画像が、前記第１閾値が大きくなるとともに前記第２閾値が小さくなる順、もしくは、前記第１閾値が小さくなるとともに前記第２閾値が大きくなる順に、連続的に切り替えて表示される動画を生成する手順と、
   を実行させ、
   前記変化箇所候補画像を生成する手順は、
   前記複数の変化箇所候補画像の夫々に対して、複数方向を光源とみなす複数のエンボス画像を生成する手順を含み、
   前記動画を生成する手順は、
   前記複数のエンボス画像が前記第１及び第２閾値の組ごとに連続的に切り替えて表示されるとともに、前記第１閾値が大きくなるとともに前記第２閾値が小さくなる順、もしくは、前記第１閾値が小さくなるとともに前記第２閾値が大きくなる順に、連続的に切り替えて表示される動画を生成する手順を含むこと、
   を特徴とするプログラム。
2. 請求項１に記載のプログラムであって、
   前記変化箇所候補画像を生成する手順は、
   前記第１及び第２閾値の組ごとに、前記第１又は第２画像における前記差分が前記第１閾値より大きい箇所に第１の色を付すとともに前記差分が前記第２閾値より小さい箇所に第２の色を付した画像に、前記第１及び第２閾値の組における前記複数のエンボス画像の夫々を合成した複数のエンボス画像を生成する手順を含み、
   前記動画を生成する手順は、
   前記合成された複数のエンボス画像が前記第１及び第２閾値の組ごとに連続的に切り替えて表示されるとともに、前記第１閾値が大きくなるとともに前記第２閾値が小さくなる順、もしくは、前記第１閾値が小さくなるとともに前記第２閾値が大きくなる順に、連続的に切り替えて表示される動画を生成する手順を含むこと、
   を特徴とするプログラム。
3. 画像間の変化箇所を判読する際の比較対象となる第１及び第２画像の間における画素ごとの差分を生成するステップと、
   前記画素ごとの前記差分に基づいて、第１閾値と、前記第１閾値より小さい第２閾値との複数の組の夫々に対して、前記差分が前記第１閾値より大きい箇所及び前記差分が前記第２閾値より小さい箇所を、前記第１及び第２画像の間における変化箇所の候補として表示するための変化箇所候補画像を生成するステップと、
   前記複数の組の夫々に対する複数の変化箇所候補画像が、前記第１閾値が大きくなるとともに前記第２閾値が小さくなる順、もしくは、前記第１閾値が小さくなるとともに前記第２閾値が大きくなる順に、連続的に切り替えて表示される動画を生成するステップと、
   を含み、
   前記変化箇所候補画像を生成するステップは、
   前記複数の変化箇所候補画像の夫々に対して、複数方向を光源とみなす複数のエンボス画像を生成するステップを含み、
   前記動画を生成するステップは、
   前記複数のエンボス画像が前記第１及び第２閾値の組ごとに連続的に切り替えて表示されるとともに、前記第１閾値が大きくなるとともに前記第２閾値が小さくなる順、もしくは、前記第１閾値が小さくなるとともに前記第２閾値が大きくなる順に、連続的に切り替えて表示される動画を生成するステップを含むこと、
   を特徴とする画像間変化箇所判読支援動画生成方法。
4. 画像間の変化箇所を判読する際の比較対象となる第１及び第２画像の間における画素ごとの差分を生成する差分生成部と、
   前記画素ごとの前記差分に基づいて、第１閾値と、前記第１閾値より小さい第２閾値との複数の組の夫々に対して、前記差分が前記第１閾値より大きい箇所及び前記差分が前記第２閾値より小さい箇所を、前記第１及び第２画像の間における変化箇所の候補として表示するための変化箇所候補画像を生成する候補画像生成部と、
   前記複数の組の夫々に対する複数の変化箇所候補画像が、前記第１閾値が大きくなるとともに前記第２閾値が小さくなる順、もしくは、前記第１閾値が小さくなるとともに前記第２閾値が大きくなる順に、連続的に切り替えて表示される動画を生成する動画生成部と、
   を備え、
   前記候補画像生成部は、
   前記複数の変化箇所候補画像の夫々に対して、複数方向を光源とみなす複数のエンボス画像を生成し、
   前記動画生成部は、
   前記複数のエンボス画像が前記第１及び第２閾値の組ごとに連続的に切り替えて表示されるとともに、前記第１閾値が大きくなるとともに前記第２閾値が小さくなる順、もしくは、前記第１閾値が小さくなるとともに前記第２閾値が大きくなる順に、連続的に切り替えて表示される動画を生成すること、
   を特徴とする画像間変化箇所判読支援動画生成装置。