JP5973770B2 - 画像処理装置、プログラム及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、プログラム及び画像処理方法等に関する。

所与の時間間隔により時系列的に静止画の撮像を継続した場合、空間的な広がりを持つ被写体を多数の画像により網羅した場合、或いは動画像を撮像した上で当該動画像を構成する各画像を静止画像としてとらえた場合等では、時間的或いは空間的に連続する非常に大量の画像（以下、画像列とも記載する）が取得されることになる。このような場合には、画像列中で近くにある（つまり時間的或いは空間的に近くにある）画像同士は似通った画像である可能性が高く、撮像した内容を把握するに当たって大量の画像のすべてをチェックする必要性は高くない。そもそも、画像の枚数は数万枚以上となることも珍しくなく、ユーザの手ですべてをチェックすること自体、負担が大きい。

そのため、画像列から一部の画像を削除することで元の画像列より枚数の少ない画像列に要約する（以下、この処理を画像要約処理と記載する）需要がある。例えば特許文献１には、画像列の中のシーンが変化する境目の画像や、画像列を代表する画像を抽出することで、画像列の内容を把握しやすい画像を残す画像要約処理手法が開示されている。

特開２００９−５０２０号公報 特開２０１１−２４７６３号公報

例えば医学分野に画像要約技術を適用する場合、疾患の見逃しを避ける観点から、画像を削除したことによって観察できなくなる領域の発生を抑える必要がある。特に病変領域や異常領域のような重要領域は観察できなくなる領域に含まれてはならない。

しかし特許文献１の手法のようにシーンが変化する境目の画像だけを残したり、或いは要約後の画像列が直感的に見やすいかどうかといった観点で画像要約を行ったりすると、画像が削除される事によって観察できなくなる領域が発生する可能性があり好ましくない。また、観察できなくなる領域の発生の程度は画像の内容に依存するため、従来の画像要約処理の手法では疾患の見逃し等の程度を制御することが困難であった。

本発明の幾つかの態様によれば、一部の画像を削除することで画像要約処理を行った場合に、画像の削除により観察できなくなる注目領域の発生を抑止する画像処理装置、プログラム及び画像処理方法等を提供することができる。

本発明の一態様は、複数の画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行う画像処理装置に関係する。

本発明の一態様では、変形情報を用いた処理、及び構造要素を用いた処理に基づいて判定対象画像の削除可否を判定する。よって、構造要素と、見逃し可能性を抑止すべき領域である注目領域とを対応づけることで、基準画像及び判定対象画像での注目領域の撮像状態に応じた画像要約処理等が可能になる。

また、本発明の一態様では、前記変形情報を用いた処理は、前記基準画像及び前記判定対象画像の一方の少なくとも一部を、前記変形情報を用いて変形する処理であり、前記構造要素を用いた処理は、前記構造要素による収縮処理、又は前記基準画像により前記判定対象画像が覆われない領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理であってもよい。

これにより、変形情報を用いた処理として基準画像又は判定対象画像の少なくとも一部の領域の変形処理が可能になり、また、構造要素を用いた処理として、収縮処理や、非被覆領域に構造要素が含まれるか否かを判定する処理が可能になる。

また、本発明の一態様では、前記処理部は、前記変形情報を用いた処理として、前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記判定対象画像のうち前記被覆領域以外の領域を非被覆領域として求める処理を行い、前記構造要素を用いた処理として、前記非被覆領域に対して前記構造要素による収縮処理を行ってもよい。

これにより、非被覆領域を求め、求めた非被覆領域に対する収縮処理に基づく削除可否判定等が可能になる。

また、本発明の一態様では、前記処理部は、前記収縮処理の結果、残留する領域がある場合に、前記判定対象画像が削除不可であると判定してもよい。

これにより、収縮処理による残留領域の有無に応じた削除可否判定等が可能になる。

また、本発明の一態様では、前記処理部は、前記構造要素を用いた処理として、前記判定対象画像に対して前記構造要素による収縮処理を行って要被覆領域を求める処理を行ってもよい。

これにより、判定対象画像に対する収縮処理から求められた要被覆領域に基づく削除可否判定等が可能になる。

また、本発明の一態様では、前記処理部は、前記変形情報を用いた処理として、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記要被覆領域を変形する処理を行い、前記処理部は、変形後の前記要被覆領域が前記基準画像に含まれる場合に、前記判定対象画像が削除可能であると判定してもよい。

これにより、要被覆領域を変形することで、基準画像と要被覆領域の包含関係を判定することが可能になる。

また、本発明の一態様では、前記処理部は、前記変形情報を用いた処理として、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像を変形する処理を行い、前記処理部は、前記要被覆領域が変形後の前記基準画像に含まれる場合に、前記判定対象画像が削除可能であると判定してもよい。

これにより、基準画像を変形することで、基準画像と要被覆領域の包含関係を判定することが可能になる。

また、本発明の一態様では、前記処理部は、前記変形情報を用いた処理として、前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求めるとともに、求めた前記被覆領域の境界上に設定された複数の点の各点において、前記判定対象画像の外周までの最短距離を求め、前記複数の点の各点において求められた前記最短距離のうちの最大値を求める処理を行い、前記構造要素を用いた処理として、前記構造要素の最小径を取得し、取得した前記最小径と、前記最短距離のうちの前記最大値との比較処理に基づいて、前記判定対象画像のうち前記被覆領域以外の領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理を行ってもよい。

これにより、収縮処理を伴わない簡易的な注目領域の見落とし可能性の判定等が可能になる。

また、本発明の一態様では、前記処理部は、前記変形情報を用いた処理として、前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求めるとともに、前記判定対象画像の外周上に設定された複数の点の各点において、前記被覆領域の境界までの最短距離を求め、前記複数の点の各点において求められた前記最短距離のうちの最大値を求める処理を行い、前記構造要素を用いた処理として、前記構造要素の最小径を取得し、取得した前記最小径と、前記最短距離のうちの前記最大値との比較処理に基づいて、前記判定対象画像のうち前記被覆領域以外の領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理を行ってもよい。

これにより、収縮処理を伴わない簡易的な注目領域の見落とし可能性の判定等が可能になる。

また、本発明の一態様では、前記処理部は、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、算出した前記被覆率に基づいて、前記判定対象画像の削除可否判定を行う第１の削除可否判定処理と、前記変形情報を用いた処理、及び前記構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行う第２の削除可否判定処理と、を行ってもよい。

これにより、上記の削除可否判定に加えて、被覆率に基づく判定を行うことができるため、削除可否判定の精度を向上させること等が可能になる。

また、本発明の一態様では、前記処理部は、前記基準画像、前記判定対象画像、及び前記複数の画像のうち前記画像列において前記基準画像と前記判定対象画像の間の前記画像について、隣り合う前記画像間の前記変形情報を求め、求めた隣り合う前記画像間の前記変形情報に基づいて、前記基準画像と前記判定対象画像の間の前記変形情報を求めてもよい。

これにより、基準画像と判定対象画像の間の変形情報を、隣り合う画像間の変形情報に基づいて算出することが可能になる。

また、本発明の一態様では、前記処理部は、前記注目領域のサイズに比例したサイズの前記構造要素を設定してもよい。

これにより、構造要素のサイズを注目領域のサイズに対応づけること等が可能になる。

また、本発明の一態様では、第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、前記処理部は、第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２以上の整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ−１を満たす整数）の画像を前記判定対象画像として選択し、前記第１の基準画像と前記判定対象画像の間の前記変形情報を用いた処理、前記第２の基準画像と前記判定対象画像の間の前記変形情報を用いた処理、及び前記構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行ってもよい。

これにより、判定対象画像の前方及び後方に基準画像を設定すること等が可能になる。

また、本発明の一態様では、前記処理部は、第ｐ＋２〜第Ｎの画像に対応する始点及び終点が設定された第２の基準画像選択区間から前記第２の基準画像を選択して、前記第１の基準画像及び前記第２の基準画像に基づいて前記判定対象画像の削除可否の判定を行い、第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、前記第２の基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな前記第２の基準画像として選択するとともに、前記第２の基準画像選択区間の前記始点を前記第ｑの画像に更新してもよい。

これにより、第２の基準画像選択区間を設定するとともに、削除可否判定の結果に基づいて、第２の基準画像を後方の画像に更新するとともに、選択区間の始点を更新すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第２の基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな前記第２の基準画像として選択するとともに、前記第２の基準画像選択区間の前記終点を前記第ｑの画像に更新してもよい。

これにより、第２の基準画像を前方の画像に更新するとともに、選択区間の終点を更新すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記第２の基準画像選択区間の前記始点又は前記終点を更新した結果、前記始点と前記終点が隣り合う場合に、前記第１の基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、前記始点に対応する前記複数の画像の１つ、及び前記複数の画像のうち、前記始点に対応する前記複数の画像の１つよりも前記入力画像列において後方のものからなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記ｐの値を１に設定して再度処理を行ってもよい。

これにより、第２の基準画像選択区間の始点と終点が隣り合う場合に、入力画像列に対する処理を終了し、部分画像列を設定すること等が可能になる。

また、本発明の一態様では、前記処理部は、第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、前記第２の基準画像として第ｑ＋１の画像を選択してもよい。

これにより、第２の基準画像を１つ後方の画像に更新すること等が可能になる。

また、本発明の一態様では、前記処理部は、前記第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第１の基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、前記第ｑ−１〜第Ｎの画像からなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記ｐの値を１に設定して再度処理を行ってもよい。

これにより、第１の基準画像を要約画像列に残すとともに、適切な部分画像列を新たな入力画像列に設定して、第１の基準画像及び第２の基準画像を更新すること等ができるため、より効率的な画像要約処理が可能になる。

また、本発明の他の態様は、複数の画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記被覆領域に基づいて、注目すべき領域である注目領域の見逃し可能性を判定することで、前記判定対象画像の削除可否判定を行う画像処理装置に関係する。

また、本発明の他の態様は、上記各部としてコンピュータを機能させるプログラムに関係する。

また、本発明の他の態様は、複数の画像を有する画像列を取得し、前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像を削除可否の判定を行い、前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。

また、本発明の他の態様は、複数の画像を有する画像列を取得し、前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記被覆領域に基づいて、注目すべき領域である注目領域の見逃し可能性を判定することで、前記判定対象画像の削除可否判定を行い、前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。

変形情報に基づく被覆領域の算出例。 図２（Ａ）〜図２（Ｃ）は非被覆領域の形状と注目領域の見逃し可能性の関係を説明する図。 本実施形態にかかる画像処理装置のシステム構成例。 第１の実施形態にかかる画像処理装置のシステム構成例。 第１の実施形態の処理を説明するためのフローチャート。 図６（Ａ）〜図６（Ｅ）は非被覆領域に対する構造要素による収縮処理を説明する図。 図７（Ａ）〜図７（Ｄ）は第１の実施形態の基準画像及び判定対象画像の選択処理を説明する図。 第２の実施形態にかかる画像処理装置のシステム構成例。 第２の実施形態の処理を説明するためのフローチャート。 複数の基準画像に基づいて被覆領域を求める処理を説明する図。 図１１（Ａ）、図１１（Ｂ）は第２の実施形態の基準画像及び判定対象画像の選択処理を説明する図。 図１２（Ａ）〜図１２（Ｄ）は第２の実施形態での最初の基準画像の選択手法の一例を説明する図。 図１３（Ａ）〜図１３（Ｇ）は第２の実施形態の変形例を説明する図。 第２の実施形態の変形例の処理を説明するためのフローチャート。 第３の実施形態にかかる画像処理装置のシステム構成例。 図１６（Ａ）〜図１６（Ｃ）は判定対象画像に対する構造要素による収縮処理を説明する図。 図１７（Ａ）、図１７（Ｂ）は基準画像と要被覆領域の包含判定の例。 第３の実施形態の処理を説明するためのフローチャート。 図１９（Ａ）〜図１９（Ｃ）は第４の実施形態の構造要素を用いた処理を説明する図。 第５の実施形態にかかる画像処理装置のシステム構成例。 被覆率を求める手法の他の例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。

具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば１秒に２回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。

従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。

このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域である注目領域（例えば病変部）の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。

これに対して、画像列から基準画像（残す画像、基準画像の設定手法によっては残す候補となる画像）と判定対象画像（削除するか否かの判定の対象画像）を選択し、基準画像による判定対象画像の被覆率に基づいた画像要約処理を行う手法が有効である。具体的には図１に示したように、基準画像を変形することで判定対象画像上に被覆領域を算出する。基準画像で撮像された被写体と、判定対象画像の被覆領域上に撮像された被写体とは対応することになる。つまり、判定対象画像における被覆領域外の範囲（以下、非被覆領域と表記する）は、当該判定対象画像を削除した場合、基準画像を残したとしてもカバーすることができない領域となる。

よって、判定対象画像に占める被覆領域の割合等を被覆率として算出し、算出した被覆率に基づいて判定対象画像を削除するか否かを判定することで、観察できなくなる被写体範囲の発生度合いを制御する。例えば被覆率が閾値以上である際に判定対象画像を削除し、被覆率が閾値未満の際に判定対象画像を削除しないものとすれば、閾値の設定に応じてカバーできない領域の発生度合いを制御できる。

しかし、判定対象画像に占める被覆領域の割合等で表される被覆率は、被覆領域（或いは非被覆領域）の形状を考慮していない。例えば、図２（Ａ）と図２（Ｂ）は判定対象画像を表し、ともに判定対象画像全体の面積に対する、被覆領域の面積が７５％となる（つまり被覆率は０．７５や７５といった値になる）。しかし、被覆率が同じであったとしても、注目領域のサイズや形状が図２（Ｃ）であった場合、図２（Ａ）と図２（Ｂ）は大きく異なる意味を持つ。なぜなら、図２（Ａ）の非被覆領域はその形状から図２（Ｃ）の注目領域全体を含むことはない。よって、図２（Ａ）の判定対象画像上のどの位置に注目領域があったとしても（ただし注目領域全体が判定対象画像上に撮像されている）、基準画像上には当該注目領域の少なくとも一部は撮像されていることになる。一方、図２（Ｂ）の非被覆領域はその形状から図２（Ｃ）の注目領域全体を含みうる。よって、図２（Ｂ）の判定対象画像の点線で示した位置に注目領域があった場合、基準画像上には当該注目領域が全く撮像されないことになる。

つまり、判定対象画像における注目領域の位置によらず、当該注目領域の少なくとも一部が基準画像に撮像されていなくてはならない、という観点で考えれば、図２（Ａ）の判定対象画像は削除可能であるのに対して、図２（Ｂ）の判定対象画像は削除不可となる。しかし、上述したように被覆率には差がないため、被覆率に基づく判定では図２（Ａ）と図２（Ｂ）を区別することはできない。

そこで本出願人は、基準画像と判定対象画像を選択し、注目領域に対応する構造要素を用いた処理結果に基づいて判定対象画像の削除可否判定を行う手法を提案する。具体的には図６（Ａ）〜図６（Ｅ）を用いて後述するように、非被覆領域に対して構造要素を用いた収縮処理を行い、残留する領域があるか否かを判定すればよい。残留領域がない場合には、非被覆領域に注目領域に相当するサイズの領域全体が含まれることはない（例えば図２（Ａ）のようになる）ため、判定対象画像は削除可能となる。逆に、残留領域がある場合には、図２（Ｂ）のように非被覆領域に注目領域に相当するサイズの領域全体が含まれる可能性があるため、判定対象画像は削除不可となる。

このようにすれば、判定対象画像を削除した場合にも、基準画像上には注目領域の少なくとも一部が撮像されていることを保証する（一部の実施例では１００％保証するものではなく、その可能性が高いものにとどまる）画像要約処理が可能になる。なお、本実施形態の手法では構造要素の形状やサイズを設定しておく必要があるが、注目領域に対応した形状等を用いればよい。注目領域の形状等は画像の撮像対象や状況に応じて変わるが、例えばカプセル内視鏡による医療目的での撮像であれば、見逃すべきではない病変サイズの最小値を設定しておけばよい。この場合には、判定対象画像を削除した場合にも、注目領域として設定した病変サイズ以上の大きさの病変は、その少なくとも一部が基準画像上に撮像されることになり、サイズの大きい（つまり深刻度の高いことが想定される）病変の見逃しを抑止することができる。

なお、本実施形態での構造要素とは、上述したように収縮処理に用いられる画像領域を表す情報が想定されるが、これに限定されるものではない。後述する第４の実施形態での構造要素のように、注目領域に基づいて設定され、且つ判定対象画像の削除可否判定に用いられる情報を広く含むものとする。第１の実施形態や第４の実施形態のように、注目領域と構造要素が同一の形状及びサイズである場合も考えられるが、そのような場合であっても、注目領域と同一形状、サイズの領域を設定するという形で、構造要素の設定処理は行われるものと考える。

ここでの画像処理装置の１つの実施形態としては、図３に示したように処理部１００と、画像列取得部２００を含むものが考えられる。画像列取得部２００は、複数の画像を有する画像列を取得する。そして処理部１００は、画像列取得部２００が取得した画像列の有する複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う。具体的には、処理部１００は、複数の画像から、基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、判定対象画像の削除可否判定を行う。

以下、まず第１の実施形態で基本的な手法について説明する。ただし、本実施形態の手法では基準画像と判定対象画像の選択処理、及び選択された基準画像と判定対象画像に基づいた判定対象画像の削除可否判定処理の２つの処理が行われるが、これらの処理は種々の変形例が考えられる。よって、第２の実施形態では、基準画像と判定対象画像を選択する他の手法、及びその変形例について説明する。同様に、削除可否判定処理についても、第１の実施形態とは異なる手法が考えられるため、第３〜第５の実施形態で詳細を説明する。

なお、基準画像と判定対象画像の選択処理は第１の実施形態と、第２の実施形態（及びその変形例）のいずれの手法を用いてもよく、削除可否判定処理についても第１の実施形態と、第３〜第５の実施形態のいずれの手法を用いてもよい。また、２つの処理の組み合わせに制限はないため、第２の実施形態の選択手法と、第３の実施形態の削除可否判定手法を組み合わせる等、種々の組み合わせでの変形実施が可能である。

２．第１の実施形態
本実施形態の基本的な手法について説明する。具体的には、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明する。

図４に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部２００と、記憶部３００を含む。

処理部１００は、画像列取得部２００が取得した画像列に対して、当該画像列に含まれる複数の画像の一部を削除することで、画像要約処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

画像列取得部２００は、画像要約処理の対象となる画像列を取得する。記憶部３００は、画像列取得部２００が取得した画像列を記憶する他、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。

また、処理部１００は、図１に示したように基準画像選択部１００１と、判定対象画像選択部１００２と、被覆領域算出部１００３と、削除可否判定部１００５と、部分画像列設定部１００８と、要約画像列決定部１００９と、注目領域見逃し可能性判定部１０１３と、構造要素生成部１０１４と、変形情報取得部１０１５を含んでもよい。なお処理部１００は、図４の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、処理部１００で実行される画像要約処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも処理部１００が上述の各部を構成要件として有するわけではない。

基準画像選択部１００１は、画像列の複数の画像から基準画像を選択する。判定対象画像選択部１００２は、画像列の複数の画像のうち、基準画像とは異なる画像を判定対象画像として選択する。

被覆領域算出部１００３は、基準画像と判定対象画像の間の変形情報（変形パラメータ）を利用して、基準画像を判定対象画像へ射影して被覆領域を求める。また、判定対象画像において、被覆領域ではない領域を非被覆領域として設定してもよい。

削除可否判定部１００５は、後述する注目領域見逃し可能性判定部１０１３での判定結果に基づいて、判定対象画像が削除できるか否かの判定を行う。

部分画像列設定部１００８は、削除可否判定部１００５で判定対象画像が削除できないと判定された場合に、その時点での判定対象画像の画像列中での位置に基づいて、画像列の一部であって、１枚以上の画像からなる画像列を部分画像列として設定する。

要約画像列決定部１００９は、要約処理後の画像列である要約画像列を決定する。本実施形態では、基準画像選択部１００１で選択された基準画像を要約画像列に含める。また、判定対象画像のうち削除可能と判定された画像を削除し、要約画像列には含めないものとする。

注目領域見逃し可能性判定部１０１３は、判定対象画像を削除した場合に、判定対象画像上に撮像された注目領域が、基準画像では撮像されない状況となる（つまり注目領域を見逃す状況となる）可能性についての判定処理を行う。詳細については後述する。

構造要素生成部１０１４は、注目領域に基づいて、注目領域見逃し可能性判定部１０１３での処理に用いられる構造要素を生成する。ここでは、注目領域と同一形状、同一サイズの領域を設定するが、これに限定されるものではない。

変形情報取得部１０１５は、２つの画像間の変形情報を取得する。ここで変形情報とは、一方の画像において撮像された範囲が、他方の画像においてどのような形状（範囲）として撮像されているかを表すものであり、例えば特許文献２に開示されている変形パラメータ等であってもよい。変形情報取得部１０１５は、基準画像選択部１００１で選択された基準画像と、判定対象画像選択部１００２で選択された判定対象画像の間の変形情報を取得する。

図５に本実施形態の画像要約処理を説明するフローチャートを示す。この処理が開始されると、まず画像要約処理の対象となる画像列が取得される（Ｓ１０１）。画像列は画像列取得部２００で取得されるものであり、時系列順に並んだＲＧＢ３チャンネル画像が考えられる。或いは、横一列に並べられた撮像機器により撮影された、空間的に並んだ画像列のように空間的に連続する画像列であってもよい。なお、画像列を構成する画像はＲＧＢ３チャンネル画像に限定されるものではなく、Ｇｒａｙ１チャンネル画像等、他の色空間を用いてもよい。

また、注目領域に基づいて、画像要約処理（具体的には判定対象画像の削除可否判定）に用いられる構造要素を生成する（Ｓ１０２）。本実施形態では注目領域と同一形状、サイズの領域を構造要素とすればよいが、他の手法を用いてもよい。例えば、円形状の注目領域に対して、当該注目領域に外接する四角形の領域を構造要素としてもよい。特に、注目領域の形状が複雑な場合は、構造要素として簡略化された形状を設定することで計算量を削減すること等が可能になる。

基準画像選択部１００１は入力画像列（最初の処理においてはＳ１０１で取得された画像列であり、その後は後述するＳ１０９で設定される部分画像列）の先頭の画像を基準画像として選択する（Ｓ１０３）。ここで選択された基準画像は、要約画像列に残されるものとなる。なお、エラー等の理由により入力画像列から基準画像を選択できない場合（例えば画像列に画像が存在しない場合等）には、処理を終了する。

そして、判定対象画像選択部１００２は、入力画像列に含まれる画像から判定対象画像を選択する（Ｓ１０４）。判定対象画像が未設定の場合には、基準画像の次の画像（入力画像列の２番目の画像）を判定対象画像として選択する。また、すでに入力画像列のｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１ずらして入力画像列のｋ＋１番目の画像を新たな判定対象画像として選択する。判定対象画像が選択できなくなった場合（入力画像列に含まれる画像の枚数が２或いはｋ＋１よりも少なかった場合等）には、処理を終了する。

基準画像と判定対象画像が選択されたら、変形情報取得部１０１５は、基準画像と判定対象画像の間の変形情報を取得する（Ｓ１０５）。被覆領域算出部１００３は、取得された変形情報を利用して、基準画像を判定対象画像上へ射影し、被覆領域を求める（Ｓ１０６）。ここで変形情報は、特許文献２に記載された手法により推定される非剛体変形パラメータ等であってもよい。被覆領域の例を図１に示す。ここでの変形パラメータとは、基準画像において撮像された被写体が、判定対象画像上でどのように変形されているかを表すものである。言い換えれば、基準画像において撮像された被写体と、判定対象画像上の被覆領域において撮像された被写体は、対応する（狭義には同一の）ものとなっている。

被覆領域が算出されたら、注目領域見逃し可能性判定部１０１３は、注目領域の見逃し可能性を判定する（Ｓ１０７）。具体的には、判定対象画像のうち被覆領域以外の領域である非被覆領域に対して、構造要素を用いた収縮処理を行い、残留領域があるか否かの判定を行う。

収縮処理の具体例について図６（Ａ）〜図６（Ｅ）を用いて説明する。非被覆領域は図６（Ａ）に示したように、必ず閉じた領域となり、その境界を設定することができる。例えば、図６（Ａ）では外側境界であるＢＯ１と、内側境界であるＢＯ２を設定することになる。

この際、構造要素による収縮処理とは、当該構造要素の基準点を非被覆領域の境界上に設定した場合に、非被覆領域と構造要素の重複領域を削る処理となる。例えば、構造要素として図２（Ｃ）のように円形状の領域を設定し、その基準点を円の中心とした場合には、非被覆領域の境界上に中心を有する円を描き、当該円と非被覆領域とが重なる部分を非被覆領域から除外する処理を行うことになる。具体的には、図６（Ａ）に示したように、非被覆領域の外側境界ＢＯ１上の点を中心とする円を描き、非被覆領域との重複領域（ここでは、斜線で示した半円形状の領域）を除外する。

外側境界ＢＯ１は離散的に処理されることを考えれば複数の点から構成されていることになるため、当該複数の点の各点について上述した処理を行えばよい。一例としては、図６（Ａ）に示したように境界上の一点を起点として、所与の方向において順次境界ＢＯ１上の点を中心とする円を描き、非被覆領域との重複領域を非被覆領域から除外していけばよい。

図２（Ｂ）に示したように、非被覆領域の形状によってはその境界は１つの場合も考えられ、その際には当該１つの境界について上述の処理を行えばよい。また、図６（Ａ）に示したように、非被覆領域の境界としてＢＯ１とＢＯ２の２つが考えられる場合には、それぞれについて上述の処理を行う。具体的には、図６（Ｂ）に示したように、内側境界ＢＯ２についても、ＢＯ２上に中心を有する円を描き、非被覆領域との重複領域を除外する処理を行い、この処理をＢＯ２を構成する各点について繰り返せばよい。

このような収縮処理を行うことで、非被覆領域の面積は小さくなる。例えば、図６（Ａ）の非被覆領域の左部に着目した場合、図６（Ａ）で示したＢＯ１での収縮処理、及び図６（Ｂ）で示したＢＯ２での収縮処理により、非被覆領域は完全に削除され、残留する領域は存在しない。一方、非被覆領域の右下部分に着目した場合、図６（Ｃ）に示したように、ＢＯ１での収縮処理でもＢＯ２での収縮処理でも除外対象とならずに残存する残留領域ＲＥが生じる。よって、ここでの非被覆領域全体に対して構造要素による収縮処理を行った結果は、図６（Ｄ）のようになり、残留領域ＲＥが生じることになる。

ここで、半径ｒの円を構造要素とした場合の収縮処理の持つ意味について考える。閉じた領域である非被覆領域は、境界（ＢＯ１とＢＯ２のように異なる境界であってもよいし、図２（Ｂ）のように１つの境界であってもよい）の内側にある領域と考えることができる。この境界について上述の収縮処理を行うことで、非被覆領域に含まれる点のうち、上記境界上の点から距離ｒ以内にある点は削除の対象となる。つまり、削除対象とならなかった残留領域に含まれる点を考えた場合、当該点からは境界上の任意の点までの距離がｒより大きくなるということである。よって、残留領域上の任意の点を中心とする半径ｒの円を描いた場合に、当該円の円周はどの境界とも交差することがない。これは言い換えれば、半径Ｒ（＝ｒ）の円で表される注目領域が、残留領域中の点をその中心とすることで、非被覆領域の中に完全に収まってしまうという状況を表す。なお、構造要素として円以外の形状（四角形等）を用いた場合であっても、基本的な考え方は同一である。

つまり、残留領域が存在する場合とは、図６（Ｅ）の右下に示したように、構造要素に対応する領域が非被覆領域に含まれる場合となり、そのような位置に病変部等の注目領域があった場合には、判定対象画像を削除してしまうと、基準画像を残したとしても注目領域を観察できない可能性が生じてしまう。逆に、残留領域が存在しない場合とは、図６（Ｅ）の左上に示したように、注目領域の少なくとも一部は被覆領域に含まれることになり、判定対象画像を削除したとしても、注目領域の少なくとも一部は基準画像に残すことができる。以上のことより、注目領域見逃し可能性判定部１０１３では、非被覆領域に対して構造要素による収縮処理を行い、残留領域が存在するか否かを結果として出力することで、その後の判定対象画像の削除可否判定が可能になる。

そして、削除可否判定部１００５は、収縮処理の結果、残留領域が有ったか否かに基づいて、判定対象画像の削除可否の判定を行う（Ｓ１０８）。残留領域があった場合には、非被覆領域に注目領域全体が含まれる可能性がある、つまり注目領域を見逃す可能性があるということであるから、判定対象画像は削除不可と判定し、部分画像列の設定処理に移行する。また残留領域がなければ、非被覆領域に注目領域全体が含まれることはなく、被覆領域に注目領域の少なくとも一部が含まれることになる。よって、この場合には注目領域を見逃す可能性が低いということであるから、判定対象画像を削除可能と判定し、Ｓ１０４に戻り判定対象画像を再度選択する。

Ｓ１０８において、判定対象画像が削除不可と判定された場合には、部分画像列設定部１００８は部分画像列を設定する（Ｓ１０９）。具体的には、削除不可と判定された判定対象画像及び、それ以降の画像から構成される画像列を部分画像列として設定すればよい。部分画像列が設定されたら、Ｓ１０３に戻り、当該部分画像列を入力画像列として上述の処理を実行する。

以上の画像要約処理を図示したものが図７（Ａ）〜図７（Ｄ）である。図７（Ａ）に示したように、Ｎ枚の画像を有する画像列が画像列取得部２００で取得された場合には、まず１番目の画像が基準画像として選択され、２番目の画像が判定対象画像として選択される。そして、基準画像と判定対象画像の間で注目領域の見逃し可能性が判定され、判定対象画像の削除可否が判定される。

判定対象画像が削除可能と判定された場合には、新たに判定対象画像を選択する。具体的には判定対象画像の位置を後ろにずらす処理となり、図７（Ｂ）に示したように３番目の画像が判定対象画像として選択される。そして、基準画像と新たな判定対象画像の間で判定対象画像の削除可否が判定され、削除不可と判定される判定対象画像が見つかるまで、判定対象画像として選択される画像を更新していく。

図７（Ｃ）に示したように、２番目〜ｋ−１番目までの画像が削除可能と判定され、ｋ番目の画像が削除不可と判定された場合、２番目〜ｋ−１番目までの画像とは基準画像により注目領域を見逃さない程度にカバーされているということであるから、削除処理を行い要約画像列には含めない。それに対して、ｋ番目の画像は基準画像では十分カバーできないため、要約画像列に残す必要がある。そのために、ここではｋ番目の画像とそれ以降の画像（ｋ〜Ｎ番目の画像）を部分画像列として設定する。

そして、この部分画像列に対して再度図７（Ａ）〜図７（Ｃ）の処理を繰り返せばよい。具体的には図７（Ｄ）に示したように、Ｎ−ｘ＋１枚の画像からなる部分画像列を入力画像列とし、先頭（図７（Ｃ）等ではｋ番目）の画像を基準画像、２番目（図７（Ｃ）等ではｋ＋１番目）の画像を判定対象画像として処理を行う。以降の処理は同様であり、判定対象画像が削除可能と判定されたら、次の画像を新たな判定対象画像として選択する。また、判定対象画像が削除不可と判定されたら、基準画像を要約画像列に残し、削除可能と判定された画像を削除し、その時点での判定対象画像以降の画像を新たな部分画像列に設定する。最終的には、入力画像列の最後の画像まで全て削除可能と判定された場合、或いは入力画像列に含まれる画像が１枚のみであり判定対象画像が設定できなかった場合に処理が終了することになる。

以上の本実施形態では、画像処理装置は図４に示したように、複数の画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部１００を含む。そして、処理部１００は、複数の画像から、基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、判定対象画像の削除可否判定を行う。

ここで、変形情報を用いた処理は、基準画像及び判定対象画像の一方の少なくとも一部を、変形情報を用いて変形する処理であってもよい。また、注目領域に対応する構造要素を用いた処理は、構造要素による収縮処理、又は基準画像により判定対象画像が覆われない領域である非被覆領域に構造要素が含まれるか否かを判定する処理であってもよい。

また、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。

これにより、変形情報を用いた処理が可能になるため、基準画像に撮像された被写体と、判定対象画像に撮像された被写体との対応関係を考慮した画像要約処理が可能になる。その際、注目領域に対応する構造要素を用いた処理を行うことで、注目領域の撮像状態に応じた処理が可能になる。具体的には、構造要素による収縮処理等を行うことで、判定対象画像上に撮像された注目領域の少なくとも一部が、基準画像に撮像されているか否かの判定を行うことができるため、判定対象画像を削除したとしても、要約画像列には必ず注目領域の少なくとも一部を撮像している画像を残すことが可能となる。これにより、ユーザが注目領域を見逃す可能性を抑止すること等が可能になる。

また、処理部１００は、変形情報を用いた処理として、基準画像を変形情報を用いて変形して、基準画像により判定対象画像が覆われる領域である被覆領域を求め、判定対象画像のうち被覆領域以外の領域を非被覆領域として求める処理を行ってもよい。また、構造要素を用いた処理として、非被覆領域に対して構造要素による収縮処理を行ってもよい。そして、処理部１００は、収縮処理の結果、残留する領域がある場合に、判定対象画像が削除不可であると判定してもよい。

これにより、非被覆領域に構造要素（ここでは注目領域と同等のサイズ）が完全に収まってしまうか否かを精度よく判定することが可能になる。非被覆領域とは、判定対象画像のうち基準画像により被覆されない領域であるため、図６（Ａ）〜図６（Ｅ）を用いて上述したように、残留領域の有無は、非被覆領域に構造要素が完全に収まってしまうか否かに対応することになる。ここでの判定は厳密なものとなるため、後述する第３，第４の実施形態の手法等に比べると、削除可否判定の精度を高くすることができる。

また、処理部１００は、基準画像、判定対象画像、及び複数の画像のうち画像列において基準画像と判定対象画像の間の画像について、隣り合う画像間の変形情報を求め、求めた隣り合う画像間の変形情報に基づいて、基準画像と判定対象画像の間の変形情報を求めてもよい。

これにより、基準画像と判定対象画像が隣り合わない場合に、当該２画像間で直接変形情報を求めるのではなく、隣り合う画像間で求めた変形情報を累積することで算出することが可能になる。変形情報は特許文献２等で示した手法により算出できるが、一般的に変形情報を一から算出する処理に比べて、複数の変形情報を複合する処理は非常に軽いものとなる。例えば、変形情報が行列等であれば、２つの画像情報から当該行列を求める処理は負荷が大きいが、すでに求めてある複数の行列を合成することは（例えば行列の積を取るだけでよいため）非常に容易となる。

この手法は例えば後述する第２の実施形態のように、変形情報を用いる回数が多い処理等で特に効果的である。例えば、第２の実施形態では、判定対象画像の前方だけでなく後方にも基準画像（第２の基準画像）を設定し、条件に応じて第２の基準画像が更新される。具体的には、第１の画像を第１の基準画像、第ｋの画像を第２の基準画像とした場合、第２〜第ｋ−１の画像と各基準画像との間で削除可否判定が行われ、条件によっては第１の基準画像をそのままに第２の基準画像が第ｋ＋１の画像に更新される。その場合、第２〜第ｋの画像の各画像と、第２の基準画像である第ｋ＋１の画像の間の変形情報が必要となり、ｋ−１回変形情報を求める必要がある。そしてそれは、直前の処理で用いた第２〜第ｋ−１の画像と、第ｋの画像（直前の第２の基準画像）の間の変形情報とは異なるため、新たに求めなくてはならない。例えば、画像列取得部２００が画像列としてＮ枚の画像を取得し、且つ第１の基準画像が変化せずに第２の基準画像が第３〜第Ｎの画像まで順次更新された極端なケースを想定すれば、変形情報は１＋２＋３＋・・・＋Ｎ−２＝（Ｎ−２）（Ｎ−１）／２回求める必要が生じる。つまり、負荷の大きい変形情報の算出処理を行う回数が多く非効率的である。

その点、隣り合う変形情報を用いるのであれば、画像列取得部２００が画像列としてＮ枚の画像を取得したとすると、変形情報は隣り合う画像間でＮ−１回求めれば十分である。この場合、Ｎ枚の画像の中から基準画像と判定対象画像が選択された際に、Ｎ−１個の変形情報のうち必要なものを合成する処理は必要になるが、上述したとおり当該合成処理は変形情報の算出処理に比べて負荷は軽い。

また、処理部１００は、注目領域のサイズに比例したサイズの構造要素を設定してもよい。

これにより、注目領域のサイズと構造要素のサイズを対応づけることが可能になる。なお、本実施形態では注目領域のサイズと構造要素のサイズは同等（狭義には同一）のものを用いればよいが、後述する第３の実施形態では、構造要素のサイズを注目領域のサイズの２倍等に設定することになる。ここでは、非被覆領域（或いはそれに相当する領域）に注目領域と同じサイズの領域が完全に収まってしまうか否かに基づき、判定対象画像の削除可否判定を行っているため、注目領域のサイズと構造要素のサイズの比率は、処理内容に応じて決定される。

また、第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、処理部１００は、第１の画像を基準画像として選択するとともに、第ｋ（ｋは２≦ｋ≦Ｎ−１を満たす整数）の画像を判定対象画像として選択してもよい。そして、基準画像と判定対象画像の間の変形情報、及び注目領域に対応する構造要素を用いた処理に基づいて、判定対象画像の削除可否の判定を行う。さらに、第ｋの画像が削除可能と判定された場合には、判定対象画像として第ｋ＋１の画像を選択する。

ここで、入力画像列とはこの処理（基準画像・判定対象画像の選択、削除可否判定、及び削除可能な場合の判定対象画像の更新）の対象となる画像列のことであり、画像列取得部２００が取得した画像列であってもよいし、当該画像列の一部の画像からなる画像列であってもよい。

これにより、入力画像列が入力された場合に、図７（Ａ）〜図７（Ｂ）等に示したような処理が可能となる。ここでは基準画像の後方（例えば最初は基準画像と隣り合う画像）から判定対象画像を選択し、選択した判定対象画像が削除可能である場合には、判定対象画像をさらに後方のものに更新する。つまり、基準画像に近いところから順々に削除できるか（基準画像で十分カバーできているか）を判定していき、削除できなくなるところを検索することになる。なお、ここで削除可能と判定された判定対象画像は基本的には削除され、要約画像列には含まれないものとするが、これには限定されず、削除可能と判定された判定対象画像の一部を要約画像列に含めてもよい。

また、処理部１００は、基準画像として選択された画像を、要約画像列に含める処理を行ってもよい。それとともに、判定対象画像として選択された第ｋの画像が削除不可と判定された場合には、第ｋ〜第Ｎの画像からなる部分画像列を新たな入力画像列として設定し、設定された入力画像列に対して再度処理を行ってもよい。

これにより、図７（Ｃ）に示した処理が可能となる。削除可否判定処理は、上述したように構造要素による収縮処理に基づいて行われることから、削除可能と判定された判定対象画像を削除したとしても、基準画像を残すことにより注目領域の少なくとも一部は観察できる。つまり、本実施形態では基準画像を要約画像列に含めることになる。また、第ｋの画像が削除不可とされた場合には、第ｋの画像は基準画像では十分カバーできないということであるから、第ｋの画像は要約画像列に残すべきである。つまり、第ｋの画像を次の基準画像に設定すればよく、具体的には例えば第ｋ〜第Ｎの画像からなる部分画像列を新たな入力画像列として設定すればよい。このようにすれば、図７（Ｄ）に示したように入力画像列の先頭の画像、すなわち画像列取得部２００が取得した画像列における第ｋの画像が基準画像として選択され、第ｋ＋１の画像以降の画像が判定対象画像として順次選択される。なお、図７（Ｄ）の画像列の一部の画像からなる部分画像列が新たに入力画像列として設定されてもよく、この処理は反復して（或いは再帰的に）行われる。

また、本実施形態の画像処理装置は、複数の画像を有する画像列を取得する画像列取得部２００と、画像列取得部が取得した前記画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部１００とを含み、処理部１００は、複数の画像から、基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、基準画像により判定対象画像が覆われる領域である被覆領域を求め、被覆領域に基づいて、注目すべき領域である注目領域の見逃し可能性を判定し、見逃し可能性の判定結果に基づいて、判定対象画像の削除可否判定を行うものであってもよい。

ここで、注目領域の見逃し可能性とは、ユーザにより注目領域が観察されることがない可能性のことである。例えば、画像要約処理前の画像列に含まれる所与の画像上に撮像されていた注目領域が、画像要約処理後の要約画像列に含まれるどの画像上にも撮像されていないという状況では、要約画像列だけを見ているユーザは当該注目領域を観察することは不可能であり、見逃し可能性は１００％ということになる。逆に、要約画像列に含まれる画像上に注目領域が撮像されている場合には、見逃し可能性は０％とすればよい。つまり、ここでの見逃し可能性とは、要約画像列に含まれる画像上に注目領域が撮像されているにもかかわらず、ユーザの不注意により見逃すという状況は考慮しておらず、単純に要約画像上に撮像されているか否かを問題とするものである。ただし、見逃し可能性は０％と１００％の２値に限定されるものではなく、その間の値をとってもよい。例えば、注目領域全体の面積に対する、要約画像上の注目領域の面積の比率等を見逃し可能性として用いてもよい。

これにより、注目領域の見逃し可能性を考慮した画像要約処理が可能になる。上述したように、注目領域とは医療分野での病変部等であるため、注目領域の見逃しを抑止することは非常に有用である。

なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサが実行する。ここで、情報記憶媒体（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

３．第２の実施形態
ここでは、基準画像及び判定対象画像を選択する他の手法について説明する。本実施形態では、基準画像として、第１の基準画像と第２の基準画像の２枚の画像を選択することになる。まず、基本的な手法について説明し、その後、２つの変形例について説明する。なお、本実施形態と他の実施形態との違いは基準画像及び判定対象画像の選択手法にあり、選択された基準画像及び判定対象画像による削除可否判定処理については、他の実施形態で説明する手法を用いるものであるため、詳細な説明は省略する。

３．１ 第２の実施形態の基本的な手法
図８に本実施形態における画像処理装置のシステム構成例を示す。図４の処理部１００に対して第２の基準画像選択部１００７が追加された構成となっている。

基準画像選択部１００１は、第１の基準画像を選択する。第２の基準画像選択部１００７は、第１の基準画像よりも２つ以上後方の画像を第２の基準画像として選択する。また、判定対象画像選択部１００２は、基準画像よりも後方であり、かつ第２の基準画像よりも前方の画像を判定対象画像として選択する。なお、図８では基準画像選択部１００１と第２の基準画像選択部１００７を分けたがこれに限定されるものではなく、基準画像選択部１００１が第１の基準画像及び第２の基準画像の両方を選択するとしてもよい。

図９に本実施形態の画像要約処理を説明するフローチャートを示す。Ｓ２０１〜Ｓ２０３についてはＳ１０１〜Ｓ１０３と同様である。Ｓ２０３の後、Ｓ２０３で選択された第１の基準画像よりも２つ以上後方の画像を第２の基準画像として選択する（Ｓ２１０）。そして、判定対象画像を設定する（Ｓ２０４）。判定対象画像が未設定の場合には、第１の基準画像の次の画像（入力画像列の２番目の画像）を判定対象画像として選択する。また、すでに入力画像列のｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１ずらして入力画像列のｋ＋１番目の画像を新たな判定対象画像として選択する。ただし、判定対象画像の選択範囲は、入力画像列の最後の画像までではなく、第２の基準画像と一致するまでとなる。

判定対象画像が第２の基準画像と一致していない場合には、変形情報を取得し（Ｓ２０５）、取得した変形情報に基づいて被覆領域を算出する（Ｓ２０６）。ここでは、第１の基準画像と判定対象画像との間の変形パラメータに基づいて第１の候補領域を算出するとともに、第２の基準画像と判定対象画像との間の変形パラメータに基づいて第２の候補領域を算出する。そして、図１０に示したように第１の候補領域と第２の候補領域の和集合に対応する領域を被覆領域とすればよい。なぜなら、本実施形態の手法とは、第１の基準画像と第２の基準画像の両方を残した場合に、判定対象画像が十分カバーされているかを判定しているものであるから、第１の候補領域と第２の候補領域の少なくとも一方によりカバーされている領域は被覆領域とすることができるからである。つまり、本実施形態での非被覆領域は、第１の候補領域と第２の候補領域のいずれにも含まれない領域（第１の実施形態と同様に判定対象画像のうち被覆領域ではない領域）が設定されることになる。

Ｓ２０７〜Ｓ２０９についてはＳ１０７〜Ｓ１０９と同様である。Ｓ２０８で削除可能と判定された場合には、Ｓ２０４に戻り判定対象画像を１つ後方の画像に更新する。更新の結果判定対象画像が第２の基準画像と一致する場合にはＳ２１０に戻り、第２の基準画像を１つ後方の画像に更新する。また、第２の基準画像が更新された場合には、判定対象画像の選択状態をリセットする。判定対象画像が第２の基準画像と一致しない場合にはＳ２０５以降の処理が行われる。

また、Ｓ２０８で判定対象画像が削除不可と判定された場合には、基準画像と、現時点での第２の基準画像の２枚では、その間に挟まれる全ての画像をカバーすることができないということになるため、現時点の第２の基準画像よりも１つ前の画像を要約画像列に残す必要がある。よって、部分画像列として、現在の第２の基準画像よりも１つ前の画像、及びそれ以降の画像を含む画像列を設定し（Ｓ２０９）、Ｓ２０３に戻る。

以上の画像要約処理を図示したものが図１１（Ａ）、図１１（Ｂ）である。全画像列ｋ番目の画像が第１の基準画像として選択されているとする（なお、１〜ｋ−１番目の画像については処理が終了しており、ｋ〜Ｎ番目の画像が部分画像列として設定された場合に相当する）。そして、ｋ＋２番目の画像を第２の基準画像として選択する。

さらに第１の基準画像と第２の基準画像の間の画像の前方から判定対象画像を選択し、判定対象画像の削除可否判定を行う。

図１１（Ａ）に示したように、第１の基準画像と第２の基準画像の間の画像の全てについて、削除可能と判定された場合には、第２の基準画像として、第１の基準画像に比べてさらに離れた画像を選択してもよい可能性があるということであるから、図１１（Ｂ）に示したように第２の基準画像の再選択を行う。具体的には、ｋ＋２番目だった第２の基準画像を、ｋ＋３番目に更新すればよい。

そして、再度第１の基準画像と第２の基準画像の間の画像について削除可否の判定を行う。図１１（Ｂ）に示したように、削除不可と判定された判定対象画像があった場合には、第１の基準画像と現在の第２の基準画像の２枚では、間に含まれる全ての画像をカバーすることができない（具体的には削除不可と判定された判定対象画像がカバーできない）ということであるから、第２の基準画像の更新（選択位置のインクリメント）が不適切であったと考えられる。

よって、現時点の第２の基準画像の１つ前の画像（図１１（Ａ）での第２の基準画像に相当）及びそれ以降の画像を含む画像列を部分画像列として設定する。これにより、図１１（Ａ）の時点での第２の基準画像が、次の処理での基準画像として選択されることになり、要約画像列に残される画像により、削除される画像がカバーされることが保証される。

なお、以上の説明では、Ｓ２０３において基準画像として入力画像列の先頭の画像が選択されるものとしたが、Ｓ２０３の処理が初めて行われる場合についてはこの限りではない。本実施形態では、判定対象画像の後方にある第２の基準画像によりカバーされるのであれば、当該判定対象画像は削除することができる。つまり、図１２（Ａ）に示したように、例えば３番目の画像により、１番目及び２番目の画像がカバーされるのであれば、１〜２番目の画像は要約処理後の画像に残す必要はない。よって、先頭の画像は必ずしも残される必要がなく、先頭の画像を基準画像とする手法では要約画像列に含まれる画像の枚数を不必要に増やしてしまう恐れがある。

そこで、本実施形態では最初の基準画像は画像列取得部２００で取得した画像列の先頭画像である必要はない。具体的な手法の一例を示す。図１２（Ｂ）に示したように、第１の基準画像として実際には存在しない０番目の画像を選択する（ここでの選択処理は便宜的なものであり、実際に０番目の画像を用意する等の処理は不要である）。そのようにすると、Ｓ２１０での第２の基準画像選択処理により、２番目の画像が選択され、判定対象画像はその間の画像（ここでは１番目の画像のみ）が順次選択されることになる。Ｓ２０６〜Ｓ２０８の処理は、第１の基準画像が実際には存在しない以上、判定対象画像と第２の基準画像との間で行われる。２番目の画像により１番目の画像がカバーされていれば、図９の処理に従って図１２（Ｃ）に示したように第２の基準画像が更新され、３番目の画像に移行し、当該３番目の画像により１〜２番目の画像がカバーできるかの判定を行う。以下、処理が繰り返されれば、図１２（Ｄ）に示したように、ｋ−１番目の画像を第２の基準画像とすれば、１〜ｋ−２番目の画像を全てカバーできるが、ｋ番目の画像を第２の基準画像としても、１〜ｋ−１番目の画像を全てカバーすることができないｋを見つけることができる。その場合には、Ｓ２０８で削除不可と判定され、Ｓ２０９において、ｋ−１〜Ｎ番目の画像からなる画像列が部分画像列に設定され、Ｓ２０３に戻る。２回目以降のＳ２０３での処理は、上述したように入力画像列の先頭の画像が基準画像として選択されるため、ｋ−１番目の画像は基準画像として要約画像列に残される。上述したように、ｋ−１番目の画像により、１〜ｋ−２番目の画像をカバーできるため、当該１〜ｋ−２番目の画像を削除することができ、要約画像列には含まれる画像の枚数を削減することが可能になる。

以上の本実施形態では、第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、処理部１００は、第ｐの画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２≦ｑ≦Ｎ−１を満たす整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ−１を満たす整数）の画像を判定対象画像として選択する。そして、第１の基準画像と判定対象画像の間の変形情報と、第２の基準画像と前記判定対象画像の間の前記変形情報に基づく処理、及び注目領域に対応する前記構造要素を用いた処理の結果に基づいて判定対象画像の削除可否の判定を行う。さらに、第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、第２の基準画像として第ｑ＋１の画像を新たに選択する。

これにより、図１１（Ａ）、図１１（Ｂ）に示したように、判定対象画像の前方及び後方に基準画像を設定した上で、被覆率に基づいた画像要約処理が可能になる。この場合、２つの基準画像を用いるため、判定対象画像を削除可能と判定できる可能性が高くなり、要約処理後の画像枚数を少なくすることが可能になる。また、第１の基準画像と第２の基準画像の間に設定された判定対象画像が削除可能と判定された場合（狭義には全ての判定対象画像が削除可能な場合であるが、これに限定する必要はない）には、第１の基準画像と第２の基準画像の間をさらに広げたとしても、その間の画像をカバーできる可能性があるということであるから、第２の基準画像を現在の第２の基準画像よりも後方の画像に更新する。

なお、上述したように本実施形態では判定対象画像の後方に基準画像を設定してもよいことから、最初の処理においては第１の基準画像を先頭の画像にする必要はない。２番目以降の所与の画像により、それ以前の全ての画像がカバーされるのであれば、当該所与の画像を基準画像とすることで、それ以前の画像を削除できるためである。

また、処理部１００は、第１の基準画像として選択された画像を、要約画像列に含める処理を行ってもよい。また、第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、第ｑ−１〜第Ｎの画像からなる部分画像列を入力画像列として設定し、設定された入力画像列に対して、ｐの値を１に設定した上で再度処理を行う。

これにより、第１の実施形態で基準画像を要約画像列に含めることとしたのと同様に、本実施形態でも第１の基準画像を要約画像列に含めることが可能になる。また、第１の基準画像と第２の基準画像の間の判定対象画像のうち少なくとも１つが削除不可である場合とは、第１の基準画像と第２の基準画像の間を広げすぎたケースに相当するため、その際の第２の基準画像の前方にある（狭義には前方にあり且つ直近にある）画像は要約画像列に残すべきである。よって、第ｑ−１〜第Ｎの画像からなる部分画像列を入力画像列として設定し、設定された入力画像列に対して、第１、第２の基準画像及び判定対象画像の選択処理、削除可否判定処理、条件によっては第２の画像の更新処理等を再度行う。なお、設定された部分画像列については、その先頭画像を要約画像列に残すべきであるから、上述のパラメータｐは１とすることが望ましい。

３．２ 変形例（第２の基準画像の他の更新手法）
次に第２の実施形態の変形例について述べる。なお、この変形例では第２の基準画像の選択手法について述べる関係上、削除可否判定について同様の表記が繰り返されることになる。よって文章を簡略化するために、第ｑの画像を第２の基準画像として選択して削除可否判定を行った結果、第１の基準画像と第２の基準画像の間の画像が全て削除可能と判定された状況を「第ｑの画像がＯＫである」と表記し、第１の基準画像と第２の基準画像の間の少なくとも１枚の画像が削除不可である状況を「第ｑの画像がＮＧである」と表記する。

上述の手法では、第ｑの画像がＯＫである場合には、第２の基準画像を再度選択していたが、選択される新たな第２の基準画像は、第ｑ＋１の画像に限定されていた。

入力画像列として第１〜第Ｎの画像が入力され、第１の基準画像として第１の画像を選択した場合、第ｑの画像が第２の基準画像として選択されると判定対象画像の候補としてｑ−２枚の画像（第２〜第ｑ−１の画像）が考えられ、判定処理はｑ−２回行われることになる。仮に１回も判定対象画像が削除不可と判定されることなく画像要約処理が終了したとすると、ｑとしては３〜Ｎ（仮想的な画像を考慮すればＮ＋１を含んでもよい）が選択されるため、少なくとも１＋２＋３＋…＋Ｎ−２＝（Ｎ−２）（Ｎ−１）／２回の処理が必要となり、計算量のオーダーはＮ^２となってしまう。つまり、上述した手法ではＮが非常に大きくなると計算量が飛躍的に増えてしまい好ましくない。

そこでここでは、第２の基準画像を再度選択する場合に、その対象を隣り合う画像に限定せず、選択の幅を広げることで計算量を削減する。具体的には、第ｑの画像がＯＫである場合に、新たな第２の基準画像を第ｑ＋１の画像に限定せず、第ｑ＋２の画像及びその後方の画像から選択することを許容する。この場合、第ｑの画像がＮＧであったとしても、第ｑ−１の画像がＯＫであるか否かはわからない（第ｑ−１の画像が第２の基準画像として選択されていない可能性があるため）。よって、第２の実施形態の基本的な手法のように、第ｑの画像がＮＧだからといって即座に第ｑ−１の画像を要約画像として残すという処理を行うのではなく、基本的には第ｑの画像よりも前方の画像を新たな第２の基準画像として選択することで前方の画像について判定を行うことになる。

つまり、この変形例では終了条件を満たすまでは、ＯＫの場合は後方に、ＮＧの場合は前方に第２の基準画像を更新することで、第１の基準画像の次の要約画像を探索することになる。新たな第２の基準画像の位置を適切に設定することで、次の要約画像の発見までに第２の基準画像として選択される画像の枚数を減らすことができ、計算量も削減できる。なお、ここでの計算量削減とは、計算量の期待値の削減にとどまるものであり、第１の基準画像の次の要約画像の位置によっては、上述の手法の方が少ない計算量となる可能性は否定できない。以下、変形例の手法を詳細に説明する。

画像処理装置のシステム構成例は図８と同様であり、第２の基準画像選択部１００７での第２の基準画像の選択処理（更新処理）が異なる。よって同様の部分については詳細な説明は省略し、異なる点を説明する。

入力画像列が入力されたら、基準画像選択部１００１は第１の基準画像を選択する。ここでは上述したように入力画像列の先頭の画像（第１の画像）を選択する。なお、入力画像列が画像列取得部２００で取得した画像列である場合（最初の第１の基準画像選択処理が行われる場合）において、先頭以外の画像（例えば仮想的な０番目の画像）を第１の基準画像として選択してもよい点は同様であるが、以下では断りがない限り、第１の基準画像は先頭の画像であるものとして説明する。

その後第２の基準画像を選択する。ここでは、第２の基準画像の選択対象となる画像に対応する第２の基準画像選択区間（実際には第１の基準画像の次の要約画像を探索する範囲に相当）を設定する。第ｉの画像〜第ｊの画像に対応する半開区間［ｉ，ｊ）を第２の基準画像選択区間とし、ｉを第１の基準画像の次の画像に対応させ（狭義にはｉ＝２）、ｊ＝Ｎ＋２とする。なお、ｊ＝Ｎ＋２としたのは、第１の基準画像として仮想的な第０の画像を設定してもいいように、第２の基準画像として仮想的な第Ｎ＋１の画像を設定してもよいためである。第２の基準画像が第Ｎ＋１の画像である場合とは、第１の基準画像だけでその後方の画像全てをカバーでき、第２の基準画像が不要であるか否かを判定する場合に相当する。

そして、設定された第２の基準画像選択区間から第２の基準画像を選択する。ここでは効率的に処理を行うために、第２の基準画像を所与の条件に基づいて決定する。まず、第１の基準画像設定後、初めて第２の基準画像が選択される場合には、第２の基準画像として第ｉ＋１の画像（狭義には第３の画像）を選択する。この点は第２の実施形態の基本的な手法と同様である。

ここまでの処理を図示したものが図１３（Ａ）である。ここではＮ＝１２の画像列を考えており、第１の基準画像が１番目の画像、第２の基準画像選択区間が２番目の画像〜１４番目の画像（ｉ＝２，ｊ＝１４）、第２の基準画像が３番目の画像となっている。

第２の基準画像が選択された後の、判定対象画像選択処理、被覆領域（非被覆領域）算出処理、注目領域見逃し可能性判定処理、及び削除可否判定処理、及びこれらの処理の繰り返しについては上述の手法と同様であるため詳細な説明は省略する。

所与の画像（最初は第３の画像）を第２の基準画像として選択した場合に、その画像がＯＫであれば、第２の基準画像の位置を第１の基準画像からさらに離してもよいということであるから、新たな第２の基準画像として、現在のものよりも後方の画像を選択する。この考え方自体は第２の実施形態の基本的な手法と同様である。しかし、上述の手法では第２の基準画像を１つずつ後方に移していったが、ここでは２つ以上後方の画像に移行してもよい。

一例としては、現在の第２の基準画像が第１の基準画像から数えてａ番目の画像である場合に、第１の基準画像から数えて２×ａ番目の画像を新たな第２の基準画像としてもよい。具体的には図１３（Ｂ）に示したように、３番目の画像（第１の基準画像から数えて２番目）が第２の基準画像として選択された場合に、当該３番目の画像がＯＫであれば、次の第２の基準画像は５番目（第１の基準画像から数えて４番目）の画像を選択することになる。

ところで、ｑ番目の画像がＯＫならば、ｑ−１番目以前の画像は要約画像列に残される要約画像として選択する必要はない。よって、第２の基準画像として現在位置（ｑ番目）よりも前方の画像を選択するメリットはないため、第２の基準画像選択区間を更新するとよい。具体的には、選択区間の始点ｉをｉ＝ｑとすればよい。この変形例では、第２の基準画像は第２の基準画像選択区間から選択されることとしているため、こうすることで現在位置よりも前方の画像を選択することがなくなる。例えば、図１３（Ｂ）に示したように、３番目の画像がＯＫである場合、２番目の画像は要約画像とはならないため、選択区間から外してよく、選択区間の始点を３番目の画像に更新する。

同様に、５番目の画像がＯＫならば、図１３（Ｃ）に示したように９番目の画像を新たな第２の基準画像として選択するとともに、第２の基準画像選択区間の始点を５番目の画像に更新する。

しかし、図１３（Ｃ）において仮に９番目の画像がＯＫである場合を考えればわかるように、ｑ番目の画像を第２の基準画像として、当該第ｑの画像がＯＫの場合に、ｑの値が大きくなると新たな第２の基準画像が極端に後方になってしまう可能性がある。例えば、Ｎ＋１番目よりも後方の画像が候補になってしまい第２の基準画像が選択不可となったり、そうでなくても更新前後の第２の基準画像の間隔が広くなりすぎて、次の要約画像の探索が非効率的になったりする。

そこで、新たな第２の基準画像として現在位置よりも後方の画像を選択する場合に、他の手法を併用してもよい。一例としては新たな第２の基準画像を、（ｑ＋ｊ）／２の値に基づいて決定する。例えば９番目の画像がＯＫの場合、第２の基準画像選択区間の始点が９番目の画像に更新されるため、［９，１４）の半開区間となる。つまり、その中央付近の画像を新たな第２の基準画像とすることで、探索範囲の中央を処理対象とすることになる。探索範囲の中央について判定を行うことで探索範囲を半減させていく手法は、広く知られている二分探索に他ならず、二分探索が計算量の面で利点があることもまた広く知られている。本実施形態の第２の基準画像選択区間とは、所与の画像がＯＫであればそれより前方の画像は全てＯＫと考えてよく、所与の画像がＮＧであればその後方の画像は全てＮＧと考えてよいという性質のものであり、二分探索の手法を適用可能である。つまり、更新前の第２の基準画像と、第２の基準画像選択区間の終点との中間付近から、新たな第２の基準画像を選択することで、効率的な処理が期待できる。

ここでは、第１の基準画像起点の距離を２倍にしていく手法と、二分探索に対応する手法を併用するものとする。例えば、第ｑの画像が更新前の第２の基準画像である場合に、次の第２の基準画像として下式（１）を満たす第ｋの画像とすればよい。ここでmin(a,b)はａとｂのうち小さい方を表すものである。

一方、上述したように第ｑの画像がＮＧの場合には、ＯＫの場合とは逆に現在位置よりも前方から新たな第２の基準画像を選択することになる。どの程度前方の画像を選択するかは種々の手法により決定可能であるが、例えばここでも二分探索に対応した手法を用いてもよい。この場合、第２の基準画像選択区間の始点が第ｉの画像であるため、新たな第２の基準画像は、（ｉ＋ｑ）／２の値に基づいて決定される。また、第ｑの画像がＮＧである以上、第ｑの画像及びその後方の画像は要約画像として選択されることはない。よって第２の基準画像選択区間の終点を更新してよく、ｊ＝ｑとすればよい。９番目の画像がＮＧである場合の例を図１３（Ｄ）に示す。新たな第２の基準画像として７番目の画像が選択されるとともに、第２の基準画像選択区間の終点ｊがｊ＝９に更新される。

なお、第２の基準画像選択区間が半開区間であるとしたのは、ここでの説明の便宜のためである。つまり、第ｑの画像がＯＫの場合は、当該第ｑの画像は要約画像として選択される可能性を残しているため、第２の基準画像選択区間の始点ｉをｉ＝ｑとした場合に、ｉは第２の基準画像選択区間に含まれているとよい。一方、第ｑの画像がＮＧの場合は、当該第ｑの画像は要約画像として選択されないため、第２の基準画像選択区間の終点ｊをｊ＝ｑとした場合に、ｊは第２の基準画像選択区間に含めないほうがよい。以上のことから、第２の基準画像選択区間を［ｉ，ｊ）としたにすぎず、符号や式の表記次第では開区間や閉区間により第２の基準画像選択区間を表すことに何も問題はない。

以上の処理により、第２の基準画像選択区間（狭義には次の要約画像の探索範囲）を狭めていく。次の要約画像とは、第ｋの画像がＯＫであり且つ第ｋ＋１の画像がＮＧである場合の第ｋの画像であるから、ＯＫの画像とＮＧの画像が隣り合っている箇所が見つかったら処理を終了することになる。上述の例では、終了の直前では二分探索的に処理を行っていくことが想定され、例えば図１３（Ｅ）のようになる。第ｉの画像はＯＫであり、その２つ隣の第ｊの画像はＮＧであり、その間の第ｑの画像が第２の基準画像となっている。この場合、第ｑの画像がＯＫであれば図１３（Ｆ）、ＮＧであれば図１３（Ｇ）のようになり、どちらにせよ第２の基準画像選択区間の始点と終点が隣り合い、且つ始点に対応する画像がＯＫ、終点に対応する画像がＮＧとなる。よって、次の要約画像として始点に対応する画像を選択すればよいため、入力画像列に対する探索処理は終了する。

次の要約画像が見つかったのであれば、当該画像及びそれ以降の画像からなる部分画像列を入力画像列として設定すればよい点は第２の実施形態の基本的な手法と同様である。よって、部分画像列設定部１００８は、第２の基準画像選択区間の始点、及びそれ以降の画像を部分画像列に設定し、当該部分画像列を新たな入力画像列とする。新たな入力画像列が与えられたら、それ以降の処理については同様であるため詳細な説明は省略する。

図１４にこの処理を説明するフローチャートを示す。Ｓ３０１〜Ｓ３０３についてはＳ２０１〜Ｓ２０３と同様である。Ｓ３０３で第１の基準画像が選択された後に、第２の基準画像選択区間を設定する（Ｓ３１１）。Ｓ３０３の直後に行われるＳ３１１の処理としては、例えば上述したようにｉ＝２，ｊ＝Ｎ＋２を満たす［ｉ，ｊ）の半開区間を設定すればよい。また、後述するようにＳ３０４やＳ３０８の後にＳ３１１の処理が行われる場合には、すでに設定されている第２の基準画像選択区間の更新処理となる。

Ｓ３１１で第２の基準画像選択区間の設定（或いは更新）処理が行われたら、その始点と終点が隣り合うか（ｊ＝ｉ＋１を満たすか）の判定を行う（Ｓ３１２）。Ｓ３１２でＹｅｓの場合には、図１３（Ｆ）に示したように第ｉの画像が、第１の画像の次の要約画像であるとわかった状況であるから、第ｉの画像及びそれ以降の画像を部分画像列に設定し（Ｓ３０９）、Ｓ３０３に戻る。

Ｓ３１２でＮｏの場合には、まだ次の要約画像が見つかっていない状況であるから、Ｓ３１１で設定した第２の基準画像選択区間から第２の基準画像を選択する（Ｓ３１０）。Ｓ３０３による第１の基準画像設定後、初めてＳ３１０の処理が行われる場合には、例えば第ｉ＋１の画像（第１の基準画像の２つ後方の画像）を選択すればよい。それ以外の場合には、直前の第２の基準画像の位置に応じて、新たな第２の基準画像を選択する処理を行うことになる。

Ｓ３１０で第２の基準画像を選択したら、判定対象画像を選択する（Ｓ３０４）。判定対象画像選択後の変形情報取得処理（Ｓ３０５）、被覆領域算出処理（Ｓ３０６）、注目領域見逃し可能性判定処理（Ｓ３０７）、画像削除可否判定処理（Ｓ３０８）についてはＳ２０５〜Ｓ２０８と同様である。Ｓ３０８で削除可能と判定された場合には、Ｓ３０４に戻り判定対象画像を１つ後方の画像に更新し、同様の処理を行う。Ｓ３０４〜Ｓ３０８の処理を繰り返すことで、第１の基準画像と第２の基準画像の間の画像が全て削除可能であるか、或いは少なくとも１つが削除不可であるかの判定が実行される。全て削除可能の場合にはＳ３０４の判定で、判定対象画像＝第２の基準画像となり、Ｓ３１１に戻る。また、少なくとも１枚の画像が削除不可である場合にはＳ３０８の判定で削除不可となりＳ３１１に戻る。なお、図１４では不図示であるが、Ｓ３０４からＳ３１１に戻ったのか、或いはＳ３０８からＳ３１１に戻ったのかという情報を保持しておき、それに応じて次のＳ３１１等での処理を変更する必要がある。

Ｓ３０４からＳ３１１に戻った場合には、全ての画像が削除可能な状況であるため、第２の基準画像選択区間の始点を更新する処理を行い、その結果Ｓ３１０では１つ前の第２の基準画像よりも後方の画像が新たな第２の基準画像として選択される。一方、Ｓ３０８からＳ３１１に戻った場合には、少なくとも１枚の画像が削除不可である状況であるため、第２の基準画像選択区間の終点を更新する処理を行い、その結果Ｓ３１０では１つ前の第２の基準画像よりも前方の画像が新たな第２の基準画像として選択される。

以上の変形例では、第１〜第Ｎの画像からなる入力画像列から、第ｐの画像が第１の基準画像として選択され、第ｑの画像を第２の基準画像として選択する場合に、処理部１００は、第ｐ＋２〜第Ｎの画像に対応する始点及び終点が設定された第２の基準画像選択区間から第２の基準画像を選択する。そして、第１の基準画像と判定対象画像の間の変形情報を用いた処理、第２の基準画像と判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、判定対象画像の削除可否の判定を行う。第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、第２の基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな第２の基準画像として選択する。また、それとともに、第２の基準画像選択区間の始点を第ｑの画像に更新してもよい。

ここで、第２の基準画像選択区間は、第２の基準画像の候補となる画像という性質を鑑みれば、第ｐ＋２〜第Ｎの画像を含むことになる。ただし、第２の基準画像として第Ｎ＋１の画像のように仮想的な画像を選択してもよいため、第２の基準画像選択区間の終点がＮより大きくなってもよい。また、第２の基準画像選択区間には次の要約画像の探索範囲という側面もあるため、第２の基準画像として選択されない画像であっても、要約画像として選択されうる画像は当該選択区間に含まれるものとしてもよい。その場合第２の基準画像選択区間の始点として第１の基準画像の１つ後方の画像（第ｐ＋１の画像）を設定してもよいことになる。

これにより、第２の基準画像を更新する際に、新たな第２の基準画像の位置を柔軟に決定することが可能になる。第２の実施形態の基本的な手法は、言うなれば探索範囲を先頭から１つずつチェックして、探索範囲を減らしていく手法であるため、正解の位置によっては計算量が非常に多くなってしまう。その点、隣り合わない画像も新たな第２の基準画像として選択可能にすることで、一単位の判定（第ｑの画像がＯＫかＮＧかという判定）により探索範囲を大きく減らすことができる。よって、計算量の削減効果が期待でき、システムに対する負荷を軽減したり、処理時間を短縮したりすることが可能になる。

また、処理部１００は、第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、第２の基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな第２の基準画像として選択してもよい。それとともに、第２の基準画像選択区間の終点を第ｑの画像に更新する。

これにより、第２の基準画像を更新する際に、現在の第２の基準画像よりも前方の画像を、新たな第２の基準画像として選択することが可能になる。上述したように、後方への探索が隣り合う画像を選択するものに限定されない以上、現在の第２の基準画像よりも前方に未探索範囲が残っていることがありえ、削除可否の判定結果によっては当該未探索範囲に正解があるということが考えられる。その場合には、前方への探索を行うことで適切な処理を行うことが可能になる。また、後方への探索と同様に、新たな第２の基準画像の選択は隣り合う画像に限定されない。

また、処理部１００は、第ｊ（ｊは整数）の画像が第２の基準画像選択区間の終点に対応する場合に、（ｑ＋ｊ）／２の値に基づいてｘの値を設定してもよい。或いは、第ｉ（ｉは整数）の画像が第２の基準画像選択区間の始点に対応する場合に、（ｉ＋ｑ）／２の値に基づいてｙの値を設定してもよい。

これにより、新たな第２の基準画像を選択するに当たって、二分探索の手法を用いることが可能になる。後方への探索の場合には、現在の第２の基準画像と終点との中間となる画像を選択し、前方への探索の場合には、現在の第２の基準画像と始点との中間となる画像を選択することになる。よって、探索範囲（第２の基準画像選択区間の長さに相当）を半減させていくことが可能になり、第２の基準画像としてｌｏｇＮ枚の画像を選択すれば、全探索範囲の探索が終了することが期待される。よって、計算量のオーダーはＮ×ｌｏｇＮに抑えることができ、Ｎが非常に大きい場合には第２の実施形態の基本的な手法（計算量のオーダーはＮ^２）に比べて計算量の削減効果が大きい。なお、（ｑ＋ｊ）／２及び（ｉ＋ｑ）／２は整数になるとは限らないため、それぞれの値に対応する画像が存在しない場合もある。その際には、例えば（ｑ＋ｊ）／２を超えない最大の整数、或いはそれより１大きい整数等を考えればよい。

また、処理部１００は、第２の基準画像選択区間の始点又は終点を更新した結果、始点と終点が隣り合う場合に、第１の基準画像として選択された画像を、要約画像列に含める処理を行ってもよい。また、始点に対応する画像、及び始点に対応する画像よりも入力画像列において後方の画像からなる部分画像列を入力画像列として設定し、設定された入力画像列に対して、ｐの値を１に設定して再度処理を行ってもよい。

ここで、始点と終点が隣り合うとは、始点に対応する画像と終点に対応する画像が、入力画像列において隣り合うことを表す。入力画像列としてＮ枚の画像が与えられた場合には、入力画像列は時系列的に或いは空間的に連続する画像の集合であることが想定されているため、その連続性から画像列の前方、後方を定義することができる。例えば時系列的に早い時刻に取得された画像は、それより遅い時刻に取得された画像よりも前方の画像となる。具体的には、入力画像列の各画像を第１〜第Ｎの画像として表し、振られた数値が小さい画像ほど前方にあるものとする。よって、画像列中の第ｉの画像と第ｊ（＞ｉ）の画像が隣り合うとは、ｊ＝ｉ＋１を満たす状況を指す。

これにより、入力画像列に対する処理の終了条件として、第２の基準画像選択区間の始点、終点（或いは長さ）に基づく条件を設定することが可能になる。このような終了条件を設定することで、第２の基準画像として選択された場合にＯＫと判定される画像群のうち、第１の基準画像から最も離れていると予想される画像を、部分画像列の先頭画像（次の要約画像に相当）として選択することができる。なぜなら、図１３（Ｆ）等に示したように、この終了条件とはＯＫの画像とＮＧの画像が隣り合う位置を探索することに等しいためである。そのため、最終的に出力される要約画像列に含まれる要約画像の枚数を少なくすることができ、ユーザの負担軽減等が可能になる。

３．３ 変形例（第２の基準画像の初期設定）
以上の第２の実施形態及びその変形例では、入力画像列（画像列取得部２００が取得した画像列でもよいし、その一部の画像からなる部分画像列であってもよい）が入力された場合、最初に設定される第２の基準画像は、第１の基準画像の２つ後方の画像に限定されていた。

しかし、第２の基準画像の初期位置は異なるものであってもよい。例えば、実際の画像列では似たような画像が長く続く区間と、似たような画像があまりない区間が隣り合うことは多くない。つまり、次回の要約区間の長さ（隣り合う要約画像がどれだけ離れているかを表す）は、前回の要約区間の長さに近いことが予測される。よって、すでに要約画像が複数得られており、「前回の要約区間の長さ」に相当する情報が取得されているのであれば、第２の基準画像の初期位置を、第１の基準画像から「前回の要約区間の長さ」だけ離れた位置に設定することで、より早く正解に到達することが期待されることになり、計算量の削減効果も期待できる。

具体的には、直前の要約画像及びその１つ前の要約画像から、要約区間の長さｇを取得しておく。そして、第２の基準画像選択区間が［ｉ，ｊ）である場合に、第２の基準画像を第ｉ＋１の画像ではなく、第ｉ＋ｇの画像に設定すればよい。なお、すでに決定している要約画像が０枚又は１枚の場合にはｇを取得することができない。この場合には、ｇを用いずに第２の基準画像の初期位置を設定することになる。例えば、要約画像が０枚であれば、上述してきたように第２の基準画像を第ｉ＋１の画像にしてもよい。また、要約画像が１枚の場合には、画像列取得部２００が取得した画像列の先頭の画像から、当該要約画像までの長さをｇ’とし、最初の第２の基準画像を第ｉ＋ｇ’の画像としてもよい。

なお、第２の基準画像の更新処理が必要になった場合、その更新手法は種々の手法が考えられる。例えば、上述した変形例のように二分探索の手法を用いて次の第２の基準画像を選択してもよい。

しかし、第ｉ＋ｇの画像付近に次の要約画像がある可能性が高いという仮定を鑑みれば、更新後の第２の基準画像が第ｉ＋ｇの画像から大きく離れることは、次の要約画像発見までの探索回数を増大させかねず、かえって好ましくないと考えることもできる。その場合には、第２の実施形態の基本的な手法として述べたように、前回の第２の基準画像と隣り合う画像を新たな第２の基準画像として選択してもよい。ただし、第ｉ＋１〜第ｉ＋ｇ−１の画像について判定が行われていない以上、その範囲に次の要約画像がある可能性もある。よって、第２の基準画像の更新は１つずつ後方に移行させるものに限定されず、削除可否の判定結果次第では１つずつ前方に移行させる場合もあり得る。

４．第３の実施形態
次に、基準画像と判定対象画像が選択された後に行われる、判定対象画像の削除可否判定の変形例について説明する。なお、本実施形態においては被覆領域や非被覆領域を必ずしも求めるものではないが、基準画像により被覆されない領域（非被覆領域に相当）に注目領域が完全に収まってしまうか否かに基づいて、削除可否判定を行う点では同一である。

図１５に本実施形態における画像処理装置のシステム構成例を示す。図４の処理部１００に対して要被覆領域生成部１０１１と、要被覆領域包含判定部１０１２が追加された構成となっている。

要被覆領域生成部１０１１は、判定対象画像と構造要素に基づいて、要被覆領域を生成する。要被覆領域包含判定部１０１２は、生成された要被覆領域が基準画像に包含されるか否かを判定する。要被覆領域生成部１０１１と、要被覆領域包含判定部１０１２での処理の詳細は後述する。また、本実施形態の注目領域見逃し可能性判定部１０１３は、要被覆領域と基準画像との包含関係に基づいて、注目領域の見逃し可能性を判定する。

以下、処理の詳細について説明する。本実施形態では、判定対象画像全体に対して構造要素による収縮処理を行って削除可否判定を行う。具体的には、図１６（Ａ）、図１６（Ｂ）に示したように判定対象画像に対して注目領域に対応する構造要素による収縮処理を行い、残った領域を要被覆領域とする。構造要素を円形状とすれば、判定対象画像の境界（外周）を中心とする円を描き、当該円と判定対象画像との重複領域を削除し、残った領域が要被覆領域となる。

ここで本実施形態では、収縮処理により削られる領域を、注目領域を完全に含むことがないという条件を満たすように設定する。この条件下では、削られた領域には注目領域が完全に収まってしまうことがないため、基準画像により当該削られた領域がカバーされる必要はない。逆に言えば、削られずに残った要被覆領域とは、基準画像により被覆されることが求められる領域と言うことになる。

つまり、基準画像と判定対象画像の間の変形情報に基づいて、基準画像と要被覆領域との比較処理を行い、基準画像により要被覆領域がカバーされている場合には、判定対象画像は削除可能であると判定し、基準画像により要被覆領域がカバーされていない場合には、判定対象画像は削除不可であると判定すればよい。

ただし、収縮処理により削られる領域は、上記条件を満たすもののうち最大のものを設定することが望ましい。極端な例として、収縮処理により削られる領域が発生しない（収縮処理を行わない、或いは構造要素として大きさを持たない理想的な点を設定する等の場合に相当）場合を考える。このようにすれば、削られる領域が無い以上、削られた領域内に注目領域が完全に収まってしまうことがないという条件は満たす。しかし、判定対象画像全体が要被覆領域となるため、基準画像により判定対象画像全体が被覆されている（被覆率で言えば１００％の場合）にしか判定対象画像を削除可能とすることができない。そのため、画像要約処理による画像枚数の削減効果が著しく低下し、画像要約処理の本来の目的を達成することが困難となる。つまり、画像枚数を効果的に削減するためには、削除可能と判定される可能性を高くするべきであり、本実施形態であれば、判定対象画像を削除した場合にも、基準画像上には注目領域の少なくとも一部が撮像されているという条件を満たす状況では、判定対象画像を高確率で（狭義には必ず）削除可能と判定するとよい。そのためには、上述したように収縮処理により削られる領域は条件を満たすものの中で最大となる領域を設定するとよく、基本的には構造要素のサイズを可能な限り大きくすることで実現される。

なお、第１の実施形態では、構造要素による収縮処理の対象は非被覆領域であり、残留領域の有無により当該非被覆領域に注目領域に対応する領域が完全に収まってしまうか否かを判定していた。しかし本実施形態では、収縮処理の対象は判定対象画像全体であり、判定対象画像に注目領域全体が収まるということは、通常の観察時には当然のことである（撮像倍率の設定等によっては異なることもあるが、ここでは考慮しない）。よって、本実施形態では残留領域があるということはごく当たり前のことであり、残留領域の有無による判定に意味はない。なお、この処理上の差異は、第１の実施形態では、注目領域が完全に収まってしまうか否かの判定対象となる領域に対して収縮処理を個なっていたのに対して、本実施形態では収縮処理により削られた領域に注目領域が完全に収まってしまわないようにする、という違いに起因する。

この違いにより、本実施形態では注目領域に基づく構造要素の設定手法が第１の実施形態とは異なるものになる。第１の実施形態では、円形状の注目領域から矩形状の構造要素を設定する等の形状変更処理はあり得るものの、基本的には注目領域と同等のサイズ（狭義には同一のサイズ及び形状）の構造要素を設定していた。しかし、図１６（Ｂ）に示したように、半径ｒの円を構造要素とし、その基準点を円の中心とした場合、収縮処理により削られる領域は、収縮処理の対象領域の境界（本実施形態では判定対象画像の境界）から距離ｒ以下の領域となる。つまり、注目領域としてＲ＝ｒを満たす半径Ｒの円を考えた場合、図１６（Ｂ）の収縮処理で削られる領域は、当該領域に注目領域が完全に収まってしまうことがない、という条件は満たすものの、そのうちの最大の領域に比べると面積は小さいものとなる（言い換えれば、より大きい領域を削ったとしても上記条件は満たされる）。そのため、第１の実施形態と同様の構造要素を設定した場合には、上述したように画像要約処理での画像枚数の削減効果が低くなってしまう。

よって、本実施形態では第１の実施形態とは異なり、注目領域のサイズに比べて大きいサイズの構造要素を設定するとよい。例えば、構造要素として半径ｒの円を考え、その基準点を円の中心とした場合、収縮処理では判定対象画像の境界から距離ｒ以内の範囲が削除される。よって、単純に考えれば、削除される範囲に完全に収まってしまう円とは半径がｒ／２となる。つまり、注目領域を半径Ｒの円とすれば、注目領域が削られる領域に完全に収まらない条件とは、Ｒ≧ｒ／２を満たすこととなる。このことから、構造要素の半径ｒはｒ≦２Ｒとなり、例えば等号の成り立つ、ｒ＝２Ｒの円を構造要素として用いればよい。同様に、注目領域が一辺Ｌの正方形であれば、構造要素は一辺２Ｌの正方形とすればよい。つまり、基本的には注目領域の倍（面積ではなく、直径や最大径での比較）の構造要素を用いればよいことになる。

なお、判定対象画像や構造要素の形状によっては、上記の設定では削除可否判定の精度が低下する（見逃し可能性があるのに削除可能と判定してしまう）場合もありえる。その場合、精度を高めようとすると、構造要素のサイズは判定対象画像等の形状に応じて設定する必要があり、その設定処理の負荷が大きくなってしまう可能性もある。よって、本実施形態の手法を、第１の実施形態の手法に比べて、簡易的であり処理負荷の軽いものとして用いる（つまり、ある程度の精度低下を許容する）のであれば、判定対象画像等の形状によらず、注目領域の倍の構造要素を設定すればよい。

ただし、判定対象画像等の形状に応じて、適切な構造要素のサイズを決定してもよい。具体例を図１６（Ａ）〜図１６（Ｃ）を用いて説明する。図１６（Ａ）、図１６（Ｂ）のように四角形の判定対象画像に対して、半径ｒの円形状の構造要素で収縮処理を行った場合、判定対象画像の周縁部分が削られることになる。この場合、削られる領域に収まる最大の円の半径を厳密に考えると、図１６（Ｃ）に示したように判定対象画像の四隅部分において最大となり、下式（２）を満たす必要がある。

つまり、注目領域が半径Ｒの円である場合には、構造要素として円形状を用いるのであれば、その半径ｒは下式（３）を満たす必要があり、狭義には等号が成り立つｒを半径として用いればよい。

また、基準画像と要被覆領域との比較処理については、第１の実施形態で被覆領域を求めた処理と同様に、変形情報に基づく変形処理を行えばよい。例えば、図１７（Ａ）に示したように、要被覆領域を変形して基準画像に射影してもよい。この場合、変形後の要被覆領域が基準画像に含まれていれば、当該要被覆領域は基準画像によりカバーされていることになり、この場合の判定対象画像は削除可能となる。逆に、変形後の要被覆領域の少なくとも一部が基準画像に含まれない場合には、当該要被覆領域は基準画像によりカバーされていないことになり、この場合の判定対象画像は削除不可となる。

また、図１７（Ｂ）に示したように、基準画像と要被覆領域との比較処理は基準画像側を変形してもよい。つまり、基準画像を変形情報に基づいて変形し、判定対象画像に射影する。変形後の基準画像は第１の実施形態での被覆領域に相当するものであり、要被覆領域が被覆領域に含まれていれば、判定対象画像は削除可能であり、要被覆領域の少なくとも一部が被覆領域に含まれていなければ、判定対象画像は削除不可となる。

図１８に本実施形態の処理を説明するフローチャートを示す。この処理のＳ４０１〜Ｓ４０５については、図５のＳ１０１〜Ｓ１０５と同様であるため詳細な説明は省略する。Ｓ４０５の後、Ｓ４０２で生成した構造要素に基づいて要被覆領域を生成する（Ｓ４１０）。具体的には、図１６（Ａ）、図１６（Ｂ）のように判定対象画像に対して構造要素による収縮処理を行い、残存した領域を要被覆領域とすればよい。そして、要被覆領域が基準画像に包含されるかの判定を行う（Ｓ４１１）。具体的には、図１７（Ａ）に示したように、要被覆領域を変形情報により変形し、変形後の要被覆領域と基準画像を比較してもよいし、図１７（Ｂ）に示したように基準画像を変形情報により変形し、要被覆領域と変形後の基準画像を比較してもよい。

その後、注目領域見逃し可能性判定処理（Ｓ４０７）として、Ｓ４１１で要被覆領域が基準画像に包含されていると判定されたか否かに基づいて、見逃し可能性の有無を判定する。Ｓ４０８、Ｓ４０９については、図５のＳ１０８、Ｓ１０９と同様である。

以上の本実施形態では、処理部１００は、構造要素を用いた処理として、判定対象画像に対して構造要素による収縮処理を行って要被覆領域を求める処理を行ってもよい。そして、求めた要被覆領域、及び変形情報に基づいて、判定対象画像の削除可否判定を行う。

これにより、簡易的に注目領域の見逃し可能性を判定することが可能になる。画像列に含まれる複数の画像は、そのサイズや形状が変化することは少ない（狭義には全ての画像が同一のサイズ、形状となる）ことが想定されるため、判定対象画像についてもサイズや形状が同一のものが多いと考えられる。同一のサイズ、形状を有する複数の画像（領域）に対して、同一の構造要素による収縮処理を行った場合、収縮処理後の領域は同一のものとなる。つまり、複数の判定対象画像のサイズや形状が同一であれば、各判定対象画像から求められる要被覆領域は同一となるはずであり、全ての判定対象画像に対して構造要素による収縮処理を行う必要性は低い。よって、最初に一回要被覆領域を求める処理を行ったら、同一のサイズ、形状である判定対象画像については、その結果をそのまま用いればよいため、処理負荷を軽減することが可能になる。さらには、判定対象画像は単純な形状（例えば四角形や円形状等）であることが想定されるため、第１の実施形態での非被覆領域に対する収縮処理に比べて処理が容易である。なお、構造要素のサイズは注目領域のサイズの２倍を設定することが想定されるが、図１６（Ｃ）のようにｒ＝２Ｒでは注目領域の見逃しが発生するケースもあり得る点には注意が必要である。よって、状況に応じて処理を変更するとよく、ある程度の見逃しを許容し、処理負荷の軽減を重視する状況では、判定対象画像や注目領域の形状によらず、構造要素のサイズは注目領域のサイズの２倍であるものとすることで処理負荷のさらなる軽減が図れる。また、見逃し可能性の抑止を重視するのであれば、判定対象画像や注目領域の形状に応じて、注目領域のサイズに対する構造要素のサイズの比率を決定するとよい。

また、処理部１００は、変形情報を用いた処理として、基準画像と判定対象画像の間の変形情報に基づいて、要被覆領域を変形する処理を行ってもよい。そして、処理部１００は、変形後の要被覆領域が基準画像に含まれる場合に、判定対象画像が削除可能であると判定してもよい。

或いは、処理部１００は、変形情報を用いた処理として、基準画像と判定対象画像の間の変形情報に基づいて、基準画像を変形する処理を行ってもよい。そして、処理部１００は、要被覆領域が変形後の基準画像に含まれる場合に、判定対象画像が削除可能であると判定してもよい。

これにより、図１７（Ａ）又は図１７（Ｂ）に示した包含判定が可能になる。ここでの要被覆領域とは、基準画像により被覆されることが求められる領域であるところ、判定対象画像（つまり要被覆領域も）は基準画像に対して変形が生じていることが一般的であるから、基準画像及び要被覆領域との比較処理はその少なくとも一方を変形情報に基づいて変形する必要がある。

なお、入力画像列において基準画像と判定対象画像の間に中間画像が存在する場合には、基準画像と中間画像の間の変形情報に基づいて基準画像を変形するとともに、判定対象画像と中間画像の間の変形情報に基づいて要被覆領域を変形し、変形後の基準画像と、変形後の要被覆領域の包含判定を行うことで削除可否判定を行ってもよい。ただし、処理負荷等を考慮すれば、基準画像と要被覆領域のいずれか一方を変形する手法を用いることが望ましい。

５．第４の実施形態
また、構造要素による収縮処理を行わずに、判定対象画像の削除判定処理（つまり、非被覆領域に注目領域が完全に収まってしまうか否かの判定）を行ってもよい。ここでは、第１の実施形態と同様に、基準画像を変形情報に基づいて変形し、被覆領域を求める。

本実施形態の画像処理装置のシステム構成例は、第１の実施形態で用いた図４と同様であるため、詳細な説明は省略する。また、処理の詳細についても図５で示したフローチャートと同様であるため、詳細な説明は省略する。第１の実施形態との違いは、図４の注目領域見逃し可能性判定部１０１３、及び図５のＳ１０７の処理内容である。

本実施形態では、被覆領域の境界上に複数の点を設定し、各点について、判定対象画像の境界までの距離の最小値を求める。例えば、図１９（Ａ）のような被覆領域及び判定対象画像が取得された場合には、点ｐ１については最小値はｋ１となるし、ｐ２〜ｐ４では最小値はｋ２〜ｋ４となる。図１９（Ａ）ではｐ１〜ｐ４の４点を示したが、実際の処理では精度を確保するのに十分な数のＮ個の点について（狭義には被覆領域の境界に対応する全ての画素について）最小値を求めればよい。

そして、点ｐ１〜ｐＮについて、Ｎ個の最小値ｋ１〜ｋＮが取得されたら、ｋ１〜ｋＮのうち最大となるものを求める。このｋ１〜ｋＮのうち最大となるものは、非被覆領域の最大径に相当する情報と捉えることができるため、その値と構造要素（ここでは第１の実施形態と同様に注目領域と同等のサイズとする）の最小径との比較処理を行うことで、非被覆領域に注目領域が完全に収まってしまうか否かを簡易的に判定することができる。具体的には、ｋ１〜ｋＮのうちの最大値が構造要素の最小径より大きい場合には、注目領域が非被覆領域に完全に収まってしまう可能性があるものと判定し、判定対象画像を削除不可とする。逆に、ｋ１〜ｋＮのうちの最大値が構造要素の最小径以下の場合には、注目領域が非被覆領域に完全に収まってしまうことはないと判定し、判定対象画像を削除可能とする。

なお、判定対象画像が四角形の場合には、その四隅に広い非被覆領域が現れる可能性がある。例えば、図１９（Ａ）ではｐ４での最小値をｋ４としたが、非被覆領域の最大径としては点線で示したｋ’を考える方が適切である。そのため、判定対象画像の境界上に複数の点を設定し、各点について、被覆領域の境界までの距離の最小値を求め、求められた複数の最小値のうちの最大値を併用してもよい。このようにすれば、ｋ’も処理に用いることができ、非被覆領域の最大径に相当する情報を適切に求めることが可能になる。

なお、図１９（Ｂ）のように、判定対象画像が円形状であれば、各点での最小値（例えばｐ５，ｐ６でのｋ５，ｋ６等）は非被覆領域の最小径を適切に表しているものと考えられる。つまり、円形状の判定対象画像を用いる場合には、図１９（Ａ）のように四角形の判定対象画像を用いる場合と異なり、被覆領域の境界に複数の点を設定する手法と、判定対象画像の境界に複数の点を設定する手法のいずれか一方の手法をもちいれば十分である。よって、本実施形態の手法は円形状の判定対象画像を処理対象とする場合には、四角形の判定対象画像を対象として同程度の精度の処理を行おうとした場合に比べて、処理負荷を軽減する効果を発揮すると考えられる。また、円形状に比べると精度が低下する可能性はあるが、頂点数の多い多角形（８角形や１６角形等）を用いた場合にも、被覆領域の境界に複数の点を設定する手法と、判定対象画像の境界に複数の点を設定する手法のいずれか一方の手法によりある程度の精度を確保できると考えられる。ただし、判定精度を重視するのであれば、上記２つの手法を併用してもよい。

ただし、本実施形態の手法では、ｋ１〜ｋＮのうちの最大値が構造要素の最小径より大きい場合であっても、注目領域が非被覆領域に完全に収まってしまうことがないケースもある。例えば、図１９（Ｃ）に示したように、非被覆領域に注目領域が完全に収まってしまうことがないことが明らかな状況であっても、本実施形態の手法ではｐ７での最小値ｋ７が、構造要素の最小径との比較処理に用いられることになるため、図１９（Ｃ）の判定対象画像は削除不可と判定されてしまう。よって、円形状等の判定対象画像を用いたとしても、第１の実施形態の収縮処理を用いた場合と同程度の判定精度を確保できない（図１９（Ｃ）では本来削除できるものを削除しないため、画像枚数の削減効果が低下する）可能性がある点には注意が必要である。

以上の本実施形態では、処理部１００は、変形情報を用いた処理として、基準画像を変形情報を用いて変形して、基準画像により判定対象画像が覆われる領域である被覆領域を求めてもよい。そして、求めた被覆領域の境界上に設定された複数の点の各点において、判定対象画像の外周までの最短距離を求め、複数の点の各点において求められた最短距離のうちの最大値を求める処理を行う。また、処理部１００は、構造要素を用いた処理として、構造要素の最小径を取得し、取得した最小径と、最短距離のうちの最大値との比較処理に基づいて、判定対象画像のうち被覆領域以外の領域である非被覆領域に構造要素が含まれるか否かを判定する処理を行ってもよい。

ここで、構造要素の最小径とは、構造要素のサイズを表す値である。例えば、構造要素が円であれば直径であるし、四角形であれば短辺等の長さとなる。なお、注目領域の形状が複雑であり、その最小径を求めることが難しい場合には、構造要素は当該注目領域の形状を簡略化した形状（例えば注目領域に比べて頂点の数を減らした図形であり、且つ注目領域に外接する形状等）とすることで、構造要素の最小径を容易に求めることが可能になる。

これにより、簡易的に注目領域の見逃し可能性を判定することが可能になる。被覆領域の境界上の点から、判定対象画像の境界（外周）までの最短距離は、判定対象画像の形状にもよるが、図１９（Ａ）、図１９（Ｂ）に示したように容易に算出できる。また、構造要素（ここでは注目領域と同一の形状、サイズ）の最小径との比較処理も容易であり、本実施形態の手法は第１の実施形態等に比べて処理負荷が軽い。

また、処理部１００は、判定対象画像の外周上に設定された複数の点の各点において、被覆領域の境界までの最短距離を求め、複数の点の各点において求められた最短距離のうちの最大値を求める処理を行ってもよい。そして、処理部１００は、構造要素を用いた処理として、構造要素の最小径を取得し、取得した最小径と、最短距離のうちの最大値との比較処理に基づいて、判定対象画像のうち被覆領域以外の領域である非被覆領域に構造要素が含まれるか否かを判定する処理を行う。

これにより、判定対象画像の外周側に複数の点を設けて、同様の処理を行うことが可能になる。本実施形態は、判定対象画像の外周と、被覆領域の境界との距離から、非被覆領域の最大径に相当する情報を求めるものであるから、距離算出の起点となる上記複数の点は、判定対象側に設けても被覆領域側に設けてもよい。被覆領域の境界に複数の点を設定する手法と、判定対象画像の境界に複数の点を設定する手法は、併用してもよいし、いずれか一方を用いてもよい。例えば、判定精度を重視するのであれば２つの手法を併用すればよいし、処理負荷の軽減を重視するのであればいずれか一方の手法を用いればよい。或いは、上述したように判定対象画像の形状（円形状か四角形か等）を考慮して、２つの手法を併用するか否かを決定してもよい。

６．第５の実施形態
第１の実施形態、第３の実施形態、及び第４の実施形態において、構造要素を用いた削除可否判定としてそれぞれ異なる処理を説明したが、本実施形態ではそれらのいずれかの処理と、被覆率に基づく削除判定処理を併用する手法について説明する。

図２０に本実施形態の画像処理装置の構成例を示す。本実施形態の画像処理装置は、図４の画像処理装置に対して、処理部１００に被覆率算出部１００４を追加した構成になっている。被覆率算出部１００４は、被覆領域算出部１００３で算出された被覆領域等に基づいて、被覆率を算出する。また、本実施形態の削除可否判定部１００５は、被覆率算出部１００４で算出された被覆率、及び注目領域見逃し可能性判定部１０１３で判定された注目領域の見逃し可能性に基づいて、判定対象画像の削除可否判定を行う。

以下、処理の詳細について説明する。基準画像を変形して被覆領域を求める処理は第１の実施形態と同様である。ここでは、判定対象画像の面積に占める被覆領域の面積の割合を被覆率とすればよい。ただし、被覆率とは、基準画像による判定対象画像のカバーの程度を表す情報であればよく、割合・比率等に限定されるものではない。例えば、図２１に示したように、判定対象画像状に設定された複数の点を、変形情報に基づいて基準画像上に射影し、前記複数の点のうち基準画像内に含まれる点の数を被覆率として用いてもよい。

被覆率による削除可否判定は、所与の閾値との比較処理を行えばよく、被覆率が閾値以上であれば判定対象画像を削除可能とし、被覆率が閾値よりも小さい場合には判定対象画像を削除不可とすればよい。被覆率に基づく削除可否判定により、判定対象画像を削除したとしても、当該判定対象画像に撮像されたある程度（閾値に対応する程度）の割合の領域は基準画像によりカバーできることが保証される。

構造要素に基づく削除可否判定と、被覆率に基づく削除可否判定の統合は種々の手法が考えられるが、一例としては２つの判定をそれぞれ行って、そのＡＮＤ条件をとればよい。つまり、構造要素に基づいて削除可能と判定され、且つ被覆率に基づいても削除可能と判定された場合に、判定対象画像に対する最終的な判定結果として削除可能という判定を行う。注目領域の見落とし可能性を低減するという観点から考えれば、ＯＲ条件ではなく、２つの判定の両方で削除可能の場合に削除することが望ましいためである

或いは、一方の処理を先に行い、その後他方の処理を行ってもよい。例えば、先に被覆率に基づく削除可否判定を行い、削除不可とされたものについては、最終的な判定結果も削除不可で確定させ、構造要素による判定は行わない。一方、被覆率に基づいて削除可能と判定されたものについては、構造要素による判定を行い、そこで削除可能なものは最終結果も削除可能とし、削除不可とされたものは最終結果も削除不可とすればよい。このようにすることで、時系列的に後に行われる処理の対象となる画像枚数を少なくすることができるため、処理負荷の軽減等が可能になる。この際には、２つの処理のうち、削除不可と判定される画像の枚数が多いことが想定される処理を先に行うことで、処理負荷の効率的な低減が可能になる。

以上の本実施形態では、処理部１００は、基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を算出し、算出した被覆率に基づいて、判定対象画像の削除可否判定を行う第１の削除可否判定処理を行ってもよい。それとともに処理部１００は、変形情報を用いた処理、及び前記構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行う第２の削除可否判定処理を行う。

これにより、第１の削除可否判定処理と第２の削除可否判定処理の両方に基づく削除可否判定処理が可能になるため、判定精度の向上が可能になる。その際、全ての画像に対して、第１，第２の判定の両方を行ってもよいが、一方の判定を先に行うことで、他方の判定の対象となる画像を限定すれば、処理負荷の軽減が可能となる。

以上、本発明を適用した５つの実施の形態１〜５およびその変形例について説明したが、本発明は、各実施の形態１〜５やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜５や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜５や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

ＢＯ１ 外側境界、ＢＯ２ 内側境界、ＲＥ 残留領域、１００ 処理部、
２００ 画像列取得部、３００ 記憶部、１００１ 基準画像選択部、
１００２ 判定対象画像選択部、１００３ 被覆領域算出部、
１００４ 被覆率算出部、１００５ 削除可否判定部、１００７ 基準画像選択部、
１００８ 部分画像列設定部、１００９ 要約画像列決定部、
１０１１ 要被覆領域生成部、１０１２ 要被覆領域包含判定部、
１０１３ 注目領域見逃し可能性判定部、１０１４ 構造要素生成部、
１０１５ 変形情報取得部

Claims (23)

1. 複数の画像を有する画像列を取得する画像列取得部と、
   前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、
   を含み、
   前記処理部は、
   前記複数の画像から、基準画像と判定対象画像を選択し、
   前記基準画像と前記判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行うことを特徴とする画像処理装置。
2. 請求項１において、
   前記変形情報を用いた処理は、
   前記基準画像及び前記判定対象画像の一方の少なくとも一部を、前記変形情報を用いて変形する処理であり、
   前記構造要素を用いた処理は、
   前記構造要素による収縮処理、又は前記基準画像により前記判定対象画像が覆われない領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理であることを特徴とする画像処理装置。
3. 請求項１において、
   前記処理部は、
   前記変形情報を用いた処理として、
   前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記判定対象画像のうち前記被覆領域以外の領域を非被覆領域として求める処理を行い、
   前記構造要素を用いた処理として、
   前記非被覆領域に対して前記構造要素による収縮処理を行うことを特徴とする画像処理装置。
4. 請求項３において、
   前記処理部は、
   前記収縮処理の結果、残留する領域がある場合に、前記判定対象画像が削除不可であると判定することを特徴とする画像処理装置。
5. 請求項１において、
   前記処理部は、
   前記構造要素を用いた処理として、
   前記判定対象画像に対して前記構造要素による収縮処理を行って要被覆領域を求める処理を行うことを特徴とする画像処理装置。
6. 請求項５において、
   前記処理部は、
   前記変形情報を用いた処理として、
   前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記要被覆領域を変形する処理を行い、
   前記処理部は、
   変形後の前記要被覆領域が前記基準画像に含まれる場合に、前記判定対象画像が削除可能であると判定することを特徴とする画像処理装置。
7. 請求項５において、
   前記処理部は、
   前記変形情報を用いた処理として、
   前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像を変形する処理を行い、
   前記処理部は、
   前記要被覆領域が変形後の前記基準画像に含まれる場合に、前記判定対象画像が削除可能であると判定することを特徴とする画像処理装置。
8. 請求項１において、
   前記処理部は、
   前記変形情報を用いた処理として、
   前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求めるとともに、求めた前記被覆領域の境界上に設定された複数の点の各点において、前記判定対象画像の外周までの最短距離を求め、前記複数の点の各点において求められた前記最短距離のうちの最大値を求める処理を行い、
   前記構造要素を用いた処理として、
   前記構造要素の最小径を取得し、取得した前記最小径と、前記最短距離のうちの前記最大値との比較処理に基づいて、前記判定対象画像のうち前記被覆領域以外の領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理を行うことを特徴とする画像処理装置。
9. 請求項１において、
   前記処理部は、
   前記変形情報を用いた処理として、
   前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求めるとともに、前記判定対象画像の外周上に設定された複数の点の各点において、前記被覆領域の境界までの最短距離を求め、前記複数の点の各点において求められた前記最短距離のうちの最大値を求める処理を行い、
   前記構造要素を用いた処理として、
   前記構造要素の最小径を取得し、取得した前記最小径と、前記最短距離のうちの前記最大値との比較処理に基づいて、前記判定対象画像のうち前記被覆領域以外の領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理を行うことを特徴とする画像処理装置。
10. 請求項１乃至９のいずれかにおいて、
    前記処理部は、
    前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、算出した前記被覆率に基づいて、前記判定対象画像の削除可否判定を行う第１の削除可否判定処理と、
    前記変形情報を用いた処理、及び前記構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行う第２の削除可否判定処理と、
    を行うことを特徴とする画像処理装置。
11. 請求項１乃至１０のいずれかにおいて、
    前記処理部は、
    前記基準画像、前記判定対象画像、及び前記複数の画像のうち前記画像列において前記基準画像と前記判定対象画像の間の前記画像について、隣り合う前記画像間の前記変形情報を求め、求めた隣り合う前記画像間の前記変形情報に基づいて、前記基準画像と前記判定対象画像の間の前記変形情報を求めることを特徴とする画像処理装置。
12. 請求項１乃至１１のいずれかにおいて、
    前記処理部は、
    前記注目領域のサイズに比例したサイズの前記構造要素を設定することを特徴とする画像処理装置。
13. 請求項１乃至１２のいずれかにおいて、
    第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、
    前記処理部は、
    第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２以上の整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ−１を満たす整数）の画像を前記判定対象画像として選択し、
    前記第１の基準画像と前記判定対象画像の間の前記変形情報を用いた処理、前記第２の基準画像と前記判定対象画像の間の前記変形情報を用いた処理、及び前記構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行うことを特徴とする画像処理装置。
14. 請求項１３において、
    前記処理部は、
    第ｐ＋２〜第Ｎの画像に対応する始点及び終点が設定された第２の基準画像選択区間から前記第２の基準画像を選択して、前記第１の基準画像及び前記第２の基準画像に基づいて前記判定対象画像の削除可否の判定を行い、
    第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、前記第２の基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな前記第２の基準画像として選択するとともに、前記第２の基準画像選択区間の前記始点を前記第ｑの画像に更新することを特徴とする画像処理装置。
15. 請求項１４において、
    前記処理部は、
    前記第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第２の基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな前記第２の基準画像として選択するとともに、前記第２の基準画像選択区間の前記終点を前記第ｑの画像に更新することを特徴とする画像処理装置。
16. 請求項１４又は１５において、
    前記処理部は、
    前記第２の基準画像選択区間の前記始点又は前記終点を更新した結果、前記始点と前記終点が隣り合う場合に、
    前記第１の基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、
    前記始点に対応する前記複数の画像の１つ、及び前記複数の画像のうち、前記始点に対応する前記複数の画像の１つよりも前記入力画像列において後方のものからなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記ｐの値を１に設定して再度処理を行うことを特徴とする画像処理装置。
17. 請求項１３において、
    前記処理部は、
    第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、前記第２の基準画像として第ｑ＋１の画像を選択することを特徴とする画像処理装置。
18. 請求項１７において、
    前記処理部は、
    前記第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第１の基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、前記第ｑ−１〜第Ｎの画像からなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記ｐの値を１に設定して再度処理を行うことを特徴とする画像処理装置。
19. 複数の画像を有する画像列を取得する画像列取得部と、
    前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、
    を含み、
    前記処理部は、
    前記複数の画像から、基準画像と判定対象画像を選択し、
    前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、
    前記被覆領域に基づいて、注目すべき領域である注目領域の見逃し可能性を判定することで、前記判定対象画像の削除可否判定を行うことを特徴とする画像処理装置。
20. 複数の画像を有する画像列を取得する画像列取得部と、
    前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部として、
    コンピュータを機能させ、
    前記処理部は、
    前記複数の画像から、基準画像と判定対象画像を選択し、
    前記基準画像と前記判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行うことを特徴とするプログラム。
21. 複数の画像を有する画像列を取得する画像列取得部と、
    前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部として、
    コンピュータを機能させ、
    前記処理部は、
    前記複数の画像から、基準画像と判定対象画像を選択し、
    前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、
    前記被覆領域に基づいて、注目すべき領域である注目領域の見逃し可能性を判定することで、前記判定対象画像の削除可否判定を行うことを特徴とするプログラム。
22. 複数の画像を有する画像列を取得し、
    前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、
    前記基準画像と前記判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像を削除可否の判定を行い、
    前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。
23. 複数の画像を有する画像列を取得し、
    前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、
    前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、
    前記被覆領域に基づいて、注目すべき領域である注目領域の見逃し可能性を判定することで、前記判定対象画像の削除可否判定を行い、
    前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。

Images