JP2013183912A - 画像要約装置及びプログラム - Google Patents

Abstract

【課題】 類似度に基づいた第１の画像要約手法と、物体等の認識処理に基づいた第２の画像要約手法を統合することで、双方の手法の利点を兼ね備えた画像要約処理を行う画像要約装置及びプログラム等を提供すること。
【解決手段】 画像要約装置は、複数の画像間の類似度に基づく第１の画像要約処理により、第１の要約画像列を取得する第１の画像要約処理部１００と、複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第２の画像要約処理により、第２の要約画像列を取得する第２の画像要約処理部２００と、第１の要約画像列と第２の要約画像列の統合処理、又は第１の画像要約処理と第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部３００を含む。
【選択図】 図１

Description

本発明は、画像要約装置及びプログラム等に関する。

動画像や、連続する膨大な画像列を扱うとき、これらの連続する画像列から有用な画像を抽出することにより要約された画像列を生成することは、短時間で、全体の概要を把握するという観点から、有用な技術分野となっている。例えば、カプセル型内視鏡で撮影される被検体内画像は、カプセル型内視鏡を口から飲み込んで体外に排出されるまでに約０．５秒毎に撮影され、約６０，０００枚もの連続する画像列となる。これらの画像は、消化管内を順次撮影しており、ワークステーション等において画像を表示させて観察することにより診断を行うものである。しかし、約６０，０００枚にも及ぶ大量の画像の全てを順次観察するには１時間以上もの時間がかかり、観察を効率的に行うための技術が望まれている。

従来から、動画像のような連続する画像列中からシーンの変化する位置の画像（シーン変化画像）を検出する種々の方法が提案されている。多数の画像に対する観察を効率的に行うために、このようなシーン変化画像を利用することが考えられる。シーン変化画像を検出する方法として、例えば、隣接する画像間（フレーム間）の特徴量の変化量を所定の閾値と比較し、閾値を超える場合にシーン変化画像として検出し、シーン変化画像を要約画像として抽出する方法が一般的によく知られている。

例えば特許文献１では、時系列で取得した画像列の中から、シーンの変化する位置の画像であるシーン変化画像を抽出するシーン変化画像抽出手順と、前記シーン変化画像の所定の時系列範囲で近接した時点で取得された画像である近傍画像と前記シーン変化画像とを比較する比較手順と、前記比較手順において比較した結果を用いて、前記シーン変化画像または前記近傍画像のいずれかを要約画像として選定する要約画像選定手順とを有する画像要約方法が開示されている。

特開２００９−５０２０号公報 特開２０１１−２４７６３号公報

特許文献１では、初期に選定された要約画像の近傍で、その要約画像との画像比較において、より有効な画像の方を選定して、その画像を要約画像としているが、必ずしも、選定された画像が、重要な対象物や、重要シーンを含んだ画像であるとは限らないという問題がある。

本発明の幾つかの態様によれば、類似度に基づいた第１の画像要約手法と、物体等の認識処理に基づいた第２の画像要約手法を統合することで、双方の手法の利点を兼ね備えた画像要約処理を行う画像要約装置及びプログラム等を提供することができる。

本発明の一態様は、複数の画像間の類似度に基づく第１の画像要約処理により、第１の要約画像列を取得する第１の画像要約処理部と、前記複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第２の画像要約処理により、第２の要約画像列を取得する第２の画像要約処理部と、前記第１の要約画像列と前記第２の要約画像列の統合処理、又は前記第１の画像要約処理と前記第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部と、を含む画像要約装置に関係する。

本発明の一態様では、類似度に基づく第１の画像要約処理と、対象物体等の認識処理に基づく第２の画像要約処理とを考えた場合に、それらの統合処理を行って出力要約画像列を取得する。これにより、類似度を用いた場合の利点と、対象物体等の認識処理を用いた場合の利点とを組み合わせた画像要約処理ができ、効率的な画像要約やユーザの利便性向上等が可能になる。

また、本発明の一態様では、前記第１の画像要約処理部は、前記複数の画像から基準画像及び判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を前記類似度として算出し、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行う処理を、前記第１の画像要約処理として行ってもよい。

これにより、画像間の変形情報に基づいた被覆率を類似度として用いた第１の画像要約処理を行うことが可能になる。

また、本発明の一態様では、第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、前記第１の画像要約処理部は、第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２以上の整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ−１を満たす整数）の画像を前記判定対象画像として選択し、前記第１の基準画像と前記判定対象画像の間の前記変形情報、及び前記第２の基準画像と前記判定対象画像の間の前記変形情報に基づいて前記被覆率を算出して、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行ってもよい。

これにより、判定対象画像の前方及び後方に基準画像を設定するため、効率的な画像要約処理が可能になる。

また、本発明の一態様では、前記第１の画像要約処理部は、第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、前記第２の基準画像として第ｑ＋１の画像を選択することを特徴とする画像要約装置。

これにより、第２の基準画像を１つ後方の画像に更新すること等が可能になる。

また、本発明の一態様では、前記第１の画像要約処理部は、前記第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第１の基準画像として選択された前記画像を、前記第１の要約画像列に含める処理を行うとともに、前記第ｑ−１の画像を新たな前記第１の基準画像として選択して再度処理を行ってもよい。

これにより、第１の基準画像を第１の要約画像列に残すとともに、第１の基準画像を更新すること等ができるため、より効率的な画像要約処理が可能になる。

また、本発明の一態様では、前記第１の画像要約処理部は、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記被覆率として、前記判定対象画像に占める前記被覆領域の割合を算出してもよい。

これにより、被覆領域に基づいて被覆率を算出することが可能になる。

また、本発明の一態様では、前記第２の画像要約処理部は、前記認識処理に基づいて、前記複数の画像のうち同一の前記対象物体を含む連続する画像、又は前記複数の画像のうち同一の前記シーンと認識された連続する画像を、要約画像の抽出対象となる連続画像列として設定し、設定した前記連続画像列から少なくとも１枚の画像を前記要約画像として抽出する処理を、前記第２の画像要約処理として行ってもよい。

これにより、連続画像列に基づいた第２の画像要約処理を行うことが可能になる。

また、本発明の一態様では、前記第２の画像要約処理部は、前記対象物体の面積に基づいて、前記連続画像列から抽出する前記要約画像を選択してもよい。

これにより、対象物体の面積に基づいて連続画像列から抽出する画像を選択することが可能になる。

また、本発明の一態様では、前記統合処理部は、前記第１の要約画像列及び前記第２の要約画像列の少なくとも一方に含まれる画像を前記出力要約画像列の要約画像として選択する処理を、前記第１の要約画像列と前記第２の要約画像列の前記統合処理として行ってもよい。

これにより、第１の要約画像列や第２の要約画像列に対して何らかの処理を加える手法等に比べて、処理負荷の軽い統合処理を行うこと等が可能になる。

また、本発明の一態様では、前記統合処理部は、前記第１の要約画像列に基づいて、前記第２の画像要約処理において設定された複数の前記連続画像列を１つの結合連続画像列に結合し、前記結合連続画像列から少なくとも１枚の画像を前記要約画像として抽出することで、前記第２の要約画像列の更新処理を行ってもよい。

これにより、第２の要約画像列の更新処理を行うこと等が可能になる。

また、本発明の一態様では、前記統合処理部は、前記第１の要約画像列、及び前記更新処理後の前記第２の要約画像列の少なくとも一方に含まれる画像を前記出力要約画像列の要約画像として選択する処理を、前記第１の要約画像列と前記第２の要約画像列の前記統合処理として行ってもよい。

これにより、第１の要約画像列と、更新処理後の第２の要約画像列との統合処理を行うこと等が可能になる。

また、本発明の一態様では、前記統合処理部は、前記第２の画像要約処理の結果に基づく前記第１の画像要約処理を、前記第１の画像要約処理部に実行させる処理を、前記第１の画像要約処理と前記第２の画像要約処理の前記統合処理として行ってもよい。

これにより、第１の画像要約処理と第２の画像要約処理の統合処理を行うこと等が可能になる。

また、本発明の一態様では、前記第１の画像要約処理部は、前記統合処理に基づいて、前記複数の画像から前記第２の要約画像列に含まれる画像を基準画像として選択するとともに、前記複数の画像から判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を前記類似度として算出し、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行う処理を、前記第１の画像要約処理として行ってもよい。

これにより、第２の要約画像列に含まれる画像を第１の画像要約処理における基準画像として設定すること等が可能になる。

また、本発明の一態様では、前記統合処理部は、前記統合処理により、前記第１の画像要約処理部で生成された前記第１の要約画像列に基づいて、前記第２の要約画像列に含まれる前記画像の枚数を削減する前記第２の要約画像列の更新処理を行ってもよい。

これにより、第２の画像要約処理の結果に基づいた第１の画像要約処理を行って得られた第１の要約画像列による、第２の要約画像列の更新処理を行うこと等が可能になる。

また、本発明の一態様では、前記統合処理部は、前記更新処理後の前記第２の画像要約処理の結果に基づく前記第１の画像要約処理を、前記第１の画像要約処理部に実行させる処理を、前記第１の画像要約処理と前記第２の画像要約処理の前記統合処理として行ってもよい。

これにより、更新処理後の第２の要約画像列に対応させて第１の画像要約処理を再度実行すること等が可能になる。

また、本発明の一態様では、前記統合処理部は、前記統合処理により、前記第１の画像要約処理部で生成された前記第１の要約画像列を前記出力要約画像列として取得してもよい。

これにより、統合処理による第１の画像要約処理の結果を出力要約画像列として取得すること等が可能になる。

また、本発明の一態様では、前記第１の画像要約処理部は、前記複数の画像間の前記類似度に基づいて、シーンチェンジを検出して前記第１の画像要約処理を行ってもよい。

これにより、類似度に基づいてシーンチェンジを検出すること等が可能になる。

また、本発明の一態様では、前記複数の画像はカプセル内視鏡画像であり、前記第２の画像要約処理部は、前記カプセル内視鏡画像に撮像される生体内の注目領域を、前記対象物体として前記認識処理を行ってもよい。

これにより、カプセル内視鏡で取得した画像に対して画像要約処理を行うこと等が可能になる。

また、本発明の一態様では、前記第２の画像要約処理部は、特定の波長帯域の光の照射により取得された特殊光画像に基づいて、前記生体内の前記注目領域の前記認識処理を行ってもよい。

これにより、特殊光画像に基づいた認識処理等が可能になる。

本発明の他の態様は、複数の画像間の類似度に基づく第１の画像要約処理により、第１の要約画像列を取得する第１の画像要約処理部と、前記複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第２の画像要約処理により、第２の要約画像列を取得する第２の画像要約処理部と、前記第１の要約画像列と前記第２の要約画像列の統合処理、又は前記第１の画像要約処理と前記第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部として、コンピュータを機能させるプログラムに関係する。

本実施形態の画像要約装置のシステム構成例。 類似度として被覆率を算出する手法を説明する図。 図３（Ａ）、図３（Ｂ）は第１の画像要約処理の具体例を説明する図。 第１の画像要約処理を説明するフローチャート。 第２の画像要約処理を説明するフローチャート。 第２の画像要約処理を説明する図。 第１の実施形態の統合処理を説明するフローチャート。 図８（Ａ）、図８（Ｂ）は第２の要約画像列の更新処理を説明する図。 図９（Ａ）、図９（Ｂ）は第２の要約画像列の更新可否判定処理を説明する図。 第２の実施形態の統合処理を説明するフローチャート。 本実施形態の画像要約装置の他のシステム構成例。 図１２（Ａ）〜図１２（Ｃ）は第３の実施形態の手法を説明する図。 第３の実施形態の統合処理を説明するフローチャート。 図１４（Ａ）〜図１４（Ｅ）は第４の実施形態の手法を説明する図。 第４の実施形態の統合処理を説明するフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。

具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば１秒に２回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。

従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。また、画像要約処理により画像列のどの画像にも含まれなくなる被写体がどの程度生じるかという度合いは、処理対象となる画像列に依存するため、従来手法においては当該度合いの制御が困難であった。

このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域（例えば病変部）の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。

そこで本出願人は、画像要約処理の対象となる画像列に含まれる複数の画像間の類似度（狭義には後述する被覆率）に基づいた画像要約処理を用いる。類似度を用いることで複数の画像の関係に基づいた画像要約処理が可能になる。類似度として被覆率を用いる例であれば、削除される画像が出力画像列に残す画像によってどの程度被覆されているかを制御することができるため、観察できなくなる被写体範囲が生じることを抑止でき、病変等の見落とし抑止効果が期待できる。

ただし、類似度を用いる画像要約処理では、画像間の関係に基づいて処理が行われるため、処理対象となる画像に撮像されている被写体やシーン等は考慮されない可能性がある。よって、画像上に撮像したい対象（例えばカプセル内視鏡ではドクターの観察対象であり、狭義には病変部等の領域）が明確であるのならば、類似度に基づいた画像要約処理とは別に、画像上に当該対象が撮像されているか否かという観点から行われる画像要約処理を行うことも有用である。

よって本出願人は、類似度に基づいた第１の画像要約処理と、対象物体又はシーンの認識処理に基づく第２の画像要約処理の両方を行うとともに、それらを統合して出力要約画像列を取得する統合処理を行う手法を提案する。このようにすることで、２つの画像要約処理の利点を兼ね備えた画像要約処理が可能になる。具体的には、観察できなくなる被写体範囲が生じることを抑止しつつ、観察対象としている物体やシーンを効率的に観察可能な画像要約処理を行うことができる。

以下、第１〜第４の実施形態を用いて具体例を説明する。第１の実施形態では、第１の画像要約処理により第１の要約画像列を取得するとともに、第２の画像要約処理により第２の要約画像列を取得し、統合処理として第１の要約画像列と第２の要約画像列を統合する処理を行う。第２の実施形態では、第１の要約画像列と第２の要約画像列を取得した後、第１の要約画像列に基づいて第２の要約画像列の更新処理（狭義には、第２の要約画像列に含まれる要約画像の枚数を削減する処理）を行い、第１の要約画像列と、更新処理後の第２の要約画像列を統合する。

第３、第４の実施形態は、要約画像列の統合処理というよりは、第１の画像要約処理と第２の画像要約処理という２つの処理の統合処理に関する実施形態となる。第３の実施形態では、第２の画像要約処理の結果（狭義には第２の要約画像列）に基づいた第１の画像要約処理の実行を前記統合処理として行う。具体的には、第１、第２の実施形態では第１の要約画像列に含まれる要約画像は類似度に基づいて決定されていたが、第３の実施形態では類似度の他に、第２の画像要約処理の結果も用いて要約画像を決定することになる。

第４の実施形態では、第３の実施形態の手法、及び第２の実施形態での第２の要約画像列の更新処理を組み合わせて、フィードバック処理を行う。具体的には、第２の画像要約処理の結果に基づいた第１の画像要約処理を行って第１の要約画像列を取得する。その後、取得した第１の要約画像列に基づいて第２の要約画像列の更新処理が実行する。そして、更新処理後の第２の要約画像列に基づいた第１の画像要約処理を再度行って第１の要約画像列を取得し、取得した第１の要約画像列を出力要約画像列とする。更新処理を実行できなかった場合には、その際の第１の要約画像列を出力要約画像列とすればよく、結果的には第３の実施形態と同様となる。

なお、以下の説明では、類似度に基づいた第１の画像要約処理により得られる画像列を第１の要約画像列とし、第１の要約画像列に含まれる画像を類似度要約画像と呼ぶことにする。また、対象物体等の認識処理に基づいた第２の画像要約処理により得られる画像列を第２の要約画像列とし、第２の要約画像列に含まれる画像を物体要約画像と呼ぶ。統合処理等まで含めた処理に基づいて最終的に出力される画像列を出力要約画像列とし、出力要約画像列に含まれる画像を出力要約画像と呼ぶ。

２．第１の実施形態
第１の実施形態の手法について説明する。まず画像要約装置のシステム構成例について説明し、その後第１の画像要約処理及び第２の画像要約処理の具体例について述べる。最後に統合処理の手法を説明する。

２．１ システム構成例
図１に本実施形態の画像要約装置の構成例を示す。図１に示したように、画像要約装置は、画像列取得部３０と、第１の画像要約処理部１００と、第２の画像要約処理部２００と、統合処理部３００と、出力部４０とを含む。なお、画像要約装置は図１の構成に限定されず、これらの一部の構成要素（例えば出力部４０等）を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

画像列取得部３０は、画像要約処理の対象となる画像列データを取得する。取得する画像列データは、時間的或いは空間的に連続する複数の画像であり、画像入力装置１０や画像データベース２０等から取得される。画像入力装置１０は、デジタルカメラやカプセル内視鏡等、画像を撮像する撮像装置が考えられる。画像データベース２０は、大量の画像を記憶するデータベースであり、撮像装置等で取得された画像データを蓄積する。なお、画像データベース２０は画像要約装置とは離れた位置に設けられてもよく、画像要約装置とネットワークを介して接続されるサーバ等で構成されてもよい。また、画像入力装置１０及び画像データベース２０は、画像要約装置とは別体として設けられることを想定しているが、画像要約装置に含まれることを妨げない。

第１の画像要約処理部１００は、類似度に基づいた第１の画像要約処理を行う。第１の画像要約処理部１００は、類似度算出部１１０と、要約処理部１２０と、第１の要約画像列生成部１３０を含んでもよい。なお、第１の画像要約処理部１００は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

類似度算出部１１０は、画像列取得部３０で取得した画像列に含まれる画像間の類似度を算出する。要約処理部１２０は、算出した類似度に基づいて、要約処理（具体的には、第１の要約画像列に残される類似度要約画像と、削除画像の決定処理）を行う。第１の要約画像列生成部１３０は、要約処理部１２０での要約処理に基づいて、第１の画像要約処理部１００の出力である第１の要約画像列を生成する。なお、第１の画像要約処理の詳細については後述する。

第２の画像要約処理部２００は、対象物体又はシーンの認識処理に基づいた第２の画像要約処理を行う。第２の画像要約処理部２００は、認識処理部２１０と、要約処理部２２０と、第２の要約画像列生成部２３０を含んでもよい。なお、第２の画像要約処理部２００は図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

認識処理部２１０は、画像列取得部３０で取得した画像列に含まれる画像が対象物体を含んでいるか、又は対象としているシーンを撮像しているかの認識処理を行う。認識処理の手法は種々考えられるが、例えば対象物体やシーンを表すテンプレートを記憶しておき、当該テンプレートを用いたマッチング処理を行ってもよい。要約処理部２２０は、認識処理部２１０での認識結果に基づいて、要約処理（具体的には、第２の要約画像列に残される物体要約画像と、削除画像の決定処理）を行う。具体的には、同一対象物体や同一シーンが連続している領域を考慮してセグメンテーション処理を行った上で、生成されたセグメント（連続画像列）から、少なくとも１枚の画像を物体要約画像として選定する処理を行う。第２の要約画像列生成部２３０は、要約処理部２２０での要約処理に基づいて、第２の画像要約処理部２００の出力である第２の要約画像列を生成する。なお、第２の画像要約処理の詳細については後述する。

統合処理部３００は、第１の画像要約処理部１００及び第２の画像要約処理部２００での処理に基づいた統合処理を行う。本実施形態では、第１の要約画像列と第２の要約画像列の統合処理を行う。詳細は後述する。

出力部４０は、統合処理部３００での統合処理の結果として取得された出力要約画像列を出力する。出力部４０は、例えば液晶ディスプレイや有機ＥＬディスプレイなどにより実現される表示部であってもよく、その場合には出力要約画像列に含まれる出力要約画像を表示すること等が考えられる。なお、画像要約装置がユーザとのインターフェースとなる表示部等を備える必要はなく、出力部４０（表示部）が画像要約装置とは別体として設けられてもよい。

２．２ 第１の画像要約処理
次に類似度に基づいた第１の画像要約処理について説明する。ここで用いられる類似度としては、画像間の動きベクトル、ＳＳＤやＳＡＤ、さらには、正規化相互相関等の相関値等が考えられる。その他、通常複数の画像間の類似度として算出されるような情報であれば、任意の情報を類似度として利用することができる。

類似度による画像要約処理の手法としては、従来からよく行われている、類似度の小さい順にソートして、上位から設定した数までを選択することによりシーンチェンジの検出を行う手法を用いることが考えられる。

また、図２に示したように、基準画像（第１の要約画像列に残す類似度要約画像、或いは類似度要約画像の候補画像）により、判定対象画像がどの程度被覆されているかを表す被覆率を類似度として用い、当該被覆率に基づいて判定対象画像の削除可否判定を行って画像要約を行ってもよい。ここでは被覆率を用いた手法を詳しく説明する。

被覆率を用いる手法では、基準画像と判定対象画像との間の変形情報を用いて、基準画像を変形して判定対象画像上に射影する。ここで、変形情報とは、基準画像上に撮像された被写体が判定対象画像上でどのように変形して撮像されているかに相当する情報であり、変形推定や動きベクトル等から求めてもよいし、特許文献２に記載された手法により推定される非剛体変形パラメータ等を用いてもよい。

図２は基準画像として、判定対象画像の前方の第１の基準画像と、判定対象画像の後方の第２の基準画像の２枚を設定した例である。判定対象画像上のＡ１が第１の基準画像を変形して得られた領域であり、Ａ２が第２の基準画像を変形して得られた領域である。被覆率としては例えば、Ａ１とＡ２の和集合に相当する領域を被覆領域として求め、判定対象画像全体に占める被覆領域の割合の値を用いることが考えられる。

判定対象画像の削除可否判定は、被覆率と事前に設定された閾値（システムにより設定されてもよいし、ユーザからの入力に基づいて決定されてもよい）との比較処理により行えばよい。具体的には、被覆率が閾値未満であれば、判定対象画像を削除不可と判定し、被覆率が閾値以上であれば、判定対象画像を削除可能と判定する。被覆率が閾値以上の場合とは、判定対象画像に撮像された被写体範囲のうち、閾値により表される程度の部分が第１の基準画像及び第２の基準画像の少なくとも一方には撮像されているということになるため、第１、第２の基準画像が類似度要約画像として残されるのであれば、判定対象画像を削除したとしても、そこに撮像された領域は十分にカバーできることになる。

第１、第２の基準画像及び判定対象画像の選択処理を図示したものが図３（Ａ）、図３（Ｂ）である。なお、この処理では、第１の基準画像は類似度要約画像として選択されることが確定しているが、第２の基準画像は類似度要約画像の候補であり、最終的に類似度要約画像として選択されるかは確定していない。

図３（Ａ）に示したように、全画像列のｋ番目の画像が第１の基準画像として選択されているとする（なお、１〜ｋ−１番目の画像については類似度要約画像とするか削除画像とするかの判定処理が終了しており、ｋ〜Ｎ番目の画像が処理対象となっている場合に相当する）。この場合、まずｋ＋２番目の画像を第２の基準画像として選択する。

さらに第１の基準画像と第２の基準画像の間の画像の前方から順次判定対象画像を選択し、第１の基準画像と判定対象画像の間の変形情報に基づいて第１の基準画像を変形するとともに、第２の基準画像と判定対象画像の間の変形情報に基づいて第２の基準画像を変形して被覆率を算出する。そして算出した被覆率に基づいて、判定対象画像の削除可否の判定を行う。

図３（Ａ）に示したように、第１の基準画像と第２の基準画像の間の画像の全てについて、削除可能と判定された場合（ここでは閾値を７０％としている）には、第２の基準画像として、第１の基準画像に比べてさらに離れた画像を選択してもよい可能性があるということであるから、図３（Ｂ）に示したように第２の基準画像の再選択を行う。具体的には、ｋ＋２番目だった第２の基準画像を、ｋ＋３番目に更新すればよい。

そして、再度第１の基準画像と第２の基準画像の間の画像について削除可否の判定を行う。図３（Ｂ）に示したように、削除不可と判定された判定対象画像があった場合には、第１の基準画像と現在の第２の基準画像の２枚では、間に含まれる全ての画像をカバーすることができない（具体的には削除不可と判定された判定対象画像がカバーできない）ということであるから、２つの基準画像の間を広げすぎた、すなわち第２の基準画像の更新（選択位置のインクリメント）が不適切であったと考えられる。

よって、現時点の第２の基準画像の１つ前の画像（図３（Ａ）での第２の基準画像に相当）を類似度要約画像として残す。具体的には、現時点の第２の基準画像の１つ前の画像を新たな第１の基準画像として選択し、それとともに第２の基準画像、判定対象画像についても新たに選択して処理を継続する。

図４は、類似度として被覆率を用いた場合の第１の画像要約処理を説明するフローチャートである。この処理が開始されると、最初の類似度要約画像として画像要約処理の対象となる画像列のＩ_Ｓ番目の画像を設定する（Ｓ１０１）。ここでＩ_Ｓの値は１であってもよいし（つまり画像列の先頭の画像を類似度要約画像としてもよいし）、１以外の値であってもよい。

次に、Ｉ_Ｓ番目の画像を第１の基準画像として設定し（Ｓ１０２）、それとともにＩ_Ｅ番目の画像を第２の基準画像として設定する（Ｓ１０３）。ここでＩ_ＥはＩ_Ｅ＝Ｉ_Ｓ＋２を満たす値を初期値とする。

そして、Ｉ_Ｅが処理対象の画像列に含まれる画像の枚数を超える値であるかの判定を行い（Ｓ１０４）、Ｙｅｓの場合には画像要約処理を終了する。Ｎｏの場合には、適切に第２の基準画像を設定できたということであるから、第１の基準画像と第２の基準画像の間の画像を順次判定対象画像として設定し、削除可否判定を行う（Ｓ１０５〜Ｓ１０８）。具体的には、第１の基準画像の次の画像を最初の判定対象画像とし、図２で示した手法により被覆率を求めて閾値との比較処理を行う（Ｓ１０６，Ｓ１０７）。被覆率が閾値以上（Ｓ１０７でＹｅｓ）の場合には、判定対象画像は削除可能と言うことであるから、現在の判定対象画像の１つ後方の画像を新たな判定対象画像とする（図４ではｉのインクリメントに相当）。Ｓ１０７でＮｏと判定されることなく、Ｓ１０５〜Ｓ１０８のループが終了した場合には、図３（Ａ）に示したように第１，第２の基準画像により、間の画像を全てカバーできるということであるため、Ｉ_Ｅの値をインクリメントして第２の基準画像を更新して（Ｓ１０９）、Ｓ１０４に戻る。

Ｓ１０７でＮｏと判定された場合には、図３（Ｂ）に示したように第１，第２の基準画像の間の少なくとも１枚の画像が、２つの基準画像では十分にカバーできないということであるため、当該タイミングでの第２の基準画像の１つ前の画像を要約画像に残す必要がある。よって、Ｉ_Ｅ−１番目の画像を次の類似度要約画像として設定する（Ｓ１１０）。それとともにＩ_Ｓ＝Ｉ_Ｅ−１として（Ｓ１１１）、Ｓ１０２に戻ることで、類似度要約画像として設定した画像を新たな第１の基準画像に設定して処理を継続する。

２．３ 第２の画像要約処理
次に対象物体又はシーンの認識処理に基づいた第２の画像要約処理について説明する。ここでの認識処理に関しては、参照画像との類似度による検出処理や、機械学習によるパターン認識で得られる認識結果等、様々な画像認識や画像検出の処理結果を利用することができる。

第２の画像要約処理では、画像要約処理の対象となる画像列の全画像に対して認識処理が行われ、各画像に対して対象物体が撮像されているか否か、或いは対象としているシーンが撮像されているか否かの判定が行われる。そして、対象物体が撮像されている画像のうち連続する画像、或いは対象シーンが撮像されている画像のうち連続する画像を連続画像列（セグメント）として設定し、各セグメントにつき少なくとも１枚の画像を抽出し、第２の要約画像列に残される物体要約画像として設定する。

図５は、対象物体やシーンの認識処理に基づく第２の画像要約処理を説明するフローチャートである。ここでは特に、認識された対象物体の面積が最大となる画像を物体要約画像として選択する例について説明するが、連続画像列から物体要約画像を選択する手法はこれに限定されるものではない。

なお、図５の処理の前処理として認識処理は行われているものとする。その結果として、対象物体等が検出された画像には前方から順にＩＤが振られており、そのＩＤは画像要約処理の対象となる画像列（入力画像列）における画像の位置を表す番号との対応付けがされている。例えば、図６に示したように入力画像列に対する認識処理により、斜線で示された画像で対象物体等が検出されたとすると、斜線で示された画像の中で先頭から順にＩＤが振られることになる（ここでは画像番号及びＩＤを０から始めたが、これには限定されない）。また、ＩＤが振られた画像が入力画像列において何番目かという対応付けがされているため、ＩＤ＝０の画像は入力画像列の１番目、ＩＤ＝４の画像は入力画像列の７番目といった情報は保持されている。図５は、これ以降のセグメンテーション処理及び代表画像（要約画像）の選択処理を説明するものである。

図５の処理が開始されると、まずカウンタ値であるｃｏｕｎｔを初期化する（Ｓ２０１）。ここでｃｏｕｎｔは物体要約画像の枚数に相当するカウンタである。なお、１セグメントから１枚の要約画像を選択する例を示しているため、ｃｏｕｎｔはセグメンテーション処理の結果設定されるセグメントにも対応するカウンタとなる。次に対象物体の面積の最大値を表す変数ｍａｘを初期化する（Ｓ２０２）。

初期化後は、Ｓ２０３〜Ｓ２０８のループを繰り返して、前処理としてＩＤが振られた画像を対象に前方から順に処理を行う。具体的には、ｊ＝０を初期値として、ＩＤ＝ｊの画像での対象物体の面積とｍａｘとを比較し、面積がｍａｘよりも大きい場合には、ｍａｘの値を面積の値で書き換えるとともに、ｃｏｕｎｔ番目の要約画像として現在のＩＤの画像を設定する（Ｓ２０４）。ただし、要約画像はＩＤの値で表現するのではなく、入力画像列の何番目の画像であるかという表現の方が好ましいため、入力画像列での番号とＩＤとの対応付けに基づいて、入力画像列の何番目の画像がｃｏｕｎｔ番目の要約画像であるかという情報を保持することになる。

次に、ＩＤ＝ｊの画像がＩＤ＝ｊ＋１の画像と入力画像列において隣り合っているかの判定を行う（Ｓ２０５）。Ｓ２０５でＮｏの場合とは、図６でいえばＩＤ＝２やＩＤ＝４のように、セグメントの最後に位置する画像を処理対象としていると言うことである。よって、現在のセグメントでの処理を終了し、次のセグメントでの処理の前処理として、ｃｏｕｎｔの値をインクリメントするとともに（Ｓ２０６）、面積の最大値ｍａｘを初期化する（Ｓ２０７）。

また、Ｓ２０５でＹｅｓの場合とは、図６でいえばＩＤ＝１やＩＤ＝３のように、セグメントの先頭或いは途中に位置する画像を処理対象としていると言うことであるから、Ｓ２０６，Ｓ２０７の処理は行われない。なお、セグメントの先頭の画像が処理対象の場合には、ｍａｘ＝０であるためＳ２０４では現在の画像が暫定的な物体要約画像として選択されることになる。一方、セグメントの途中の画像が処理対象の場合には、現在のセグメントに含まれ、且つ処理対象より前方にある所与の画像がｃｏｕｎｔ番目の物体要約画像として暫定的に選択されているとともに、その際の対象物体の面積がｍａｘとして保持されている。そのため、Ｓ２０４では、その暫定的な物体要約画像での対象物体の面積と、ＩＤ＝ｊの画像での対象物体の面積との比較処理を行い、ＩＤ＝ｊの画像での対象物体の面積の方が大きければＩＤ＝ｊの画像によりｃｏｕｎｔ番目の物体要約画像の上書き処理を行う。また、暫定的な物体要約画像での対象物体の面積の方が大きければ、その物体要約画像がそのまま保持される。

結果として、Ｓ２０３〜Ｓ２０８でのループでは、セグメンテーション処理を行って、各セグメントで対象物体の面積が最大となる画像を物体要約画像とする処理を行うことになり、対象物体が検出された全画像について上述の処理を行った場合には処理を終了する。

なお、ここでは対象物体の面積が最大になるような画像を物体要約画像として選択する手法について述べたが、対象物体の画像内での位置、色情報、テクスチャ情報、認識、または検出の精度等、画像認識、または画像検出の結果の情報を利用して、同様に画像要約処理を行ってもよい。

２．４ 統合処理
次に本実施形態での統合処理について説明する。ここでは、第１の画像要約処理により得られた第１の要約画像列と、第２の画像要約処理により得られた第２の要約画像列の少なくとも一方に含まれる画像を、出力要約画像列の出力要約画像として選択する処理を行う。

図７は、本実施形態の統合処理を説明するフローチャートである。図７に示したように、統合処理はＳ３０１〜Ｓ３０６のループとなり、Ｓ３０２〜Ｓ３０５の処理を入力画像列の全画像について行うことになる。

具体的には、入力画像列のｉ番目の画像が、第１の要約画像列に含まれているか（類似度要約画像であるか）の判定を行う（Ｓ３０２）。Ｙｅｓの場合には、ｉ番目の画像を出力要約画像列の出力要約画像として選択する（Ｓ３０３）。Ｓ３０２でＮｏの場合には、ｉ番目の画像が、第２の要約画像列に含まれているか（物体要約画像であるか）の判定を行う（Ｓ３０４）。Ｙｅｓの場合には、Ｓ３０３に移行しｉ番目の画像を出力要約画像として選択する。Ｓ３０４でＮｏの場合には、ｉ番目の画像を削除画像とする（Ｓ３０５）。そして、この処理をｉ＝０を初期値とし、ｉをインクリメントしつつ入力画像列全体に対して行う。

以上の本実施形態では、画像要約装置は図１に示したように、複数の画像間の類似度に基づく第１の画像要約処理により、第１の要約画像列を取得する第１の画像要約処理部１００と、複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第２の画像要約処理により、第２の要約画像列を取得する第２の画像要約処理部２００と、第１の要約画像列と第２の要約画像列の統合処理、又は第１の画像要約処理と第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部３００を含む。

ここで、複数の画像とは画像列取得部３０で取得した画像列全体に相当することが想定されるが、当該画像列の一部であってもよい。

これにより、画像間の類似度判定、及び対象物体又はシーンの認識処理という異なる観点で行われた画像要約処理により得られた要約画像列を統合して出力要約画像列を取得することができるため、双方の画像要約処理の利点を兼ね備えた画像要約処理を行うことが可能になる。対象物体等の認識処理を用いた第２の画像要約処理を行うことで、重要な対象物体が撮影されている画像のうち適切なものを残した要約画像列を生成できるが、画像認識、検出処理でも重要な対象物体をすべて検出することは難しい。その点、類似度という異なる観点での画像要約処理により、観察できなくなる領域の発生を抑止することで、検出できなかった重要物体を第１の画像要約処理による第１の要約画像列に含めることが可能になり、統合処理により相補的な出力要約画像列を生成することができる。

また、第１の画像要約処理部１００は、複数の画像から基準画像及び判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を類似度として算出し、被覆率に基づいて判定対象画像の削除可否の判定を行う処理を、第１の画像要約処理として行ってもよい。

ここで被覆率とは、判定対象画像上に撮像された被写体のうち、どの程度の被写体が基準画像上に撮像されているかを表す情報である。例えば、縦横比が１：１の画像が取得される場合に、判定対象画像には実空間上で縦横それぞれ１０ｍの正方形の被写体が画像いっぱいに撮像され、基準画像には前述の被写体に包含される縦横それぞれ５ｍの正方形の領域が画像いっぱいに撮像されたとする。この場合、判定対象画像には実空間における１００ｍ^２の領域が撮像され、基準画像には実空間における２５ｍ^２の領域（かつ前述の１００ｍ^２の領域に含まれる領域）が撮像されたことになる。よって、基準画像は判定対象画像の２５％をカバーしていることになるため、被覆率としては２５％、２５ｍ^２、或いは０．２５等の値が考えられる。なお、平面的な被写体に正対して撮像が行われることはまれであるため、一般的には同一の被写体であっても、基準画像と判定対象画像とで形状が異なっている。本実施形態ではそのような変形に対応する変形情報を特許文献２等の手法で取得しておき、当該変形情報を用いて被覆率を算出する。なお被覆率とは、基準画像による判定対象画像のカバーの程度を表す情報であればよく、割合・比率等に限定されるものではない。

また、削除可否の判定処理は例えば所与の閾値との比較処理である。閾値を高くすれば（例えば１００％に近い値に設定すれば）、画像を削除することにより観察できなくなる領域が発生することに対する抑止効果の向上が期待できる。一方、閾値を低くすれば、要約処理後の要約画像列に含まれる画像の枚数を少なくすることができる。上述の抑止効果の向上と、画像枚数を少なくすることはトレードオフの関係にあり閾値の設定により制御が可能となるため、状況に応じて適切に閾値を設定することが望ましい。

これにより、第１の画像要約処理により画像を削除した結果、観察できなくなる被写体領域が発生することを抑止でき、またその抑止の程度（強度）を制御することが可能になる。本実施形態の手法を用いることで、上述した削除可否の判定処理に用いる閾値としてｘ％に相当する値を用いれば、判定対象画像を削除したとしても、当該判定対象画像上に撮像された被写体のうち、ｘ％は基準画像によりカバーされている（ｘ％の被写体範囲は基準画像上に撮像されている）ことが保証できるためである。なお、変形情報として被写体の画像上での変形を、全く誤差を生じずに求めることが困難である以上、閾値としてｘを設定しても、判定対象画像のうち基準画像によりカバーされている領域がｘ％未満となる可能性は生じうる。

また、第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、第１の画像要約処理部１００は、第ｐの画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２≦ｑ≦Ｎ−１を満たす整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ−１を満たす整数）の画像を判定対象画像として選択する。そして、第１の基準画像と判定対象画像の間の変形情報、及び第２の基準画像と前記判定対象画像の間の前記変形情報に基づいて前記被覆率を算出して、被覆率に基づいて判定対象画像の削除可否の判定を行う。この場合に、例えば第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、第２の基準画像として第ｑ＋１の画像を新たに選択することができる。

これにより、図３（Ａ）、図３（Ｂ）に示したように、判定対象画像の前方及び後方に基準画像を設定した上で、被覆率に基づいた画像要約処理が可能になる。この場合、２つの基準画像を用いるため、基準画像を１つ設定する場合等に比べて、判定対象画像を削除可能と判定できる可能性が高くなり、要約処理後の画像枚数を少なくすることが可能になる。

また、第１の画像要約処理部１００は、第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、第１の基準画像として選択された画像を、第１の要約画像列に含める処理を行ってもよい。さらに、第ｑ−１の画像を新たな第１の基準画像として選択して再度処理を行ってもよい。

これにより、第１の基準画像を第１の要約画像列に含めることが可能になる。また、第１の基準画像と第２の基準画像の間の判定対象画像のうち少なくとも１つが削除不可である場合とは、第１の基準画像と第２の基準画像の間を広げすぎたケースに相当するため、その際の第２の基準画像の前方にある（狭義には前方にあり且つ直近にある）画像は第１の要約画像列に残すべきである。よって、第ｑ−１の画像を新たな第１の基準画像として選択し、同様の処理を繰り返すことになる。

ただし、第１の画像要約処理における第２の基準画像の再選択（更新）処理は、入力画像列の後方に１つずつ移動させていく手法に限定されるものではない。

例えば、第ｐ＋２〜第Ｎの画像に対応する始点及び終点が設定された第２の基準画像選択区間から第２の基準画像を選択して、第１の基準画像及び第２の基準画像に基づいて判定対象画像の削除可否の判定を行う場合を考える。この際、第１の画像要約処理部１００は、第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、第２の基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな第２の基準画像として選択するとともに、第２の基準画像選択区間の始点を第ｑの画像に更新してもよい。また、第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、第２の基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな第２の基準画像として選択するとともに、第２の基準画像選択区間の終点を前記第ｑの画像に更新してもよい。

ここで、第２の基準画像選択区間は、第２の基準画像の候補を表すという性質とともに、第１の要約画像列に残される類似度要約画像（狭義にはすでに見つかっている類似度要約画像の次の類似度要約画像）の候補を表すという性質を有するものである。よって、第２の基準画像選択区間とは類似度要約画像の探索範囲に相当する。

これにより、第２の基準画像を更新する際に、新たな第２の基準画像の位置を柔軟に決定することが可能になる。第２の基準画像を１つずつ後方に移す手法は、言うなれば探索範囲を先頭から１つずつチェックして、探索範囲を減らしていく手法であるため、正解の位置によっては計算量が非常に多くなってしまう。その点、隣り合わない画像も新たな第２の基準画像として選択可能にすることで、一単位の判定（一回の第２の基準画像選択処理及びそれに伴う削除可否判定）により探索範囲を大きく減らすことができる。よって、計算量の削減効果が期待でき、システムに対する負荷を軽減したり、処理時間を短縮したりすることが可能になる。なお、後方への探索が隣り合う画像を選択するものに限定されない以上、現在の第２の基準画像よりも前方に未探索範囲が残っていることがありえ、削除可否の判定結果によっては当該未探索範囲に正解があるということが考えられる。その場合を考慮して前方への探索も可能にし、その際の第２の基準画像の選択は後方への探索と同様に隣り合う画像に限定されないものとする。

また、第１の画像要約処理部１００は、第ｊ（ｊは整数）の画像が第２の基準画像選択区間の終点に対応する場合に、（ｑ＋ｊ）／２の値に基づいてｘの値を設定してもよい。或いは、第ｉ（ｉは整数）の画像が第２の基準画像選択区間の始点に対応する場合に、（ｉ＋ｑ）／２の値に基づいてｙの値を設定してもよい。

これにより、新たな第２の基準画像を選択するに当たって、二分探索の手法を用いることが可能になる。後方への探索の場合には、現在の第２の基準画像と終点との中間となる画像を選択し、前方への探索の場合には、現在の第２の基準画像と始点との中間となる画像を選択することになる。よって、探索範囲（第２の基準画像選択区間の長さに相当）を半減させていくことが可能になり、第２の基準画像としてｌｏｇＮ枚の画像を選択すれば、全探索範囲の探索が終了することが期待される。よって、計算量のオーダーはＮ×ｌｏｇＮに抑えることができ、Ｎが非常に大きい場合には１つずつ後方に移す手法（計算量のオーダーはＮ^２）に比べて計算量の削減効果が大きい。なお、（ｑ＋ｊ）／２及び（ｉ＋ｑ）／２は整数になるとは限らないため、それぞれの値に対応する画像が存在しない場合もある。その際には、例えば（ｑ＋ｊ）／２を超えない最大の整数、或いはそれより１大きい整数等を考えればよい。ただし、第２の基準画像の更新は、二分探索による手法に限定されるものではなく、種々の手法を用いてもよい。例えば、探索範囲内での正解の位置がある程度予測される場合等では、予測位置及びその周辺を重点的に探索できるように第２の基準画像を選択することで、計算量の削減等が期待できる。

また、第１の画像要約処理部１００は、基準画像と判定対象画像の間の変形情報に基づいて、基準画像により判定対象画像が覆われる領域である被覆領域を求め、被覆率として、判定対象画像に占める被覆領域の割合を算出してもよい。

これにより、被覆領域に基づいて被覆率を算出することが可能となる。被覆領域は具体的には図２に示したものであり、基準画像を変形情報に基づいて変形した上で、判定対象画像上に射影した領域を表す。基準画像に撮像された被写体領域と、求めた被覆領域に撮像された被写体領域は対応する（変形情報に誤差がない理想的な状況であれば一致する）ことになる。よって、被覆率を判定対象画像に占める被覆領域の割合（具体的にはそれぞれの面積の比）から求めることが可能になる。なお、被覆領域は基準画像を変形情報に基づいて変形して求めればよく、求めた被覆領域は必ずしも判定対象画像上に射影されるものに限定されない。また、被覆領域は基準画像の全体に基づいて求めるものに限定されず、基準画像の一部を変形情報により変形することで求めてもよい。

また、第２の画像要約処理部２００は、認識処理に基づいて、複数の画像のうち同一の対象物体を含む連続する画像、又は複数の画像のうち同一のシーンと認識された連続する画像を、要約画像の抽出対象となる連続画像列として設定し、設定した連続画像列から少なくとも１枚の画像を要約画像として抽出する処理を、第２の画像要約処理として行ってもよい。

ここで、連続画像列から少なくとも１枚抽出される要約画像とは、第２の要約画像列に残す物体要約画像を指す。

これにより、第２の画像要約処理として図５、図６を用いて説明した連続画像列（セグメント）を設定する手法を用いることができる。連続画像列とは同一の対象物体を含む連続する画像、又は同一のシーンと認識された連続する画像であるため、連続画像列から当該連続画像列に含まれる画像の枚数よりも少ない枚数の画像を抽出して物体要約画像とすることで、対象物体又はシーンが要約画像列に含まれなくなることを抑止しつつ、画像の冗長性を低減することが可能になる。なお、冗長性の低減効果を高めるのであれば、連続画像列から要約画像として抽出する画像の枚数は少なくすればよく、狭義には１枚の画像を抽出すればよい。

また、第２の画像要約処理部１００は、対象物体の面積に基づいて、連続画像列から抽出する要約画像（物体要約画像）を選択してもよい。

これにより、対象物体が画像上においてより大きく撮像されている画像を要約画像とすることができるため、ユーザによる観察等を容易にすること等が可能になる。また、面積が大きかったとしても、輝度値が小さく暗くつぶれている場合、形状が極端で観察に不向きである場合、画像周縁部に位置することで歪曲収差等のひずみを無視できない場合等、ユーザにとって必ずしも見やすいとはいえない状況も考えられる。よって、面積の他に画像内での位置、色情報、テクスチャ情報、認識の精度等の画像認識、または画像検出の情報を利用してもよい。それにより、対象物体の画像的特徴を考慮した画像要約を行うことができるため、検出された対象物体が見易いような画像を要約画像として選定することができ、対象物体をよりよく把握することが可能になる。

また、統合処理部３００は、第１の要約画像列及び第２の要約画像列の少なくとも一方に含まれる画像を出力要約画像列の要約画像（出力要約画像）として選択する処理を、第１の要約画像列と第２の要約画像列の統合処理として行ってもよい。

これにより、図７に示した統合処理が可能になる。図７のフローチャートからわかるように、本実施形態の統合処理はシンプルな手法により実現できるため、処理負荷が軽いという利点がある。

また、第１の画像要約処理部１００は、複数の画像間の類似度に基づいて、シーンチェンジを検出して第１の画像要約処理を行ってもよい。

これにより、シーンチェンジによる画像要約を行うことにより、連続する類似する画像を削除するため、ほとんど同じような冗長なシーンを削除することができ、効率良く画像数を削減して画像要約列を生成することが可能になる。なお、この処理は複数の画像間の類似度を用いるため、第１の画像に撮像された第１のシーンと、第２の画像に撮像された第２のシーンとが異なることを検出できれば十分であり、第１のシーンや第２のシーンが具体的にどのようなシーンに対応するかを認識する必要はない。これに対して、第２の画像要約処理でのシーンの認識処理とは、処理対象となる画像に撮像されたシーンが検出対象であるシーンと一致するか否かを判定する必要があり、例えば検出対象シーンの特徴量等を保持しておく必要がある点で相違する。

また、複数の画像はカプセル内視鏡画像であってもよい。そして、第２の画像要約処理部２００は、カプセル内視鏡画像に撮像される生体内の注目領域を対象物体として、認識処理を行う。

ここで、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。

これにより、カプセル内視鏡を用いて撮像した画像に対して本実施形態の画像要約処理を適用することが可能になる。上述したように、医療分野では病変等の見逃しは極力抑止しなくてはならない。第２の画像要約処理において注目領域を対象物体とすることで、注目領域が検出された画像を効率的に要約画像列に残すことが可能になるが、注目領域の検出は必ずしも成功するとは限らない。よって、注目領域を撮像しているにもかかわらず、認識処理の結果としては対象物体が検出されずに、物体要約画像の候補にならずに削除対象となる画像が発生しうる。そのため、類似度（狭義には被覆率）を用いた画像要約処理を併用することの利点が大きい。特にカプセル内視鏡を用いる例では、ドクターが外部から生体内にあるカプセル内視鏡を操作することは困難であり、撮像対象を効率的に変えていくことはできないため、似通った画像が多数取得されうる。さらに、操作が困難であるから、撮像画像をリアルタイムで逐一チェックするのではなく、大量に蓄積された後に処理を行うことが想定される。よって、カプセル内視鏡が取得した画像列に対して本実施形態の画像要約処理を行う利点は大きい。

また、第２の画像要約処理部１００は、特定の波長帯域の光の照射により取得された特殊光画像に基づいて、生体内の注目領域の認識処理を行ってもよい。

これにより、特殊光画像を用いた観察が可能になるため、第２の画像要約処理における対象物体の検出精度を向上させることが可能になり、重要物体（注目領域）を撮像した画像が画像要約処理により削除されてしまうことを抑止できる。なお、対象物体の検出精度の向上が期待できるとしても、類似度を用いた第１の画像要約処理を併用することが望ましく、さらなる注目領域の見逃し抑止効果が期待できる。

なお、特定の波長帯域とは、白色光の波長帯域よりも狭い帯域である。具体的には特殊光画像は生体内画像であり、特定の波長帯域とは、血液中のヘモグロビンに吸収される波長の波長帯域であってもよい。さらに具体的には、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍの波長帯域であってもよい。これはＮＢＩ（Narrow Band Imaging）と呼ばれる狭帯域光観察に対応する。

これにより、生体の表層部及び、深部に位置する血管の構造を観察することが可能になる。また得られた信号を特定のチャンネル（Ｒ，Ｇ，Ｂ）に入力することで、扁平上皮癌等の通常光では視認が難しい病変などを褐色等で表示することができ、病変部の見落としを抑止することができる。なお、３９０ｎｍ〜４４５ｎｍまたは５３０ｎｍ〜５５０ｎｍとはヘモグロビンに吸収されるという特性及び、それぞれ生体の表層部または深部まで到達するという特性から得られた数字である。

また、特定の波長帯域の光とは、ＮＢＩに対応するものに限定されず、ＡＦＩ（Auto Fluorescence Imaging）と呼ばれる蛍光観察やＩＲＩ（Infra Red Imaging）と呼ばれる赤外光観察に対応するものであってもよい。

また、以上の本実施形態は、複数の画像間の類似度に基づく第１の画像要約処理により、第１の要約画像列を取得する第１の画像要約処理部１００と、複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第２の画像要約処理により、第２の要約画像列を取得する第２の画像要約処理部２００と、第１の要約画像列と第２の要約画像列の統合処理、又は第１の画像要約処理と第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部３００としてコンピュータを機能させるプログラムにも適用できる。

これにより、上述の画像要約処理を行うプログラムを実現できる。例えば、画像要約処理がＰＣ等の情報処理システムにおいて行われるのであれば、このプログラムはＰＣの処理部（ＣＰＵやＧＰＵ等）に読み出されて実行される。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリーやＲＡＭ等のメモリーなど、ＰＣ等の情報処理システムによって読み取り可能な種々の記録媒体を想定できる。

３．第２の実施形態
次に第２の実施形態について説明する。本実施形態の画像要約装置のシステム構成例は、第１の実施形態で用いた図１と同様であるため詳細な説明は省略する。第１の実施形態に比べて、統合処理部３００での統合処理が異なるため、その点について詳述する。

第１の画像要約処理による第１の要約画像列、及び第２の画像要約処理による第２の要約画像列を取得する点は第１の実施形態と同様である。本実施形態では、２つの要約画像列を統合する前に、第１の要約画像列に基づいて第２の要約画像列の更新処理を行う。

図８（Ａ）、図８（Ｂ）は第２の実施形態の統合処理を説明する図である。図８（Ａ）では連続的な横方向の直線により入力画像列（入力画像列に含まれる複数の画像）を表している。また、縦方向の線が第２の画像要約処理の結果、選択された物体要約画像を表す。また、図８（Ａ）における横方向の矢印は、その範囲に含まれる画像が対象物体等を連続して検出したことを表すものであり、１つ１つの矢印が連続画像列（セグメント）に対応する。同様に、図８（Ｂ）の横方向の直線が入力画像列を表し、縦方向の線が類似度要約画像を表す。

本実施形態の統合処理では、第２の画像要約処理の結果として設定された複数の連続画像列を１つの結合連続画像列にまとめ、当該結合連続画像列から少なくとも１枚の要約画像を抽出することで、第２の要約画像列に含まれる物体要約画像の枚数を削減する。

具体例を説明する。まず、第１の要約画像列に含まれる類似度要約画像のうち隣り合う２つの画像を選択する。そして、その２つの類似度要約画像の間に、第２の画像要約処理で設定された連続画像列が複数含まれている場合には、それら複数の連続画像列を結合できるか否かの判定を行う。

或いは、隣り合う類似度要約画像を基準とするのではなく、隣り合う連続画像列を選択し、その双方が隣り合う類似度要約画像の間にあるか否かに基づいて、連続画像列を結合できるか否かの判定を行ってもよい。

ここで、連続画像列が２つの類似度要約画像の間にあるとは、当該連続画像列に含まれる少なくとも１枚の画像が２つの類似度要約画像の間にあればよく、連続画像列の全ての画像列が２つの類似度要約画像の間にある必要はない。

また、連続画像列に含まれる所与の画像を抽出し、抽出した画像が２つの類似度要約画像の間にある場合に、抽出元となった連続画像列を結合判定の対象としてもよい。この場合、抽出画像とされる画像は、物体要約画像として選択された画像が典型ではあるが、連続画像列に含まれる他の画像を用いてもよい。

図８（Ａ）、図８（Ｂ）を用いて例を示す。図８（Ｂ）のうち隣り合う２つの類似度要約画像としてＣ１及びＣ２に着目した場合、図８（Ａ）に示した連続画像列Ｂ１及び連続画像列Ｂ２は、上述の定義よりともにＣ１とＣ２の間に含まれることになる。よって、Ｂ１とＢ２に対して、結合できるか否かの判定を行う。

連続画像列の結合可否判定の具体例を図９（Ａ）に示す。類似度要約画像と、処理対象となっている複数の連続画像列から選択された物体要約画像を用いて判定を行う。具体的には、類似度要約画像を変形して複数の物体要約画像（少なくとも結合判定対象となっている連続画像列の数だけの枚数）のそれぞれに射影して被覆領域を求める。この処理は被覆率を用いた第１の画像要約処理と同様に、画像間の変形情報に基づいて行えばよい。その上で、物体要約画像の各画像について、検出された対象物体が被覆領域内にあるか否かの判定を行い、全ての物体要約画像において、対象物体が被覆領域内にあれば、対象となっている連続画像列を結合連続画像列に結合することが可能と判定する。類似度要約画像と、各被覆領域は同一の被写体範囲を撮像しているのであるから、全ての画像について対象物体が被覆領域内にある場合には、その対象物体は同一の物体である可能性が高いといえる。つまりこの対象物体については、複数の連続画像列から少なくとも連続画像列の数だけの物体要約画像を抽出する必要はなく、当該複数の連続画像列を結合した上で、結合連続画像列から少なくとも１枚の物体要約画像を抽出すれば足りる。

なお、結合連続画像列（図８（Ａ）のＢ１とＢ２の和集合に相当）から抽出される物体要約画像は、選択の基準となる特徴量を変更しない限り、結合前の連続画像列から抽出された物体要約画像のいずれかと一致することになる。つまり、図８（Ａ）の例で言えば、Ｂ３又はＢ４のいずれかを結合連続画像列から物体要約画像として抽出することになるため、連続画像列の結合処理とは狭義には物体要約画像の一部を削除する処理に相当する。

なお、類似度要約画像は前方だけでなく後方にもあることから、後方についても図９（Ｂ）のように同様の処理を行う。そして、図９（Ａ）と図９（Ｂ）のどちらか一方の処理において結合可能と判定されたら、連続画像列の結合処理を行えばよい。

図１０は、本実施形態の統合処理を説明するフローチャートである。図１０に示したように、統合処理はＳ４０１〜Ｓ４０８のループとなり、Ｓ４０２〜Ｓ４０７の処理を入力画像列の全画像について行うことになる。

具体的には、入力画像列のｉ番目の画像が、第１の要約画像列に含まれているかの判定を行う（Ｓ４０２）。Ｙｅｓの場合には、ｉ番目の画像を出力要約画像として選択する（Ｓ４０３）。Ｓ４０２でＮｏの場合には、ｉ番目の画像が、第２の要約画像列に含まれているかの判定を行う（Ｓ４０４）。Ｓ４０４でＮｏの場合には、ｉ番目の画像を削除画像とする（Ｓ４０７）。Ｓ４０４でＹｅｓの場合（つまりｉ番目の画像は物体要約画像の場合）には、ｉ番目の画像と、１つ前の物体要約画像について、類似度要約画像との関係に基づく判定を行う（Ｓ４０５）。具体的には、図８（Ａ）、図８（Ｂ）を用いて上述したように、隣り合う類似度要約画像の間に、ｉ番目の画像と１つ前の物体要約画像が入っている場合にＹｅｓとなる。Ｓ４０５でＮｏの場合には、連続画像列の結合は行われないため、ｉ番目の画像が第２の要約画像列から削除されることはなくなる。よって、Ｓ４０３に移行しｉ番目の画像を出力要約画像として選択する。

また、Ｓ４０５でＹｅｓの場合には、連続画像列を結合できる可能性があるため、図９（Ａ）、図９（Ｂ）に示した判定を行う（Ｓ４０６）。Ｓ４０６でＮｏの場合には、連続画像列の結合は行われないため、ｉ番目の画像が第２の要約画像列から削除されることはなくなる。よって、Ｓ４０３に移行しｉ番目の画像を出力要約画像として選択する。一方、Ｓ４０６でＹｅｓの場合には、２つの連続画像列が結合されることから、Ｓ４０７に移行しｉ番目の画像は削除画像とする。そして、この処理をｉ＝０を初期値とし、ｉをインクリメントしつつ入力画像列全体に対して行う。

なお、図１０のフローチャートは、１度に結合対象となる連続画像列が２つに限定されている点、連続画像列を結合した際には後方の連続画像列に対応する物体要約画像が削除される点等からわかるように、本実施形態の処理の一例を示したものに過ぎず、図１０とは異なる処理により本実施形態の手法が実現されてもよいことは言うまでもない。

以上の本実施形態では、統合処理部３００は、第１の要約画像列に基づいて、第２の画像要約処理において設定された複数の連続画像列を１つの結合連続画像列に結合し、結合連続画像列から少なくとも１枚の画像を要約画像（物体要約画像）として抽出することで、第２の要約画像列の更新処理を行う。

これにより、第１の要約画像列に基づいて、第２の要約画像列を更新することが可能になる。更新処理とは狭義には物体要約画像の一部を削除して、第２の要約画像列に含まれる画像の枚数を削減する処理になる。なお、連続画像列の結合処理は具体的には、図８（Ａ）、図８（Ｂ）及び図９に示した処理を行えばよいし、他の手法により行ってもよい。

また、統合処理部３００は、第１の要約画像列、及び更新処理後の第２の要約画像列の少なくとも一方に含まれる画像を出力要約画像列の要約画像（出力要約画像）として選択する処理を、第１の要約画像列と第２の要約画像列の統合処理として行ってもよい。

これにより、更新処理後の第２の要約画像列を用いて、第１の要約画像列との統合処理を行うことが可能になる。これにより、類似度を用いた画像要約処理と、対象物体等の認識処理を用いた画像要約処理の両方の利点を残しつつ、更新処理を行わない場合（第１の実施形態等）に比べて、出力要約画像列に含まれる画像の枚数を削減することができ、出力要約画像列を利用するユーザの利便性を高めること等が可能になる。

４．第３の実施形態
次に第３の実施形態について説明する。本実施形態の画像要約装置のシステム構成例を図１１に示す。図１１に示したように、基本的な構成は第１の実施形態と同様であるが、第１の画像要約処理部１００と、統合処理部３００との接続が双方向となっている点が異なる。

本実施形態では、統合処理部３００は、まず第２の画像要約処理の結果を取得し、取得した結果に基づいて第１の画像要約処理部１００に対して第１の画像要約処理を実行させる。

具体例を図１２（Ａ）〜図１２（Ｃ）に示す。図１２（Ａ）〜図１２（Ｃ）の表現については図８（Ａ）、図８（Ｂ）と同様である。図１２（Ａ）に示したように、第２の要約画像列は、第１の実施形態と同様に対象物体又はシーンの認識処理に基づいて、例えば連続画像列から少なくとも１枚の要約画像を抽出することで取得する。また、第１の画像要約処理は、第１の実施形態等であれば、図１２（Ｂ）のようになり、Ｓ（ｉ）が類似度要約画像（第１の基準画像）として選択された場合には、次の類似度要約画像であるＳ（ｉ＋１）は第２の基準画像を設定した上で被覆率に基づいた判定を行うことで探索される。

しかし、類似度（被覆率）に基づいて削除可能と判定された画像であっても、観察対象としている対象物体が撮像されており、かつ連続画像列を代表する画像なのであれば出力要約画像として選択するべきであり、第１の実施形態でもそのような統合処理を行っている。その観点から考えると、第１の画像要約処理において、類似度だけでなく第２の画像要約処理の結果を用いて類似度要約画像（或いは第１の基準画像）を選択することで、同様の効果が期待できる。

そこで本実施形態では、類似度要約画像（第１の基準画像）の設定後、次の類似度要約画像を探索する際に、物体要約画像となっている画像は、類似度に関係なく類似度要約画像として選択するものとする。例えば、図１２（Ｂ）に示したように、Ｅ１で示した画像は類似度の判定では削除画像とされるはずであるが、当該画像は図１２（Ａ）のＤ１に示したように物体要約画像として選択されている。よって、図１２（Ｃ）に示したように、本実施形態での第１の画像要約処理では、当該画像を類似度要約画像Ｓ（ｉ＋１）として設定する。

その後も同様に、類似度で所与の条件を満たした場合、或いは第２の要約画像列の要約画像が見つかった場合に、次に要約画像を設定すればよい。図１２（Ｃ）の例であれば、Ｓ（ｉ＋２）は類似度に基づいて選択されたものであるし、Ｓ（ｉ＋３）は物体要約画像に基づいて選択されたものである。狭義の類似度要約画像（第１の実施形態の第１の画像要約処理の結果）の画像列中の位置は、他の類似度要約画像（狭義には１つ前の類似度要約画像）に依存して決定される。そのため、第２の画像要約処理の結果を入れ込んで類似度要約画像を選択した場合には、図１２（Ｂ）、図１２（Ｃ）から明らかなように、第２の画像要約処理の結果を用いない場合に比べて、一般的に類似度要約画像として選択される画像は大きく異なるものになる。

なお、第２の画像要約処理の結果に基づいた第１の画像要約処理により、対象物体等の認識処理と類似度の両方を考慮した画像列が取得できるため、最終的な出力要約画像列は第１の画像要約処理の結果を用いればよい。

図１３は、本実施形態の統合処理を説明するフローチャートである。実際には、第２の画像要約処理の結果に基づいた第１の画像要約処理を説明するフローチャートであり、図４に近いものである。

図１３のＳ５０１〜Ｓ５１１については、図４のＳ１０１〜Ｓ１１１と同様であるため詳細な説明は省略する。図１３は図４のＳ５０５の次のステップとして、Ｓ５１２〜Ｓ５１４が加わったものであり、Ｓ５１２では処理対象となっているｉ番目の画像が、第２の画像要約処理の結果、物体要約画像となっているか否かの判定を行う。Ｓ５１２でＹｅｓの場合には、Ｓ５０５〜Ｓ５０８のループを抜けて、ｉ番目の画像を次の類似度要約画像として設定するとともに（Ｓ５１３）、Ｉ_Ｓ＝ｉとして（Ｓ５１４）、Ｓ５０２に戻りＳ５１４で設定した類似度要約画像を新たな第１の基準画像に設定して処理を継続する。

以上の本実施形態では、統合処理部３００は、第１の画像要約処理部に対して、第２の画像要約処理の結果に基づいて、第１の画像要約処理を実行させる処理を、第１の画像要約処理と第２の画像要約処理の統合処理として行う。

これにより、画像間の類似度判定、及び対象物体又はシーンの認識処理という異なる観点で行われた画像要約処理を統合して出力要約画像列を取得することができるため、双方の画像要約処理の利点を兼ね備えた画像要約処理を行うことが可能になる。

また、第１の画像要約処理部１００は、統合処理に基づいて、複数の画像から第２の要約画像列に含まれる画像（物体要約画像）を基準画像として選択するとともに、複数の画像から判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を類似度として算出し、被覆率に基づいて判定対象画像の削除可否の判定を行う処理を、第１の画像要約処理として行ってもよい。

これにより、第１の画像要約処理と第２の画像要約処理の統合処理として、具体的に第２の画像要約処理の結果に基づいて、第１の画像要約処理における基準画像の選択処理を行うことが可能になる。さらに具体的には、第２の要約画像列に含まれる物体要約画像をそのまま基準画像としつつ、物体要約画像以外の画像においては基本通り類似度に基づいて処理を行えばよい。

また、統合処理部３００は、統合処理により、第１の画像要約処理部で生成された第１の要約画像列を出力要約画像列として取得してもよい。

これにより、第２の画像要約処理に基づく第１の画像要約処理の結果をそのまま出力要約画像列とすることが可能になる。上述したように、本実施形態の手法では第２の画像要約処理の結果、要約画像（物体要約画像）とされた画像は、第１の画像要約処理における要約画像（類似度要約画像）として選択される。よって、第１の画像要約処理において、対象物体等の認識処理に基づく画像が残されることになるため、第１の要約画像列と第２の要約画像列との統合処理等は考慮しなくてもよい。

５．第４の実施形態
次に第４の実施形態について説明する。本実施形態の画像要約装置のシステム構成例は、第３の実施形態で用いた図１１と同様であるため詳細な説明は省略する。本実施形態では、第３の実施形態の手法と、第２の実施形態における第２の要約画像列の更新処理（連続画像列の結合処理）を組み合わせた手法を用いる。具体的には、第３の実施形態と同様に第２の画像要約処理の結果に基づいた第１の画像要約処理を行い、その結果取得される第１の要約画像列に基づいて第２の要約画像列を更新できるかの判定を行う。更新処理が行えた場合には、更新処理後の第２の画像要約処理の結果に基づいた第１の画像要約処理を行い、その結果取得される新たな第１の要約画像列を出力要約画像列として取得する。

具体例を図１４（Ａ）〜図１４（Ｅ）に示す。図１４（Ａ）が最初に取得される第２の要約画像列を表し、図１４（Ｂ）が第２の画像要約処理の結果を用いない場合の第１の要約画像列を表す。本実施形態では第３の実施形態と同様に、第２の画像要約処理の結果を用いて第１の画像要約処理を行うため、取得される第１の要約画像列は図１４（Ｃ）となる。

図１４（Ｃ）の第１の要約画像列が取得された後に、これを用いて図１４（Ａ）の第２の要約画像列の更新処理を実行できるか否かの判定を行う。具体的には第２の実施形態で上述したように、複数の連続画像列を結合連続画像列に結合できるか否かの判定を行うことになる。例えば、図１４（Ａ）の連続画像列Ｆ１とＦ２は、ともに隣り合う類似度要約画像Ｇ１とＧ２の間に含まれるため、結合判定の対象となる。

この結果、図１４（Ｄ）のように第２の要約画像列が更新された場合、図１４（Ａ）のＦ３に示した物体要約画像は削除されることから、出力要約画像にＦ３に対応する画像を含めなくてもよいことになる。つまり、図１４（Ｃ）の第１の要約画像列のＧ１が不要となるため、第１の要約画像列についても変更する必要が生じる。具体的には、更新処理後の第２の要約画像列である図１４（Ｄ）に基づいて再度第１の画像要約処理を行えばよく、その結果新たな第１の要約画像列として図１４（Ｅ）が取得される。

なお、図１４（Ｅ）を取得するに当たっては、入力画像列全体に対して処理を行ってもよい。ただし、第２の要約画像列が更新されたことで、図１４（Ｃ）のどの画像を削除する必要があるかはわかるため、削除対象であるＧ１の１つ前の類似度要約画像（Ｇ３）以前の画像については変化がないことは新たな第１の画像要約処理を行わずともわかることである。よって、変化が生じうる部分、つまり図１４（Ｃ）のＧ３で示した画像以降に対して処理を行うものとしてもよい。

図１５は、本実施形態の統合処理を説明するフローチャートである。この処理が開始されると、まず第２の画像要約処理が行われる（Ｓ６０１）。Ｓ６０１の処理は図５の処理に相当する。次に、第２の画像要約処理の結果（狭義には第２の要約画像列）に基づいて、第１の画像要約処理を行う（Ｓ６０２）。Ｓ６０２の処理は図１３の処理に相当する。

その後、第１の要約画像列に基づいて第２の要約画像列の更新処理を行う（Ｓ６０３）。Ｓ６０３の処理は図１０のＳ４０４〜Ｓ４０６等の処理に相当する。そして、更新処理の結果、第２の要約画像列が変化したか（狭義には第２の要約画像列の要約画像の一部が削除されたか）の判定を行い（Ｓ６０４）、変化した場合には、更新処理後の第２の要約画像列に基づいて、第１の画像要約処理を行う（Ｓ６０５）。Ｓ６０５の処理後、或いはＳ６０４でＮｏの場合には、Ｓ６０６に移行し、対応する第１の要約画像列を出力要約画像列に設定して処理を終了する。Ｓ６０４でＹｅｓの場合には、Ｓ６０５での処理結果が出力要約画像列に設定されることになり、Ｓ６０４でＮｏの場合には、Ｓ６０２での処理結果が出力要約画像列に設定されることになる。

なお、第２の画像要約処理の結果に基づいた第１の画像要約処理をステップＡとし、第１の要約画像列に基づいた第２の要約画像列の更新処理をステップＢとした場合に、以上の説明では、最初のステップＡ（図１５のＳ６０２に相当）とその結果を用いたステップＢ（Ｓ６０３）を実行し、ステップＢの結果を用いて２度目のステップＡ（Ｓ６０５）を行うものとしていた。ただし、入力画像列によっては２度目のステップＡの結果を用いて、２度目のステップＢを実行できる（更新処理の結果第２の要約画像列が変化する）可能性もあり得る。

よって、本実施形態の変形例としては、ステップＡ及びステップＢを、１つ前のステップの結果を入れ込みつつ任意の回数繰り返し実行するものとしてもよい。この場合、Ｎ回目（Ｎは２以上の整数）のステップＡを行った段階で処理を終了して、その結果を出力要約画像列としてもよい。或いは、ステップＢを実行できなかった（或いは実行したが第２の要約画像列が変化しなかった）ことを検出した場合に、その直前のステップＡの結果を出力要約画像列としてもよい。

以上の本実施形態では、統合処理部３００は、統合処理により、第１の画像要約処理部で生成された第１の要約画像列に基づいて、第２の要約画像列に含まれる画像の枚数を削減する第２の要約画像列の更新処理の実行可否判定を行う。

これにより、第３の実施形態の手法を用いた場合の第１の要約画像列（第３の実施形態ではそのまま出力要約画像列となる）を用いて、第２の実施形態で用いた第２の要約画像列の更新処理が可能か否かの判定を行うことが可能になる。第１の要約画像列を求めた時点で、第３の実施形態で述べたとおり第１の画像要約処理と第２の画像要約処理の統合処理は行えているが、その結果は含まれる画像の枚数削減は考慮されていない。出力要約画像列の画像枚数を減らすことでユーザの利便性向上が図れるため、画像の枚数削減を試みることには利点があり、ここでは第２の実施形態で用いた第２の要約画像列の更新処理（具体的には連続画像列の結合処理等）を用いるものとする。

また、統合処理部３００は、第２の要約画像列の更新処理が実行可能と判定された場合には、第２の要約画像列の更新処理を行ってもよい。そして、第１の画像要約処理部に対して、更新処理後の第２の画像要約処理の結果に基づいて、第１の画像要約処理を実行させる処理を、第１の画像要約処理と第２の画像要約処理の統合処理として行う。

これにより、更新処理後の第２の画像要約処理の結果（更新後の第２の要約画像列）に基づいた第１の画像要約処理を行うことが可能になる。第２の要約画像列の更新処理を行うことで、第２の要約画像列に含まれる物体要約画像の枚数を削減することができる（図１４（Ａ）から図１４（Ｄ）へと削減される）が、出力要約画像列に対応する第１の要約画像列（図１４（Ｃ））にはそのままでは削除処理が反映されない。また、図１４（Ａ）におけるＦ３が更新処理により削除された場合に、第１の要約画像列から対応する画像（図１４（Ｃ）のＧ１）を単純に削除することは好ましくない。なぜなら、図１４（Ｂ）（第２の画像要約処理を考慮しない第１の画像要約処理の結果）から明らかなように、Ｈ３の次の類似度要約画像としてはＨ２（或いはＨ２よりもＨ３に近い画像）を選ばなくては、その間の画像は類似度の観点からカバーできないことになる。しかし、図１４（Ｃ）でＧ１を削除してしまうとＧ３の次の要約画像はＧ２になってしまい、間隔が広くなりすぎＧ３とＧ２間の画像をカバーしきれない。よって、図１４（Ａ）から図１４（Ｄ）のように、第２の要約画像列に対する更新処理が行われた場合には、図１４（Ｃ）から単純にＧ１を削除するのではなく、更新処理後の第２の要約画像列を用いて第１の画像要約処理を再度行って図１４（Ｅ）を取得することが望ましい。

また、統合処理部３００は、統合処理により、第１の画像要約処理部で生成された第１の要約画像列を出力要約画像列として取得してもよい。

これにより、更新処理後の第２の要約画像列に基づいた第１の画像要約処理により取得された第１の要約画像列を出力要約画像列とすることが可能になる。本実施形態においても、第３の実施形態と同様に、第１の画像要約処理において、対象物体等の認識処理に基づく画像が残されることになるため、第１の要約画像列と第２の要約画像列との統合処理等は考慮しなくてもよい。なお、第２の要約画像列の更新処理を試みた結果、処理前後で変化がない（物体要約画像の削減ができなかった）場合も考えられる。その場合には、更新処理後の第２の要約画像列に基づいた第１の画像要約処理を行ったとしても、出力結果は更新処理前の第２の要約画像列に基づいた第１の画像要約処理と変わらないため、図１５のフローチャートに示したように、再度の第１の画像要約処理はスキップすることが望ましい。その場合には、出力要約画像列として取得される第１の要約画像列は、更新処理前の第２の要約画像列に基づくもの（図１５におけるＳ６０２の処理結果）となる。

以上、本発明を適用した４つの実施の形態１〜４およびその変形例について説明したが、本発明は、各実施の形態１〜４やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜４や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜４や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。

１０ 画像入力装置、２０ 画像データベース、３０ 画像列取得部、４０ 出力部、
１００ 第１の画像要約処理部、１１０ 類似度算出部、１２０ 要約処理部、
１３０ 第１の要約画像列生成部、２００ 第２の画像要約処理部、
２１０ 認識処理部、２２０ 要約処理部、２３０ 第２の要約画像列生成部、
３００ 統合処理部

Claims (20)

1. 複数の画像間の類似度に基づく第１の画像要約処理により、第１の要約画像列を取得する第１の画像要約処理部と、
   前記複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第２の画像要約処理により、第２の要約画像列を取得する第２の画像要約処理部と、
   前記第１の要約画像列と前記第２の要約画像列の統合処理、又は前記第１の画像要約処理と前記第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部と、
   を含むことを特徴とする画像要約装置。
2. 請求項１において、
   前記第１の画像要約処理部は、
   前記複数の画像から基準画像及び判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を前記類似度として算出し、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行う処理を、前記第１の画像要約処理として行うことを特徴とする画像要約装置。
3. 請求項２において、
   第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、
   前記第１の画像要約処理部は、
   第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２以上の整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ−１を満たす整数）の画像を前記判定対象画像として選択し、
   前記第１の基準画像と前記判定対象画像の間の前記変形情報、及び前記第２の基準画像と前記判定対象画像の間の前記変形情報に基づいて前記被覆率を算出して、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
4. 請求項３において、
   前記第１の画像要約処理部は、
   第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、前記第２の基準画像として第ｑ＋１の画像を選択することを特徴とする画像要約装置。
5. 請求項４において、
   前記第１の画像要約処理部は、
   前記第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第１の基準画像として選択された前記画像を、前記第１の要約画像列に含める処理を行うとともに、前記第ｑ−１の画像を新たな前記第１の基準画像として選択して再度処理を行うことを特徴とする画像要約装置。
6. 請求項２乃至５のいずれかにおいて、
   前記第１の画像要約処理部は、
   前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記被覆率として、前記判定対象画像に占める前記被覆領域の割合を算出することを特徴とする画像要約装置。
7. 請求項１乃至６のいずれかにおいて、
   前記第２の画像要約処理部は、
   前記認識処理に基づいて、前記複数の画像のうち同一の前記対象物体を含む連続する画像、又は前記複数の画像のうち同一の前記シーンと認識された連続する画像を、要約画像の抽出対象となる連続画像列として設定し、設定した前記連続画像列から少なくとも１枚の画像を前記要約画像として抽出する処理を、前記第２の画像要約処理として行うことを特徴とする画像要約装置。
8. 請求項７において、
   前記第２の画像要約処理部は、
   前記対象物体の面積に基づいて、前記連続画像列から抽出する前記要約画像を選択することを特徴とする画像要約装置。
9. 請求項１乃至８のいずれかにおいて、
   前記統合処理部は、
   前記第１の要約画像列及び前記第２の要約画像列の少なくとも一方に含まれる画像を前記出力要約画像列の要約画像として選択する処理を、前記第１の要約画像列と前記第２の要約画像列の前記統合処理として行うことを特徴とする画像要約装置。
10. 請求項７又は８において、
    前記統合処理部は、
    前記第１の要約画像列に基づいて、前記第２の画像要約処理において設定された複数の前記連続画像列を１つの結合連続画像列に結合し、前記結合連続画像列から少なくとも１枚の画像を前記要約画像として抽出することで、前記第２の要約画像列の更新処理を行うことを特徴とする画像要約装置。
11. 請求項１０において、
    前記統合処理部は、
    前記第１の要約画像列、及び前記更新処理後の前記第２の要約画像列の少なくとも一方に含まれる画像を前記出力要約画像列の要約画像として選択する処理を、前記第１の要約画像列と前記第２の要約画像列の前記統合処理として行うことを特徴とする画像要約装置。
12. 請求項１乃至８のいずれかにおいて、
    前記統合処理部は、
    前記第２の画像要約処理の結果に基づく前記第１の画像要約処理を、前記第１の画像要約処理部に実行させる処理を、前記第１の画像要約処理と前記第２の画像要約処理の前記統合処理として行うことを特徴とする画像要約装置。
13. 請求項１２において、
    前記第１の画像要約処理部は、
    前記統合処理に基づいて、前記複数の画像から前記第２の要約画像列に含まれる画像を基準画像として選択するとともに、前記複数の画像から判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を前記類似度として算出し、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行う処理を、前記第１の画像要約処理として行うことを特徴とする画像要約装置。
14. 請求項１２又は１３において、
    前記統合処理部は、
    前記統合処理により、前記第１の画像要約処理部で生成された前記第１の要約画像列に基づいて、前記第２の要約画像列に含まれる前記画像の枚数を削減する前記第２の要約画像列の更新処理を行うことを特徴とする画像要約装置。
15. 請求項１４において、
    前記統合処理部は、
    前記更新処理後の前記第２の画像要約処理の結果に基づく前記第１の画像要約処理を、前記第１の画像要約処理部に実行させる処理を、前記第１の画像要約処理と前記第２の画像要約処理の前記統合処理として行うことを特徴とする画像要約装置。
16. 請求項１２乃至１５のいずれかにおいて、
    前記統合処理部は、
    前記統合処理により、前記第１の画像要約処理部で生成された前記第１の要約画像列を前記出力要約画像列として取得することを特徴とする画像要約装置。
17. 請求項１乃至１６のいずれかにおいて、
    前記第１の画像要約処理部は、
    前記複数の画像間の前記類似度に基づいて、シーンチェンジを検出して前記第１の画像要約処理を行うことを特徴とする画像要約装置。
18. 請求項１乃至１７のいずれかにおいて、
    前記複数の画像はカプセル内視鏡画像であり、
    前記第２の画像要約処理部は、
    前記カプセル内視鏡画像に撮像される生体内の注目領域を、前記対象物体として前記認識処理を行うことを特徴とする画像要約装置。
19. 請求項１８において、
    前記第２の画像要約処理部は、
    特定の波長帯域の光の照射により取得された特殊光画像に基づいて、前記生体内の前記注目領域の前記認識処理を行うことを特徴とする画像要約装置。
20. 複数の画像間の類似度に基づく第１の画像要約処理により、第１の要約画像列を取得する第１の画像要約処理部と、
    前記複数の画像の各画像に対する、対象物体又はシーンの認識処理に基づく第２の画像要約処理により、第２の要約画像列を取得する第２の画像要約処理部と、
    前記第１の要約画像列と前記第２の要約画像列の統合処理、又は前記第１の画像要約処理と前記第２の画像要約処理の統合処理を行って出力要約画像列を取得する統合処理部として、
    コンピュータを機能させることを特徴とするプログラム。

Images