JP5896791B2 - 画像処理装置、プログラム及び画像処理方法 - Google Patents

画像処理装置、プログラム及び画像処理方法 Download PDF

Info

Publication number
JP5896791B2
JP5896791B2 JP2012050860A JP2012050860A JP5896791B2 JP 5896791 B2 JP5896791 B2 JP 5896791B2 JP 2012050860 A JP2012050860 A JP 2012050860A JP 2012050860 A JP2012050860 A JP 2012050860A JP 5896791 B2 JP5896791 B2 JP 5896791B2
Authority
JP
Japan
Prior art keywords
image
images
determination target
reference image
sequence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012050860A
Other languages
English (en)
Other versions
JP2013183874A (ja
Inventor
陽一 矢口
陽一 矢口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2012050860A priority Critical patent/JP5896791B2/ja
Priority to PCT/JP2013/056271 priority patent/WO2013133368A1/ja
Priority to CN201610808300.1A priority patent/CN106127796B/zh
Priority to EP13757814.2A priority patent/EP2823754A4/en
Priority to CN201380012887.XA priority patent/CN104159501B/zh
Publication of JP2013183874A publication Critical patent/JP2013183874A/ja
Priority to US14/479,235 priority patent/US9576362B2/en
Application granted granted Critical
Publication of JP5896791B2 publication Critical patent/JP5896791B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本発明は、画像処理装置、プログラム及び画像処理方法等に関する。
所与の時間間隔により時系列的に静止画の撮像を継続した場合、空間的な広がりを持つ被写体を多数の画像により網羅した場合、或いは動画像を撮像した上で当該動画像を構成する各画像を静止画像としてとらえた場合等では、時間的或いは空間的に連続する非常に大量の画像（以下、画像列とも記載する）が取得されることになる。このような場合には、画像列中で近くにある（つまり時間的或いは空間的に近くにある）画像同士は似通った画像である可能性が高く、撮像した内容を把握するに当たって大量の画像のすべてをチェックする必要性は高くない。そもそも、画像の枚数は数万枚以上となることも珍しくなく、ユーザの手ですべてをチェックすること自体、負担が大きい。
そのため、画像列から一部の画像を削除することで元の画像列より枚数の少ない画像列に要約する（以下、この処理を画像要約処理と記載する）需要がある。例えば特許文献１には、画像列の中のシーンが変化する境目の画像や、画像列を代表する画像を抽出することで、画像列の内容を把握しやすい画像を残す画像要約処理手法が開示されている。
特開２００９−５０２０号公報 特開２０１１−２４７６３号公報
例えば医学分野に画像要約技術を適用する場合、疾患の見逃しを避ける観点から、画像を削除したことによって観察できなくなる領域の発生を抑える必要がある。
しかし特許文献１の手法のようにシーンが変化する境目の画像だけを残したり、或いは要約後の画像列が直感的に見やすいかどうかといった観点で画像要約を行ったりすると、画像が削除される事によって観察できなくなる領域が発生する可能性があり好ましくない。また、観察できなくなる領域の発生の程度は画像の内容に依存するため、従来の画像要約処理の手法では疾患の見逃し等の程度を制御することが困難であった。
本発明の幾つかの態様によれば、一部の画像を削除することで画像要約処理を行った場合に、画像の削除により観察できなくなる領域の発生の抑止や、発生度合いの制御を行う画像処理装置、プログラム及び画像処理方法等を提供することができる。
本発明の一態様は、複数の画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、前記被覆率に基づいて、前記判定対象画像の削除可否の判定を行う画像処理装置に関係する。
本発明の一態様では、取得した画像列から基準画像と判定対象画像を選択し、選択した基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を算出して判定対象画像の削除可否の判定を行う。よって、判定対象画像が基準画像（狭義には要約画像列に残す画像）によりどの程度被覆されているかに基づいた削除可否判定が可能になるため、画像を削除することにより観察できなくなる領域が発生することを抑止すること等が可能になる。
また、本発明の一態様では、第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、前記処理部は、第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２以上の整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ−１を満たす整数）の画像を前記判定対象画像として選択し、前記第１の基準画像と前記判定対象画像の間の前記変形情報、及び前記第２の基準画像と前記判定対象画像の間の前記変形情報に基づいて前記被覆率を算出して、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行ってもよい。
これにより、判定対象画像の前方及び後方に基準画像を設定すること等が可能になる。
また、本発明の一態様では、前記処理部は、第ｐ＋２〜第Ｎの画像に対応する始点及び終点が設定された第２の基準画像選択区間から前記第２の基準画像を選択して、前記第１の基準画像及び前記第２の基準画像に基づいて前記判定対象画像の削除可否の判定を行い、第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、前記第２の基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな前記第２の基準画像として選択するとともに、前記第２の基準画像選択区間の前記始点を前記第ｑの画像に更新してもよい。
これにより、第２の基準画像選択区間を設定するとともに、削除可否判定の結果に基づいて、第２の基準画像を後方の画像に更新するとともに、選択区間の始点を更新すること等が可能になる。
また、本発明の一態様では、前記処理部は、第ｊ（ｊは整数）の画像が前記第２の基準画像選択区間の前記終点に対応する場合に、（ｑ＋ｊ）／２の値に基づいて前記ｘの値を設定してもよい。
これにより、第２の基準画像を後方の画像に更新する際に、二分探索の手法を適用すること等が可能になる。
また、本発明の一態様では、前記処理部は、前記第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第２の基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな前記第２の基準画像として選択するとともに、前記第２の基準画像選択区間の前記終点を前記第ｑの画像に更新してもよい。
これにより、第２の基準画像を前方の画像に更新するとともに、選択区間の終点を更新すること等が可能になる。
また、本発明の一態様では、前記処理部は、第ｉ（ｉは整数）の画像が前記第２の基準画像選択区間の前記始点に対応する場合に、（ｉ＋ｑ）／２の値に基づいて前記ｙの値を設定してもよい。
これにより、第２の基準画像を前方の画像に更新する際に、二分探索の手法を適用すること等が可能になる。
また、本発明の一態様では、前記処理部は、前記第２の基準画像選択区間の前記始点又は前記終点を更新した結果、前記始点と前記終点が隣り合う場合に、前記第１の基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、前記始点に対応する前記複数の画像の１つ、及び前記複数の画像のうち前記始点に対応する前記複数の画像の１つよりも前記入力画像列において後方のものからなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記ｐの値を１に設定して再度処理を行ってもよい。
これにより、第２の基準画像選択区間の始点と終点が隣り合う場合に、入力画像列に対する処理を終了し、部分画像列を設定すること等が可能になる。
また、本発明の一態様では、前記処理部は、第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、前記第２の基準画像として第ｑ＋１の画像を選択してもよい。
これにより、第２の基準画像を１つ後方の画像に更新すること等が可能になる。
また、本発明の一態様では、前記処理部は、前記第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第１の基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、前記第ｑ−１〜第Ｎの画像からなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記ｐの値を１に設定して再度処理を行ってもよい。
これにより、第１の基準画像を要約画像列に残すとともに、適切な部分画像列を新たな入力画像列に設定して、第１の基準画像及び第２の基準画像を更新すること等ができるため、より効率的な画像要約処理が可能になる。
また、本発明の一態様では、第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、前記処理部は、第１の画像を前記基準画像として選択するとともに、第ｋ（ｋは２≦ｋ≦Ｎ−１を満たす整数）の画像を前記判定対象画像として選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて前記被覆率を算出して、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行い、前記第ｋの画像が削除可能と判定された場合には、前記判定対象画像として第ｋ＋１の画像を選択してもよい。
これにより、判定対象画像の前方に基準画像を設定した上で、被覆率に基づいた画像要約処理を行うこと等が可能になる。
また、本発明の一態様では、前記処理部は、前記第ｋの画像が削除不可と判定された場合には、前記基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、前記第ｋ〜第Ｎの画像からなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して再度処理を行ってもよい。
これにより、基準画像を新たに設定することができるため、被覆率に基づいた画像要約処理を行うこと等が可能になる。
また、本発明の一態様では、第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、前記処理部は、第ｓ（ｓは２≦ｓ≦Ｎ−１を満たす整数）の画像を前記基準画像として選択するとともに、第ｔ（ｔは１≦ｔ≦Ｎかつｔ≠ｓを満たす整数）の画像を前記判定対象画像として選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて前記被覆率を算出して、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行ってもよい。
これにより、基準画像に対して前方及び後方の両方から判定対象画像を選択し、削除可否の判定処理を行うこと等が可能になる。
また、本発明の一態様では、前記処理部は、前記削除可否の前記判定において、第１〜第ｓ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第１〜第ｓ−１の画像からなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して再度処理を行ってもよい。
これにより、基準画像により入力画像列を分割した場合に、基準画像の前方の部分について削除可否判定を行って必要に応じて新たな入力画像列に設定する手法により、被覆率に基づいた画像要約処理を行うことが可能になる。
また、本発明の一態様では、前記処理部は、前記削除可否の前記判定において、第ｓ＋１〜第Ｎの画像のうち少なくとも１つが削除不可と判定された場合には、前記第ｓ＋１〜第Ｎの画像からなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して再度処理を行ってもよい。
これにより、基準画像により入力画像列を分割した場合に、基準画像の後方の部分について削除可否判定を行って必要に応じて新たな入力画像列に設定する手法により、被覆率に基づいた画像要約処理を行うことが可能になる。
また、本発明の一態様では、前記処理部は、前記基準画像、前記判定対象画像、及び前記複数の画像のうち前記画像列において前記基準画像と前記判定対象画像の間のものについて、隣り合う前記画像間の前記変形情報を求め、求めた隣り合う前記画像間の前記変形情報に基づいて、前記基準画像と前記判定対象画像の間の前記変形情報を求めてもよい。
これにより、基準画像と判定対象画像の間の変形情報を、隣り合う画像間の変形情報に基づいて算出することが可能になる。
また、本発明の一態様では、前記処理部は、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記被覆率として、前記判定対象画像に占める前記被覆領域の割合を算出してもよい。
これにより、被覆領域に基づいて被覆率を算出することが可能になる。
また、本発明の一態様では、前記処理部は、前記基準画像として、前記複数の画像から第１〜第Ｍ（Ｍは２以上の整数）の基準画像を選択し、第ｕ（１≦ｕ≦Ｍ）の基準画像と前記判定対象画像の間の変形情報に基づいて第ｕの被覆領域を求め、第１〜第Ｍの被覆領域の和集合の領域を前記被覆領域として設定し、設定した前記被覆領域に基づいて前記被覆率を算出してもよい。
これにより、基準画像を複数設定した上で、被覆領域に基づいて被覆率を算出することが可能になる。
また、本発明の一態様では、前記処理部は、前記判定対象画像の画像上位置に応じて重み係数を設定し、前記重み係数と前記被覆領域とに基づいて算出された第１の重み総和と、前記重み係数と前記判定対象画像とに基づいて算出された第２の重み総和との割合に基づいて、前記被覆率を算出してもよい。
これにより、重み係数を利用して被覆率を算出することが可能になる。
また、本発明の一態様では、前記処理部は、前記判定対象画像に対して複数の点を設定し、前記複数の点を前記基準画像と前記判定対象画像の間の変形情報に応じて変換した場合に、前記基準画像に含まれる前記変換後の点の数に基づいて、前記被覆率を算出してもよい。
これにより、複数の点に基づいて被覆率を算出することが可能になる。
また、本発明の一態様では、前記処理部は、前記基準画像として、前記複数の画像から第１〜第Ｍ（Ｍは２以上の整数）の基準画像を選択し、前記複数の点を第ｕ（１≦ｕ≦Ｍ）の基準画像と前記判定対象画像の間の変形情報に応じて変換した場合に、前記第ｕの基準画像に含まれる前記変換後の点の数を第ｕの被覆情報として求め、前記第１〜第Ｍの基準画像の各々から求められた第１〜第Ｍの被覆情報に基づいて前記被覆率を算出してもよい。
これにより、基準画像を複数設定した上で、複数の点に基づいて被覆率を算出することが可能になる。
また、本発明の一態様では、前記処理部は、前記判定対象画像の画像上位置に応じて重み係数を設定し、前記複数の点を前記基準画像と前記判定対象画像の間の変形情報に応じて変換した場合に、前記基準画像に含まれる前記変換後の点と、前記重み係数に基づいて、前記被覆率を算出してもよい。
これにより、重み係数を利用して被覆率を算出することが可能になる。
また、本発明の一態様では、前記処理部は、前記重み係数の値として、前記判定対象画像の第１の領域に０を設定するとともに、前記判定対象画像の前記第１の領域とは異なる第２の領域に１を設定してもよい。
これにより、重み係数として０又は１を設定することが可能になる。
本発明の他の態様は、複数の画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部として、コンピュータを機能させ、前記処理部は、前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、前記被覆率に基づいて、前記判定対象画像の削除可否の判定を行うプログラムに関係する。
本発明の他の態様は、複数の画像を有する画像列を取得し、前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、前記被覆率に基づいて、前記判定対象画像の削除可否の判定を行い、前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。
第１の実施形態にかかる画像処理装置のシステム構成例。 第１の実施形態の処理を説明するためのフローチャート。 被覆領域を用いた被覆率算出処理を説明する図。 図４（Ａ）〜図４（Ｄ）は第１の実施形態の画像要約処理を説明する図。 複数の点を用いた被覆率算出処理を説明する図。 複数の点を用いた被覆率算出処理を説明するためのフローチャート。 複数の基準画像を選択する変形例を説明する図。 複数の基準画像に基づいて被覆領域を求める処理を説明する図。 図９（Ａ）、図９（Ｂ）は複数の基準画像を選択する変形例を説明する図。 重み付けを用いた被覆率算出処理を説明する図。 第２の実施形態にかかる画像処理装置のシステム構成例。 第２の実施形態の処理を説明するためのフローチャート。 図１３（Ａ）、図１３（Ｂ）は第２の実施形態の画像要約処理を説明する図。 第２の実施形態での最初の基準画像の選択手法の一例を説明する図。 第３の実施形態にかかる画像処理装置のシステム構成例。 第３の実施形態の処理を説明するためのフローチャート。 第３の実施形態の処理を説明するための他のフローチャート。 第３の実施形態の画像要約処理を説明する図。 本実施形態にかかる画像要約処理のシステム構成例。 図２０（Ａ）〜図２０（Ｇ）は第２の実施形態の変形例を説明する図。 第２の実施形態の変形例の処理を説明するためのフローチャート。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
１．本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理（例えば内視鏡画像列であれば診断等の医療行為）を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。
具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔（例えば１秒に２回等）で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間（場合によっては十数時間）を要するため、１ユーザの１回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。
従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。また、画像要約処理により画像列のどの画像にも含まれなくなる被写体がどの程度生じるかという度合いは、処理対象となる画像列に依存するため、従来手法においては当該度合いの制御が困難であった。
このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域（例えば病変部）の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。
そこで本出願人は、基準画像（残す画像、実施形態によっては残す候補となる画像）と判定対象画像（削除するか否かの判定の対象画像）との被覆率に基づいた画像要約処理を行う手法を提案する。具体的には図３に示したように、基準画像を変形することで判定対象画像上に被覆領域を算出する。基準画像で撮像された被写体と、判定対象画像の被覆領域上に撮像された被写体とは対応することになる。つまり、判定対象画像における被覆領域外の範囲は、当該判定対象画像を削除した場合、基準画像を残したとしてもカバーすることができない領域となる。
よって、判定対象画像に占める被覆領域の割合等を被覆率として算出し、算出した被覆率に基づいて判定対象画像を削除するか否かを判定することで、観察できなくなる被写体範囲の発生度合いを制御する。例えば被覆率が閾値以上である際に判定対象画像を削除し、被覆率が閾値未満の際に判定対象画像を削除しないものとすれば、閾値の設定に応じてカバーできない領域の発生度合いを制御できる。閾値を大きくすれば、カバーできない領域の発生度合いを低くできるため、病変の見落とし等の抑止効果が高まる。また、閾値を小さくすれば、カバーできない領域が生じやすくなるものの、要約後の画像列に含まれる画像の枚数を少なくし、その後のユーザ負担を軽減すること等が可能となる。
ここでの画像処理装置の１つの実施形態としては、図１９に示したように処理部１００と、画像列取得部２００を含むものが考えられる。画像列取得部２００は、複数の画像を有する画像列を取得する。そして処理部１００は、画像列取得部２００が取得した画像列の有する複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う。具体的には、処理部１００は、複数の画像から、基準画像と判定対象画像を選択し、選択した基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を算出する。そして、算出した被覆率に基づいて、判定対象画像を削除可否の判定を行う。
これにより、被覆率に基づいた画像要約処理が可能になる。なお、削除可否の判定により、判定対象画像が削除可能と判定された場合、当該判定対象画像は削除されることが確定するとしてもよいし（第１、第２の実施形態）、他の画像を判定対象画像とした場合の削除可否の判定結果が取得されるまで削除されることが確定しないものとしてもよい（第３の実施形態）。
以下、第１の実施形態では基準画像の後方の画像についての被覆率を保証する画像要約処理を系列順に行う手法について説明する。また変形例として、被覆領域ではなく複数の点を利用して被覆率を算出する手法、基準画像を複数用いて被覆率を算出する手法、被覆率を求めるに当たって画像上位置に応じた重み付けを用いる手法、及び隣り合う画像間の変形情報に基づいて所望の変形情報を求める手法についても説明する。なお、第１の実施形態において説明する変形例は、第２、第３の実施形態に適用されてもよいものとする。
第２の実施形態では判定対象画像の前方及び後方に設定された基準画像に基づいて、前方後方の画像についての被覆率を保証する画像要約処理を系列順に行う手法について説明する。また、第３の実施形態では、画像列の端点以外に基準画像を設定し、当該基準画像の前方部分画像列及び後方部分画像列について削除するか否かの判定を行う手法について説明する。
２．第１の実施形態
第１の実施形態として、基準画像の後方の画像についての被覆率を保証する画像要約処理について説明する。まず基本的な手法について説明し、その後４つの変形例について述べる。なお、各変形例はそのうちの１つを用いてもよいし、２つ以上を組み合わせて用いてもよい。
２．１ 第１の実施形態の手法
図１に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部１００と、画像列取得部２００と、記憶部３００を含む。
処理部１００は、画像列取得部２００が取得した画像列に対して、当該画像列に含まれる複数の画像の一部を削除することで、画像要約処理を行う。この処理部１００の機能は、各種プロセッサ（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。
画像列取得部２００は、画像要約処理の対象となる画像列を取得する。記憶部３００は、画像列取得部２００が取得した画像列を記憶する他、処理部１００等のワーク領域となるもので、その機能はＲＡＭ等のメモリーやＨＤＤ（ハードディスクドライブ）などにより実現できる。
また、処理部１００は、図１に示したように基準画像選択部１００１と、判定対象画像選択部１００２と、被覆領域算出部１００３と、被覆率算出部１００４と、削除可否判定部１００５と、部分画像列設定部１００８と、要約画像列決定部１００９とを含んでもよい。なお処理部１００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、処理部１００で実行される画像要約処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも処理部１００が上述の各部を構成要件として有するわけではない。
基準画像選択部１００１は、画像列の複数の画像から基準画像を選択する。判定対象画像選択部１００２は、画像列の複数の画像のうち、基準画像とは異なる画像を判定対象画像として選択する。
被覆領域算出部１００３は、基準画像と判定対象画像の間の変形情報（変形パラメータ）を利用して、基準画像を判定対象画像へ射影して被覆領域を求める。被覆率算出部１００４は、被覆領域に基づいて被覆率を算出する。
削除可否判定部１００５は、算出された被覆率に基づいて、判定対象画像が削除できるか否かの判定を行う。具体的には被覆率と所与の閾値との比較処理等を行えばよい。
部分画像列設定部１００８は、削除可否判定部１００５で判定対象画像が削除できないと判定された場合に、その時点での判定対象画像の画像列中での位置に基づいて、画像列の一部であって、１枚以上の画像からなる画像列を部分画像列として設定する。
要約画像列決定部１００９は、要約処理後の画像列である要約画像列を決定する。本実施形態では、基準画像選択部１００１で選択された基準画像を要約画像列に含める。また、判定対象画像のうち削除可能と判定された画像を削除し、要約画像列には含めないものとする。
図２に本実施形態の画像要約処理を説明するフローチャートを示す。この処理が開始されると、まず画像要約処理の対象となる画像列が取得される（Ｓ１０１）。画像列は画像列取得部２００で取得されるものであり、時系列順に並んだＲＧＢ３チャンネル画像が考えられる。或いは、横一列に並べられた撮像機器により撮影された、空間的に並んだ画像列のように空間的に連続する画像列であってもよい。また、空間的に連続する画像列における「空間」とは２次元、或いは３次元的な位置を表す空間であってもよいし、色空間等の空間であってもよい。
画像列が取得されたら、基準画像選択部１００１は入力画像列（最初の処理においてはＳ１０１で取得された画像列であり、その後は後述するＳ１０７で設定される部分画像列）の先頭の画像を基準画像として選択する（Ｓ１０２）。ここで選択された基準画像は、要約画像列に残されるものとなる。なお、エラー等の理由により入力画像列から基準画像を選択できない場合（例えば画像列に画像が存在しない場合等）には、処理を終了する。
そして、判定対象画像選択部１００２は、入力画像列に含まれる画像から判定対象画像を選択する（Ｓ１０３）。判定対象画像が未設定の場合には、基準画像の次の画像（入力画像列の２番目の画像）を判定対象画像として選択する。また、すでに入力画像列のｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１ずらして入力画像列のｋ＋１番目の画像を新たな判定対象画像として選択する。判定対象画像が選択できなくなった場合（入力画像列に含まれる画像の枚数が２或いはｋ＋１よりも少なかった場合等）には、処理を終了する。
基準画像と判定対象画像が選択されたら、被覆領域算出部１００３は、基準画像と判定対象画像の間の変形パラメータを利用して、基準画像を判定対象画像上へ射影し、被覆領域を求める（Ｓ１０４）。ここで変形パラメータとしては、特許文献２に記載された手法により推定される非剛体変形パラメータ等であってもよい。被覆領域の例を図３に示す。ここでの変形パラメータとは、基準画像において撮像された被写体が、判定対象画像上でどのように変形されているかを表すものである。言い換えれば、基準画像において撮像された被写体と、判定対象画像上の被覆領域において撮像された被写体は、対応する（狭義には同一の）ものとなっている。
被覆領域が算出されたら、被覆率算出部１００４は、被覆領域と判定対象画像とに基づいて被覆率を算出する（Ｓ１０５）。被覆率は例えば、図３に示したように判定対象画像全体の面積に対する被覆領域の面積の割合等から求めることができる。
そして、削除可否判定部１００５は、算出された被覆率と、事前に設定された閾値（システムにより設定されてもよいし、ユーザからの入力に基づいて決定されてもよい）との比較処理を行う（Ｓ１０６）。被覆率が閾値未満であれば、判定対象画像を削除不可と判定し、部分画像列の設定処理に移行する。また被覆率が閾値以上であれば、判定対象画像を削除可能と判定し、Ｓ１０３に戻り判定対象画像を再度選択する。
Ｓ１０６において、判定対象画像を削除不可と判定された場合には、部分画像列設定部１００８は部分画像列を設定する（Ｓ１０７）。具体的には、削除不可と判定された判定対象画像及び、それ以降の画像から構成される画像列を部分画像列として設定すればよい。部分画像列が設定されたら、Ｓ１０２に戻り、当該部分画像列を入力画像列として上述の処理を実行する。
以上の画像要約処理を図示したものが図４（Ａ）〜図４（Ｄ）である。図４（Ａ）に示したように、Ｎ枚の画像を有する画像列が画像列取得部２００で取得された場合には、まず１番目の画像が基準画像として選択され、２番目の画像が判定対象画像として選択される。そして、基準画像と判定対象画像の間で被覆率が算出され、判定対象画像の削除可否が判定される。
判定対象画像が削除可能と判定された場合には、新たに判定対象画像を選択する。具体的には判定対象画像の位置を後ろにずらす処理となり、図４（Ｂ）に示したように３番目の画像が判定対象画像として選択される。そして、基準画像と判定対象画像の間で被覆率が算出され、判定対象画像の削除可否が判定され、削除不可と判定される判定対象画像が見つかるまで、判定対象画像として選択される画像を更新していく。
図４（Ｃ）に示したように、２番目〜ｋ−１番目までの画像が削除可能と判定され、ｋ番目の画像が削除不可と判定された場合、２番目〜ｋ−１番目までの画像とは基準画像によりある程度（閾値により設定される程度）カバーされているということであるから、削除処理を行い要約画像列には含めない。それに対して、ｋ番目の画像は基準画像では十分カバーできないため、要約画像列に残す必要がある。そのために、ここではｋ番目の画像とそれ以降の画像（ｋ〜Ｎ番目の画像）を部分画像列として設定する。
そして、この部分画像列に対して再度図４（Ａ）〜図４（Ｃ）の処理を繰り返せばよい。具体的には図４（Ｄ）に示したように、Ｎ−ｘ＋１枚の画像からなる部分画像列を入力画像列とし、先頭（図４（Ｃ）等ではｋ番目）の画像を基準画像、２番目（図４（Ｃ）等ではｋ＋１番目）の画像を判定対象画像として処理を行う。以降の処理は同様であり、判定対象画像が削除可能と判定されたら、次の画像を新たな判定対象画像として選択する。また、判定対象画像が削除不可と判定されたら、基準画像を要約画像列に残し、削除可能と判定された画像を削除し、その時点での判定対象画像以降の画像を新たな部分画像列に設定する。最終的には、入力画像列の最後の画像まで全て削除可能と判定された場合、或いは入力画像列に含まれる画像が１枚のみであり判定対象画像が設定できなかった場合に処理が終了することになる。
以上の本実施形態では、画像処理装置は図１に示したように、複数の画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部１００を含む。そして、処理部１００は複数の画像から、基準画像と判定対象画像を選択する。この処理は例えば、基準画像選択部１００１及び判定対象画像選択部１００２で行われる。さらに、選択した基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を算出し、算出した被覆率に基づいて、判定対象画像の削除可否の判定を行う。被覆率の算出処理は例えば被覆率算出部１００４で行われ、削除可否の判定処理は例えば削除可否判定部１００５で行われる。
ここで被覆率とは、判定対象画像上に撮像された被写体のうち、どの程度の被写体が基準画像上に撮像されているかを表す情報である。例えば、縦横比が１：１の画像が取得される場合に、判定対象画像には実空間上で縦横それぞれ１０ｍの正方形の被写体が画像いっぱいに撮像され、基準画像には前述の被写体に包含される縦横それぞれ５ｍの正方形の領域が画像いっぱいに撮像されたとする。この場合、判定対象画像には実空間における１００ｍ２の領域が撮像され、基準画像には実空間における２５ｍ２の領域（かつ前述の１００ｍ２の領域に含まれる領域）が撮像されたことになる。よって、基準画像は判定対象画像の２５％をカバーしていることになるため、被覆率としては２５或いは０．２５等の値が考えられる。なお、平面的な被写体に正対して撮像が行われることはまれであるため、一般的には同一の被写体であっても、基準画像と判定対象画像とで形状が異なっている。本実施形態ではそのような変形に対応する変形情報を特許文献２等の手法で取得しておき、当該変形情報を用いて被覆率を算出する。なお被覆率とは、基準画像による判定対象画像のカバーの程度を表す情報であればよく、割合・比率等に限定されるものではない。
また、削除可否の判定処理は例えば所与の閾値との比較処理である。閾値を高くすれば（例えば１００％に相当する値に設定すれば）、画像を削除することにより観察できなくなる領域が発生することに対する抑止効果の向上が期待できる。一方、閾値を低くすれば、要約処理後の要約画像列に含まれる画像の枚数を少なくすることができる。上述の抑止効果の向上と、画像枚数を少なくすることはトレードオフの関係にあり閾値の設定により制御が可能となるため、状況に応じて適切に閾値を設定することが望ましい。
これにより、画像要約処理により画像を削除した結果、観察できなくなる被写体領域が発生することを抑止でき、またその抑止の程度（強度）を制御することが可能になる。本実施形態の手法を用いることで、上述した削除可否の判定処理に用いる閾値としてｘ％に相当する値を用いれば、判定対象画像を削除したとしても、当該判定対象画像上に撮像された被写体のうち、ｘ％は基準画像によりカバーされている（ｘ％の被写体範囲は基準画像上に撮像されている）ことが保証できるためである。なお、変形情報として被写体の画像上での変形を、全く誤差を生じずに求めることが困難である以上、閾値としてｘを設定しても、判定対象画像のうち基準画像によりカバーされている領域がｘ％未満となる可能性は生じうる。
また、第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、処理部１００は、第１の画像を基準画像として選択するとともに、第ｋ（ｋは２≦ｋ≦Ｎ−１を満たす整数）の画像を判定対象画像として選択してもよい。そして、基準画像と判定対象画像の間の変形情報に基づいて被覆率を算出して、被覆率に基づいて判定対象画像の削除可否の判定を行う。さらに、第ｋの画像が削除可能と判定された場合には、判定対象画像として第ｋ＋１の画像を選択する。
ここで、入力画像列とはこの処理（基準画像・判定対象画像の選択、削除可否判定、及び削除可能な場合の判定対象画像の更新）の対象となる画像列のことであり、画像列取得部２００が取得した画像列であってもよいし、当該画像列の一部の画像からなる画像列であってもよい。
これにより、入力画像列が入力された場合に、図４（Ａ）〜図４（Ｂ）等に示したような処理が可能となる。ここでは基準画像の後方（例えば最初は基準画像と隣り合う画像）から判定対象画像を選択し、選択した判定対象画像が削除可能である場合には、判定対象画像をさらに後方のものに更新する。つまり、基準画像に近いところから順々に削除できるか（基準画像で十分カバーできているか）を判定していき、削除できなくなるところを検索することになる。なお、ここで削除可能と判定された判定対象画像は基本的には削除され、要約画像列には含まれないものとするが、これには限定されず、削除可能と判定された判定対象画像の一部を要約画像列に含めてもよい。
また、処理部１００は、基準画像として選択された画像を、要約画像列に含める処理を行ってもよい。それとともに、判定対象画像として選択された第ｋの画像が削除不可と判定された場合には、第ｋ〜第Ｎの画像からなる部分画像列を新たな入力画像列として設定し、設定された入力画像列に対して再度処理を行ってもよい。
これにより、図４（Ｃ）に示した処理が可能となる。削除可否判定処理は、上述したように基準画像により判定対象画像がどの程度カバーされているかに基づいて行われることから、削除可能と判定された判定対象画像を削除したとしても、基準画像を残すことにより観察できない領域の発生を抑止できる。つまり、本実施形態では基準画像を要約画像列に含めることになる。また、第ｋの画像が削除不可とされた場合には、第ｋの画像は基準画像では十分カバーできないということであるから、第ｋの画像は要約画像列に残すべきである。つまり、第ｋの画像を次の基準画像に設定すればよく、具体的には例えば第ｋ〜第Ｎの画像からなる部分画像列を新たな入力画像列として設定すればよい。このようにすれば、図４（Ｄ）に示したように入力画像列の先頭の画像、すなわち画像列取得部２００が取得した画像列における第ｋの画像が基準画像として選択され、第ｋ＋１の画像以降の画像が判定対象画像として順次選択される。なお、図４（Ｄ）の画像列の一部の画像からなる部分画像列が新たに入力画像列として設定されてもよく、この処理は反復して（或いは再帰的に）行われる。
また、処理部１００は、基準画像と判定対象画像の間の変形情報に基づいて、基準画像により判定対象画像が覆われる領域である被覆領域を求めてもよい。そして、被覆率として、判定対象画像に占める被覆領域の割合を算出する。
これにより、被覆領域に基づいて被覆率を算出することが可能となる。被覆領域は具体的には図３に示したものであり、基準画像を変形情報に基づいて変形した上で、判定対象画像上に射影した領域を表す。基準画像に撮像された被写体領域と、求めた被覆領域に撮像された被写体領域は対応する（変形情報に誤差がない理想的な状況であれば一致する）ことになる。よって、被覆率を判定対象画像に占める被覆領域の割合（具体的にはそれぞれの面積の比）から求めることが可能になる。なお、被覆領域は基準画像を変形情報に基づいて変形して求めればよく、求めた被覆領域は必ずしも判定対象画像上に射影されるものに限定されない。また、被覆領域は基準画像の全体に基づいて求めるものに限定されず、基準画像の一部を変形情報により変形することで求めてもよい。
また、以上の本実施形態は、複数の画像を有する画像列を取得する画像列取得部２００と、画像列取得部２００が取得した画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部１００としてコンピュータを機能させるプログラムに適用できる。そして、処理部１００は複数の画像から、基準画像と判定対象画像を選択する。さらに、選択した基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を算出し、算出した被覆率に基づいて、判定対象画像の削除可否の判定を行う。
これにより、上述した画像処理をプログラムにより実現することが可能になる。例えば、カプセル内視鏡等で取得された画像列をＰＣ等のシステムに入力し、当該システムの処理部（ＣＰＵ、ＧＰＵ等）で実行されるプログラムにより画像要約処理が行われることが考えられる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記録媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリーやＲＡＭ等のメモリーなど、ＰＣ等のシステムによって読み取り可能な種々の記録媒体を想定できる。
２．２ 変形例（複数の点に基づく被覆率算出）
次に本実施形態の変形例について述べる。上述の手法では、基準画像そのものを変形パラメータにより変形し、被覆領域を算出していたが、被覆率の算出手法はこれに限定されない。例えば画像そのものではなく、判定対象画像上に複数の点を設定し、それらの点を変形パラメータに基づいて移動させた場合に、移動後の複数の点と、基準画像との位置関係に基づいて被覆率を算出してもよい。以下詳述する。
処理部１００の構成は、図１に比べて被覆領域算出部１００３が除かれた構成となっている。また、被覆率算出部１００４での処理が異なる。なお、他の構成については処理内容も同様であるため、詳細な説明は省略し、被覆率算出処理について述べる。
被覆率算出部１００４は、図５に示したように、判定対象画像上に例えば等間隔に複数の点を配置する。そして、基準画像と判定対象画像の間の変形パラメータ（上述した手法と同様に、特許文献２の非剛体変形パラメータ等）を利用して、判定対象画像上の点を基準画像上へ射影する。基準画像上へ射影した複数の点のうち、基準画像に包含される点の数の割合を、被覆率とすればよい。
このようにすることで、画像そのものを変形し被覆領域を求める手法に比べて、容易に被覆率を算出することができ、処理負荷の軽減等が可能となる。
図６にこの処理を説明するフローチャートを示す。Ｓ２０１〜Ｓ２０３、及びＳ２０６〜Ｓ２０７についてはＳ１０１〜Ｓ１０３、及びＳ１０６〜Ｓ１０７と同様である。また、被覆領域を算出する必要がないため、Ｓ１０４に相当するブロックがなくなっている。Ｓ２０５はＳ１０５に対応するものであるが、上述したように処理内容が異なり、Ｓ１０５がＳ１０４で算出した被覆領域に基づいて被覆率を算出するのに対して、Ｓ２０５では複数の点を射影した結果に基づいて被覆率を算出している。
以上の変形例では、処理部１００は、判定対象画像に対して複数の点を設定し、複数の点を基準画像と判定対象画像の間の変形情報に応じて変換した場合に、基準画像に含まれる変換後の点の数に基づいて、被覆率を算出する。
これにより、基準画像そのものに対して変形情報に基づく処理を行うのではなく、設定された点に対して処理を行うことで被覆率を算出することができるため、上述の被覆領域を求める手法に比べて処理負荷を軽減することが可能になる。具体的には、判定対象画像上に複数の点を設定し、設定された各点が基準画像において、どの画像上位置（ここでは基準画像外の位置も含む）に対応するかを求める。そして、判定対象画像に設定した複数の点の数と、変形情報による処理後の複数の点のうち基準画像に含まれる点の数との比較により被覆率を算出する。このようにすれば、変形情報による処理後に面積を算出する必要等がなくなり処理を軽くできる。なお、ここで問題としているのは基準画像では判定対象画像を十分にカバーしきれないケースであり、そのような場合に基準画像上に複数の点を設定し判定対象画像上に移動したとしても、変換後の点は全て判定対象画像に含まれてしまうことになり、カバーの程度を表す指標とならない。よって、複数の点を設定する手法を用いるのであれば、当該複数の点は判定対象画像上に設定することが望ましい。
２．３ 変形例（複数の基準画像を設定する例）
次に基準画像として複数の画像を用いる例について説明する。ここでの処理部１００の構成は図１と同様である。被覆領域算出部１００３では、図７に示したように、複数の基準画像（基準画像群）の各基準画像と、判定対象画像との間でそれぞれ被覆領域の候補領域を算出し、算出された複数の候補領域に基づいて被覆領域を算出する。この場合、被覆率算出部１００４や削除可否判定部１００５等での処理は上述の手法と同様となる。
或いは、複数の基準画像（基準画像群）の各基準画像と、判定対象画像との間でそれぞれ被覆領域を算出し、被覆率算出部１００４で、判定対象画像と、算出された複数の被覆領域とに基づいて被覆率を算出すると考えてもよい。
以下、具体的な処理を説明する。なおフローチャートは図２と同様であるため図面は省略する。Ｓ１０１は同様であるため説明は省略する。Ｓ１０２では、入力画像列の先頭の画像を基準画像として選択し、基準画像群に追加する。Ｓ１０２が初めて行われた場合には、基準画像群に含まれる基準画像は１つであるため、Ｓ１０３〜Ｓ１０７の処理は上述した手法と同様となる。
そして、Ｓ１０７で部分画像列が設定されＳ１０２に戻った場合に、基準画像選択部１００１は、部分画像列の先頭の画像を基準画像として選択し、基準画像群に追加する。つまり、Ｓ１０２の処理が行われるのがｍ回目であれば、基準画像群には合計ｍ枚の基準画像が保持されていることになる。そして、基準画像群のうち第ｉ（１≦ｉ≦ｍ）の基準画像と判定対象画像から第ｉの候補領域を算出することで、ｍ個の候補領域を求め、そこから被覆領域を算出する。これは例えば、図８に示したように複数の候補領域の和集合に対応する領域を被覆領域とすればよい。
具体例を図９（Ａ）、図９（Ｂ）に示す。先頭の画像を基準画像とした場合に、２〜ｘ−１番目の画像は削除可能と判定され、ｘ番目の画像は削除不可と判定された場合には、上述したようにｘ〜Ｎ番目の画像を有する画像列が部分画像列に設定される。そして、当該部分画像列を入力画像列とするため、部分画像列の先頭、すなわち元の画像列におけるｘ番目の画像が基準画像として選択される。よって、基準画像群には１番目とｘ番目の２枚の画像が基準画像として保持されることになる。そして、判定対象画像（ｘ＋１番目から順に選択される）が選択された際には、１番目の画像と判定対象画像に基づいて候補領域を求めるとともに、ｘ番目の画像と判定対象画像に基づいて候補領域を求める。そして、図８を用いて説明した手法等で最終的な被覆領域を算出し、削除の可否を判定する。
同様に、ｙ番目の画像が削除不可と判定されれば、ｙ〜Ｎ番目の画像を含む画像列が部分画像列となるため、ｙ番目の画像が基準画像群に追加される。そして、ｙ＋１番目以降の画像を判定対象画像として選択し、１番目の画像、ｘ番目の画像及びｙ番目の画像の３つから、それぞれ候補領域を求め、被覆領域を算出する。以下、同様の処理を繰り返す。
なお、ここでは被覆率の算出に被覆領域を用いるものとしたが、これに限定されるものではない。上述した複数の点を用いる手法と組み合わせてもよい。
以上の変形例では、処理部１００は、基準画像として、複数の画像から第１〜第Ｍ（Ｍは２以上の整数）の基準画像を選択してもよい。そして、第ｕ（１≦ｕ≦Ｍ）の基準画像と前記判定対象画像の間の変形情報に基づいて第ｕの被覆領域を求め、第１〜第Ｍの被覆領域の和集合の領域を前記被覆領域として設定し、設定した被覆領域に基づいて被覆率を算出する。
これにより、図９（Ａ）、図９（Ｂ）に示したように、基準画像として複数の基準画像を設定することが可能になる。基準画像を１つ設定する実施形態では、判定対象画像（例えば図９（Ａ）のｘ＋１番目の画像）の削除可否判定には、直近の基準画像（例えば図９（Ａ）のｘ番目の画像）を用いていた。しかし、画像を削除することで観察できなくなる領域が発生することを抑制するという観点からいえば、削除する画像に撮像された被写体は、直近の残す画像に撮像されている必要はなく、残す画像のうち少なくとも１枚に撮像されていればよい。よって、基準画像は１つに限定する必要はなく、複数用いてもよい。例えば、図９（Ａ）の例であれば、ｘ番目〜Ｎ番目の画像が部分画像列に設定されることでｘ番目の画像が新たな基準画像となるが、その１つ前の処理において基準画像としていた１番目の画像を保持しておき、ｘ＋１番目以降の判定対象画像の削除可否判定に用いればよい。その場合、被覆領域は図８に示したように、各基準画像を変形情報に基づいて変形した領域について和集合を表す領域を被覆領域とすることが考えられる。このようにすることで、判定対象画像を削除可能と判定できる可能性が高くなり、要約処理後の画像列に含まれる画像の枚数を減らすことが可能になる。よって、ユーザの負荷軽減等をはかることができる。なお、処理を繰り返すことで基準画像として用いることができる画像の枚数が増え（図９（Ｂ）の例では、ｙ番目の他、１番目、ｘ番目の画像が使用可能）、削除可能と判定する可能性がさらに向上する。しかし、基準画像の枚数を増やすことで処理負荷が大きくなってしまうことから、使用可能な基準画像の候補を全て用いる必要はなく、そのうちの一部を用いることとしてもよい。
また、被覆領域ではなく複数の点を用いる手法でも、処理部１００は、基準画像として、複数の画像から第１〜第Ｍ（Ｍは２以上の整数）の基準画像を選択してもよい。そして、判定対象画像上に設定された複数の点を第ｕ（１≦ｕ≦Ｍ）の基準画像と前記判定対象画像の間の変形情報に応じて変換した場合に、第ｕの基準画像に含まれる変換後の点の数を第ｕの被覆情報として求め、第１〜第Ｍの被覆情報に基づいて被覆率を算出する。
これにより、複数の点を用いる場合にも、基準画像を複数設定することが可能になる。ただし、複数の点を用いる場合には、基準画像に含まれる変換後の点の数を被覆率算出に用いるため、複数の基準画像から求めた被覆情報の和集合に相当する情報を算出することは難しい（変換後の点の位置は求めるため、当該位置情報に基づいて何らかの処理を行えば可能であるが、それでは被覆領域を用いる手法に比べて処理が容易という利点が失われかねない）。よって、この場合の被覆率は、一例としては各基準画像から求めた点の数のうち、最大値を用いて算出することが考えられる。このようにすることで、複数の基準画像及び被覆領域を用いた手法ほどの画像枚数低減効果は得られないものの、当該手法に比べて処理負荷が軽く、且つ基準画像を１つ用いる手法に比べて要約処理後の画像枚数を少なくすることが可能になる。
２．４ 変形例（重み付け）
また、上述の手法では判定対象画像の面積に対する被覆領域の面積を単純に被覆率としていたが、これに限定されるものではない。例えば、画像上の位置に応じて重み係数を設定し、当該重み係数を用いた重み付けを行って被覆率を求めてもよい。ここでは、画像中心からの距離に応じた重み付き被覆率を保証する画像要約を系列順に行う変形例を説明する。なお、上述の手法と同様の処理については詳細な説明は省略する。
被覆領域算出部１００３は、画像中の位置に応じて領域重みをかけた、基準画像の重みマップを取得しておく。そして、図１０に示したように、基準画像と判定対象画像の間の変形パラメータを利用して、基準画像の重みマップを判定対象画像上へ射影し、重み付き被覆領域とする。例えば、四隅に黒潰れした領域を持つカプセル内視鏡画像などにおいて、四隅の所定の領域の重みを０、残りの領域の重みを１とした重みを適用する。
そして、被覆率算出部１００４では、画像中の位置に応じて領域重みをかけた、判定対象画像の重みマップを取得しておく。そして、重み付き被覆領域と判定対象画像の重みマップを乗算した被覆重みマップの総和が、判定対象画像の重みマップの総和に占める割合を、被覆率とする。例えば、四隅に黒潰れした領域を持つカプセル内視鏡画像などにおいて、四隅の所定の領域の重みを０、残りの領域の重みを１とした重みを適用する。
図１０の例であれば、被覆領域のうち、基準画像の重みマップで重みが０とされた四隅の領域は被覆領域として取り扱われないことに相当する。また、被覆領域のうち判定対象画像の重みマップで重みが０とされた四隅に射影された領域も、被覆領域としては取り扱われないことに相当する。また、被覆率算出式の分母に相当する判定対象画像の面積についても、判定対象画像の重みマップで重みが０とされた四隅の領域は含まれないことになる。
また、図１０の例では重みとして０又は１を用いたが、０〜１の間の値を設定してもよい。また、重みは０〜１の間が典型的ではあるが、マイナスの値や１より大きい値を設定することを妨げるものではない。
なお、重み付けは被覆領域を用いる手法に限定されず、複数の点を設定し、各点に対して重み係数を設定してもよい。また、基準画像を複数用いる手法にも適用可能である。
以上の変形例では、処理部１００は、判定対象画像の画像上位置に応じて重み係数を設定してもよい。そして、重み係数と被覆領域とに基づいて算出された第１の重み総和と、重み係数と判定対象画像とに基づいて算出された第２の重み総和との割合に基づいて、被覆率を算出する。
これにより、判定対象画像の画像上位置に応じた重み付けを行うことができ、判定対象画像の画像上位置に応じて、被覆率算出への寄与の程度を設定することが可能になる。例えば、魚眼レンズ等の歪曲収差の影響が大きい光学系を用いた場合、画像中央部に比べて画像周縁部はひずみが大きくなり被写体の観察に適さない。このような場合、中央部の重み係数を大きくし、周縁部の重み係数を小さくすることで、中央部を重視した削除可否判定が可能になる。具体的には、画像上で同等の領域が被覆されていたとしても、中央部が被覆されている場合は被覆率の大きく寄与するのに対して、周縁部が被覆されていたとしても被覆率への寄与は小さくなる。
なお、重み総和とは処理対象となる領域と重み係数に基づいて決定される。例えば、重み係数が１画素ごとに設定されているのであれば、第１の重み総和は被覆領域に含まれる画素について、各画素に設定された重み係数の総和をとればよいし、第２の重み総和は判定対象画像全体の画素について、各画素に設定された重み係数の総和をとればよい。また、重み係数が所与の領域（各領域の面積は異なってもよい）ごとに設定されているのであれば、第２の重み総和は重み係数設定領域の面積と重み係数との積の総和となり、第１の重み総和は、重み係数設定領域のうち、被覆領域に含まれる領域の面積と重み係数との積の総和となる。また、重み係数の設定手法によっては、他の手法により重み総和を求めてもよい。
また、被覆領域ではなく複数の点を用いる手法でも、処理部１００は、判定対象画像の画像上位置に応じて重み係数を設定してもよい。そして、複数の点を基準画像と判定対象画像の間の変形情報に応じて変換した場合に、基準画像に含まれる変換後の点と、重み係数に基づいて、被覆率を算出する。
これにより、複数の点を用いる場合にも重み係数を利用することが可能になる。具体的な手法としては、判定対象画像上に複数の点を設定する際に、各点に画像上位置に応じた重み係数を付与しておけばよい。そして、変形情報に基づいて複数の点を基準画像に射影した場合に、基準画像に含まれる点の数を単純にカウントするのではなく、基準画像に含まれる点に付与された重み係数の値を積算することで被覆率を求める。この場合、図５に示した被覆率算出の式の分母についても、単純に点の総数ではなく、設定された全ての点について重み係数の総和をとった値とする。
また、処理部１００は、重み係数の値として、判定対象画像の第１の領域に０を設定するとともに、判定対象画像の第１の領域とは異なる第２の領域に１を設定してもよい。
これにより、重み付けの極端な例として、判定対象画像の一部の領域を用い、他の領域を用いない処理を行うことが可能になる。
なお、以上の重み付けの例では、判定対象画像に重み係数を設定するものとしたが、基準画像側にも重み係数を設定してもよい。例えば被覆領域を用いる例で説明すると、図１０では基準画像の四隅に重み係数０が設定され、その他の領域に重み係数１が設定されている。この場合、第２の重み総和については上述の手法と同様であるが、第１の重み総和の算出手法が異なる。この場合、被覆領域のうち基準画像の四隅に相当する領域には重み係数０が設定され、被覆領域の他の領域には重み係数１が設定されている。さらに、上述したように被覆領域は判定対象画像上に射影されているため、判定対象画像の画像上位置に応じた重み係数も設定されている。つまり、重み係数が画素単位で設定されているとすれば、被覆領域に含まれる画素には、１画素単位で基準画像側の重み係数と、判定対象画像側の重み係数の２つが設定されていることになる。この場合には、第１の重み総和としては例えば、被覆領域に含まれる各画素について、基準画像側重み係数と判定対象画像側重み係数の積を求め、その値の総和を求める処理を行えばよい。
また、図５のように複数の点を用いる場合にも基準画像側に重み係数を設定してもよい。この場合には、複数の点のうち変換により基準画像内に位置することになった点は、基準画像側に設定された重み係数と対応づけることが可能になるため、結果として１つの点に対して基準画像側の重み係数と、判定対象画像側の重み係数の２つが設定されていることになる。よって、被覆率は例えば、基準画像に含まれる変換後の点のそれぞれについて、基準画像側重み係数と判定対象画像側重み係数の積を求め、その値の総和に基づいて算出すればよい。
２．５ 変形例（隣接画像間の変形パラメータを用いる手法）
また、上述の手法では、基準画像と判定対象画像との間の変形パラメータを用いて、直接被覆領域を算出していたが、これに限定されるものではない。例えば、基準画像から判定対象画像に至る全隣接画像間の変形パラメータを利用して、隣接画像間で被覆領域を累積的に射影し、基準画像を判定対象画像に射影した被覆領域を求めてもよい。
以上の変形例では、処理部１００は、画像列において基準画像と判定対象画像の間の画像について、隣り合う画像間の変形情報を求め、求めた隣り合う画像間の変形情報に基づいて、基準画像と判定対象画像の間の変形情報を算出してもよい。
これにより、基準画像と判定対象画像が隣り合わない場合に、当該２画像間で直接変形情報を求めるのではなく、隣り合う画像間で求めた変形情報を累積することで算出することが可能になる。変形情報は特許文献２等で示した手法により算出できるが、一般的に変形情報を一から算出する処理に比べて、複数の変形情報を複合する処理は非常に軽いものとなる。例えば、変形情報が行列等であれば、２つの画像情報から当該行列を求める処理は負荷が大きいが、すでに求めてある複数の行列を合成することは（例えば行列の積を取るだけでよいため）非常に容易となる。
この手法は例えば後述する第２の実施形態のように、変形情報を用いる回数が多い処理等で特に効果的である。例えば、第２の実施形態では、判定対象画像の前方だけでなく後方にも基準画像（第２の基準画像）を設定し、条件に応じて第２の基準画像が更新される。具体的には、第１の画像を第１の基準画像、第ｋの画像を第２の基準画像とした場合、第２〜第ｋ−１の画像と各基準画像との間で削除可否判定が行われ、条件によっては第１の基準画像をそのままに第２の基準画像が第ｋ＋１の画像に更新される。その場合、第２〜第ｋの画像の各画像と、第２の基準画像である第ｋ＋１の画像の間の変形情報が必要となり、ｋ−１回変形情報を求める必要がある。そしてそれは、直前の処理で用いた第２〜第ｋ−１の画像と、第ｋの画像（直前の第２の基準画像）の間の変形情報とは異なるため、新たに求めなくてはならない。例えば、画像列取得部２００が画像列としてＮ枚の画像を取得し、且つ第１の基準画像が変化せずに第２の基準画像が第３〜第Ｎの画像まで順次更新された極端なケースを想定すれば、変形情報は１＋２＋３＋・・・＋Ｎ−２＝（Ｎ−２）（Ｎ−１）／２回求める必要が生じる。つまり、負荷の大きい変形情報の算出処理を行う回数が多く非効率的である。
その点、隣り合う変形情報を用いるのであれば、画像列取得部２００が画像列としてＮ枚の画像を取得したとすると、変形情報は隣り合う画像間でＮ−１回求めれば十分である。この場合、Ｎ枚の画像の中から基準画像と判定対象画像が選択された際に、Ｎ−１個の変形情報のうち必要なものを合成する処理は必要になるが、上述したとおり当該合成処理は変形情報の算出処理に比べて負荷は軽い。
３．第２の実施形態
第２の実施形態では、前方・後方の画像についての被覆率を保証する画像要約処理を系列順に行う手法を説明する。まず基本的な手法について説明し、その後２つの変形例について述べる。
３．１ 第２の実施形態の手法
図１１に本実施形態における画像処理装置のシステム構成例を示す。図１の処理部１００に対して第２の基準画像選択部１００７が追加された構成となっている。
基準画像選択部１００１は、第１の基準画像を選択する。第２の基準画像選択部１００７は、第１の基準画像よりも２つ以上後方の画像を第２の基準画像として選択する。また、判定対象画像選択部１００２は、基準画像よりも後方であり、かつ第２の基準画像よりも前方の画像を判定対象画像として選択する。なお、図１１では基準画像選択部１００１と第２の基準画像選択部１００７を分けたがこれに限定されるものではなく、基準画像選択部１００１が第１の基準画像及び第２の基準画像の両方を選択するとしてもよい。
図１２に本実施形態の画像要約処理を説明するフローチャートを示す。Ｓ３０１〜Ｓ３０２についてはＳ１０１〜Ｓ１０２と同様である。Ｓ３０２の後、Ｓ３０２で選択された第１の基準画像よりも２つ以上後方の画像を第２の基準画像として選択する（Ｓ３０８）。そして、判定対象画像を設定する（Ｓ３０３）。判定対象画像が未設定の場合には、第１の基準画像の次の画像（入力画像列の２番目の画像）を判定対象画像として選択する。また、すでに入力画像列のｋ番目の画像が判定対象画像として選択されていた場合には、選択位置を１ずらして入力画像列のｋ＋１番目の画像を新たな判定対象画像として選択する。ただし、判定対象画像の選択範囲は、入力画像列の最後の画像までではなく、第２の基準画像と一致するまでとなる。
判定対象画像が第２の基準画像と一致していない場合には、Ｓ３０４に移行し被覆領域を算出する。ここでは、第１の基準画像と判定対象画像との間の変形パラメータに基づいて第１の候補領域を算出するとともに、第２の基準画像と判定対象画像との間の変形パラメータに基づいて第２の候補領域を算出する。そして、図８で説明した処理と同様に、第１の候補領域と第２の候補領域の和集合に対応する領域を被覆領域とすればよい。
Ｓ３０４〜Ｓ３０６についてはＳ１０４〜Ｓ１０６と同様である。Ｓ３０６で削除可能と判定された場合には、Ｓ３０３に戻り判定対象画像を１つ後方の画像に更新する。更新の結果判定対象画像が第２の基準画像と一致する場合にはＳ３０８に戻り、第２の基準画像を１つ後方の画像に更新する。また、第２の基準画像が更新された場合には、判定対象画像の選択状態をリセットする。判定対象画像が第２の基準画像と一致しない場合にはＳ３０４以降の処理が行われる。
また、Ｓ３０６で判定対象画像が削除不可と判定された場合には、基準画像と、現時点での第２の基準画像の２枚では、その間に挟まれる全ての画像をカバーすることができないということになるため、現時点の第２の基準画像よりも１つ前の画像を要約画像列に残す必要がある。よって、部分画像列として、現在の第２の基準画像よりも１つ前の画像、及びそれ以降の画像を含む画像列を設定し（Ｓ３０７）、Ｓ３０２に戻る。
以上の画像要約処理を図示したものが図１３（Ａ）、図１３（Ｂ）である。なお、ここでは基準画像を判定対象画像に射影する際に、隣接画像間の変形パラメータを累積的に用いる手法について説明するが、これに限定されるものではない。
全画像列ｋ番目の画像が第１の基準画像として選択されているとする（なお、１〜ｋ−１番目の画像については処理が終了しており、ｋ〜Ｎ番目の画像が部分画像列として設定された場合に相当する）。そして、ｋ＋２番目の画像を第２の基準画像として選択する。
さらに第１の基準画像と第２の基準画像の間の画像の前方から判定対象画像を選択し、第１の基準画像と判定対象画像に基づく被覆領域算出処理、及び第２の基準画像と判定対象画像に基づく被覆領域算出処理から被覆率を算出し、削除可否の判定を行う。
図１３（Ａ）に示したように、第１の基準画像と第２の基準画像の間の画像の全てについて、削除可能と判定された場合には、第２の基準画像として、第１の基準画像に比べてさらに離れた画像を選択してもよい可能性があるということであるから、図１３（Ｂ）に示したように第２の基準画像の再選択を行う。具体的には、ｋ＋２番目だった第２の基準画像を、ｋ＋３番目に更新すればよい。
そして、再度第１の基準画像と第２の基準画像の間の画像について削除可否の判定を行う。図１３（Ｂ）に示したように、削除不可と判定された判定対象画像があった場合には、第１の基準画像と現在の第２の基準画像の２枚では、間に含まれる全ての画像をカバーすることができない（具体的には削除不可と判定された判定対象画像がカバーできない）ということであるから、第２の基準画像の更新（選択位置のインクリメント）が不適切であったと考えられる。
よって、現時点の第２の基準画像の１つ前の画像（図１３（Ａ）での第２の基準画像に相当）及びそれ以降の画像を含む画像列を部分画像列として設定する。これにより、図１３（Ａ）の時点での第２の基準画像が、次の処理での基準画像として選択されることになり、要約画像列に残される画像により、削除される画像がカバーされることが保証される。
なお、以上の説明では、Ｓ３０２において基準画像として入力画像列の先頭の画像が選択されるものとしたが、Ｓ３０２の処理が初めて行われる場合についてはこの限りではない。本実施形態では、判定対象画像の後方にある第２の基準画像によりカバーされるのであれば、当該判定対象画像は削除することができる。つまり、図１４（Ａ）に示したように、例えば３番目の画像により、１番目及び２番目の画像がカバーされるのであれば、１〜２番目の画像は要約処理後の画像に残す必要はない。よって、先頭の画像は必ずしも残される必要がなく、先頭の画像を基準画像とする手法では要約画像列に含まれる画像の枚数を不必要に増やしてしまう恐れがある。
そこで、本実施形態では最初の基準画像は画像列取得部２００で取得した画像列の先頭画像である必要はない。具体的な手法の一例を示す。図１４（Ｂ）に示したように、第１の基準画像として実際には存在しない０番目の画像を選択する（ここでの選択処理は便宜的なものであり、実際に０番目の画像を用意する等の処理は不要である）。そのようにすると、Ｓ３０８での第２の基準画像選択処理により、２番目の画像が選択され、判定対象画像はその間の画像（ここでは１番目の画像のみ）が順次選択されることになる。Ｓ３０４〜Ｓ３０６の処理は、第１の基準画像が実際には存在しない以上、判定対象画像と第２の基準画像との間で行われる。２番目の画像により１番目の画像がカバーされていれば、図１２の処理に従って図１４（Ｃ）に示したように第２の基準画像が更新され、３番目の画像に移行し、当該３番目の画像により１〜２番目の画像がカバーできるかの判定を行う。以下、処理が繰り返されれば、図１４（Ｄ）に示したように、ｋ−１番目の画像を第２の基準画像とすれば、１〜ｋ−２番目の画像を全てカバーできるが、ｋ番目の画像を第２の基準画像としても、１〜ｋ−１番目の画像を全てカバーすることができないｋを見つけることができる。その場合には、Ｓ３０６で削除不可と判定され、Ｓ３０７において、ｋ−１〜Ｎ番目の画像からなる画像列が部分画像列に設定され、Ｓ３０２に戻る。２回目以降のＳ３０２での処理は、上述したように入力画像列の先頭の画像が基準画像として選択されるため、ｋ−１番目の画像は基準画像として要約画像列に残される。上述したように、ｋ−１番目の画像により、１〜ｋ−２番目の画像をカバーできるため、当該１〜ｋ−２番目の画像を削除することができ、要約画像列には含まれる画像の枚数を削減することが可能になる。
以上の本実施形態では、第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、処理部１００は、第ｐの画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２≦ｑ≦Ｎ−１を満たす整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ−１を満たす整数）の画像を判定対象画像として選択する。そして、第１の基準画像と判定対象画像の間の変形情報、及び第２の基準画像と前記判定対象画像の間の前記変形情報に基づいて前記被覆率を算出して、被覆率に基づいて判定対象画像の削除可否の判定を行う。さらに、第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、第２の基準画像として第ｑ＋１の画像を新たに選択する。
これにより、図１３（Ａ）、図１３（Ｂ）に示したように、判定対象画像の前方及び後方に基準画像を設定した上で、被覆率に基づいた画像要約処理が可能になる。この場合、２つの基準画像を用いるため、判定対象画像を削除可能と判定できる可能性が高くなり、要約処理後の画像枚数を少なくすることが可能になる。また、第１の実施形態の変形例で述べたように、前方のみに複数の基準画像を設定する手法に比べると、判定対象画像に時間的（或いは空間的）に近い画像を基準画像に設定できる。近い画像であるほど撮像された被写体が似通っている可能性が高いため、より判定対象画像の削除可能性を高めることができる。なお、本実施形態でも上述した変形例のように、前方、後方、或いはその両方において複数の基準画像を設定してもよい。また、第１の基準画像と第２の基準画像の間に設定された判定対象画像が削除可能と判定された場合（狭義には全ての判定対象画像が削除可能な場合であるが、これに限定する必要はない）には、第１の基準画像と第２の基準画像の間をさらに広げたとしても、その間の画像をカバーできる可能性があるということであるから、第２の基準画像を現在の第２の基準画像よりも後方の画像に更新する。
なお、上述したように本実施形態では判定対象画像の後方に基準画像を設定してもよいことから、最初の処理においては第１の基準画像を先頭の画像にする必要はない。２番目以降の所与の画像により、それ以前の全ての画像がカバーされるのであれば、当該所与の画像を基準画像とすることで、それ以前の画像を削除できるためである。
また、処理部１００は、第１の基準画像として選択された画像を、要約画像列に含める処理を行ってもよい。また、第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、第ｑ−１〜第Ｎの画像からなる部分画像列を入力画像列として設定し、設定された入力画像列に対して、ｐの値を１に設定した上で再度処理を行う。
これにより、第１の実施形態で基準画像を要約画像列に含めることとしたのと同様に、本実施形態でも第１の基準画像を要約画像列に含めることが可能になる。また、第１の基準画像と第２の基準画像の間の判定対象画像のうち少なくとも１つが削除不可である場合とは、第１の基準画像と第２の基準画像の間を広げすぎたケースに相当するため、その際の第２の基準画像の前方にある（狭義には前方にあり且つ直近にある）画像は要約画像列に残すべきである。よって、第ｑ−１〜第Ｎの画像からなる部分画像列を入力画像列として設定し、設定された入力画像列に対して、第１、第２の基準画像及び判定対象画像の選択処理、削除可否判定処理、条件によっては第２の画像の更新処理等を再度行う。なお、設定された部分画像列については、その先頭画像を要約画像列に残すべきであるから、上述のパラメータｐは１とすることが望ましい。
３．２ 変形例（第２の基準画像の他の更新手法）
次に本実施形態の変形例について述べる。なお、この変形例では第２の基準画像の選択手法について述べる関係上、削除可否判定について同様の表記が繰り返されることになる。よって文章を簡略化するために、第ｑの画像を第２の基準画像として選択して削除可否判定を行った結果、第１の基準画像と第２の基準画像の間の画像が全て削除可能と判定された状況を「第ｑの画像がＯＫである」と表記し、第１の基準画像と第２の基準画像の間の少なくとも１枚の画像が削除不可である状況を「第ｑの画像がＮＧである」と表記する。
上述の手法では、第ｑの画像がＯＫである場合には、第２の基準画像を再度選択していたが、選択される新たな第２の基準画像は、第ｑ＋１の画像に限定されていた。
入力画像列として第１〜第Ｎの画像が入力され、第１の基準画像として第１の画像を選択した場合、第ｑの画像が第２の基準画像として選択されると判定対象画像の候補としてｑ−２枚の画像（第２〜第ｑ−１の画像）が考えられ、判定処理はｑ−２回行われることになる。仮に１回も判定対象画像が削除不可と判定されることなく画像要約処理が終了したとすると、ｑとしては３〜Ｎ（仮想的な画像を考慮すればＮ＋１を含んでもよい）が選択されるため、少なくとも１＋２＋３＋…＋Ｎ−２＝（Ｎ−２）（Ｎ−１）／２回の処理が必要となり、計算量のオーダーはＮ２となってしまう。つまり、上述した手法ではＮが非常に大きくなると計算量が飛躍的に増えてしまい好ましくない。
そこでここでは、第２の基準画像を再度選択する場合に、その対象を隣り合う画像に限定せず、選択の幅を広げることで計算量を削減する。具体的には、第ｑの画像がＯＫである場合に、新たな第２の基準画像を第ｑ＋１の画像に限定せず、第ｑ＋２の画像及びその後方の画像から選択することを許容する。この場合、第ｑの画像がＮＧであったとしても、第ｑ−１の画像がＯＫであるか否かはわからない（第ｑ−１の画像が第２の基準画像として選択されていない可能性があるため）。よって、第２の実施形態の基本的な手法のように、第ｑの画像がＮＧだからといって即座に第ｑ−１の画像を要約画像として残すという処理を行うのではなく、基本的には第ｑの画像よりも前方の画像を新たな第２の基準画像として選択することで前方の画像について判定を行うことになる。
つまり、この変形例では終了条件を満たすまでは、ＯＫの場合は後方に、ＮＧの場合は前方に第２の基準画像を更新することで、第１の基準画像の次の要約画像を探索することになる。新たな第２の基準画像の位置を適切に設定することで、次の要約画像の発見までに第２の基準画像として選択される画像の枚数を減らすことができ、計算量も削減できる。なお、ここでの計算量削減とは、計算量の期待値の削減にとどまるものであり、第１の基準画像の次の要約画像の位置によっては、上述の手法の方が少ない計算量となる可能性は否定できない。以下、変形例の手法を詳細に説明する。
画像処理装置のシステム構成例は図１１と同様であり、第２の基準画像選択部１００７での第２の基準画像の選択処理（更新処理）が異なる。よって同様の部分については詳細な説明は省略し、異なる点を説明する。
入力画像列が入力されたら、基準画像選択部１００１は第１の基準画像を選択する。ここでは上述したように入力画像列の先頭の画像（第１の画像）を選択する。なお、入力画像列が画像列取得部２００で取得した画像列である場合（最初の第１の基準画像選択処理が行われる場合）において、先頭以外の画像（例えば仮想的な０番目の画像）を第１の基準画像として選択してもよい点は同様であるが、以下では断りがない限り、第１の基準画像は先頭の画像であるものとして説明する。
その後第２の基準画像を選択する。ここでは、第２の基準画像の選択対象となる画像に対応する第２の基準画像選択区間（実際には第１の基準画像の次の要約画像を探索する範囲に相当）を設定する。第ｉの画像〜第ｊの画像に対応する半開区間［ｉ，ｊ）を第２の基準画像選択区間とし、ｉを第１の基準画像の次の画像に対応させ（狭義にはｉ＝２）、ｊ＝Ｎ＋２とする。なお、ｊ＝Ｎ＋２としたのは、第１の基準画像として仮想的な第０の画像を設定してもいいように、第２の基準画像として仮想的な第Ｎ＋１の画像を設定してもよいためである。第２の基準画像が第Ｎ＋１の画像である場合とは、第１の基準画像だけでその後方の画像全てをカバーでき、第２の基準画像が不要であるか否かを判定する場合に相当する。
そして、設定された第２の基準画像選択区間から第２の基準画像を選択する。ここでは効率的に処理を行うために、第２の基準画像を所与の条件に基づいて決定する。まず、第１の基準画像設定後、初めて第２の基準画像が選択される場合には、第２の基準画像として第ｉ＋１の画像（狭義には第３の画像）を選択する。この点は第２の実施形態の基本的な手法と同様である。
ここまでの処理を図示したものが図２０（Ａ）である。ここではＮ＝１２の画像列を考えており、第１の基準画像が１番目の画像、第２の基準画像選択区間が２番目の画像〜１４番目の画像（ｉ＝２，ｊ＝１４）、第２の基準画像が３番目の画像となっている。
第２の基準画像が選択された後の、判定対象画像選択処理、被覆率算出処理、削除可否判定処理、及びこれらの処理の繰り返しについては上述の手法と同様であるため詳細な説明は省略する。
所与の画像（最初は第３の画像）を第２の基準画像として選択した場合に、その画像がＯＫであれば、第２の基準画像の位置を第１の基準画像からさらに離してもよいということであるから、新たな第２の基準画像として、現在のものよりも後方の画像を選択する。この考え方自体は第２の実施形態の基本的な手法と同様である。しかし、上述の手法では第２の基準画像を１つずつ後方に移していったが、ここでは２つ以上後方の画像に移行してもよい。
一例としては、現在の第２の基準画像が第１の基準画像から数えてａ番目の画像である場合に、第１の基準画像から数えて２×ａ番目の画像を新たな第２の基準画像としてもよい。具体的には図２０（Ｂ）に示したように、３番目の画像（第１の基準画像から数えて２番目）が第２の基準画像として選択された場合に、当該３番目の画像がＯＫであれば、次の第２の基準画像は５番目（第１の基準画像から数えて４番目）の画像を選択することになる。
ところで、ｑ番目の画像がＯＫならば、ｑ−１番目以前の画像は要約画像列に残される要約画像として選択する必要はない。よって、第２の基準画像として現在位置（ｑ番目）よりも前方の画像を選択するメリットはないため、第２の基準画像選択区間を更新するとよい。具体的には、選択区間の始点ｉをｉ＝ｑとすればよい。この変形例では、第２の基準画像は第２の基準画像選択区間から選択されることとしているため、こうすることで現在位置よりも前方の画像を選択することがなくなる。例えば、図２０（Ｂ）に示したように、３番目の画像がＯＫである場合、２番目の画像は要約画像とはならないため、選択区間から外してよく、選択区間の始点を３番目の画像に更新する。
同様に、５番目の画像がＯＫならば、図２０（Ｃ）に示したように９番目の画像を新たな第２の基準画像として選択するとともに、第２の基準画像選択区間の始点を５番目の画像に更新する。
しかし、図２０（Ｃ）において仮に９番目の画像がＯＫである場合を考えればわかるように、ｑ番目の画像を第２の基準画像として、当該第ｑの画像がＯＫの場合に、ｑの値が大きくなると新たな第２の基準画像が極端に後方になってしまう可能性がある。例えば、Ｎ＋１番目よりも後方の画像が候補になってしまい第２の基準画像が選択不可となったり、そうでなくても更新前後の第２の基準画像の間隔が広くなりすぎて、次の要約画像の探索が非効率的になったりする。
そこで、新たな第２の基準画像として現在位置よりも後方の画像を選択する場合に、他の手法を併用してもよい。一例としては新たな第２の基準画像を、（ｑ＋ｊ）／２の値に基づいて決定する。例えば９番目の画像がＯＫの場合、第２の基準画像選択区間の始点が９番目の画像に更新されるため、［９，１４）の半開区間となる。つまり、その中央付近の画像を新たな第２の基準画像とすることで、探索範囲の中央を処理対象とすることになる。探索範囲の中央について判定を行うことで探索範囲を半減させていく手法は、広く知られている二分探索に他ならず、二分探索が計算量の面で利点があることもまた広く知られている。本実施形態の第２の基準画像選択区間とは、所与の画像がＯＫであればそれより前方の画像は全てＯＫと考えてよく、所与の画像がＮＧであればその後方の画像は全てＮＧと考えてよいという性質のものであり、二分探索の手法を適用可能である。つまり、更新前の第２の基準画像と、第２の基準画像選択区間の終点との中間付近から、新たな第２の基準画像を選択することで、効率的な処理が期待できる。
ここでは、第１の基準画像起点の距離を２倍にしていく手法と、二分探索に対応する手法を併用するものとする。例えば、第ｑの画像が更新前の第２の基準画像である場合に、次の第２の基準画像として下式（１）を満たす第ｋの画像とすればよい。ここでmin(a,b)はａとｂのうち小さい方を表すものである。
Figure 0005896791
一方、上述したように第ｑの画像がＮＧの場合には、ＯＫの場合とは逆に現在位置よりも前方から新たな第２の基準画像を選択することになる。どの程度前方の画像を選択するかは種々の手法により決定可能であるが、例えばここでも二分探索に対応した手法を用いてもよい。この場合、第２の基準画像選択区間の始点が第ｉの画像であるため、新たな第２の基準画像は、（ｉ＋ｑ）／２の値に基づいて決定される。また、第ｑの画像がＮＧである以上、第ｑの画像及びその後方の画像は要約画像として選択されることはない。よって第２の基準画像選択区間の終点を更新してよく、ｊ＝ｑとすればよい。９番目の画像がＮＧである場合の例を図２０（Ｄ）に示す。新たな第２の基準画像として７番目の画像が選択されるとともに、第２の基準画像選択区間の終点ｊがｊ＝９に更新される。
なお、第２の基準画像選択区間が半開区間であるとしたのは、ここでの説明の便宜のためである。つまり、第ｑの画像がＯＫの場合は、当該第ｑの画像は要約画像として選択される可能性を残しているため、第２の基準画像選択区間の始点ｉをｉ＝ｑとした場合に、ｉは第２の基準画像選択区間に含まれているとよい。一方、第ｑの画像がＮＧの場合は、当該第ｑの画像は要約画像として選択されないため、第２の基準画像選択区間の終点ｊをｊ＝ｑとした場合に、ｊは第２の基準画像選択区間に含めないほうがよい。以上のことから、第２の基準画像選択区間を［ｉ，ｊ）としたにすぎず、符号や式の表記次第では開区間や閉区間により第２の基準画像選択区間を表すことに何も問題はない。
以上の処理により、第２の基準画像選択区間（狭義には次の要約画像の探索範囲）を狭めていく。次の要約画像とは、第ｋの画像がＯＫであり且つ第ｋ＋１の画像がＮＧである場合の第ｋの画像であるから、ＯＫの画像とＮＧの画像が隣り合っている箇所が見つかったら処理を終了することになる。上述の例では、終了の直前では二分探索的に処理を行っていくことが想定され、例えば図２０（Ｅ）のようになる。第ｉの画像はＯＫであり、その２つ隣の第ｊの画像はＮＧであり、その間の第ｑの画像が第２の基準画像となっている。この場合、第ｑの画像がＯＫであれば図２０（Ｆ）、ＮＧであれば図２０（Ｇ）のようになり、どちらにせよ第２の基準画像選択区間の始点と終点が隣り合い、且つ始点に対応する画像がＯＫ、終点に対応する画像がＮＧとなる。よって、次の要約画像として始点に対応する画像を選択すればよいため、入力画像列に対する探索処理は終了する。
次の要約画像が見つかったのであれば、当該画像及びそれ以降の画像からなる部分画像列を入力画像列として設定すればよい点は第２の実施形態の基本的な手法と同様である。よって、部分画像列設定部１００８は、第２の基準画像選択区間の始点、及びそれ以降の画像を部分画像列に設定し、当該部分画像列を新たな入力画像列とする。新たな入力画像列が与えられたら、それ以降の処理については同様であるため詳細な説明は省略する。
図２１にこの処理を説明するフローチャートを示す。Ｓ６０１，Ｓ６０２についてはＳ３０１，Ｓ３０２と同様である。Ｓ６０２で第１の基準画像が選択された後に、第２の基準画像選択区間を設定する（Ｓ６０９）。Ｓ６０２の直後に行われるＳ６０９の処理としては、例えば上述したようにｉ＝２，ｊ＝Ｎ＋２を満たす［ｉ，ｊ）の半開区間を設定すればよい。また、後述するようにＳ６０３やＳ６０６の後にＳ６０９の処理が行われる場合には、すでに設定されている第２の基準画像選択区間の更新処理となる。
Ｓ６０９で第２の基準画像選択区間の設定（或いは更新）処理が行われたら、その始点と終点が隣り合うか（ｊ＝ｉ＋１を満たすか）の判定を行う（Ｓ６１０）。Ｓ６１０でＹｅｓの場合には、図２０（Ｆ）に示したように第ｉの画像が、第１の画像の次の要約画像であるとわかった状況であるから、第ｉの画像及びそれ以降の画像を部分画像列に設定し（Ｓ６０７）、Ｓ６０２に戻る。
Ｓ６１０でＮｏの場合には、まだ次の要約画像が見つかっていない状況であるから、Ｓ６０９で設定した第２の基準画像選択区間から第２の基準画像を選択する（Ｓ６０８）。Ｓ６０２による第１の基準画像設定後、初めてＳ６０８の処理が行われる場合には、例えば第ｉ＋１の画像（第１の基準画像の２つ後方の画像）を選択すればよい。それ以外の場合には、直前の第２の基準画像の位置に応じて、新たな第２の基準画像を選択する処理を行うことになる。
Ｓ６０８で第２の基準画像を選択したら、判定対象画像を選択する（Ｓ６０３）。判定対象画像選択後の被覆領域算出処理（Ｓ６０４）、被覆率算出処理（Ｓ６０５）、画像削除可否判定処理（Ｓ６０６）についてはＳ３０４〜Ｓ３０６と同様である。Ｓ６０６で削除可能と判定された場合には、Ｓ６０３に戻り判定対象画像を１つ後方の画像に更新し、同様の処理を行う。Ｓ６０３〜Ｓ６０６の処理を繰り返すことで、第１の基準画像と第２の基準画像の間の画像が全て削除可能であるか、或いは少なくとも１つが削除不可であるかの判定が実行される。全て削除可能の場合にはＳ６０３の判定で、判定対象画像＝第２の基準画像となり、Ｓ６０９に戻る。また、少なくとも１枚の画像が削除不可である場合にはＳ６０６の判定で削除不可となりＳ６０９に戻る。なお、図２１では不図示であるが、Ｓ６０３からＳ６０９に戻ったのか、或いはＳ６０６からＳ６０９に戻ったのかという情報を保持しておき、それに応じて次のＳ６０９等での処理を変更する必要がある。
Ｓ６０３からＳ６０９に戻った場合には、全ての画像が削除可能な状況であるため、第２の基準画像選択区間の始点を更新する処理を行い、その結果Ｓ６０８では１つ前の第２の基準画像よりも後方の画像が新たな第２の基準画像として選択される。一方、Ｓ６０６からＳ６０９に戻った場合には、少なくとも１枚の画像が削除不可である状況であるため、第２の基準画像選択区間の終点を更新する処理を行い、その結果Ｓ６０８では１つ前の第２の基準画像よりも前方の画像が新たな第２の基準画像として選択される。
以上の変形例では、第１〜第Ｎの画像からなる入力画像列から、第ｐの画像が第１の基準画像として選択され、第ｑの画像を第２の基準画像として選択する場合に、処理部１００は、第ｐ＋２〜第Ｎの画像に対応する始点及び終点が設定された第２の基準画像選択区間から第２の基準画像を選択する。そして、第１の基準画像及び第２の基準画像に基づいて判定対象画像の削除可否の判定を行い、第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、第２の基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな第２の基準画像として選択する。また、それとともに、第２の基準画像選択区間の始点を第ｑの画像に更新してもよい。
ここで、第２の基準画像選択区間は、第２の基準画像の候補となる画像という性質を鑑みれば、第ｐ＋２〜第Ｎの画像を含むことになる。ただし、第２の基準画像として第Ｎ＋１の画像のように仮想的な画像を選択してもよいため、第２の基準画像選択区間の終点がＮより大きくなってもよい。また、第２の基準画像選択区間には次の要約画像の探索範囲という側面もあるため、第２の基準画像として選択されない画像であっても、要約画像として選択されうる画像は当該選択区間に含まれるものとしてもよい。その場合第２の基準画像選択区間の始点として第１の基準画像の１つ後方の画像（第ｐ＋１の画像）を設定してもよいことになる。
これにより、第２の基準画像を更新する際に、新たな第２の基準画像の位置を柔軟に決定することが可能になる。第２の実施形態の基本的な手法は、言うなれば探索範囲を先頭から１つずつチェックして、探索範囲を減らしていく手法であるため、正解の位置によっては計算量が非常に多くなってしまう。その点、隣り合わない画像も新たな第２の基準画像として選択可能にすることで、一単位の判定（第ｑの画像がＯＫかＮＧかという判定）により探索範囲を大きく減らすことができる。よって、計算量の削減効果が期待でき、システムに対する負荷を軽減したり、処理時間を短縮したりすることが可能になる。
また、処理部１００は、第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、第２の基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな第２の基準画像として選択してもよい。それとともに、第２の基準画像選択区間の終点を第ｑの画像に更新する。
これにより、第２の基準画像を更新する際に、現在の第２の基準画像よりも前方の画像を、新たな第２の基準画像として選択することが可能になる。上述したように、後方への探索が隣り合う画像を選択するものに限定されない以上、現在の第２の基準画像よりも前方に未探索範囲が残っていることがありえ、削除可否の判定結果によっては当該未探索範囲に正解があるということが考えられる。その場合には、前方への探索を行うことで適切な処理を行うことが可能になる。また、後方への探索と同様に、新たな第２の基準画像の選択は隣り合う画像に限定されない。
また、処理部１００は、第ｊ（ｊは整数）の画像が第２の基準画像選択区間の終点に対応する場合に、（ｑ＋ｊ）／２の値に基づいてｘの値を設定してもよい。或いは、第ｉ（ｉは整数）の画像が第２の基準画像選択区間の始点に対応する場合に、（ｉ＋ｑ）／２の値に基づいてｙの値を設定してもよい。
これにより、新たな第２の基準画像を選択するに当たって、二分探索の手法を用いることが可能になる。後方への探索の場合には、現在の第２の基準画像と終点との中間となる画像を選択し、前方への探索の場合には、現在の第２の基準画像と始点との中間となる画像を選択することになる。よって、探索範囲（第２の基準画像選択区間の長さに相当）を半減させていくことが可能になり、第２の基準画像としてｌｏｇＮ枚の画像を選択すれば、全探索範囲の探索が終了することが期待される。よって、計算量のオーダーはＮ×ｌｏｇＮに抑えることができ、Ｎが非常に大きい場合には第２の実施形態の基本的な手法（計算量のオーダーはＮ２）に比べて計算量の削減効果が大きい。なお、（ｑ＋ｊ）／２及び（ｉ＋ｑ）／２は整数になるとは限らないため、それぞれの値に対応する画像が存在しない場合もある。その際には、例えば（ｑ＋ｊ）／２を超えない最大の整数、或いはそれより１大きい整数等を考えればよい。
また、処理部１００は、第２の基準画像選択区間の始点又は終点を更新した結果、始点と終点が隣り合う場合に、第１の基準画像として選択された画像を、要約画像列に含める処理を行ってもよい。また、始点に対応する画像、及び始点に対応する画像よりも入力画像列において後方の画像からなる部分画像列を入力画像列として設定し、設定された入力画像列に対して、ｐの値を１に設定して再度処理を行ってもよい。
ここで、始点と終点が隣り合うとは、始点に対応する画像と終点に対応する画像が、入力画像列において隣り合うことを表す。入力画像列としてＮ枚の画像が与えられた場合には、入力画像列は時系列的に或いは空間的に連続する画像の集合であることが想定されているため、その連続性から画像列の前方、後方を定義することができる。例えば時系列的に早い時刻に取得された画像は、それより遅い時刻に取得された画像よりも前方の画像となる。具体的には、入力画像列の各画像を第１〜第Ｎの画像として表し、振られた数値が小さい画像ほど前方にあるものとする。よって、画像列中の第ｉの画像と第ｊ（＞ｉ）の画像が隣り合うとは、ｊ＝ｉ＋１を満たす状況を指す。
これにより、入力画像列に対する処理の終了条件として、第２の基準画像選択区間の始点、終点（或いは長さ）に基づく条件を設定することが可能になる。このような終了条件を設定することで、第２の基準画像として選択された場合にＯＫと判定される画像群のうち、第１の基準画像から最も離れていると予想される画像を、部分画像列の先頭画像（次の要約画像に相当）として選択することができる。なぜなら、図２０（Ｆ）等に示したように、この終了条件とはＯＫの画像とＮＧの画像が隣り合う位置を探索することに等しいためである。そのため、最終的に出力される要約画像列に含まれる要約画像の枚数を少なくすることができ、ユーザの負担軽減等が可能になる。
３．３ 変形例（第２の基準画像の初期設定）
以上の第２の実施形態及びその変形例では、入力画像列（画像列取得部２００が取得した画像列でもよいし、その一部の画像からなる部分画像列であってもよい）が入力された場合、最初に設定される第２の基準画像は、第１の基準画像の２つ後方の画像に限定されていた。
しかし、第２の基準画像の初期位置は異なるものであってもよい。例えば、実際の画像列では似たような画像が長く続く区間と、似たような画像があまりない区間が隣り合うことは多くない。つまり、次回の要約区間の長さ（隣り合う要約画像がどれだけ離れているかを表す）は、前回の要約区間の長さに近いことが予測される。よって、すでに要約画像が複数得られており、「前回の要約区間の長さ」に相当する情報が取得されているのであれば、第２の基準画像の初期位置を、第１の基準画像から「前回の要約区間の長さ」だけ離れた位置に設定することで、より早く正解に到達することが期待されることになり、計算量の削減効果も期待できる。
具体的には、直前の要約画像及びその１つ前の要約画像から、要約区間の長さｇを取得しておく。そして、第２の基準画像選択区間が［ｉ，ｊ）である場合に、第２の基準画像を第ｉ＋１の画像ではなく、第ｉ＋ｇの画像に設定すればよい。なお、すでに決定している要約画像が０枚又は１枚の場合にはｇを取得することができない。この場合には、ｇを用いずに第２の基準画像の初期位置を設定することになる。例えば、要約画像が０枚であれば、上述してきたように第２の基準画像を第ｉ＋１の画像にしてもよい。また、要約画像が１枚の場合には、画像列取得部２００が取得した画像列の先頭の画像から、当該要約画像までの長さをｇ’とし、最初の第２の基準画像を第ｉ＋ｇ’の画像としてもよい。
なお、第２の基準画像の更新処理が必要になった場合、その更新手法は種々の手法が考えられる。例えば、上述した変形例のように二分探索の手法を用いて次の第２の基準画像を選択してもよい。
しかし、第ｉ＋ｇの画像付近に次の要約画像がある可能性が高いという仮定を鑑みれば、更新後の第２の基準画像が第ｉ＋ｇの画像から大きく離れることは、次の要約画像発見までの探索回数を増大させかねず、かえって好ましくないと考えることもできる。その場合には、第２の実施形態の基本的な手法として述べたように、前回の第２の基準画像と隣り合う画像を新たな第２の基準画像として選択してもよい。ただし、第ｉ＋１〜第ｉ＋ｇ−１の画像について判定が行われていない以上、その範囲に次の要約画像がある可能性もある。よって、第２の基準画像の更新は１つずつ後方に移行させるものに限定されず、削除可否の判定結果次第では１つずつ前方に移行させる場合もあり得る。
４．第３の実施形態
第３の実施形態では、基準画像の前方・後方の画像についての被覆率を保証する画像要約処理を系列順に行う手法を説明する。図１５に本実施形態における画像処理装置のシステム構成例を示す。図１の処理部１００に対して画像列分割部１００６が追加された構成となっている。
本実施形態では、基準画像選択部１００１は、入力画像列の最初及び最後の画像以外の画像から基準画像を選択する（入力画像列の画像が３枚未満であればこの限りではない）。狭義には入力画像列の中央の画像を基準画像としてもよい。判定対象画像選択部１００２は、入力画像列に含まれる画像のうち、基準画像以外の全ての画像を順次選択する。
画像列分割部１００６は、入力画像列を基準画像よりも前の画像からなる第１の画像列と、基準画像よりも後の画像からなる第２の画像列に分割する。部分画像列設定部１００８は、第１の画像列に含まれる画像の削除可否の判定結果に基づいて部分画像列設定処理を行うとともに、第２の画像列に含まれる画像の削除可否の判定結果に基づいて部分画像列設定処理を行う。
図１６に本実施形態の画像要約処理を説明するフローチャートを示す。この処理が開始されると、まずＳ１０１等と同様に画像要約処理の対象となる画像列を画像列取得部２００において取得する（Ｓ５０１）。そして、画像列取得部２００で取得した画像列を入力画像列群に追加する。
次に入力画像列群に含まれる入力画像列に対して図１７を用いて後述する処理を実行する（Ｓ５０２）。初めてＳ５０２の処理が行われる場合には、Ｓ５０１で取得された画像列に対する処理となる。なお、Ｓ５０２の処理対象となった入力画像列は入力画像列群からは削除される。その後、入力画像列群に入力画像列が残っているかの判定を行う（Ｓ５０３）。後述するように、Ｓ５０２における処理では、場合によって１つ又は２つの部分画像列が設定され、設定された部分画像列は入力画像列群に追加されることになるため、Ｓ５０３でＹｅｓと判定されることはありえる。Ｓ５０３でＮｏの場合には処理を終了する。
図１７に図１６のＳ５０２における処理を説明するフローチャートを示す。この処理が開始されると、まず入力画像列群から処理対象となる入力画像列を選択する（Ｓ４０１）。Ｓ４０２〜Ｓ４０６については、基準画像の選択位置の差異等はあるものの、おおむねＳ１０２〜Ｓ１０６と同様である。なお、本実施形態では削除可否の判定結果に関わらず、入力画像列に含まれる全ての画像（ただし基準画像を除く）を順次判定対象画像として選択し処理を行う。そして全ての画像により削除可否の判定が終了した場合に、Ｓ４０３において選択する画像がないと判定されＳ４０９に移行する。
Ｓ４０９では、入力画像列を基準画像よりも前の画像からなる第１の分割画像列と、基準画像よりも後の画像からなる第２の分割画像列に分割する。そして、第１の分割画像列及び第２の分割画像列に基づいて部分画像列の設定処理が行われる（Ｓ４０７）。Ｓ４０７では具体的には、まず第１の分割画像列に含まれる画像の中に、少なくとも１つＳ４０６において削除不可と判定された画像があるか否かの判定を行い（Ｓ４０７１）、Ｙｅｓの場合には第１の分割画像列を部分画像列に設定し、入力画像列群に追加する（Ｓ４０７２）。同様に、第２の分割画像列に含まれる画像の中に、少なくとも１つＳ４０６において削除不可と判定された画像があるか否かの判定を行い（Ｓ４０７３）、Ｙｅｓの場合には第２の分割画像列を部分画像列に設定し、入力画像列群に追加する（Ｓ４０７４）。つまり、Ｓ５０２の処理では、１つの入力画像列を入力として処理が行われた結果として、０〜２個の部分画像列が入力画像列群に追加されることになる。
以上の画像要約処理を図示したものが図１８（Ａ）〜図１８（Ｂ）である。図１８（Ａ）に示したように、Ｎ枚の画像を有する画像列が画像列取得部２００で取得された場合には、当該画像列が入力画像列群に追加され、Ｓ５０２での処理対象となる。Ｓ５０２では、まずｘ番目（２≦ｘ≦Ｎ−１であり、狭義にはｘはＮ／２に近い値）の画像が基準画像として選択され、１〜ｘ−１番目の画像、及びｘ＋１〜Ｎ番目の画像が、順次判定対象画像として選択され、削除可否の判定が行われる。
そして、１〜ｘ−１番目の画像のうち少なくとも１つの画像が削除不可と判定された場合には、１〜ｘ−１番目の画像の全てを基準画像によりカバーすることができないということであるから、１〜ｘ−１番目の画像の中に基準画像を設定する必要がある。具体的には、１〜ｘ−１番目の画像を分割画像列として、当該分割画像列を入力画像列としてＳ５０２の処理を再度実行することになる。例えば、図１８（Ｂ）に示したように、ｘ−１枚の画像からなる画像列のうち、ｙ番目（２≦ｙ≦ｘ−２であり、狭義にはｙは（ｘ−１）／２に近い値）の画像が基準画像として選択され、他の画像を順次判定対象画像として選択し、削除可否の判定を行う。この結果、場合によっては１〜ｙ−１番目の画像からなる分割画像列や、ｙ＋１〜ｘ−１番目の画像からなる分割画像列が入力画像列群に追加され、Ｓ５０２の処理の対象となる。以下、分割画像列に含まれる全ての画像が削除可能と判定され、当該分割画像列を要約画像列には含めないものとできるまで、Ｓ５０２の処理が反復されることになる。
また、ｘ＋１〜Ｎ番目の画像からなる分割画像列についても、図１８（Ｂ）に示したように同様の処理が行われることになる。
以上の本実施形態では、第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、処理部１００は、第ｓ（ｓは２≦ｓ≦Ｎ−１を満たす整数）の画像を前記基準画像として選択するとともに、第ｔ（ｔは１≦ｔ≦Ｎかつｔ≠ｓを満たす整数）の画像を前記判定対象画像として選択する。そして、基準画像と判定対象画像の間の変形情報に基づいて被覆率を算出して、被覆率に基づいて判定対象画像の削除可否の判定を行う。さらに、第１〜第ｓ−１の画像のうち少なくとも１つが削除不可と判定された場合には、第１〜第ｓ−１の画像からなる部分画像列を入力画像列として設定し、再度処理を行う。また、第ｓ＋１〜第Ｎの画像のうち少なくとも１つが削除不可と判定された場合には、第ｓ＋１〜第Ｎの画像からなる部分画像列を入力画像列として設定し、再度処理を行う。
これにより、図１８（Ａ）、図１８（Ｂ）に示した処理が可能になる。ここで第ｓの画像は望ましくは入力画像列の中央付近の画像である。つまり、基準画像を境界として入力画像列を２つの分割画像列に分け、それぞれについて削除可否判定を行い、削除不可であれば当該分割画像列を入力画像列に設定する。よって、本実施形態では１つの入力画像列が入力された場合に、出力として２つの新たな入力画像列が設定される可能性がある。また、本実施形態では分割画像列において少なくとも１つの画像が削除不可と判定された場合には、当該分割画像列全体が新たな入力画像列に設定され、その中から基準画像が選択される。つまり、所与の画像が削除可能と判定されたとしても即座に削除が確定するとは限らず、当該所与の画像を含む分割画像列が新たな入力画像列に設定された際に、当該所与の画像が基準画像として選択され、最終的に要約画像列に含まれる（すなわち画像要約処理によって削除されない）可能性がある点には留意すべきである。
以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
１００ 処理部、２００ 画像列取得部、３００ 記憶部、１００１ 基準画像選択部、
１００２ 判定対象画像選択部、１００３ 被覆領域算出部、１００４ 被覆率算出部、
１００５ 削除可否判定部、１００６ 画像列分割部、
１００７ 第２の基準画像選択部、１００８ 部分画像列設定部、
１００９ 要約画像列決定部

Claims (24)

  1. 複数の画像を有する画像列を取得する画像列取得部と、
    前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、
    を含み、
    前記処理部は、
    前記複数の画像から、基準画像と判定対象画像を選択し、
    前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、
    前記被覆率に基づいて、前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
  2. 請求項１において、
    第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、
    前記処理部は、
    第ｐ（ｐは１≦ｐ≦Ｎを満たす整数）の画像を第１の基準画像として選択し、第ｑ（ｑはｐ＋２以上の整数）の画像を第２の基準画像として選択するとともに、第ｒ（ｒはｐ＋１≦ｒ≦ｑ−１を満たす整数）の画像を前記判定対象画像として選択し、
    前記第１の基準画像と前記判定対象画像の間の前記変形情報、及び前記第２の基準画像と前記判定対象画像の間の前記変形情報に基づいて前記被覆率を算出して、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
  3. 請求項２において、
    前記処理部は、
    第ｐ＋２〜第Ｎの画像に対応する始点及び終点が設定された第２の基準画像選択区間から前記第２の基準画像を選択して、前記第１の基準画像及び前記第２の基準画像に基づいて前記判定対象画像の削除可否の判定を行い、
    第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、前記第２の基準画像選択区間に含まれる第ｘ（ｘはｘ＞ｑを満たす整数）の画像を新たな前記第２の基準画像として選択するとともに、前記第２の基準画像選択区間の前記始点を前記第ｑの画像に更新することを特徴とする画像処理装置。
  4. 請求項３において、
    前記処理部は、
    第ｊ（ｊは整数）の画像が前記第２の基準画像選択区間の前記終点に対応する場合に、（ｑ＋ｊ）／２の値に基づいて前記ｘの値を設定することを特徴とする画像処理装置。
  5. 請求項３又は４において、
    前記処理部は、
    前記第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第２の基準画像選択区間に含まれる第ｙ（ｙはｙ＜ｑを満たす整数）の画像を新たな前記第２の基準画像として選択するとともに、前記第２の基準画像選択区間の前記終点を前記第ｑの画像に更新することを特徴とする画像処理装置。
  6. 請求項５において、
    前記処理部は、
    第ｉ（ｉは整数）の画像が前記第２の基準画像選択区間の前記始点に対応する場合に、（ｉ＋ｑ）／２の値に基づいて前記ｙの値を設定することを特徴とする画像処理装置。
  7. 請求項３乃至６のいずれかにおいて、
    前記処理部は、
    前記第２の基準画像選択区間の前記始点又は前記終点を更新した結果、前記始点と前記終点が隣り合う場合に、
    前記第１の基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、
    前記始点に対応する前記複数の画像の１つ、及び前記複数の画像のうち、前記始点に対応する前記複数の画像の１つよりも前記入力画像列において後方のものからなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記ｐの値を１に設定して再度処理を行うことを特徴とする画像処理装置。
  8. 請求項２において、
    前記処理部は、
    第ｐ＋１〜第ｑ−１の画像が削除可能と判定された場合には、前記第２の基準画像として第ｑ＋１の画像を選択することを特徴とする画像処理装置。
  9. 請求項８において、
    前記処理部は、
    前記第ｐ＋１〜第ｑ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第１の基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、前記第ｑ−１〜第Ｎの画像からなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記ｐの値を１に設定して再度処理を行うことを特徴とする画像処理装置。
  10. 請求項１において、
    第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、
    前記処理部は、
    第１の画像を前記基準画像として選択するとともに、第ｋ（ｋは２≦ｋ≦Ｎ−１を満たす整数）の画像を前記判定対象画像として選択し、
    前記基準画像と前記判定対象画像の間の変形情報に基づいて前記被覆率を算出して、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行い、
    前記第ｋの画像が削除可能と判定された場合には、前記判定対象画像として第ｋ＋１の画像を選択することを特徴とする画像処理装置。
  11. 請求項１０において、
    前記処理部は、
    前記第ｋの画像が削除不可と判定された場合には、前記基準画像として選択された前記複数の画像の１つを、前記要約画像列に含める処理を行うとともに、前記第ｋ〜第Ｎの画像からなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して再度処理を行うことを特徴とする画像処理装置。
  12. 請求項１において、
    第１〜第Ｎ（Ｎは２以上の整数）の画像が入力画像列として入力された場合に、
    前記処理部は、
    第ｓ（ｓは２≦ｓ≦Ｎ−１を満たす整数）の画像を前記基準画像として選択するとともに、第ｔ（ｔは１≦ｔ≦Ｎかつｔ≠ｓを満たす整数）の画像を前記判定対象画像として選択し、
    前記基準画像と前記判定対象画像の間の変形情報に基づいて前記被覆率を算出して、前記被覆率に基づいて前記判定対象画像の削除可否の判定を行うことを特徴とする画像処理装置。
  13. 請求項１２において、
    前記処理部は、
    前記削除可否の前記判定において、第１〜第ｓ−１の画像のうち少なくとも１つが削除不可と判定された場合には、前記第１〜第ｓ−１の画像からなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して再度処理を行うことを特徴とする画像処理装置。
  14. 請求項１２において、
    前記処理部は、
    前記削除可否の前記判定において、第ｓ＋１〜第Ｎの画像のうち少なくとも１つが削除不可と判定された場合には、前記第ｓ＋１〜第Ｎの画像からなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して再度処理を行うことを特徴とする画像処理装置。
  15. 請求項１乃至１４のいずれかにおいて、
    前記処理部は、
    前記基準画像、前記判定対象画像、及び前記複数の画像のうち前記画像列において前記基準画像と前記判定対象画像の間のものについて、隣り合う前記画像間の前記変形情報を求め、求めた隣り合う前記画像間の前記変形情報に基づいて、前記基準画像と前記判定対象画像の間の前記変形情報を求めることを特徴とする画像処理装置。
  16. 請求項１乃至１５のいずれかにおいて、
    前記処理部は、
    前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記被覆率として、前記判定対象画像に占める前記被覆領域の割合を算出することを特徴とする画像処理装置。
  17. 請求項１６において、
    前記処理部は、
    前記基準画像として、前記複数の画像から第１〜第Ｍ（Ｍは２以上の整数）の基準画像を選択し、
    第ｕ（１≦ｕ≦Ｍ）の基準画像と前記判定対象画像の間の変形情報に基づいて第ｕの被覆領域を求め、
    第１〜第Ｍの被覆領域の和集合の領域を前記被覆領域として設定し、設定した前記被覆領域に基づいて前記被覆率を算出することを特徴とする画像処理装置。
  18. 請求項１６又は１７において、
    前記処理部は、
    前記判定対象画像の画像上位置に応じて重み係数を設定し、前記重み係数と前記被覆領域とに基づいて算出された第１の重み総和と、前記重み係数と前記判定対象画像とに基づいて算出された第２の重み総和との割合に基づいて、前記被覆率を算出することを特徴とする画像処理装置。
  19. 請求項１乃至１５のいずれかにおいて、
    前記処理部は、
    前記判定対象画像に対して複数の点を設定し、前記複数の点を前記基準画像と前記判定対象画像の間の変形情報に応じて変換した場合に、前記基準画像に含まれる前記変換後の点の数に基づいて、前記被覆率を算出することを特徴とする画像処理装置。
  20. 請求項１９において、
    前記処理部は、
    前記基準画像として、前記複数の画像から第１〜第Ｍ（Ｍは２以上の整数）の基準画像を選択し、
    前記複数の点を第ｕ（１≦ｕ≦Ｍ）の基準画像と前記判定対象画像の間の変形情報に応じて変換した場合に、前記第ｕの基準画像に含まれる前記変換後の点の数を第ｕの被覆情報として求め、
    前記第１〜第Ｍの基準画像の各々から求められた第１〜第Ｍの被覆情報に基づいて前記被覆率を算出することを特徴とする画像処理装置。
  21. 請求項１９又は２０において、
    前記処理部は、
    前記判定対象画像の画像上位置に応じて重み係数を設定し、前記複数の点を前記基準画像と前記判定対象画像の間の変形情報に応じて変換した場合に、前記基準画像に含まれる前記変換後の点と、前記重み係数に基づいて、前記被覆率を算出することを特徴とする画像処理装置。
  22. 請求項１８又は２１において、
    前記処理部は、
    前記重み係数の値として、前記判定対象画像の第１の領域に０を設定するとともに、前記判定対象画像の前記第１の領域とは異なる第２の領域に１を設定することを特徴とする画像処理装置。
  23. 複数の画像を有する画像列を取得する画像列取得部と、
    前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部として、
    コンピュータを機能させ、
    前記処理部は、
    前記複数の画像から、基準画像と判定対象画像を選択し、
    前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、
    前記被覆率に基づいて、前記判定対象画像を削除可否の判定を行うことを特徴とするプログラム。
  24. 複数の画像を有する画像列を取得し、
    前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、
    前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、
    前記被覆率に基づいて、前記判定対象画像を削除可否の判定を行い、
    前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。
JP2012050860A 2012-03-07 2012-03-07 画像処理装置、プログラム及び画像処理方法 Expired - Fee Related JP5896791B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2012050860A JP5896791B2 (ja) 2012-03-07 2012-03-07 画像処理装置、プログラム及び画像処理方法
PCT/JP2013/056271 WO2013133368A1 (ja) 2012-03-07 2013-03-07 画像処理装置、プログラム及び画像処理方法
CN201610808300.1A CN106127796B (zh) 2012-03-07 2013-03-07 图像处理装置和图像处理方法
EP13757814.2A EP2823754A4 (en) 2012-03-07 2013-03-07 Image processing device, program and image processing method
CN201380012887.XA CN104159501B (zh) 2012-03-07 2013-03-07 图像处理装置和图像处理方法
US14/479,235 US9576362B2 (en) 2012-03-07 2014-09-05 Image processing device, information storage device, and processing method to acquire a summary image sequence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012050860A JP5896791B2 (ja) 2012-03-07 2012-03-07 画像処理装置、プログラム及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2013183874A JP2013183874A (ja) 2013-09-19
JP5896791B2 true JP5896791B2 (ja) 2016-03-30

Family

ID=49385867

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012050860A Expired - Fee Related JP5896791B2 (ja) 2012-03-07 2012-03-07 画像処理装置、プログラム及び画像処理方法

Country Status (1)

Country Link
JP (1) JP5896791B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020127440A (ja) * 2017-04-28 2020-08-27 オリンパス株式会社 内視鏡画像観察支援システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070060798A1 (en) * 2005-09-15 2007-03-15 Hagai Krupnik System and method for presentation of data streams
JP4755575B2 (ja) * 2006-12-12 2011-08-24 ヤフー株式会社 動画代表画像抽出方法、装置、及びコンピュータ・プログラム
JP5223318B2 (ja) * 2007-12-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2010158308A (ja) * 2009-01-06 2010-07-22 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
JP5457688B2 (ja) * 2009-02-04 2014-04-02 オリンパス株式会社 画像処理装置、画像処理プログラムおよび画像処理方法
JP2011175599A (ja) * 2010-02-25 2011-09-08 Canon Inc 画像処理装置、その処理方法及びプログラム

Also Published As

Publication number Publication date
JP2013183874A (ja) 2013-09-19

Similar Documents

Publication Publication Date Title
WO2013133368A1 (ja) 画像処理装置、プログラム及び画像処理方法
WO2013157354A1 (ja) 画像処理装置、プログラム及び画像処理方法
US9672619B2 (en) Image processing device, information storage device, and image processing method
JP5203648B2 (ja) 画像抽出装置および画像抽出プログラム
JP5434621B2 (ja) 情報処理装置、情報処理方法、及びそのプログラム
US9824189B2 (en) Image processing apparatus, image processing method, image display system, and storage medium
CN102547111A (zh) 电子设备
EP2901915A1 (en) Image processing device, program, and image processing method
US9652835B2 (en) Image processing device, information storage device, and image processing method
JP5963480B2 (ja) 画像要約装置及びプログラム
JP2017130042A (ja) 映像処理装置、映像処理方法、及びプログラム
JP5896791B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP7027776B2 (ja) 移動ベクトル算出方法、装置、プログラム、及びノイズ除去処理を含む移動ベクトル算出方法
JP5973771B2 (ja) 画像処理装置、プログラム及び画像処理方法
JP4887491B2 (ja) 医用画像処理方法及びその装置、プログラム
Gour et al. Hardware accelerator for real-time image resizing
JP5973770B2 (ja) 画像処理装置、プログラム及び画像処理方法
RU2626551C1 (ru) Способ формирования панорамных изображений из видеопотока кадров в режиме реального времени
US9349159B2 (en) Image processing device, image processing method, and information storage device
JP6157238B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5973783B2 (ja) 画像処理装置、プログラム及び画像処理方法
WO2017217395A1 (ja) 画像処理装置、画像処理方法及びプログラム記録媒体
Mishima et al. FPGA implementation of feature extraction for colorectal endoscopic images with nbi magnification
JP5633345B2 (ja) 画像処理装置、画像表示システムおよび画像処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160209

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160301

R151 Written notification of patent or utility model registration

Ref document number: 5896791

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees