JP2013222382A - Image processing apparatus, program, and image processing method - Google Patents
Image processing apparatus, program, and image processing method Download PDFInfo
- Publication number
- JP2013222382A JP2013222382A JP2012094683A JP2012094683A JP2013222382A JP 2013222382 A JP2013222382 A JP 2013222382A JP 2012094683 A JP2012094683 A JP 2012094683A JP 2012094683 A JP2012094683 A JP 2012094683A JP 2013222382 A JP2013222382 A JP 2013222382A
- Authority
- JP
- Japan
- Prior art keywords
- image
- determination target
- reference image
- area
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Image Processing (AREA)
Abstract
Description
本発明は、画像処理装置、プログラム及び画像処理方法等に関する。 The present invention relates to an image processing apparatus, a program, an image processing method, and the like.
所与の時間間隔により時系列的に静止画の撮像を継続した場合、空間的な広がりを持つ被写体を多数の画像により網羅した場合、或いは動画像を撮像した上で当該動画像を構成する各画像を静止画像としてとらえた場合等では、時間的或いは空間的に連続する非常に大量の画像(以下、画像列とも記載する)が取得されることになる。このような場合には、画像列中で近くにある(つまり時間的或いは空間的に近くにある)画像同士は似通った画像である可能性が高く、撮像した内容を把握するに当たって大量の画像のすべてをチェックする必要性は高くない。そもそも、画像の枚数は数万枚以上となることも珍しくなく、ユーザの手ですべてをチェックすること自体、負担が大きい。 When still image capturing is continued in time series at a given time interval, when a subject having a spatial spread is covered by a large number of images, or after each moving image is captured, each moving image is configured. When an image is captured as a still image, a very large amount of images (hereinafter also referred to as image sequences) that are temporally or spatially continuous are acquired. In such a case, there is a high possibility that images that are close in the image sequence (that is, close in time or space) are similar images. The need to check everything is not high. In the first place, it is not uncommon for the number of images to be tens of thousands or more, and checking everything with the user's hand itself is a heavy burden.
そのため、画像列から一部の画像を削除することで元の画像列より枚数の少ない画像列に要約する(以下、この処理を画像要約処理と記載する)需要がある。例えば特許文献1には、画像列の中のシーンが変化する境目の画像や、画像列を代表する画像を抽出することで、画像列の内容を把握しやすい画像を残す画像要約処理手法が開示されている。
Therefore, there is a demand for deleting a part of the image from the image sequence and summarizing it into an image sequence having a smaller number than the original image sequence (hereinafter, this process is referred to as an image summarization process). For example,
例えば医学分野に画像要約技術を適用する場合、疾患の見逃しを避ける観点から、画像を削除したことによって観察できなくなる領域の発生を抑える必要がある。特に病変領域や異常領域のような重要領域は観察できなくなる領域に含まれてはならない。 For example, when an image summarization technique is applied to the medical field, it is necessary to suppress the occurrence of an area that cannot be observed by deleting an image from the viewpoint of avoiding oversight of a disease. In particular, an important area such as a lesion area or an abnormal area should not be included in an area where observation is impossible.
しかし特許文献1の手法のようにシーンが変化する境目の画像だけを残したり、或いは要約後の画像列が直感的に見やすいかどうかといった観点で画像要約を行ったりすると、画像が削除される事によって観察できなくなる領域が発生する可能性があり好ましくない。また、観察できなくなる領域の発生の程度は画像の内容に依存するため、従来の画像要約処理の手法では疾患の見逃し等の程度を制御することが困難であった。
However, if only the image of the boundary where the scene changes is left as in the method of
本発明の幾つかの態様によれば、一部の画像を削除することで画像要約処理を行った場合に、画像の削除により観察できなくなる注目領域の発生を抑止する画像処理装置、プログラム及び画像処理方法等を提供することができる。 According to some aspects of the present invention, when image summarization processing is performed by deleting some images, an image processing device, a program, and an image that suppress the occurrence of a region of interest that cannot be observed due to image deletion A processing method or the like can be provided.
本発明の一態様は、複数の画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行う画像処理装置に関係する。 According to an aspect of the present invention, an image sequence acquisition unit that acquires an image sequence having a plurality of images, and a summary image sequence by deleting a part of the plurality of images of the image sequence acquired by the image sequence acquisition unit. A processing unit that performs image summarization processing to be acquired, wherein the processing unit selects a reference image and a determination target image from the plurality of images, and uses deformation information between the reference image and the determination target image. And an image processing apparatus that determines whether or not the determination target image can be deleted based on the result of the processing performed and the result of the processing using the structural element corresponding to the region of interest.
本発明の一態様では、変形情報を用いた処理、及び構造要素を用いた処理に基づいて判定対象画像の削除可否を判定する。よって、構造要素と、見逃し可能性を抑止すべき領域である注目領域とを対応づけることで、基準画像及び判定対象画像での注目領域の撮像状態に応じた画像要約処理等が可能になる。 In one aspect of the present invention, whether or not to delete a determination target image is determined based on processing using deformation information and processing using a structural element. Therefore, by associating the structural element with the attention area, which is an area in which the possibility of oversight is to be suppressed, image summarization processing according to the imaging state of the attention area in the reference image and the determination target image can be performed.
また、本発明の一態様では、前記変形情報を用いた処理は、前記基準画像及び前記判定対象画像の一方の少なくとも一部を、前記変形情報を用いて変形する処理であり、前記構造要素を用いた処理は、前記構造要素による収縮処理、又は前記基準画像により前記判定対象画像が覆われない領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理であってもよい。 In the aspect of the invention, the process using the deformation information is a process of deforming at least a part of one of the reference image and the determination target image using the deformation information, and the structural element is The process used may be a contraction process using the structural element or a process for determining whether or not the structural element is included in an uncovered area that is an area where the determination target image is not covered by the reference image. .
これにより、変形情報を用いた処理として基準画像又は判定対象画像の少なくとも一部の領域の変形処理が可能になり、また、構造要素を用いた処理として、収縮処理や、非被覆領域に構造要素が含まれるか否かを判定する処理が可能になる。 As a result, the deformation process can be performed on at least a part of the reference image or the determination target image as a process using the deformation information, and the contraction process or the structural element in the non-covered area can be performed as the process using the structural element. Can be determined.
また、本発明の一態様では、前記処理部は、前記変形情報を用いた処理として、前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記判定対象画像のうち前記被覆領域以外の領域を非被覆領域として求める処理を行い、前記構造要素を用いた処理として、前記非被覆領域に対して前記構造要素による収縮処理を行ってもよい。 In the aspect of the invention, the processing unit may perform processing using the deformation information by deforming the reference image using the deformation information, and in an area where the determination target image is covered by the reference image. As a process using the structural element, a contraction process is performed on the non-covered area as a process using the structural element. May be performed.
これにより、非被覆領域を求め、求めた非被覆領域に対する収縮処理に基づく削除可否判定等が可能になる。 As a result, it is possible to determine the non-covering area and determine whether or not to delete based on the shrinkage process for the determined non-covering area.
また、本発明の一態様では、前記処理部は、前記収縮処理の結果、残留する領域がある場合に、前記判定対象画像が削除不可であると判定してもよい。 In the aspect of the invention, the processing unit may determine that the determination target image cannot be deleted when there is a remaining region as a result of the contraction processing.
これにより、収縮処理による残留領域の有無に応じた削除可否判定等が可能になる。 As a result, it is possible to determine whether or not deletion is possible according to the presence or absence of a residual area by the shrinking process.
また、本発明の一態様では、前記処理部は、前記構造要素を用いた処理として、前記判定対象画像に対して前記構造要素による収縮処理を行って要被覆領域を求める処理を行ってもよい。 Moreover, in one aspect of the present invention, the processing unit may perform a process of obtaining a covering area by performing a contraction process using the structural element on the determination target image as a process using the structural element. .
これにより、判定対象画像に対する収縮処理から求められた要被覆領域に基づく削除可否判定等が可能になる。 As a result, it is possible to determine whether or not deletion is possible based on the required coverage area obtained from the contraction process on the determination target image.
また、本発明の一態様では、前記処理部は、前記変形情報を用いた処理として、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記要被覆領域を変形する処理を行い、前記処理部は、変形後の前記要被覆領域が前記基準画像に含まれる場合に、前記判定対象画像が削除可能であると判定してもよい。 Moreover, in one aspect of the present invention, the processing unit performs a process of deforming the covering area based on the deformation information between the reference image and the determination target image as the process using the deformation information. The processing unit may determine that the determination target image can be deleted when the cover area after deformation is included in the reference image.
これにより、要被覆領域を変形することで、基準画像と要被覆領域の包含関係を判定することが可能になる。 Thereby, it becomes possible to determine the inclusion relationship between the reference image and the required coverage area by deforming the required coverage area.
また、本発明の一態様では、前記処理部は、前記変形情報を用いた処理として、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像を変形する処理を行い、前記処理部は、前記要被覆領域が変形後の前記基準画像に含まれる場合に、前記判定対象画像が削除可能であると判定してもよい。 In the aspect of the invention, the processing unit performs a process of deforming the reference image based on the deformation information between the reference image and the determination target image as the process using the deformation information. The processing unit may determine that the determination target image can be deleted when the required coverage area is included in the deformed reference image.
これにより、基準画像を変形することで、基準画像と要被覆領域の包含関係を判定することが可能になる。 As a result, by deforming the reference image, it is possible to determine the inclusion relationship between the reference image and the area requiring coverage.
また、本発明の一態様では、前記処理部は、前記変形情報を用いた処理として、前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求めるとともに、求めた前記被覆領域の境界上に設定された複数の点の各点において、前記判定対象画像の外周までの最短距離を求め、前記複数の点の各点において求められた前記最短距離のうちの最大値を求める処理を行い、前記構造要素を用いた処理として、前記構造要素の最小径を取得し、取得した前記最小径と、前記最短距離のうちの前記最大値との比較処理に基づいて、前記判定対象画像のうち前記被覆領域以外の領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理を行ってもよい。 In the aspect of the invention, the processing unit may perform processing using the deformation information by deforming the reference image using the deformation information, and in an area where the determination target image is covered by the reference image. A certain covering area is obtained, and at each point of the plurality of points set on the obtained boundary of the covering area, a shortest distance to the outer periphery of the determination target image is obtained, and is obtained at each of the plurality of points. In addition, a process for obtaining a maximum value among the shortest distances is performed, and as a process using the structural element, a minimum diameter of the structural element is acquired, and the acquired minimum diameter and the maximum value among the shortest distances are acquired. Based on the comparison process, a process for determining whether or not the structural element is included in a non-covered area that is an area other than the covered area in the determination target image may be performed.
これにより、収縮処理を伴わない簡易的な注目領域の見落とし可能性の判定等が可能になる。 As a result, it is possible to easily determine the possibility of oversight of a region of interest without shrinking processing.
また、本発明の一態様では、前記処理部は、前記変形情報を用いた処理として、前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求めるとともに、前記判定対象画像の外周上に設定された複数の点の各点において、前記被覆領域の境界までの最短距離を求め、前記複数の点の各点において求められた前記最短距離のうちの最大値を求める処理を行い、前記構造要素を用いた処理として、前記構造要素の最小径を取得し、取得した前記最小径と、前記最短距離のうちの前記最大値との比較処理に基づいて、前記判定対象画像のうち前記被覆領域以外の領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理を行ってもよい。 In the aspect of the invention, the processing unit may perform processing using the deformation information by deforming the reference image using the deformation information, and in an area where the determination target image is covered by the reference image. While obtaining a certain covering region, at each point of a plurality of points set on the outer periphery of the determination target image, the shortest distance to the boundary of the covering region is obtained, and the above-mentioned obtained at each point of the plurality of points A process of obtaining a maximum value of the shortest distance is performed, and as a process using the structural element, a minimum diameter of the structural element is acquired, and the acquired minimum diameter and the maximum value of the shortest distance Based on the comparison process, a process of determining whether or not the structural element is included in an uncovered area that is an area other than the covered area in the determination target image may be performed.
これにより、収縮処理を伴わない簡易的な注目領域の見落とし可能性の判定等が可能になる。 As a result, it is possible to easily determine the possibility of oversight of a region of interest without shrinking processing.
また、本発明の一態様では、前記処理部は、前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、算出した前記被覆率に基づいて、前記判定対象画像の削除可否判定を行う第1の削除可否判定処理と、前記変形情報を用いた処理、及び前記構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行う第2の削除可否判定処理と、を行ってもよい。 In one aspect of the present invention, the processing unit calculates a coverage of the determination target image by the reference image based on the deformation information between the reference image and the determination target image, and calculates the calculated Based on the results of the first deleteability determination process for determining whether or not the determination target image can be deleted based on the coverage, the process using the deformation information, and the process using the structural element, the determination target A second deleteability determination process for determining whether or not an image can be deleted may be performed.
これにより、上記の削除可否判定に加えて、被覆率に基づく判定を行うことができるため、削除可否判定の精度を向上させること等が可能になる。 As a result, in addition to the determination as to whether or not deletion is possible, it is possible to make a determination based on the coverage ratio, so it is possible to improve the accuracy of the determination as to whether or not deletion is possible.
また、本発明の一態様では、前記処理部は、前記基準画像、前記判定対象画像、及び前記複数の画像のうち前記画像列において前記基準画像と前記判定対象画像の間の前記画像について、隣り合う前記画像間の前記変形情報を求め、求めた隣り合う前記画像間の前記変形情報に基づいて、前記基準画像と前記判定対象画像の間の前記変形情報を求めてもよい。 In the aspect of the invention, the processing unit may be arranged adjacent to the reference image, the determination target image, and the image between the reference image and the determination target image in the image sequence among the plurality of images. The deformation information between the matching images may be obtained, and the deformation information between the reference image and the determination target image may be obtained based on the obtained deformation information between the obtained adjacent images.
これにより、基準画像と判定対象画像の間の変形情報を、隣り合う画像間の変形情報に基づいて算出することが可能になる。 Thereby, the deformation information between the reference image and the determination target image can be calculated based on the deformation information between adjacent images.
また、本発明の一態様では、前記処理部は、前記注目領域のサイズに比例したサイズの前記構造要素を設定してもよい。 In the aspect of the invention, the processing unit may set the structural element having a size proportional to the size of the region of interest.
これにより、構造要素のサイズを注目領域のサイズに対応づけること等が可能になる。 Thereby, the size of the structural element can be associated with the size of the attention area.
また、本発明の一態様では、第1〜第N(Nは2以上の整数)の画像が入力画像列として入力された場合に、前記処理部は、第p(pは1≦p≦Nを満たす整数)の画像を第1の基準画像として選択し、第q(qはp+2以上の整数)の画像を第2の基準画像として選択するとともに、第r(rはp+1≦r≦q−1を満たす整数)の画像を前記判定対象画像として選択し、前記第1の基準画像と前記判定対象画像の間の前記変形情報を用いた処理、前記第2の基準画像と前記判定対象画像の間の前記変形情報を用いた処理、及び前記構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行ってもよい。 In one aspect of the present invention, when the first to Nth images (N is an integer of 2 or more) are input as an input image sequence, the processing unit is configured to output the pth (p is 1 ≦ p ≦ N). Image) is selected as the first reference image, the qth image (q is an integer equal to or greater than p + 2) is selected as the second reference image, and the rth image (where r is p + 1 ≦ r ≦ q−). (An integer satisfying 1) is selected as the determination target image, and processing using the deformation information between the first reference image and the determination target image, the second reference image and the determination target image Whether or not the determination target image is to be deleted may be determined based on the results of the process using the deformation information and the process using the structural element.
これにより、判定対象画像の前方及び後方に基準画像を設定すること等が可能になる。 This makes it possible to set a reference image in front of and behind the determination target image.
また、本発明の一態様では、前記処理部は、第p+2〜第Nの画像に対応する始点及び終点が設定された第2の基準画像選択区間から前記第2の基準画像を選択して、前記第1の基準画像及び前記第2の基準画像に基づいて前記判定対象画像の削除可否の判定を行い、第p+1〜第q−1の画像が削除可能と判定された場合には、前記第2の基準画像選択区間に含まれる第x(xはx>qを満たす整数)の画像を新たな前記第2の基準画像として選択するとともに、前記第2の基準画像選択区間の前記始点を前記第qの画像に更新してもよい。 In one aspect of the present invention, the processing unit selects the second reference image from a second reference image selection section in which a start point and an end point corresponding to the p + 2 to Nth images are set, It is determined whether or not the determination target image can be deleted based on the first reference image and the second reference image, and when it is determined that the p + 1 to q−1th images can be deleted, the first reference image and the second reference image are deleted. The xth image (x is an integer satisfying x> q) included in the second reference image selection section is selected as a new second reference image, and the start point of the second reference image selection section is selected as the second reference image selection section. You may update to the qth image.
これにより、第2の基準画像選択区間を設定するとともに、削除可否判定の結果に基づいて、第2の基準画像を後方の画像に更新するとともに、選択区間の始点を更新すること等が可能になる。 As a result, it is possible to set the second reference image selection section, update the second reference image to the back image, update the start point of the selection section, and the like based on the determination result of the deletion possibility. Become.
また、本発明の一態様では、前記処理部は、前記第p+1〜第q−1の画像のうち少なくとも1つが削除不可と判定された場合には、前記第2の基準画像選択区間に含まれる第y(yはy<qを満たす整数)の画像を新たな前記第2の基準画像として選択するとともに、前記第2の基準画像選択区間の前記終点を前記第qの画像に更新してもよい。 In one aspect of the present invention, the processing unit is included in the second reference image selection section when it is determined that at least one of the p + 1 to q-1th images cannot be deleted. The y-th image (y is an integer satisfying y <q) is selected as the new second reference image, and the end point of the second reference image selection section is updated to the q-th image. Good.
これにより、第2の基準画像を前方の画像に更新するとともに、選択区間の終点を更新すること等が可能になる。 As a result, the second reference image can be updated to the front image, and the end point of the selected section can be updated.
また、本発明の一態様では、前記処理部は、前記第2の基準画像選択区間の前記始点又は前記終点を更新した結果、前記始点と前記終点が隣り合う場合に、前記第1の基準画像として選択された前記複数の画像の1つを、前記要約画像列に含める処理を行うとともに、前記始点に対応する前記複数の画像の1つ、及び前記複数の画像のうち、前記始点に対応する前記複数の画像の1つよりも前記入力画像列において後方のものからなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記pの値を1に設定して再度処理を行ってもよい。 In the aspect of the invention, the processing unit may update the first reference image when the start point and the end point are adjacent to each other as a result of updating the start point or the end point of the second reference image selection section. One of the plurality of images selected as the image is included in the summary image sequence, and one of the plurality of images corresponding to the start point and one of the plurality of images corresponds to the start point. A partial image sequence consisting of a rear one in the input image sequence rather than one of the plurality of images is set as the input image sequence, and the value of p is set to 1 for the set input image sequence Then, the process may be performed again.
これにより、第2の基準画像選択区間の始点と終点が隣り合う場合に、入力画像列に対する処理を終了し、部分画像列を設定すること等が可能になる。 Accordingly, when the start point and the end point of the second reference image selection section are adjacent to each other, it is possible to end the processing for the input image sequence and set the partial image sequence.
また、本発明の一態様では、前記処理部は、第p+1〜第q−1の画像が削除可能と判定された場合には、前記第2の基準画像として第q+1の画像を選択してもよい。 In the aspect of the invention, the processing unit may select the q + 1th image as the second reference image when it is determined that the p + 1st to q−1th images can be deleted. Good.
これにより、第2の基準画像を1つ後方の画像に更新すること等が可能になる。 As a result, it is possible to update the second reference image to an image one backward.
また、本発明の一態様では、前記処理部は、前記第p+1〜第q−1の画像のうち少なくとも1つが削除不可と判定された場合には、前記第1の基準画像として選択された前記複数の画像の1つを、前記要約画像列に含める処理を行うとともに、前記第q−1〜第Nの画像からなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記pの値を1に設定して再度処理を行ってもよい。 In one aspect of the present invention, the processing unit is selected as the first reference image when it is determined that at least one of the p + 1 to q−1 images is not erasable. A process of including one of a plurality of images in the summary image sequence, a partial image sequence composed of the q-1st to Nth images is set as the input image sequence, and the set input image sequence On the other hand, the value of p may be set to 1 and the process may be performed again.
これにより、第1の基準画像を要約画像列に残すとともに、適切な部分画像列を新たな入力画像列に設定して、第1の基準画像及び第2の基準画像を更新すること等ができるため、より効率的な画像要約処理が可能になる。 As a result, the first reference image can be left in the summary image sequence, an appropriate partial image sequence can be set as a new input image sequence, and the first reference image and the second reference image can be updated. Therefore, more efficient image summarization processing becomes possible.
また、本発明の他の態様は、複数の画像を有する画像列を取得する画像列取得部と、前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、を含み、前記処理部は、前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記被覆領域に基づいて、注目すべき領域である注目領域の見逃し可能性を判定することで、前記判定対象画像の削除可否判定を行う画像処理装置に関係する。 According to another aspect of the present invention, an image sequence acquisition unit that acquires an image sequence having a plurality of images, and a part of the plurality of images in the image sequence acquired by the image sequence acquisition unit are deleted and summarized. A processing unit that performs an image summarization process for obtaining an image sequence, wherein the processing unit selects a reference image and a determination target image from the plurality of images, and deforms between the reference image and the determination target image Based on the information, obtaining a covered area that is the area covered with the determination target image by the reference image, and determining, based on the covered area, the possibility of missing the attention area that is the area to be noted, The present invention relates to an image processing apparatus that determines whether or not a determination target image can be deleted.
また、本発明の他の態様は、上記各部としてコンピュータを機能させるプログラムに関係する。 Another aspect of the present invention relates to a program that causes a computer to function as each of the above-described units.
また、本発明の他の態様は、複数の画像を有する画像列を取得し、前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像を削除可否の判定を行い、前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。 In another aspect of the present invention, an image sequence having a plurality of images is acquired, a reference image and a determination target image are selected from the plurality of images in the image sequence, and the reference image and the determination target image are selected. Based on the result of the process using the deformation information between, and the result of the process using the structural element corresponding to the region of interest, it is determined whether the determination target image can be deleted, and based on the determination result of the deletion permission, The present invention relates to an image processing method for performing image summarization processing for obtaining a summary image sequence by deleting a part of the plurality of images in the image sequence.
また、本発明の他の態様は、複数の画像を有する画像列を取得し、前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記被覆領域に基づいて、注目すべき領域である注目領域の見逃し可能性を判定することで、前記判定対象画像の削除可否判定を行い、前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う画像処理方法に関係する。 In another aspect of the present invention, an image sequence having a plurality of images is acquired, a reference image and a determination target image are selected from the plurality of images in the image sequence, and the reference image and the determination target image are selected. Based on the deformation information in between, a cover area that is an area where the determination target image is covered by the reference image is obtained, and based on the cover area, a possibility of missing an attention area that is an attention area is determined. The image to be subjected to image summarization processing for determining whether or not the determination target image can be deleted, and acquiring a summary image sequence by deleting a part of the plurality of images in the image sequence based on the determination result of the deletion availability Related to processing method.
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。 Hereinafter, this embodiment will be described. In addition, this embodiment demonstrated below does not unduly limit the content of this invention described in the claim. In addition, all the configurations described in the present embodiment are not necessarily essential configuration requirements of the present invention.
1.本実施形態の手法
まず本実施形態の手法について説明する。時間的或いは空間的に連続する大量の画像から構成される画像列が取得された場合、当該画像列を用いてユーザが何らかの処理(例えば内視鏡画像列であれば診断等の医療行為)を行う際に、画像要約処理を行うことが望ましい。なぜなら、画像列に含まれる画像の枚数は非常に多く、ユーザがその全てを見た上で判断を行うことは多大な労力を要するためである。また、画像列に含まれる画像の中には、互いに似通った画像が存在する可能性が高く、そのような似通った画像を全てチェックしたとしても取得できる情報量は限られ、労力に見合わない。
1. First, the method of this embodiment will be described. When an image sequence composed of a large number of images that are temporally or spatially continuous is acquired, the user uses the image sequence to perform some processing (for example, medical practice such as diagnosis if an endoscopic image sequence). When performing, it is desirable to perform image summarization processing. This is because the number of images included in the image sequence is very large, and it is necessary for the user to make a determination after viewing all of the images. In addition, there is a high possibility that there are images that are similar to each other in the image sequence, and even if all such similar images are checked, the amount of information that can be obtained is limited and is not commensurate with the effort. .
具体例としては、カプセル内視鏡を用いて撮像される画像列が考えられる。カプセル内視鏡とは、小型カメラを内蔵したカプセル形状の内視鏡であり、所与の時間間隔(例えば1秒に2回等)で画像を撮像する。カプセル内視鏡は、内服から排出までに数時間(場合によっては十数時間)を要するため、1ユーザの1回の検査において数万枚の撮像画像が取得されることになる。また、カプセル内視鏡は生体内での移動の際に、当該生体の動きの影響を受けること等により、同じ場所にとどまったり、逆方向へ戻ったりする。そのため、大量の画像の中には他の画像と同じような被写体を撮像していて、病変の発見等において有用性の高くない画像も多数存在してしまう。 As a specific example, an image sequence captured using a capsule endoscope can be considered. The capsule endoscope is a capsule-shaped endoscope with a built-in small camera, and takes an image at a given time interval (for example, twice per second). Since the capsule endoscope requires several hours (in some cases, several tens of hours) from taking the clothes to discharging, tens of thousands of captured images are acquired in one examination by one user. In addition, the capsule endoscope stays in the same place or returns in the opposite direction due to the influence of the movement of the living body when moving in the living body. For this reason, in a large number of images, the same subject as that of other images is imaged, and there are many images that are not highly useful in finding lesions.
従来の画像要約処理では、シーンが変化する境目の画像や、画像列を代表する画像を抽出していた。しかしこのような手法では、画像を削除する際に、その削除対象となる画像に撮像されていた被写体と、残す画像に撮像されている被写体との関係は特に考慮していない。そのため、要約前の画像列に含まれる画像上に撮像されていた被写体が、要約後の画像列に含まれるどの画像上にも撮像されていないということが起こりえる。 In the conventional image summarization processing, an image at a boundary where the scene changes and an image representing an image sequence are extracted. However, with such a method, when deleting an image, the relationship between the subject captured in the image to be deleted and the subject captured in the remaining image is not particularly considered. For this reason, it is possible that the subject captured on the image included in the pre-summarization image sequence is not captured on any image included in the post-summary image sequence.
このことは特に医療分野での画像要約処理においては好ましくない。医療分野では、その目的上、注目すべき領域である注目領域(例えば病変部)の見落としは極力抑止しなくてはならない。そのためには、生体内のできるだけ広い範囲を撮像することが望ましく、画像要約処理において、所与の画像を削除することで観察できなくなる被写体範囲が生じることは抑止すべきである。 This is not preferable particularly in image summarization processing in the medical field. In the medical field, for the purpose, oversight of a region of interest (for example, a lesion) that is a region of interest must be suppressed as much as possible. For this purpose, it is desirable to image the widest possible range in the living body, and in the image summarization process, it should be prevented that a subject range that cannot be observed by deleting a given image is generated.
これに対して、画像列から基準画像(残す画像、基準画像の設定手法によっては残す候補となる画像)と判定対象画像(削除するか否かの判定の対象画像)を選択し、基準画像による判定対象画像の被覆率に基づいた画像要約処理を行う手法が有効である。具体的には図1に示したように、基準画像を変形することで判定対象画像上に被覆領域を算出する。基準画像で撮像された被写体と、判定対象画像の被覆領域上に撮像された被写体とは対応することになる。つまり、判定対象画像における被覆領域外の範囲(以下、非被覆領域と表記する)は、当該判定対象画像を削除した場合、基準画像を残したとしてもカバーすることができない領域となる。 On the other hand, a reference image (an image to be left, an image to be a candidate to be left depending on the setting method of the reference image) and a determination target image (an image to be deleted or not) are selected from the image sequence, A technique for performing image summarization processing based on the coverage of the determination target image is effective. Specifically, as shown in FIG. 1, the coverage area is calculated on the determination target image by deforming the reference image. The subject imaged with the reference image corresponds to the subject imaged on the covering area of the determination target image. That is, the range outside the covered area (hereinafter referred to as a non-covered area) in the determination target image is an area that cannot be covered even if the reference image is left when the determination target image is deleted.
よって、判定対象画像に占める被覆領域の割合等を被覆率として算出し、算出した被覆率に基づいて判定対象画像を削除するか否かを判定することで、観察できなくなる被写体範囲の発生度合いを制御する。例えば被覆率が閾値以上である際に判定対象画像を削除し、被覆率が閾値未満の際に判定対象画像を削除しないものとすれば、閾値の設定に応じてカバーできない領域の発生度合いを制御できる。 Therefore, the ratio of the coverage area in the determination target image is calculated as the coverage ratio, and by determining whether to delete the determination target image based on the calculated coverage ratio, the degree of occurrence of the subject range that cannot be observed is determined. Control. For example, if the image to be judged is deleted when the coverage is equal to or higher than the threshold, and the image to be judged is not deleted when the coverage is less than the threshold, the degree of occurrence of an area that cannot be covered is controlled according to the threshold setting. it can.
しかし、判定対象画像に占める被覆領域の割合等で表される被覆率は、被覆領域(或いは非被覆領域)の形状を考慮していない。例えば、図2(A)と図2(B)は判定対象画像を表し、ともに判定対象画像全体の面積に対する、被覆領域の面積が75%となる(つまり被覆率は0.75や75といった値になる)。しかし、被覆率が同じであったとしても、注目領域のサイズや形状が図2(C)であった場合、図2(A)と図2(B)は大きく異なる意味を持つ。なぜなら、図2(A)の非被覆領域はその形状から図2(C)の注目領域全体を含むことはない。よって、図2(A)の判定対象画像上のどの位置に注目領域があったとしても(ただし注目領域全体が判定対象画像上に撮像されている)、基準画像上には当該注目領域の少なくとも一部は撮像されていることになる。一方、図2(B)の非被覆領域はその形状から図2(C)の注目領域全体を含みうる。よって、図2(B)の判定対象画像の点線で示した位置に注目領域があった場合、基準画像上には当該注目領域が全く撮像されないことになる。 However, the coverage represented by the ratio or the like of the covered area in the determination target image does not consider the shape of the covered area (or non-covered area). For example, FIGS. 2A and 2B show the determination target image, and the area of the covering region is 75% of the total area of the determination target image (that is, the coverage is a value such as 0.75 or 75). become). However, even if the coverage is the same, if the size and shape of the region of interest is FIG. 2C, FIG. 2A and FIG. This is because the non-covered region in FIG. 2A does not include the entire region of interest in FIG. Therefore, regardless of the position of the attention area on the determination target image in FIG. 2A (however, the entire attention area is captured on the determination target image), at least the attention area on the reference image is displayed. A part of the image is captured. On the other hand, the uncovered region in FIG. 2B can include the entire region of interest in FIG. Therefore, when there is a region of interest at the position indicated by the dotted line in the determination target image in FIG. 2B, the region of interest is not captured at all on the reference image.
つまり、判定対象画像における注目領域の位置によらず、当該注目領域の少なくとも一部が基準画像に撮像されていなくてはならない、という観点で考えれば、図2(A)の判定対象画像は削除可能であるのに対して、図2(B)の判定対象画像は削除不可となる。しかし、上述したように被覆率には差がないため、被覆率に基づく判定では図2(A)と図2(B)を区別することはできない。 In other words, from the viewpoint that at least a part of the attention area must be captured in the reference image regardless of the position of the attention area in the determination target image, the determination target image in FIG. In contrast, the determination target image in FIG. 2B cannot be deleted. However, as described above, since there is no difference in coverage, it is not possible to distinguish between FIG. 2A and FIG. 2B in the determination based on the coverage.
そこで本出願人は、基準画像と判定対象画像を選択し、注目領域に対応する構造要素を用いた処理結果に基づいて判定対象画像の削除可否判定を行う手法を提案する。具体的には図6(A)〜図6(E)を用いて後述するように、非被覆領域に対して構造要素を用いた収縮処理を行い、残留する領域があるか否かを判定すればよい。残留領域がない場合には、非被覆領域に注目領域に相当するサイズの領域全体が含まれることはない(例えば図2(A)のようになる)ため、判定対象画像は削除可能となる。逆に、残留領域がある場合には、図2(B)のように非被覆領域に注目領域に相当するサイズの領域全体が含まれる可能性があるため、判定対象画像は削除不可となる。 Accordingly, the present applicant proposes a method of selecting a reference image and a determination target image and determining whether or not the determination target image can be deleted based on a processing result using a structural element corresponding to the region of interest. Specifically, as will be described later with reference to FIGS. 6A to 6E, the shrinkage process using the structural element is performed on the uncovered area to determine whether or not there is a remaining area. That's fine. When there is no remaining area, the entire area having a size corresponding to the attention area is not included in the non-covering area (for example, as shown in FIG. 2A), and the determination target image can be deleted. On the contrary, when there is a remaining area, the entire image having a size corresponding to the attention area may be included in the non-covering area as shown in FIG.
このようにすれば、判定対象画像を削除した場合にも、基準画像上には注目領域の少なくとも一部が撮像されていることを保証する(一部の実施例では100%保証するものではなく、その可能性が高いものにとどまる)画像要約処理が可能になる。なお、本実施形態の手法では構造要素の形状やサイズを設定しておく必要があるが、注目領域に対応した形状等を用いればよい。注目領域の形状等は画像の撮像対象や状況に応じて変わるが、例えばカプセル内視鏡による医療目的での撮像であれば、見逃すべきではない病変サイズの最小値を設定しておけばよい。この場合には、判定対象画像を削除した場合にも、注目領域として設定した病変サイズ以上の大きさの病変は、その少なくとも一部が基準画像上に撮像されることになり、サイズの大きい(つまり深刻度の高いことが想定される)病変の見逃しを抑止することができる。 In this way, even when the determination target image is deleted, it is guaranteed that at least a part of the attention area is imaged on the reference image (in some embodiments, 100% is not guaranteed). Image summarization processing becomes possible. In the method of this embodiment, it is necessary to set the shape and size of the structural element, but a shape corresponding to the region of interest may be used. The shape or the like of the region of interest varies depending on the imaging target and the situation of the image. For example, if the imaging is performed for medical purposes using a capsule endoscope, a minimum lesion size that should not be overlooked may be set. In this case, even when the determination target image is deleted, at least a part of a lesion larger than the lesion size set as the attention area is captured on the reference image, and the size is large ( In other words, it is possible to suppress the oversight of the lesion (which is assumed to be highly serious).
なお、本実施形態での構造要素とは、上述したように収縮処理に用いられる画像領域を表す情報が想定されるが、これに限定されるものではない。後述する第4の実施形態での構造要素のように、注目領域に基づいて設定され、且つ判定対象画像の削除可否判定に用いられる情報を広く含むものとする。第1の実施形態や第4の実施形態のように、注目領域と構造要素が同一の形状及びサイズである場合も考えられるが、そのような場合であっても、注目領域と同一形状、サイズの領域を設定するという形で、構造要素の設定処理は行われるものと考える。 Note that the structural element in the present embodiment is assumed to be information representing an image region used for the contraction process as described above, but is not limited to this. Like a structural element in the fourth embodiment to be described later, information that is set based on a region of interest and is used for determining whether or not a determination target image can be deleted is included widely. As in the first embodiment and the fourth embodiment, the attention area and the structural element may have the same shape and size, but even in such a case, the same shape and size as the attention area. It is considered that the setting process of the structural element is performed in the form of setting the area.
ここでの画像処理装置の1つの実施形態としては、図3に示したように処理部100と、画像列取得部200を含むものが考えられる。画像列取得部200は、複数の画像を有する画像列を取得する。そして処理部100は、画像列取得部200が取得した画像列の有する複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う。具体的には、処理部100は、複数の画像から、基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、判定対象画像の削除可否判定を行う。
As an embodiment of the image processing apparatus here, an apparatus including a
以下、まず第1の実施形態で基本的な手法について説明する。ただし、本実施形態の手法では基準画像と判定対象画像の選択処理、及び選択された基準画像と判定対象画像に基づいた判定対象画像の削除可否判定処理の2つの処理が行われるが、これらの処理は種々の変形例が考えられる。よって、第2の実施形態では、基準画像と判定対象画像を選択する他の手法、及びその変形例について説明する。同様に、削除可否判定処理についても、第1の実施形態とは異なる手法が考えられるため、第3〜第5の実施形態で詳細を説明する。 Hereinafter, first, a basic method in the first embodiment will be described. However, in the method of the present embodiment, two processes are performed: a reference image and determination target image selection process, and a determination target image deletion permission determination process based on the selected reference image and determination target image. Various modifications can be considered for the processing. Therefore, in the second embodiment, another method for selecting the reference image and the determination target image and a modification example thereof will be described. Similarly, the deletion permission / prohibition determination process may be different from the first embodiment, and will be described in detail in the third to fifth embodiments.
なお、基準画像と判定対象画像の選択処理は第1の実施形態と、第2の実施形態(及びその変形例)のいずれの手法を用いてもよく、削除可否判定処理についても第1の実施形態と、第3〜第5の実施形態のいずれの手法を用いてもよい。また、2つの処理の組み合わせに制限はないため、第2の実施形態の選択手法と、第3の実施形態の削除可否判定手法を組み合わせる等、種々の組み合わせでの変形実施が可能である。 Note that the selection process of the reference image and the determination target image may use any of the methods of the first embodiment and the second embodiment (and modifications thereof), and the deletion feasibility determination process is also the first embodiment. Any method of the form and the third to fifth embodiments may be used. In addition, since there is no restriction on the combination of the two processes, modifications in various combinations such as combining the selection method of the second embodiment and the deletion possibility determination method of the third embodiment are possible.
2.第1の実施形態
本実施形態の基本的な手法について説明する。具体的には、画像処理装置のシステム構成例を説明し、フローチャートを用いて処理の流れを説明する。
2. First Embodiment A basic method of this embodiment will be described. Specifically, a system configuration example of the image processing apparatus will be described, and a processing flow will be described using a flowchart.
図4に本実施形態における画像処理装置のシステム構成例を示す。画像処理装置は、処理部100と、画像列取得部200と、記憶部300を含む。
FIG. 4 shows a system configuration example of the image processing apparatus in the present embodiment. The image processing apparatus includes a
処理部100は、画像列取得部200が取得した画像列に対して、当該画像列に含まれる複数の画像の一部を削除することで、画像要約処理を行う。この処理部100の機能は、各種プロセッサ(CPU等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムなどにより実現できる。
The
画像列取得部200は、画像要約処理の対象となる画像列を取得する。記憶部300は、画像列取得部200が取得した画像列を記憶する他、処理部100等のワーク領域となるもので、その機能はRAM等のメモリーやHDD(ハードディスクドライブ)などにより実現できる。
The image
また、処理部100は、図1に示したように基準画像選択部1001と、判定対象画像選択部1002と、被覆領域算出部1003と、削除可否判定部1005と、部分画像列設定部1008と、要約画像列決定部1009と、注目領域見逃し可能性判定部1013と、構造要素生成部1014と、変形情報取得部1015を含んでもよい。なお処理部100は、図4の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。また上述の各部は、処理部100で実行される画像要約処理を複数のサブルーチンに分割した際に、各サブルーチンを説明するために設定したものであり、必ずしも処理部100が上述の各部を構成要件として有するわけではない。
Further, as illustrated in FIG. 1, the
基準画像選択部1001は、画像列の複数の画像から基準画像を選択する。判定対象画像選択部1002は、画像列の複数の画像のうち、基準画像とは異なる画像を判定対象画像として選択する。
The reference
被覆領域算出部1003は、基準画像と判定対象画像の間の変形情報(変形パラメータ)を利用して、基準画像を判定対象画像へ射影して被覆領域を求める。また、判定対象画像において、被覆領域ではない領域を非被覆領域として設定してもよい。
The covering
削除可否判定部1005は、後述する注目領域見逃し可能性判定部1013での判定結果に基づいて、判定対象画像が削除できるか否かの判定を行う。
The deletion
部分画像列設定部1008は、削除可否判定部1005で判定対象画像が削除できないと判定された場合に、その時点での判定対象画像の画像列中での位置に基づいて、画像列の一部であって、1枚以上の画像からなる画像列を部分画像列として設定する。
When the deletion
要約画像列決定部1009は、要約処理後の画像列である要約画像列を決定する。本実施形態では、基準画像選択部1001で選択された基準画像を要約画像列に含める。また、判定対象画像のうち削除可能と判定された画像を削除し、要約画像列には含めないものとする。
The summary image
注目領域見逃し可能性判定部1013は、判定対象画像を削除した場合に、判定対象画像上に撮像された注目領域が、基準画像では撮像されない状況となる(つまり注目領域を見逃す状況となる)可能性についての判定処理を行う。詳細については後述する。
When the determination target image is deleted, the attention area missing
構造要素生成部1014は、注目領域に基づいて、注目領域見逃し可能性判定部1013での処理に用いられる構造要素を生成する。ここでは、注目領域と同一形状、同一サイズの領域を設定するが、これに限定されるものではない。
The structural
変形情報取得部1015は、2つの画像間の変形情報を取得する。ここで変形情報とは、一方の画像において撮像された範囲が、他方の画像においてどのような形状(範囲)として撮像されているかを表すものであり、例えば特許文献2に開示されている変形パラメータ等であってもよい。変形情報取得部1015は、基準画像選択部1001で選択された基準画像と、判定対象画像選択部1002で選択された判定対象画像の間の変形情報を取得する。
The deformation
図5に本実施形態の画像要約処理を説明するフローチャートを示す。この処理が開始されると、まず画像要約処理の対象となる画像列が取得される(S101)。画像列は画像列取得部200で取得されるものであり、時系列順に並んだRGB3チャンネル画像が考えられる。或いは、横一列に並べられた撮像機器により撮影された、空間的に並んだ画像列のように空間的に連続する画像列であってもよい。なお、画像列を構成する画像はRGB3チャンネル画像に限定されるものではなく、Gray1チャンネル画像等、他の色空間を用いてもよい。
FIG. 5 shows a flowchart for explaining the image summarization processing of this embodiment. When this processing is started, first, an image sequence to be subjected to image summarization processing is acquired (S101). The image sequence is acquired by the image
また、注目領域に基づいて、画像要約処理(具体的には判定対象画像の削除可否判定)に用いられる構造要素を生成する(S102)。本実施形態では注目領域と同一形状、サイズの領域を構造要素とすればよいが、他の手法を用いてもよい。例えば、円形状の注目領域に対して、当該注目領域に外接する四角形の領域を構造要素としてもよい。特に、注目領域の形状が複雑な場合は、構造要素として簡略化された形状を設定することで計算量を削減すること等が可能になる。 Further, based on the region of interest, a structural element used for the image summarization process (specifically, whether or not the determination target image can be deleted) is generated (S102). In the present embodiment, a region having the same shape and size as the region of interest may be used as a structural element, but other methods may be used. For example, for a circular attention area, a rectangular area circumscribing the attention area may be used as the structural element. In particular, when the shape of the attention area is complicated, it is possible to reduce the amount of calculation by setting a simplified shape as the structural element.
基準画像選択部1001は入力画像列(最初の処理においてはS101で取得された画像列であり、その後は後述するS109で設定される部分画像列)の先頭の画像を基準画像として選択する(S103)。ここで選択された基準画像は、要約画像列に残されるものとなる。なお、エラー等の理由により入力画像列から基準画像を選択できない場合(例えば画像列に画像が存在しない場合等)には、処理を終了する。
The reference
そして、判定対象画像選択部1002は、入力画像列に含まれる画像から判定対象画像を選択する(S104)。判定対象画像が未設定の場合には、基準画像の次の画像(入力画像列の2番目の画像)を判定対象画像として選択する。また、すでに入力画像列のk番目の画像が判定対象画像として選択されていた場合には、選択位置を1ずらして入力画像列のk+1番目の画像を新たな判定対象画像として選択する。判定対象画像が選択できなくなった場合(入力画像列に含まれる画像の枚数が2或いはk+1よりも少なかった場合等)には、処理を終了する。
Then, the determination target
基準画像と判定対象画像が選択されたら、変形情報取得部1015は、基準画像と判定対象画像の間の変形情報を取得する(S105)。被覆領域算出部1003は、取得された変形情報を利用して、基準画像を判定対象画像上へ射影し、被覆領域を求める(S106)。ここで変形情報は、特許文献2に記載された手法により推定される非剛体変形パラメータ等であってもよい。被覆領域の例を図1に示す。ここでの変形パラメータとは、基準画像において撮像された被写体が、判定対象画像上でどのように変形されているかを表すものである。言い換えれば、基準画像において撮像された被写体と、判定対象画像上の被覆領域において撮像された被写体は、対応する(狭義には同一の)ものとなっている。
When the reference image and the determination target image are selected, the deformation
被覆領域が算出されたら、注目領域見逃し可能性判定部1013は、注目領域の見逃し可能性を判定する(S107)。具体的には、判定対象画像のうち被覆領域以外の領域である非被覆領域に対して、構造要素を用いた収縮処理を行い、残留領域があるか否かの判定を行う。
When the covering area is calculated, the attention area missing
収縮処理の具体例について図6(A)〜図6(E)を用いて説明する。非被覆領域は図6(A)に示したように、必ず閉じた領域となり、その境界を設定することができる。例えば、図6(A)では外側境界であるBO1と、内側境界であるBO2を設定することになる。 A specific example of the contraction process will be described with reference to FIGS. 6 (A) to 6 (E). As shown in FIG. 6A, the non-covering region is always a closed region, and its boundary can be set. For example, in FIG. 6A, BO1 that is the outer boundary and BO2 that is the inner boundary are set.
この際、構造要素による収縮処理とは、当該構造要素の基準点を非被覆領域の境界上に設定した場合に、非被覆領域と構造要素の重複領域を削る処理となる。例えば、構造要素として図2(C)のように円形状の領域を設定し、その基準点を円の中心とした場合には、非被覆領域の境界上に中心を有する円を描き、当該円と非被覆領域とが重なる部分を非被覆領域から除外する処理を行うことになる。具体的には、図6(A)に示したように、非被覆領域の外側境界BO1上の点を中心とする円を描き、非被覆領域との重複領域(ここでは、斜線で示した半円形状の領域)を除外する。 At this time, the contraction process by the structural element is a process of cutting the overlapping area between the non-covering area and the structural element when the reference point of the structural element is set on the boundary of the non-covering area. For example, when a circular area is set as a structural element as shown in FIG. 2C and the reference point is the center of the circle, a circle having a center is drawn on the boundary of the non-covered area. And a process of excluding a portion where the non-covering region overlaps from the non-covering region. Specifically, as shown in FIG. 6A, a circle centered on a point on the outer boundary BO1 of the non-covering region is drawn, and an overlapping region with the non-covering region (in this case, a half-line indicated by diagonal lines) (Circular area) is excluded.
外側境界BO1は離散的に処理されることを考えれば複数の点から構成されていることになるため、当該複数の点の各点について上述した処理を行えばよい。一例としては、図6(A)に示したように境界上の一点を起点として、所与の方向において順次境界BO1上の点を中心とする円を描き、非被覆領域との重複領域を非被覆領域から除外していけばよい。 Considering that the outer boundary BO1 is discretely processed, the outer boundary BO1 is composed of a plurality of points. Therefore, the above-described processing may be performed for each point of the plurality of points. As an example, as shown in FIG. 6A, starting from one point on the boundary, a circle centering on the point on the boundary BO1 is sequentially drawn in a given direction, and the overlapping area with the non-covering area is not covered. What is necessary is just to exclude from a covering area | region.
図2(B)に示したように、非被覆領域の形状によってはその境界は1つの場合も考えられ、その際には当該1つの境界について上述の処理を行えばよい。また、図6(A)に示したように、非被覆領域の境界としてBO1とBO2の2つが考えられる場合には、それぞれについて上述の処理を行う。具体的には、図6(B)に示したように、内側境界BO2についても、BO2上に中心を有する円を描き、非被覆領域との重複領域を除外する処理を行い、この処理をBO2を構成する各点について繰り返せばよい。 As shown in FIG. 2B, there may be one boundary depending on the shape of the uncovered region. In this case, the above-described processing may be performed for the one boundary. In addition, as shown in FIG. 6A, when two boundaries of BO1 and BO2 are considered as boundaries of the uncovered area, the above-described processing is performed for each. Specifically, as shown in FIG. 6B, for the inner boundary BO2, a process is performed in which a circle having a center is drawn on BO2 and an overlapping area with the non-covering area is excluded. What is necessary is just to repeat about each point which comprises.
このような収縮処理を行うことで、非被覆領域の面積は小さくなる。例えば、図6(A)の非被覆領域の左部に着目した場合、図6(A)で示したBO1での収縮処理、及び図6(B)で示したBO2での収縮処理により、非被覆領域は完全に削除され、残留する領域は存在しない。一方、非被覆領域の右下部分に着目した場合、図6(C)に示したように、BO1での収縮処理でもBO2での収縮処理でも除外対象とならずに残存する残留領域REが生じる。よって、ここでの非被覆領域全体に対して構造要素による収縮処理を行った結果は、図6(D)のようになり、残留領域REが生じることになる。 By performing such shrinkage processing, the area of the non-covering region is reduced. For example, when attention is paid to the left part of the non-covered region in FIG. 6A, the non-covering process is performed by BO1 shown in FIG. 6A and BO2 shown in FIG. 6B. The covered area is completely deleted and there is no remaining area. On the other hand, when attention is paid to the lower right portion of the non-covered region, as shown in FIG. 6C, a residual region RE remains that is not excluded in both the shrinking process in BO1 and the shrinking process in BO2. . Therefore, the result of performing the contraction process with the structural element on the entire uncovered region here is as shown in FIG. 6D, and a residual region RE is generated.
ここで、半径rの円を構造要素とした場合の収縮処理の持つ意味について考える。閉じた領域である非被覆領域は、境界(BO1とBO2のように異なる境界であってもよいし、図2(B)のように1つの境界であってもよい)の内側にある領域と考えることができる。この境界について上述の収縮処理を行うことで、非被覆領域に含まれる点のうち、上記境界上の点から距離r以内にある点は削除の対象となる。つまり、削除対象とならなかった残留領域に含まれる点を考えた場合、当該点からは境界上の任意の点までの距離がrより大きくなるということである。よって、残留領域上の任意の点を中心とする半径rの円を描いた場合に、当該円の円周はどの境界とも交差することがない。これは言い換えれば、半径R(=r)の円で表される注目領域が、残留領域中の点をその中心とすることで、非被覆領域の中に完全に収まってしまうという状況を表す。なお、構造要素として円以外の形状(四角形等)を用いた場合であっても、基本的な考え方は同一である。 Here, the meaning of contraction processing when a circle having a radius r is used as a structural element will be considered. A non-covered area that is a closed area is an area inside a boundary (may be a different boundary such as BO1 and BO2 or a single boundary as shown in FIG. 2B). Can think. By performing the above-described shrinkage processing on this boundary, among the points included in the uncovered area, points within the distance r from the points on the boundary are to be deleted. That is, when a point included in the remaining area that has not been deleted is considered, the distance from the point to an arbitrary point on the boundary is greater than r. Therefore, when a circle having a radius r centering on an arbitrary point on the residual region is drawn, the circumference of the circle does not intersect any boundary. In other words, this represents a situation in which the region of interest represented by a circle with a radius R (= r) is completely contained in the non-covered region with the point in the remaining region as its center. Even when a shape other than a circle (such as a square) is used as a structural element, the basic concept is the same.
つまり、残留領域が存在する場合とは、図6(E)の右下に示したように、構造要素に対応する領域が非被覆領域に含まれる場合となり、そのような位置に病変部等の注目領域があった場合には、判定対象画像を削除してしまうと、基準画像を残したとしても注目領域を観察できない可能性が生じてしまう。逆に、残留領域が存在しない場合とは、図6(E)の左上に示したように、注目領域の少なくとも一部は被覆領域に含まれることになり、判定対象画像を削除したとしても、注目領域の少なくとも一部は基準画像に残すことができる。以上のことより、注目領域見逃し可能性判定部1013では、非被覆領域に対して構造要素による収縮処理を行い、残留領域が存在するか否かを結果として出力することで、その後の判定対象画像の削除可否判定が可能になる。
That is, the case where the residual region exists is a case where the region corresponding to the structural element is included in the uncovered region as shown in the lower right of FIG. If there is a region of interest and the determination target image is deleted, there is a possibility that the region of interest cannot be observed even if the reference image is left. Conversely, when there is no remaining area, as shown in the upper left of FIG. 6E, at least a part of the attention area is included in the covering area, and even if the determination target image is deleted, At least a part of the attention area can be left in the reference image. From the above, the attention area missing
そして、削除可否判定部1005は、収縮処理の結果、残留領域が有ったか否かに基づいて、判定対象画像の削除可否の判定を行う(S108)。残留領域があった場合には、非被覆領域に注目領域全体が含まれる可能性がある、つまり注目領域を見逃す可能性があるということであるから、判定対象画像は削除不可と判定し、部分画像列の設定処理に移行する。また残留領域がなければ、非被覆領域に注目領域全体が含まれることはなく、被覆領域に注目領域の少なくとも一部が含まれることになる。よって、この場合には注目領域を見逃す可能性が低いということであるから、判定対象画像を削除可能と判定し、S104に戻り判定対象画像を再度選択する。
Then, the deletion permission /
S108において、判定対象画像が削除不可と判定された場合には、部分画像列設定部1008は部分画像列を設定する(S109)。具体的には、削除不可と判定された判定対象画像及び、それ以降の画像から構成される画像列を部分画像列として設定すればよい。部分画像列が設定されたら、S103に戻り、当該部分画像列を入力画像列として上述の処理を実行する。
If it is determined in S108 that the determination target image cannot be deleted, the partial image
以上の画像要約処理を図示したものが図7(A)〜図7(D)である。図7(A)に示したように、N枚の画像を有する画像列が画像列取得部200で取得された場合には、まず1番目の画像が基準画像として選択され、2番目の画像が判定対象画像として選択される。そして、基準画像と判定対象画像の間で注目領域の見逃し可能性が判定され、判定対象画像の削除可否が判定される。
FIGS. 7A to 7D illustrate the above image summarization processing. As shown in FIG. 7A, when an image sequence having N images is acquired by the image
判定対象画像が削除可能と判定された場合には、新たに判定対象画像を選択する。具体的には判定対象画像の位置を後ろにずらす処理となり、図7(B)に示したように3番目の画像が判定対象画像として選択される。そして、基準画像と新たな判定対象画像の間で判定対象画像の削除可否が判定され、削除不可と判定される判定対象画像が見つかるまで、判定対象画像として選択される画像を更新していく。 If it is determined that the determination target image can be deleted, a new determination target image is selected. Specifically, the position of the determination target image is shifted backward, and the third image is selected as the determination target image as shown in FIG. 7B. Then, whether or not the determination target image can be deleted is determined between the reference image and the new determination target image, and the image selected as the determination target image is updated until a determination target image that is determined to be undeleteable is found.
図7(C)に示したように、2番目〜k−1番目までの画像が削除可能と判定され、k番目の画像が削除不可と判定された場合、2番目〜k−1番目までの画像とは基準画像により注目領域を見逃さない程度にカバーされているということであるから、削除処理を行い要約画像列には含めない。それに対して、k番目の画像は基準画像では十分カバーできないため、要約画像列に残す必要がある。そのために、ここではk番目の画像とそれ以降の画像(k〜N番目の画像)を部分画像列として設定する。 As shown in FIG. 7C, when it is determined that the 2nd to k-1st images can be deleted and the kth image is determined to be undeleteable, the 2nd to k-1th images. The image means that the region of interest is covered by the reference image so as not to miss the attention area, and is deleted and not included in the summary image sequence. On the other hand, the k-th image cannot be sufficiently covered by the reference image, so it is necessary to leave it in the summary image sequence. For this purpose, the k-th image and the subsequent images (k to N-th images) are set as partial image sequences.
そして、この部分画像列に対して再度図7(A)〜図7(C)の処理を繰り返せばよい。具体的には図7(D)に示したように、N−x+1枚の画像からなる部分画像列を入力画像列とし、先頭(図7(C)等ではk番目)の画像を基準画像、2番目(図7(C)等ではk+1番目)の画像を判定対象画像として処理を行う。以降の処理は同様であり、判定対象画像が削除可能と判定されたら、次の画像を新たな判定対象画像として選択する。また、判定対象画像が削除不可と判定されたら、基準画像を要約画像列に残し、削除可能と判定された画像を削除し、その時点での判定対象画像以降の画像を新たな部分画像列に設定する。最終的には、入力画像列の最後の画像まで全て削除可能と判定された場合、或いは入力画像列に含まれる画像が1枚のみであり判定対象画像が設定できなかった場合に処理が終了することになる。
Then, the processes in FIGS. 7A to 7C may be repeated for the partial image sequence. Specifically, as shown in FIG. 7D, a partial image sequence composed of N−
以上の本実施形態では、画像処理装置は図4に示したように、複数の画像を有する画像列を取得する画像列取得部200と、画像列取得部200が取得した画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部100を含む。そして、処理部100は、複数の画像から、基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、判定対象画像の削除可否判定を行う。
In the above embodiment, as shown in FIG. 4, the image processing apparatus has an image
ここで、変形情報を用いた処理は、基準画像及び判定対象画像の一方の少なくとも一部を、変形情報を用いて変形する処理であってもよい。また、注目領域に対応する構造要素を用いた処理は、構造要素による収縮処理、又は基準画像により判定対象画像が覆われない領域である非被覆領域に構造要素が含まれるか否かを判定する処理であってもよい。 Here, the process using the deformation information may be a process of deforming at least a part of one of the reference image and the determination target image using the deformation information. Further, the process using the structural element corresponding to the attention area determines whether or not the structural element is included in the non-covered area that is the area where the determination target image is not covered by the reference image or the contraction process by the structural element. It may be a process.
また、注目領域とは、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域であり、例えば、ユーザが医者であり治療を希望した場合、粘膜部や病変部を写した領域を指す。また、他の例として、医者が観察したいと欲した対象が泡や便であれば、注目領域は、その泡部分や便部分を写した領域になる。すなわち、ユーザが注目すべき対象は、その観察目的によって異なるが、いずれにしても、その観察に際し、ユーザにとって観察の優先順位が他の領域よりも相対的に高い領域が注目領域となる。 In addition, the attention area is an area where the priority of observation for the user is higher than other areas. For example, when the user is a doctor and desires treatment, an area in which a mucous membrane portion or a lesion is copied is displayed. Point to. As another example, if the object that the doctor desires to observe is a bubble or stool, the region of interest is a region in which the bubble or stool portion is copied. In other words, the object that the user should pay attention to depends on the purpose of observation, but in any case, in the observation, an area in which the priority of observation for the user is relatively higher than other areas is the attention area.
これにより、変形情報を用いた処理が可能になるため、基準画像に撮像された被写体と、判定対象画像に撮像された被写体との対応関係を考慮した画像要約処理が可能になる。その際、注目領域に対応する構造要素を用いた処理を行うことで、注目領域の撮像状態に応じた処理が可能になる。具体的には、構造要素による収縮処理等を行うことで、判定対象画像上に撮像された注目領域の少なくとも一部が、基準画像に撮像されているか否かの判定を行うことができるため、判定対象画像を削除したとしても、要約画像列には必ず注目領域の少なくとも一部を撮像している画像を残すことが可能となる。これにより、ユーザが注目領域を見逃す可能性を抑止すること等が可能になる。 As a result, processing using the deformation information becomes possible, so that image summarization processing can be performed in consideration of the correspondence between the subject imaged in the reference image and the subject imaged in the determination target image. At that time, by performing processing using a structural element corresponding to the attention area, processing according to the imaging state of the attention area becomes possible. Specifically, since it is possible to determine whether or not at least a part of the region of interest captured on the determination target image is captured in the reference image by performing contraction processing or the like by the structural element, Even if the determination target image is deleted, it is always possible to leave an image in which at least a part of the attention area is captured in the summary image sequence. This makes it possible to suppress the possibility that the user misses the attention area.
また、処理部100は、変形情報を用いた処理として、基準画像を変形情報を用いて変形して、基準画像により判定対象画像が覆われる領域である被覆領域を求め、判定対象画像のうち被覆領域以外の領域を非被覆領域として求める処理を行ってもよい。また、構造要素を用いた処理として、非被覆領域に対して構造要素による収縮処理を行ってもよい。そして、処理部100は、収縮処理の結果、残留する領域がある場合に、判定対象画像が削除不可であると判定してもよい。
In addition, as processing using deformation information, the
これにより、非被覆領域に構造要素(ここでは注目領域と同等のサイズ)が完全に収まってしまうか否かを精度よく判定することが可能になる。非被覆領域とは、判定対象画像のうち基準画像により被覆されない領域であるため、図6(A)〜図6(E)を用いて上述したように、残留領域の有無は、非被覆領域に構造要素が完全に収まってしまうか否かに対応することになる。ここでの判定は厳密なものとなるため、後述する第3,第4の実施形態の手法等に比べると、削除可否判定の精度を高くすることができる。 This makes it possible to accurately determine whether or not the structural element (here, the same size as the region of interest) fits in the uncovered region. Since the uncovered area is an area that is not covered by the reference image in the determination target image, as described above with reference to FIGS. 6 (A) to 6 (E), the presence / absence of the remaining area is determined by the uncovered area. This corresponds to whether or not the structural element is completely contained. Since the determination here is strict, the accuracy of the deletion permission / inhibition determination can be increased as compared with the methods of the third and fourth embodiments described later.
また、処理部100は、基準画像、判定対象画像、及び複数の画像のうち画像列において基準画像と判定対象画像の間の画像について、隣り合う画像間の変形情報を求め、求めた隣り合う画像間の変形情報に基づいて、基準画像と判定対象画像の間の変形情報を求めてもよい。
Further, the
これにより、基準画像と判定対象画像が隣り合わない場合に、当該2画像間で直接変形情報を求めるのではなく、隣り合う画像間で求めた変形情報を累積することで算出することが可能になる。変形情報は特許文献2等で示した手法により算出できるが、一般的に変形情報を一から算出する処理に比べて、複数の変形情報を複合する処理は非常に軽いものとなる。例えば、変形情報が行列等であれば、2つの画像情報から当該行列を求める処理は負荷が大きいが、すでに求めてある複数の行列を合成することは(例えば行列の積を取るだけでよいため)非常に容易となる。
Thereby, when the reference image and the determination target image are not adjacent to each other, it is possible to calculate by accumulating the deformation information obtained between the adjacent images instead of directly obtaining the deformation information between the two images. Become. The deformation information can be calculated by the method shown in
この手法は例えば後述する第2の実施形態のように、変形情報を用いる回数が多い処理等で特に効果的である。例えば、第2の実施形態では、判定対象画像の前方だけでなく後方にも基準画像(第2の基準画像)を設定し、条件に応じて第2の基準画像が更新される。具体的には、第1の画像を第1の基準画像、第kの画像を第2の基準画像とした場合、第2〜第k−1の画像と各基準画像との間で削除可否判定が行われ、条件によっては第1の基準画像をそのままに第2の基準画像が第k+1の画像に更新される。その場合、第2〜第kの画像の各画像と、第2の基準画像である第k+1の画像の間の変形情報が必要となり、k−1回変形情報を求める必要がある。そしてそれは、直前の処理で用いた第2〜第k−1の画像と、第kの画像(直前の第2の基準画像)の間の変形情報とは異なるため、新たに求めなくてはならない。例えば、画像列取得部200が画像列としてN枚の画像を取得し、且つ第1の基準画像が変化せずに第2の基準画像が第3〜第Nの画像まで順次更新された極端なケースを想定すれば、変形情報は1+2+3+・・・+N−2=(N−2)(N−1)/2回求める必要が生じる。つまり、負荷の大きい変形情報の算出処理を行う回数が多く非効率的である。
This method is particularly effective in a process where the number of times of using deformation information is used, for example, as in a second embodiment described later. For example, in the second embodiment, a reference image (second reference image) is set not only in front of but also behind the determination target image, and the second reference image is updated according to conditions. Specifically, when the first image is the first reference image and the k-th image is the second reference image, it is determined whether or not deletion is possible between the second to (k-1) -th images and each reference image. Depending on the conditions, the second reference image is updated to the (k + 1) th image without changing the first reference image. In this case, deformation information between each of the second to kth images and the (k + 1) th image that is the second reference image is necessary, and it is necessary to obtain the deformation information k−1 times. And since it is different from the deformation information between the 2nd to (k-1) th images used in the immediately preceding process and the kth image (the immediately preceding second reference image), it must be newly determined. . For example, the image
その点、隣り合う変形情報を用いるのであれば、画像列取得部200が画像列としてN枚の画像を取得したとすると、変形情報は隣り合う画像間でN−1回求めれば十分である。この場合、N枚の画像の中から基準画像と判定対象画像が選択された際に、N−1個の変形情報のうち必要なものを合成する処理は必要になるが、上述したとおり当該合成処理は変形情報の算出処理に比べて負荷は軽い。
In that respect, if adjacent deformation information is used, if the image
また、処理部100は、注目領域のサイズに比例したサイズの構造要素を設定してもよい。
The
これにより、注目領域のサイズと構造要素のサイズを対応づけることが可能になる。なお、本実施形態では注目領域のサイズと構造要素のサイズは同等(狭義には同一)のものを用いればよいが、後述する第3の実施形態では、構造要素のサイズを注目領域のサイズの2倍等に設定することになる。ここでは、非被覆領域(或いはそれに相当する領域)に注目領域と同じサイズの領域が完全に収まってしまうか否かに基づき、判定対象画像の削除可否判定を行っているため、注目領域のサイズと構造要素のサイズの比率は、処理内容に応じて決定される。 This makes it possible to associate the size of the attention area with the size of the structural element. In this embodiment, the size of the attention area and the size of the structural element may be equal (same in the narrow sense), but in the third embodiment described later, the size of the structural element is set to the size of the attention area. It will be set to 2 times. Here, since the determination target image deletion determination is performed based on whether or not a region having the same size as the region of interest completely fits in the non-covered region (or an equivalent region), the size of the region of interest The ratio of the size of the structural elements is determined according to the processing content.
また、第1〜第N(Nは2以上の整数)の画像が入力画像列として入力された場合に、処理部100は、第1の画像を基準画像として選択するとともに、第k(kは2≦k≦N−1を満たす整数)の画像を判定対象画像として選択してもよい。そして、基準画像と判定対象画像の間の変形情報、及び注目領域に対応する構造要素を用いた処理に基づいて、判定対象画像の削除可否の判定を行う。さらに、第kの画像が削除可能と判定された場合には、判定対象画像として第k+1の画像を選択する。
When first to Nth images (N is an integer equal to or greater than 2) are input as an input image sequence, the
ここで、入力画像列とはこの処理(基準画像・判定対象画像の選択、削除可否判定、及び削除可能な場合の判定対象画像の更新)の対象となる画像列のことであり、画像列取得部200が取得した画像列であってもよいし、当該画像列の一部の画像からなる画像列であってもよい。
Here, the input image sequence is an image sequence that is a target of this processing (selection of a reference image / determination target image, determination of whether or not to delete, and update of a determination target image when deletion is possible). The image sequence acquired by the
これにより、入力画像列が入力された場合に、図7(A)〜図7(B)等に示したような処理が可能となる。ここでは基準画像の後方(例えば最初は基準画像と隣り合う画像)から判定対象画像を選択し、選択した判定対象画像が削除可能である場合には、判定対象画像をさらに後方のものに更新する。つまり、基準画像に近いところから順々に削除できるか(基準画像で十分カバーできているか)を判定していき、削除できなくなるところを検索することになる。なお、ここで削除可能と判定された判定対象画像は基本的には削除され、要約画像列には含まれないものとするが、これには限定されず、削除可能と判定された判定対象画像の一部を要約画像列に含めてもよい。 As a result, when an input image sequence is input, processing as shown in FIGS. 7A to 7B and the like can be performed. Here, the determination target image is selected from the rear of the reference image (for example, the image adjacent to the reference image at first), and when the selected determination target image can be deleted, the determination target image is further updated to the rear one. . That is, it is determined whether it can be deleted in order from a place close to the reference image (whether it can be sufficiently covered by the reference image), and a place where it cannot be deleted is searched. Note that the determination target image determined to be deleteable here is basically deleted and is not included in the summary image sequence, but is not limited to this, and the determination target image determined to be deleteable May be included in the summary image sequence.
また、処理部100は、基準画像として選択された画像を、要約画像列に含める処理を行ってもよい。それとともに、判定対象画像として選択された第kの画像が削除不可と判定された場合には、第k〜第Nの画像からなる部分画像列を新たな入力画像列として設定し、設定された入力画像列に対して再度処理を行ってもよい。
In addition, the
これにより、図7(C)に示した処理が可能となる。削除可否判定処理は、上述したように構造要素による収縮処理に基づいて行われることから、削除可能と判定された判定対象画像を削除したとしても、基準画像を残すことにより注目領域の少なくとも一部は観察できる。つまり、本実施形態では基準画像を要約画像列に含めることになる。また、第kの画像が削除不可とされた場合には、第kの画像は基準画像では十分カバーできないということであるから、第kの画像は要約画像列に残すべきである。つまり、第kの画像を次の基準画像に設定すればよく、具体的には例えば第k〜第Nの画像からなる部分画像列を新たな入力画像列として設定すればよい。このようにすれば、図7(D)に示したように入力画像列の先頭の画像、すなわち画像列取得部200が取得した画像列における第kの画像が基準画像として選択され、第k+1の画像以降の画像が判定対象画像として順次選択される。なお、図7(D)の画像列の一部の画像からなる部分画像列が新たに入力画像列として設定されてもよく、この処理は反復して(或いは再帰的に)行われる。
As a result, the processing shown in FIG. 7C becomes possible. Since the deletion permission / inhibition determination process is performed based on the contraction process by the structural element as described above, even if the determination target image determined to be deleteable is deleted, by leaving the reference image, at least a part of the attention area Can be observed. That is, in this embodiment, the reference image is included in the summary image sequence. If the k-th image is determined not to be deleted, it means that the k-th image cannot be sufficiently covered by the reference image, and therefore the k-th image should remain in the summary image sequence. That is, the kth image may be set as the next reference image. Specifically, for example, a partial image sequence including the kth to Nth images may be set as a new input image sequence. In this way, as shown in FIG. 7D, the first image of the input image sequence, that is, the k-th image in the image sequence acquired by the image
また、本実施形態の画像処理装置は、複数の画像を有する画像列を取得する画像列取得部200と、画像列取得部が取得した前記画像列の複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部100とを含み、処理部100は、複数の画像から、基準画像と判定対象画像を選択し、基準画像と判定対象画像の間の変形情報に基づいて、基準画像により判定対象画像が覆われる領域である被覆領域を求め、被覆領域に基づいて、注目すべき領域である注目領域の見逃し可能性を判定し、見逃し可能性の判定結果に基づいて、判定対象画像の削除可否判定を行うものであってもよい。
In addition, the image processing apparatus according to the present embodiment includes an image
ここで、注目領域の見逃し可能性とは、ユーザにより注目領域が観察されることがない可能性のことである。例えば、画像要約処理前の画像列に含まれる所与の画像上に撮像されていた注目領域が、画像要約処理後の要約画像列に含まれるどの画像上にも撮像されていないという状況では、要約画像列だけを見ているユーザは当該注目領域を観察することは不可能であり、見逃し可能性は100%ということになる。逆に、要約画像列に含まれる画像上に注目領域が撮像されている場合には、見逃し可能性は0%とすればよい。つまり、ここでの見逃し可能性とは、要約画像列に含まれる画像上に注目領域が撮像されているにもかかわらず、ユーザの不注意により見逃すという状況は考慮しておらず、単純に要約画像上に撮像されているか否かを問題とするものである。ただし、見逃し可能性は0%と100%の2値に限定されるものではなく、その間の値をとってもよい。例えば、注目領域全体の面積に対する、要約画像上の注目領域の面積の比率等を見逃し可能性として用いてもよい。 Here, the possibility of missing the attention area means that the attention area may not be observed by the user. For example, in a situation where a region of interest captured on a given image included in the image sequence before image summarization processing is not captured on any image included in the summary image sequence after image summarization processing, A user who sees only the summary image sequence cannot observe the region of interest, and the possibility of missing is 100%. On the contrary, when the attention area is imaged on the image included in the summary image sequence, the possibility of missing may be set to 0%. In other words, the missed possibility here does not consider the situation where the attention area is imaged on the image included in the summary image sequence but is missed by the user's carelessness, and is simply summarized. Whether or not the image is captured on the image is a problem. However, the possibility of missing is not limited to two values of 0% and 100%, but may be a value between them. For example, the ratio of the area of the attention area on the summary image to the area of the entire attention area may be used as a possibility of overlooking.
これにより、注目領域の見逃し可能性を考慮した画像要約処理が可能になる。上述したように、注目領域とは医療分野での病変部等であるため、注目領域の見逃しを抑止することは非常に有用である。 This enables image summarization processing that takes into consideration the possibility of missing the attention area. As described above, since the attention area is a lesion in the medical field, it is very useful to prevent the attention area from being overlooked.
なお、本実施形態の画像処理装置等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、CPU等のプロセッサがプログラムを実行することで、本実施形態の画像処理装置等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをCPU等のプロセッサが実行する。ここで、情報記憶媒体(コンピュータにより読み取り可能な媒体)は、プログラムやデータなどを格納するものであり、その機能は、光ディスク(DVD、CD等)、HDD(ハードディスクドライブ)、或いはメモリー(カード型メモリー、ROM等)などにより実現できる。そして、CPU等のプロセッサは、情報記憶媒体に格納されるプログラム(データ)に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピュータ(操作部、処理部、記憶部、出力部を備える装置)を機能させるためのプログラム(各部の処理をコンピュータに実行させるためのプログラム)が記憶される。 Note that the image processing apparatus or the like according to the present embodiment may realize part or most of the processing by a program. In this case, a processor such as a CPU executes the program, thereby realizing the image processing apparatus according to the present embodiment. Specifically, a program stored in the information storage medium is read, and a processor such as a CPU executes the read program. Here, the information storage medium (computer-readable medium) stores programs, data, and the like, and functions as an optical disk (DVD, CD, etc.), HDD (hard disk drive), or memory (card type). It can be realized by memory, ROM, etc. A processor such as a CPU performs various processes of the present embodiment based on a program (data) stored in the information storage medium. That is, in the information storage medium, a program for causing a computer (an apparatus including an operation unit, a processing unit, a storage unit, and an output unit) to function as each unit of the present embodiment (a program for causing the computer to execute processing of each unit) Is memorized.
3.第2の実施形態
ここでは、基準画像及び判定対象画像を選択する他の手法について説明する。本実施形態では、基準画像として、第1の基準画像と第2の基準画像の2枚の画像を選択することになる。まず、基本的な手法について説明し、その後、2つの変形例について説明する。なお、本実施形態と他の実施形態との違いは基準画像及び判定対象画像の選択手法にあり、選択された基準画像及び判定対象画像による削除可否判定処理については、他の実施形態で説明する手法を用いるものであるため、詳細な説明は省略する。
3. Second Embodiment Here, another method for selecting a reference image and a determination target image will be described. In the present embodiment, two images of the first reference image and the second reference image are selected as the reference images. First, a basic method will be described, and then two modifications will be described. Note that the difference between the present embodiment and the other embodiments lies in the selection method of the reference image and the determination target image, and the deletion permission determination processing based on the selected reference image and determination target image will be described in another embodiment. Since the method is used, detailed description is omitted.
3.1 第2の実施形態の基本的な手法
図8に本実施形態における画像処理装置のシステム構成例を示す。図4の処理部100に対して第2の基準画像選択部1007が追加された構成となっている。
3.1 Basic Method of Second Embodiment FIG. 8 shows a system configuration example of an image processing apparatus according to this embodiment. The second reference
基準画像選択部1001は、第1の基準画像を選択する。第2の基準画像選択部1007は、第1の基準画像よりも2つ以上後方の画像を第2の基準画像として選択する。また、判定対象画像選択部1002は、基準画像よりも後方であり、かつ第2の基準画像よりも前方の画像を判定対象画像として選択する。なお、図8では基準画像選択部1001と第2の基準画像選択部1007を分けたがこれに限定されるものではなく、基準画像選択部1001が第1の基準画像及び第2の基準画像の両方を選択するとしてもよい。
The reference
図9に本実施形態の画像要約処理を説明するフローチャートを示す。S201〜S203についてはS101〜S103と同様である。S203の後、S203で選択された第1の基準画像よりも2つ以上後方の画像を第2の基準画像として選択する(S210)。そして、判定対象画像を設定する(S204)。判定対象画像が未設定の場合には、第1の基準画像の次の画像(入力画像列の2番目の画像)を判定対象画像として選択する。また、すでに入力画像列のk番目の画像が判定対象画像として選択されていた場合には、選択位置を1ずらして入力画像列のk+1番目の画像を新たな判定対象画像として選択する。ただし、判定対象画像の選択範囲は、入力画像列の最後の画像までではなく、第2の基準画像と一致するまでとなる。 FIG. 9 shows a flowchart for explaining the image summarization processing of this embodiment. S201 to S203 are the same as S101 to S103. After S203, two or more images behind the first reference image selected in S203 are selected as second reference images (S210). Then, a determination target image is set (S204). When the determination target image is not set, the image next to the first reference image (second image in the input image sequence) is selected as the determination target image. If the kth image in the input image sequence has already been selected as the determination target image, the selection position is shifted by 1 and the k + 1th image in the input image sequence is selected as the new determination target image. However, the selection range of the determination target image is not up to the last image in the input image sequence but until the second reference image matches.
判定対象画像が第2の基準画像と一致していない場合には、変形情報を取得し(S205)、取得した変形情報に基づいて被覆領域を算出する(S206)。ここでは、第1の基準画像と判定対象画像との間の変形パラメータに基づいて第1の候補領域を算出するとともに、第2の基準画像と判定対象画像との間の変形パラメータに基づいて第2の候補領域を算出する。そして、図10に示したように第1の候補領域と第2の候補領域の和集合に対応する領域を被覆領域とすればよい。なぜなら、本実施形態の手法とは、第1の基準画像と第2の基準画像の両方を残した場合に、判定対象画像が十分カバーされているかを判定しているものであるから、第1の候補領域と第2の候補領域の少なくとも一方によりカバーされている領域は被覆領域とすることができるからである。つまり、本実施形態での非被覆領域は、第1の候補領域と第2の候補領域のいずれにも含まれない領域(第1の実施形態と同様に判定対象画像のうち被覆領域ではない領域)が設定されることになる。 If the determination target image does not match the second reference image, deformation information is acquired (S205), and a covering area is calculated based on the acquired deformation information (S206). Here, the first candidate region is calculated based on the deformation parameter between the first reference image and the determination target image, and the first candidate region is calculated based on the deformation parameter between the second reference image and the determination target image. 2 candidate regions are calculated. Then, as shown in FIG. 10, an area corresponding to the union of the first candidate area and the second candidate area may be set as the covering area. This is because the method according to the present embodiment determines whether the determination target image is sufficiently covered when both the first reference image and the second reference image are left. This is because an area covered by at least one of the candidate area and the second candidate area can be a covered area. That is, the non-covering region in the present embodiment is a region that is not included in either the first candidate region or the second candidate region (a region that is not a covering region in the determination target image as in the first embodiment). ) Will be set.
S207〜S209についてはS107〜S109と同様である。S208で削除可能と判定された場合には、S204に戻り判定対象画像を1つ後方の画像に更新する。更新の結果判定対象画像が第2の基準画像と一致する場合にはS210に戻り、第2の基準画像を1つ後方の画像に更新する。また、第2の基準画像が更新された場合には、判定対象画像の選択状態をリセットする。判定対象画像が第2の基準画像と一致しない場合にはS205以降の処理が行われる。 S207 to S209 are the same as S107 to S109. If it is determined in S208 that the image can be deleted, the process returns to S204 and the determination target image is updated to the next image. If the determination target image matches the second reference image as a result of the update, the process returns to S210, and the second reference image is updated to the next image. In addition, when the second reference image is updated, the selection state of the determination target image is reset. If the determination target image does not match the second reference image, the processing from S205 is performed.
また、S208で判定対象画像が削除不可と判定された場合には、基準画像と、現時点での第2の基準画像の2枚では、その間に挟まれる全ての画像をカバーすることができないということになるため、現時点の第2の基準画像よりも1つ前の画像を要約画像列に残す必要がある。よって、部分画像列として、現在の第2の基準画像よりも1つ前の画像、及びそれ以降の画像を含む画像列を設定し(S209)、S203に戻る。 If it is determined in S208 that the determination target image cannot be deleted, the reference image and the current second reference image cannot cover all the images sandwiched between them. Therefore, it is necessary to leave an image one previous to the current second reference image in the summary image sequence. Therefore, an image sequence including an image immediately before the current second reference image and the subsequent image is set as the partial image sequence (S209), and the process returns to S203.
以上の画像要約処理を図示したものが図11(A)、図11(B)である。全画像列k番目の画像が第1の基準画像として選択されているとする(なお、1〜k−1番目の画像については処理が終了しており、k〜N番目の画像が部分画像列として設定された場合に相当する)。そして、k+2番目の画像を第2の基準画像として選択する。 FIGS. 11A and 11B illustrate the above image summarization processing. It is assumed that the entire image sequence kth image has been selected as the first reference image (note that the processing has been completed for the 1st to (k-1) th images, and the kth to Nth images are the partial image sequences. Corresponds to the case where it is set as). Then, the k + 2nd image is selected as the second reference image.
さらに第1の基準画像と第2の基準画像の間の画像の前方から判定対象画像を選択し、判定対象画像の削除可否判定を行う。 Further, a determination target image is selected from the front of the image between the first reference image and the second reference image, and whether or not the determination target image can be deleted is determined.
図11(A)に示したように、第1の基準画像と第2の基準画像の間の画像の全てについて、削除可能と判定された場合には、第2の基準画像として、第1の基準画像に比べてさらに離れた画像を選択してもよい可能性があるということであるから、図11(B)に示したように第2の基準画像の再選択を行う。具体的には、k+2番目だった第2の基準画像を、k+3番目に更新すればよい。 As shown in FIG. 11A, when it is determined that all the images between the first reference image and the second reference image can be deleted, the first reference image is set as the first reference image. Since there is a possibility that an image further away from the reference image may be selected, the second reference image is reselected as shown in FIG. Specifically, the second reference image that was k + 2 may be updated to k + 3.
そして、再度第1の基準画像と第2の基準画像の間の画像について削除可否の判定を行う。図11(B)に示したように、削除不可と判定された判定対象画像があった場合には、第1の基準画像と現在の第2の基準画像の2枚では、間に含まれる全ての画像をカバーすることができない(具体的には削除不可と判定された判定対象画像がカバーできない)ということであるから、第2の基準画像の更新(選択位置のインクリメント)が不適切であったと考えられる。 Then, it is determined again whether or not the image between the first reference image and the second reference image can be deleted. As shown in FIG. 11B, when there is a determination target image that is determined not to be deleted, all of the first reference image and the current second reference image are included between them. This means that it is impossible to cover the image (specifically, the determination target image that is determined not to be deleted cannot be covered). It is thought.
よって、現時点の第2の基準画像の1つ前の画像(図11(A)での第2の基準画像に相当)及びそれ以降の画像を含む画像列を部分画像列として設定する。これにより、図11(A)の時点での第2の基準画像が、次の処理での基準画像として選択されることになり、要約画像列に残される画像により、削除される画像がカバーされることが保証される。 Therefore, an image sequence including the image immediately before the current second reference image (corresponding to the second reference image in FIG. 11A) and subsequent images is set as a partial image sequence. Accordingly, the second reference image at the time of FIG. 11A is selected as the reference image in the next process, and the image to be deleted is covered by the image remaining in the summary image sequence. Is guaranteed.
なお、以上の説明では、S203において基準画像として入力画像列の先頭の画像が選択されるものとしたが、S203の処理が初めて行われる場合についてはこの限りではない。本実施形態では、判定対象画像の後方にある第2の基準画像によりカバーされるのであれば、当該判定対象画像は削除することができる。つまり、図12(A)に示したように、例えば3番目の画像により、1番目及び2番目の画像がカバーされるのであれば、1〜2番目の画像は要約処理後の画像に残す必要はない。よって、先頭の画像は必ずしも残される必要がなく、先頭の画像を基準画像とする手法では要約画像列に含まれる画像の枚数を不必要に増やしてしまう恐れがある。 In the above description, the head image of the input image sequence is selected as the reference image in S203. However, this is not the case when the process of S203 is performed for the first time. In the present embodiment, the determination target image can be deleted if it is covered by the second reference image behind the determination target image. That is, as shown in FIG. 12A, for example, if the first and second images are covered by the third image, it is necessary to leave the first and second images in the image after the summary processing. There is no. Therefore, it is not always necessary to leave the top image, and there is a possibility that the number of images included in the summary image sequence will be unnecessarily increased in the method using the top image as a reference image.
そこで、本実施形態では最初の基準画像は画像列取得部200で取得した画像列の先頭画像である必要はない。具体的な手法の一例を示す。図12(B)に示したように、第1の基準画像として実際には存在しない0番目の画像を選択する(ここでの選択処理は便宜的なものであり、実際に0番目の画像を用意する等の処理は不要である)。そのようにすると、S210での第2の基準画像選択処理により、2番目の画像が選択され、判定対象画像はその間の画像(ここでは1番目の画像のみ)が順次選択されることになる。S206〜S208の処理は、第1の基準画像が実際には存在しない以上、判定対象画像と第2の基準画像との間で行われる。2番目の画像により1番目の画像がカバーされていれば、図9の処理に従って図12(C)に示したように第2の基準画像が更新され、3番目の画像に移行し、当該3番目の画像により1〜2番目の画像がカバーできるかの判定を行う。以下、処理が繰り返されれば、図12(D)に示したように、k−1番目の画像を第2の基準画像とすれば、1〜k−2番目の画像を全てカバーできるが、k番目の画像を第2の基準画像としても、1〜k−1番目の画像を全てカバーすることができないkを見つけることができる。その場合には、S208で削除不可と判定され、S209において、k−1〜N番目の画像からなる画像列が部分画像列に設定され、S203に戻る。2回目以降のS203での処理は、上述したように入力画像列の先頭の画像が基準画像として選択されるため、k−1番目の画像は基準画像として要約画像列に残される。上述したように、k−1番目の画像により、1〜k−2番目の画像をカバーできるため、当該1〜k−2番目の画像を削除することができ、要約画像列には含まれる画像の枚数を削減することが可能になる。
Therefore, in the present embodiment, the first reference image does not have to be the top image of the image sequence acquired by the image
以上の本実施形態では、第1〜第N(Nは2以上の整数)の画像が入力画像列として入力された場合に、処理部100は、第pの画像を第1の基準画像として選択し、第q(qはp+2≦q≦N−1を満たす整数)の画像を第2の基準画像として選択するとともに、第r(rはp+1≦r≦q−1を満たす整数)の画像を判定対象画像として選択する。そして、第1の基準画像と判定対象画像の間の変形情報と、第2の基準画像と前記判定対象画像の間の前記変形情報に基づく処理、及び注目領域に対応する前記構造要素を用いた処理の結果に基づいて判定対象画像の削除可否の判定を行う。さらに、第p+1〜第q−1の画像が削除可能と判定された場合には、第2の基準画像として第q+1の画像を新たに選択する。
In the present embodiment described above, when the first to Nth images (N is an integer of 2 or more) are input as the input image sequence, the
これにより、図11(A)、図11(B)に示したように、判定対象画像の前方及び後方に基準画像を設定した上で、被覆率に基づいた画像要約処理が可能になる。この場合、2つの基準画像を用いるため、判定対象画像を削除可能と判定できる可能性が高くなり、要約処理後の画像枚数を少なくすることが可能になる。また、第1の基準画像と第2の基準画像の間に設定された判定対象画像が削除可能と判定された場合(狭義には全ての判定対象画像が削除可能な場合であるが、これに限定する必要はない)には、第1の基準画像と第2の基準画像の間をさらに広げたとしても、その間の画像をカバーできる可能性があるということであるから、第2の基準画像を現在の第2の基準画像よりも後方の画像に更新する。 As a result, as shown in FIGS. 11A and 11B, the image summarization processing based on the coverage can be performed after setting the reference images in front of and behind the determination target image. In this case, since two reference images are used, there is a high possibility that it is possible to determine that the determination target image can be deleted, and the number of images after the summarization process can be reduced. When it is determined that the determination target image set between the first reference image and the second reference image can be deleted (in a narrow sense, all determination target images can be deleted. (It is not necessary to limit the second reference image.) In this case, even if the space between the first reference image and the second reference image is further widened, there is a possibility that the image between them may be covered. Is updated to an image later than the current second reference image.
なお、上述したように本実施形態では判定対象画像の後方に基準画像を設定してもよいことから、最初の処理においては第1の基準画像を先頭の画像にする必要はない。2番目以降の所与の画像により、それ以前の全ての画像がカバーされるのであれば、当該所与の画像を基準画像とすることで、それ以前の画像を削除できるためである。 Note that, as described above, in the present embodiment, the reference image may be set behind the determination target image, and therefore it is not necessary to set the first reference image as the first image in the first process. This is because if all the previous images are covered by the second and subsequent given images, the previous images can be deleted by using the given image as the reference image.
また、処理部100は、第1の基準画像として選択された画像を、要約画像列に含める処理を行ってもよい。また、第p+1〜第q−1の画像のうち少なくとも1つが削除不可と判定された場合には、第q−1〜第Nの画像からなる部分画像列を入力画像列として設定し、設定された入力画像列に対して、pの値を1に設定した上で再度処理を行う。
In addition, the
これにより、第1の実施形態で基準画像を要約画像列に含めることとしたのと同様に、本実施形態でも第1の基準画像を要約画像列に含めることが可能になる。また、第1の基準画像と第2の基準画像の間の判定対象画像のうち少なくとも1つが削除不可である場合とは、第1の基準画像と第2の基準画像の間を広げすぎたケースに相当するため、その際の第2の基準画像の前方にある(狭義には前方にあり且つ直近にある)画像は要約画像列に残すべきである。よって、第q−1〜第Nの画像からなる部分画像列を入力画像列として設定し、設定された入力画像列に対して、第1、第2の基準画像及び判定対象画像の選択処理、削除可否判定処理、条件によっては第2の画像の更新処理等を再度行う。なお、設定された部分画像列については、その先頭画像を要約画像列に残すべきであるから、上述のパラメータpは1とすることが望ましい。 As a result, the first reference image can be included in the summary image sequence in this embodiment as well as the reference image is included in the summary image sequence in the first embodiment. The case where at least one of the determination target images between the first reference image and the second reference image cannot be deleted is a case where the space between the first reference image and the second reference image is excessively widened. Therefore, the image that is in front of the second reference image at that time (in the narrow sense, in front and closest) should remain in the summary image sequence. Therefore, the partial image sequence including the q-1st to Nth images is set as an input image sequence, and the first and second reference images and the determination target image are selected from the set input image sequence. Depending on the conditions for determining whether or not to delete, the second image update process or the like is performed again. Note that, for the set partial image sequence, the head image should remain in the summary image sequence.
3.2 変形例(第2の基準画像の他の更新手法)
次に第2の実施形態の変形例について述べる。なお、この変形例では第2の基準画像の選択手法について述べる関係上、削除可否判定について同様の表記が繰り返されることになる。よって文章を簡略化するために、第qの画像を第2の基準画像として選択して削除可否判定を行った結果、第1の基準画像と第2の基準画像の間の画像が全て削除可能と判定された状況を「第qの画像がOKである」と表記し、第1の基準画像と第2の基準画像の間の少なくとも1枚の画像が削除不可である状況を「第qの画像がNGである」と表記する。
3.2 Modification (Other updating method of second reference image)
Next, a modification of the second embodiment will be described. In this modified example, the same notation is repeated for the determination of whether or not deletion is possible because the second reference image selection method is described. Therefore, as a result of selecting the qth image as the second reference image and determining whether or not to delete in order to simplify the sentence, all images between the first reference image and the second reference image can be deleted. Is described as “the qth image is OK”, and at least one image between the first reference image and the second reference image cannot be deleted. “The image is NG”.
上述の手法では、第qの画像がOKである場合には、第2の基準画像を再度選択していたが、選択される新たな第2の基準画像は、第q+1の画像に限定されていた。 In the above method, when the q-th image is OK, the second reference image is selected again. However, the new second reference image to be selected is limited to the q + 1-th image. It was.
入力画像列として第1〜第Nの画像が入力され、第1の基準画像として第1の画像を選択した場合、第qの画像が第2の基準画像として選択されると判定対象画像の候補としてq−2枚の画像(第2〜第q−1の画像)が考えられ、判定処理はq−2回行われることになる。仮に1回も判定対象画像が削除不可と判定されることなく画像要約処理が終了したとすると、qとしては3〜N(仮想的な画像を考慮すればN+1を含んでもよい)が選択されるため、少なくとも1+2+3+…+N−2=(N−2)(N−1)/2回の処理が必要となり、計算量のオーダーはN2となってしまう。つまり、上述した手法ではNが非常に大きくなると計算量が飛躍的に増えてしまい好ましくない。 When the first to Nth images are input as the input image sequence and the first image is selected as the first reference image, the determination target image candidate is selected when the qth image is selected as the second reference image Q-2 images (second to q-1th images) can be considered, and the determination process is performed q-2 times. Assuming that the image summarization process is completed without determining that the determination target image has been deleted once, q is selected from 3 to N (may include N + 1 if a virtual image is considered). Therefore, at least 1 + 2 + 3 +... + N−2 = (N−2) (N−1) / 2 processes are required, and the order of calculation amount is N 2 . That is, in the above-described method, if N becomes very large, the amount of calculation increases dramatically, which is not preferable.
そこでここでは、第2の基準画像を再度選択する場合に、その対象を隣り合う画像に限定せず、選択の幅を広げることで計算量を削減する。具体的には、第qの画像がOKである場合に、新たな第2の基準画像を第q+1の画像に限定せず、第q+2の画像及びその後方の画像から選択することを許容する。この場合、第qの画像がNGであったとしても、第q−1の画像がOKであるか否かはわからない(第q−1の画像が第2の基準画像として選択されていない可能性があるため)。よって、第2の実施形態の基本的な手法のように、第qの画像がNGだからといって即座に第q−1の画像を要約画像として残すという処理を行うのではなく、基本的には第qの画像よりも前方の画像を新たな第2の基準画像として選択することで前方の画像について判定を行うことになる。 Therefore, here, when the second reference image is selected again, the amount of calculation is reduced by expanding the selection range without limiting the target to adjacent images. Specifically, when the q-th image is OK, the new second reference image is not limited to the q + 1-th image, but is allowed to be selected from the q + 2 image and the image behind it. In this case, even if the qth image is NG, it is not known whether or not the q-1th image is OK (the q-1st image may not be selected as the second reference image). Because there is). Therefore, unlike the basic method of the second embodiment, the fact that the q-th image is NG does not immediately leave the q-1-th image as a summary image, but basically the q-th image. By selecting an image ahead of the first image as a new second reference image, the front image is determined.
つまり、この変形例では終了条件を満たすまでは、OKの場合は後方に、NGの場合は前方に第2の基準画像を更新することで、第1の基準画像の次の要約画像を探索することになる。新たな第2の基準画像の位置を適切に設定することで、次の要約画像の発見までに第2の基準画像として選択される画像の枚数を減らすことができ、計算量も削減できる。なお、ここでの計算量削減とは、計算量の期待値の削減にとどまるものであり、第1の基準画像の次の要約画像の位置によっては、上述の手法の方が少ない計算量となる可能性は否定できない。以下、変形例の手法を詳細に説明する。 That is, in this modification, until the end condition is satisfied, the second reference image is updated backward in the case of OK, and forward in the case of NG, thereby searching for the next summary image of the first reference image. It will be. By appropriately setting the position of the new second reference image, the number of images selected as the second reference image until the next summary image is found can be reduced, and the amount of calculation can also be reduced. Note that the calculation amount reduction here is only to reduce the expected value of the calculation amount, and depending on the position of the summary image next to the first reference image, the above-described method requires less calculation amount. The possibility cannot be denied. Hereinafter, the method of the modification will be described in detail.
画像処理装置のシステム構成例は図8と同様であり、第2の基準画像選択部1007での第2の基準画像の選択処理(更新処理)が異なる。よって同様の部分については詳細な説明は省略し、異なる点を説明する。
The system configuration example of the image processing apparatus is the same as that in FIG. 8, and the second reference image selection process (update process) in the second reference
入力画像列が入力されたら、基準画像選択部1001は第1の基準画像を選択する。ここでは上述したように入力画像列の先頭の画像(第1の画像)を選択する。なお、入力画像列が画像列取得部200で取得した画像列である場合(最初の第1の基準画像選択処理が行われる場合)において、先頭以外の画像(例えば仮想的な0番目の画像)を第1の基準画像として選択してもよい点は同様であるが、以下では断りがない限り、第1の基準画像は先頭の画像であるものとして説明する。
When the input image sequence is input, the reference
その後第2の基準画像を選択する。ここでは、第2の基準画像の選択対象となる画像に対応する第2の基準画像選択区間(実際には第1の基準画像の次の要約画像を探索する範囲に相当)を設定する。第iの画像〜第jの画像に対応する半開区間[i,j)を第2の基準画像選択区間とし、iを第1の基準画像の次の画像に対応させ(狭義にはi=2)、j=N+2とする。なお、j=N+2としたのは、第1の基準画像として仮想的な第0の画像を設定してもいいように、第2の基準画像として仮想的な第N+1の画像を設定してもよいためである。第2の基準画像が第N+1の画像である場合とは、第1の基準画像だけでその後方の画像全てをカバーでき、第2の基準画像が不要であるか否かを判定する場合に相当する。 Thereafter, the second reference image is selected. Here, a second reference image selection section (actually equivalent to a range for searching for a summary image next to the first reference image) corresponding to an image to be selected for the second reference image is set. The half-open interval [i, j) corresponding to the i-th image to the j-th image is set as the second reference image selection interval, and i is made to correspond to the next image of the first reference image (i = 2 in a narrow sense). ), J = N + 2. Note that j = N + 2 is set even if a virtual N + 1th image is set as the second reference image, so that a virtual 0th image may be set as the first reference image. Because it is good. The case where the second reference image is the (N + 1) th image corresponds to the case where it is possible to cover all the images behind the first reference image alone and determine whether the second reference image is unnecessary. To do.
そして、設定された第2の基準画像選択区間から第2の基準画像を選択する。ここでは効率的に処理を行うために、第2の基準画像を所与の条件に基づいて決定する。まず、第1の基準画像設定後、初めて第2の基準画像が選択される場合には、第2の基準画像として第i+1の画像(狭義には第3の画像)を選択する。この点は第2の実施形態の基本的な手法と同様である。 Then, the second reference image is selected from the set second reference image selection section. Here, in order to perform processing efficiently, the second reference image is determined based on a given condition. First, when the second reference image is selected for the first time after setting the first reference image, the i + 1th image (third image in a narrow sense) is selected as the second reference image. This is the same as the basic method of the second embodiment.
ここまでの処理を図示したものが図13(A)である。ここではN=12の画像列を考えており、第1の基準画像が1番目の画像、第2の基準画像選択区間が2番目の画像〜14番目の画像(i=2,j=14)、第2の基準画像が3番目の画像となっている。 FIG. 13A illustrates the processing so far. Here, N = 12 image sequences are considered, the first reference image is the first image, the second reference image selection section is the second image to the 14th image (i = 2, j = 14). The second reference image is the third image.
第2の基準画像が選択された後の、判定対象画像選択処理、被覆領域(非被覆領域)算出処理、注目領域見逃し可能性判定処理、及び削除可否判定処理、及びこれらの処理の繰り返しについては上述の手法と同様であるため詳細な説明は省略する。 After the second reference image is selected, the determination target image selection process, the covered area (non-covered area) calculation process, the attention area missing possibility determination process, the deletion possibility determination process, and the repetition of these processes Since it is the same as the above-mentioned method, detailed description is abbreviate | omitted.
所与の画像(最初は第3の画像)を第2の基準画像として選択した場合に、その画像がOKであれば、第2の基準画像の位置を第1の基準画像からさらに離してもよいということであるから、新たな第2の基準画像として、現在のものよりも後方の画像を選択する。この考え方自体は第2の実施形態の基本的な手法と同様である。しかし、上述の手法では第2の基準画像を1つずつ後方に移していったが、ここでは2つ以上後方の画像に移行してもよい。 If a given image (initially the third image) is selected as the second reference image and the image is OK, the position of the second reference image can be further separated from the first reference image. Since it is good, an image behind the current one is selected as a new second reference image. This idea itself is the same as the basic method of the second embodiment. However, although the second reference image is moved backward one by one in the above-described method, it may be shifted to two or more backward images here.
一例としては、現在の第2の基準画像が第1の基準画像から数えてa番目の画像である場合に、第1の基準画像から数えて2×a番目の画像を新たな第2の基準画像としてもよい。具体的には図13(B)に示したように、3番目の画像(第1の基準画像から数えて2番目)が第2の基準画像として選択された場合に、当該3番目の画像がOKであれば、次の第2の基準画像は5番目(第1の基準画像から数えて4番目)の画像を選択することになる。 As an example, if the current second reference image is the a-th image counted from the first reference image, the 2 × a-th image counted from the first reference image is replaced with the new second reference image. It may be an image. Specifically, as shown in FIG. 13B, when the third image (second from the first reference image) is selected as the second reference image, the third image is If OK, the next second reference image is selected as the fifth (fourth counted from the first reference image) image.
ところで、q番目の画像がOKならば、q−1番目以前の画像は要約画像列に残される要約画像として選択する必要はない。よって、第2の基準画像として現在位置(q番目)よりも前方の画像を選択するメリットはないため、第2の基準画像選択区間を更新するとよい。具体的には、選択区間の始点iをi=qとすればよい。この変形例では、第2の基準画像は第2の基準画像選択区間から選択されることとしているため、こうすることで現在位置よりも前方の画像を選択することがなくなる。例えば、図13(B)に示したように、3番目の画像がOKである場合、2番目の画像は要約画像とはならないため、選択区間から外してよく、選択区間の始点を3番目の画像に更新する。 By the way, if the q-th image is OK, it is not necessary to select the q−1-th and previous images as the summary images left in the summary image sequence. Therefore, since there is no merit to select an image ahead of the current position (qth) as the second reference image, the second reference image selection section may be updated. Specifically, the starting point i of the selected section may be i = q. In this modification, since the second reference image is selected from the second reference image selection section, this prevents the image ahead of the current position from being selected. For example, as shown in FIG. 13B, when the third image is OK, the second image is not a summary image, so it may be excluded from the selected section, and the start point of the selected section is the third point. Update to an image.
同様に、5番目の画像がOKならば、図13(C)に示したように9番目の画像を新たな第2の基準画像として選択するとともに、第2の基準画像選択区間の始点を5番目の画像に更新する。 Similarly, if the fifth image is OK, the ninth image is selected as a new second reference image as shown in FIG. 13C, and the start point of the second reference image selection section is set to 5. Update to the second image.
しかし、図13(C)において仮に9番目の画像がOKである場合を考えればわかるように、q番目の画像を第2の基準画像として、当該第qの画像がOKの場合に、qの値が大きくなると新たな第2の基準画像が極端に後方になってしまう可能性がある。例えば、N+1番目よりも後方の画像が候補になってしまい第2の基準画像が選択不可となったり、そうでなくても更新前後の第2の基準画像の間隔が広くなりすぎて、次の要約画像の探索が非効率的になったりする。 However, as can be understood by considering the case where the ninth image is OK in FIG. 13C, when the qth image is the second reference image and the qth image is OK, q If the value increases, the new second reference image may become extremely rearward. For example, the image behind N + 1 becomes a candidate and the second reference image cannot be selected, or the interval between the second reference images before and after the update becomes too wide, The search for the summary image becomes inefficient.
そこで、新たな第2の基準画像として現在位置よりも後方の画像を選択する場合に、他の手法を併用してもよい。一例としては新たな第2の基準画像を、(q+j)/2の値に基づいて決定する。例えば9番目の画像がOKの場合、第2の基準画像選択区間の始点が9番目の画像に更新されるため、[9,14)の半開区間となる。つまり、その中央付近の画像を新たな第2の基準画像とすることで、探索範囲の中央を処理対象とすることになる。探索範囲の中央について判定を行うことで探索範囲を半減させていく手法は、広く知られている二分探索に他ならず、二分探索が計算量の面で利点があることもまた広く知られている。本実施形態の第2の基準画像選択区間とは、所与の画像がOKであればそれより前方の画像は全てOKと考えてよく、所与の画像がNGであればその後方の画像は全てNGと考えてよいという性質のものであり、二分探索の手法を適用可能である。つまり、更新前の第2の基準画像と、第2の基準画像選択区間の終点との中間付近から、新たな第2の基準画像を選択することで、効率的な処理が期待できる。 Therefore, when selecting an image behind the current position as a new second reference image, another method may be used in combination. As an example, a new second reference image is determined based on the value of (q + j) / 2. For example, when the 9th image is OK, the start point of the second reference image selection section is updated to the 9th image, and thus the [9, 14) half-open section. That is, by setting the image near the center as a new second reference image, the center of the search range is set as a processing target. The method of halving the search range by determining the center of the search range is not limited to the widely known binary search, and it is also widely known that the binary search has an advantage in terms of computational complexity. Yes. The second reference image selection section of the present embodiment is that if a given image is OK, all images ahead of it may be considered OK, and if a given image is NG, the image behind it is All have the property of being considered NG, and a binary search technique can be applied. In other words, efficient processing can be expected by selecting a new second reference image from the vicinity of the middle between the second reference image before update and the end point of the second reference image selection section.
ここでは、第1の基準画像起点の距離を2倍にしていく手法と、二分探索に対応する手法を併用するものとする。例えば、第qの画像が更新前の第2の基準画像である場合に、次の第2の基準画像として下式(1)を満たす第kの画像とすればよい。ここでmin(a,b)はaとbのうち小さい方を表すものである。
一方、上述したように第qの画像がNGの場合には、OKの場合とは逆に現在位置よりも前方から新たな第2の基準画像を選択することになる。どの程度前方の画像を選択するかは種々の手法により決定可能であるが、例えばここでも二分探索に対応した手法を用いてもよい。この場合、第2の基準画像選択区間の始点が第iの画像であるため、新たな第2の基準画像は、(i+q)/2の値に基づいて決定される。また、第qの画像がNGである以上、第qの画像及びその後方の画像は要約画像として選択されることはない。よって第2の基準画像選択区間の終点を更新してよく、j=qとすればよい。9番目の画像がNGである場合の例を図13(D)に示す。新たな第2の基準画像として7番目の画像が選択されるとともに、第2の基準画像選択区間の終点jがj=9に更新される。 On the other hand, when the q-th image is NG as described above, a new second reference image is selected from the front of the current position, contrary to the case of OK. How much forward image is selected can be determined by various methods. For example, a method corresponding to the binary search may be used here. In this case, since the starting point of the second reference image selection section is the i-th image, a new second reference image is determined based on the value of (i + q) / 2. Further, as long as the qth image is NG, the qth image and the image behind it are not selected as the summary image. Therefore, the end point of the second reference image selection section may be updated, and j = q may be set. FIG. 13D shows an example where the ninth image is NG. The seventh image is selected as a new second reference image, and the end point j of the second reference image selection section is updated to j = 9.
なお、第2の基準画像選択区間が半開区間であるとしたのは、ここでの説明の便宜のためである。つまり、第qの画像がOKの場合は、当該第qの画像は要約画像として選択される可能性を残しているため、第2の基準画像選択区間の始点iをi=qとした場合に、iは第2の基準画像選択区間に含まれているとよい。一方、第qの画像がNGの場合は、当該第qの画像は要約画像として選択されないため、第2の基準画像選択区間の終点jをj=qとした場合に、jは第2の基準画像選択区間に含めないほうがよい。以上のことから、第2の基準画像選択区間を[i,j)としたにすぎず、符号や式の表記次第では開区間や閉区間により第2の基準画像選択区間を表すことに何も問題はない。 Note that the reason why the second reference image selection section is a half-open section is for convenience of explanation here. That is, when the q-th image is OK, there remains a possibility that the q-th image is selected as a summary image. Therefore, when the starting point i of the second reference image selection section is i = q. , I may be included in the second reference image selection section. On the other hand, when the q-th image is NG, the q-th image is not selected as the summary image. Therefore, when the end point j of the second reference image selection section is j = q, j is the second reference image. It is better not to include it in the image selection section. From the above, the second reference image selection section is merely [i, j), and depending on the notation of the sign and the expression, there is nothing to represent the second reference image selection section by an open section or a closed section. No problem.
以上の処理により、第2の基準画像選択区間(狭義には次の要約画像の探索範囲)を狭めていく。次の要約画像とは、第kの画像がOKであり且つ第k+1の画像がNGである場合の第kの画像であるから、OKの画像とNGの画像が隣り合っている箇所が見つかったら処理を終了することになる。上述の例では、終了の直前では二分探索的に処理を行っていくことが想定され、例えば図13(E)のようになる。第iの画像はOKであり、その2つ隣の第jの画像はNGであり、その間の第qの画像が第2の基準画像となっている。この場合、第qの画像がOKであれば図13(F)、NGであれば図13(G)のようになり、どちらにせよ第2の基準画像選択区間の始点と終点が隣り合い、且つ始点に対応する画像がOK、終点に対応する画像がNGとなる。よって、次の要約画像として始点に対応する画像を選択すればよいため、入力画像列に対する探索処理は終了する。 With the above processing, the second reference image selection section (in the narrow sense, the search range of the next summary image) is narrowed. The next summary image is a k-th image when the k-th image is OK and the k + 1-th image is NG. Therefore, when a location where the OK image and the NG image are adjacent to each other is found. Processing will be terminated. In the above example, it is assumed that the process is performed in a binary search immediately before the end, for example, as shown in FIG. The i-th image is OK, the j-th image next to it is NG, and the q-th image between them is the second reference image. In this case, if the q-th image is OK, the image is as shown in FIG. 13F, and if it is NG, the image is as shown in FIG. 13G. In any case, the start point and the end point of the second reference image selection section are adjacent to each other. The image corresponding to the start point is OK, and the image corresponding to the end point is NG. Therefore, since the image corresponding to the start point may be selected as the next summary image, the search process for the input image sequence ends.
次の要約画像が見つかったのであれば、当該画像及びそれ以降の画像からなる部分画像列を入力画像列として設定すればよい点は第2の実施形態の基本的な手法と同様である。よって、部分画像列設定部1008は、第2の基準画像選択区間の始点、及びそれ以降の画像を部分画像列に設定し、当該部分画像列を新たな入力画像列とする。新たな入力画像列が与えられたら、それ以降の処理については同様であるため詳細な説明は省略する。
If the next summary image is found, it is the same as the basic method of the second embodiment in that a partial image sequence including the image and subsequent images may be set as an input image sequence. Therefore, the partial image
図14にこの処理を説明するフローチャートを示す。S301〜S303についてはS201〜S203と同様である。S303で第1の基準画像が選択された後に、第2の基準画像選択区間を設定する(S311)。S303の直後に行われるS311の処理としては、例えば上述したようにi=2,j=N+2を満たす[i,j)の半開区間を設定すればよい。また、後述するようにS304やS308の後にS311の処理が行われる場合には、すでに設定されている第2の基準画像選択区間の更新処理となる。 FIG. 14 shows a flowchart for explaining this process. S301 to S303 are the same as S201 to S203. After the first reference image is selected in S303, a second reference image selection section is set (S311). As the processing of S311 performed immediately after S303, for example, as described above, a half-open section of [i, j) that satisfies i = 2 and j = N + 2 may be set. As will be described later, when the processing of S311 is performed after S304 or S308, the second reference image selection section that has already been set is updated.
S311で第2の基準画像選択区間の設定(或いは更新)処理が行われたら、その始点と終点が隣り合うか(j=i+1を満たすか)の判定を行う(S312)。S312でYesの場合には、図13(F)に示したように第iの画像が、第1の画像の次の要約画像であるとわかった状況であるから、第iの画像及びそれ以降の画像を部分画像列に設定し(S309)、S303に戻る。 When setting (or updating) of the second reference image selection section is performed in S311, it is determined whether the start point and the end point are adjacent to each other (j = i + 1 is satisfied) (S312). In the case of Yes in S312, since the i-th image has been found to be the next summary image of the first image as shown in FIG. 13F, the i-th image and the subsequent images Is set as a partial image sequence (S309), and the process returns to S303.
S312でNoの場合には、まだ次の要約画像が見つかっていない状況であるから、S311で設定した第2の基準画像選択区間から第2の基準画像を選択する(S310)。S303による第1の基準画像設定後、初めてS310の処理が行われる場合には、例えば第i+1の画像(第1の基準画像の2つ後方の画像)を選択すればよい。それ以外の場合には、直前の第2の基準画像の位置に応じて、新たな第2の基準画像を選択する処理を行うことになる。 In the case of No in S312, since the next summary image has not yet been found, the second reference image is selected from the second reference image selection section set in S311 (S310). When the process of S310 is performed for the first time after the setting of the first reference image in S303, for example, an i + 1th image (two images behind the first reference image) may be selected. In other cases, a process of selecting a new second reference image is performed according to the position of the immediately preceding second reference image.
S310で第2の基準画像を選択したら、判定対象画像を選択する(S304)。判定対象画像選択後の変形情報取得処理(S305)、被覆領域算出処理(S306)、注目領域見逃し可能性判定処理(S307)、画像削除可否判定処理(S308)についてはS205〜S208と同様である。S308で削除可能と判定された場合には、S304に戻り判定対象画像を1つ後方の画像に更新し、同様の処理を行う。S304〜S308の処理を繰り返すことで、第1の基準画像と第2の基準画像の間の画像が全て削除可能であるか、或いは少なくとも1つが削除不可であるかの判定が実行される。全て削除可能の場合にはS304の判定で、判定対象画像=第2の基準画像となり、S311に戻る。また、少なくとも1枚の画像が削除不可である場合にはS308の判定で削除不可となりS311に戻る。なお、図14では不図示であるが、S304からS311に戻ったのか、或いはS308からS311に戻ったのかという情報を保持しておき、それに応じて次のS311等での処理を変更する必要がある。 When the second reference image is selected in S310, a determination target image is selected (S304). The deformation information acquisition process (S305), the cover area calculation process (S306), the attention area miss possibility determination process (S307), and the image deletion possibility determination process (S308) after selection of the determination target image are the same as S205 to S208. . If it is determined in S308 that the image can be deleted, the process returns to S304, the determination target image is updated to the next image, and the same processing is performed. By repeating the processes of S304 to S308, it is determined whether all the images between the first reference image and the second reference image can be deleted, or at least one of them cannot be deleted. If all can be deleted, it is determined in S304 that the determination target image is equal to the second reference image, and the process returns to S311. If at least one image cannot be deleted, the determination in S308 indicates that the image cannot be deleted, and the process returns to S311. Although not shown in FIG. 14, it is necessary to retain information indicating whether the process returns from S304 to S311 or whether the process returns from S308 to S311 and the process in the next S311 or the like needs to be changed accordingly. is there.
S304からS311に戻った場合には、全ての画像が削除可能な状況であるため、第2の基準画像選択区間の始点を更新する処理を行い、その結果S310では1つ前の第2の基準画像よりも後方の画像が新たな第2の基準画像として選択される。一方、S308からS311に戻った場合には、少なくとも1枚の画像が削除不可である状況であるため、第2の基準画像選択区間の終点を更新する処理を行い、その結果S310では1つ前の第2の基準画像よりも前方の画像が新たな第2の基準画像として選択される。 When the process returns from S304 to S311, since all images can be deleted, a process of updating the start point of the second reference image selection section is performed. As a result, in S310, the previous second reference An image behind the image is selected as a new second reference image. On the other hand, when returning from S308 to S311, since at least one image cannot be deleted, a process of updating the end point of the second reference image selection section is performed. An image ahead of the second reference image is selected as a new second reference image.
以上の変形例では、第1〜第Nの画像からなる入力画像列から、第pの画像が第1の基準画像として選択され、第qの画像を第2の基準画像として選択する場合に、処理部100は、第p+2〜第Nの画像に対応する始点及び終点が設定された第2の基準画像選択区間から第2の基準画像を選択する。そして、第1の基準画像と判定対象画像の間の変形情報を用いた処理、第2の基準画像と判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、判定対象画像の削除可否の判定を行う。第p+1〜第q−1の画像が削除可能と判定された場合には、第2の基準画像選択区間に含まれる第x(xはx>qを満たす整数)の画像を新たな第2の基準画像として選択する。また、それとともに、第2の基準画像選択区間の始点を第qの画像に更新してもよい。
In the above modification, when the pth image is selected as the first reference image and the qth image is selected as the second reference image from the input image sequence including the first to Nth images, The
ここで、第2の基準画像選択区間は、第2の基準画像の候補となる画像という性質を鑑みれば、第p+2〜第Nの画像を含むことになる。ただし、第2の基準画像として第N+1の画像のように仮想的な画像を選択してもよいため、第2の基準画像選択区間の終点がNより大きくなってもよい。また、第2の基準画像選択区間には次の要約画像の探索範囲という側面もあるため、第2の基準画像として選択されない画像であっても、要約画像として選択されうる画像は当該選択区間に含まれるものとしてもよい。その場合第2の基準画像選択区間の始点として第1の基準画像の1つ後方の画像(第p+1の画像)を設定してもよいことになる。 Here, the second reference image selection section includes the (p + 2) th to Nth images in view of the property of being an image that is a candidate for the second reference image. However, since a virtual image such as the (N + 1) th image may be selected as the second reference image, the end point of the second reference image selection section may be larger than N. In addition, since the second reference image selection section also has an aspect of a search range for the next summary image, an image that can be selected as a summary image is included in the selection section even if the image is not selected as the second reference image. It may be included. In that case, an image (p + 1-th image) one behind the first reference image may be set as the starting point of the second reference image selection section.
これにより、第2の基準画像を更新する際に、新たな第2の基準画像の位置を柔軟に決定することが可能になる。第2の実施形態の基本的な手法は、言うなれば探索範囲を先頭から1つずつチェックして、探索範囲を減らしていく手法であるため、正解の位置によっては計算量が非常に多くなってしまう。その点、隣り合わない画像も新たな第2の基準画像として選択可能にすることで、一単位の判定(第qの画像がOKかNGかという判定)により探索範囲を大きく減らすことができる。よって、計算量の削減効果が期待でき、システムに対する負荷を軽減したり、処理時間を短縮したりすることが可能になる。 Thereby, when the second reference image is updated, the position of a new second reference image can be determined flexibly. In other words, the basic method of the second embodiment is a method of checking the search range one by one from the top and reducing the search range, so that the amount of calculation becomes very large depending on the position of the correct answer. End up. In that respect, by making it possible to select images that are not adjacent to each other as a new second reference image, the search range can be greatly reduced by one unit of determination (determination of whether the qth image is OK or NG). Therefore, an effect of reducing the amount of calculation can be expected, and the load on the system can be reduced and the processing time can be shortened.
また、処理部100は、第p+1〜第q−1の画像のうち少なくとも1つが削除不可と判定された場合には、第2の基準画像選択区間に含まれる第y(yはy<qを満たす整数)の画像を新たな第2の基準画像として選択してもよい。それとともに、第2の基準画像選択区間の終点を第qの画像に更新する。
In addition, when it is determined that at least one of the p + 1 to q−1th images cannot be deleted, the
これにより、第2の基準画像を更新する際に、現在の第2の基準画像よりも前方の画像を、新たな第2の基準画像として選択することが可能になる。上述したように、後方への探索が隣り合う画像を選択するものに限定されない以上、現在の第2の基準画像よりも前方に未探索範囲が残っていることがありえ、削除可否の判定結果によっては当該未探索範囲に正解があるということが考えられる。その場合には、前方への探索を行うことで適切な処理を行うことが可能になる。また、後方への探索と同様に、新たな第2の基準画像の選択は隣り合う画像に限定されない。 As a result, when the second reference image is updated, an image ahead of the current second reference image can be selected as a new second reference image. As described above, as long as the backward search is not limited to selecting adjacent images, an unsearched range may remain ahead of the current second reference image. Can be considered that there is a correct answer in the unsearched range. In that case, it is possible to perform appropriate processing by performing a forward search. Further, as in the backward search, selection of a new second reference image is not limited to adjacent images.
また、処理部100は、第j(jは整数)の画像が第2の基準画像選択区間の終点に対応する場合に、(q+j)/2の値に基づいてxの値を設定してもよい。或いは、第i(iは整数)の画像が第2の基準画像選択区間の始点に対応する場合に、(i+q)/2の値に基づいてyの値を設定してもよい。
Further, the
これにより、新たな第2の基準画像を選択するに当たって、二分探索の手法を用いることが可能になる。後方への探索の場合には、現在の第2の基準画像と終点との中間となる画像を選択し、前方への探索の場合には、現在の第2の基準画像と始点との中間となる画像を選択することになる。よって、探索範囲(第2の基準画像選択区間の長さに相当)を半減させていくことが可能になり、第2の基準画像としてlogN枚の画像を選択すれば、全探索範囲の探索が終了することが期待される。よって、計算量のオーダーはN×logNに抑えることができ、Nが非常に大きい場合には第2の実施形態の基本的な手法(計算量のオーダーはN2)に比べて計算量の削減効果が大きい。なお、(q+j)/2及び(i+q)/2は整数になるとは限らないため、それぞれの値に対応する画像が存在しない場合もある。その際には、例えば(q+j)/2を超えない最大の整数、或いはそれより1大きい整数等を考えればよい。 This makes it possible to use a binary search method in selecting a new second reference image. In the case of a backward search, an image that is intermediate between the current second reference image and the end point is selected, and in the case of a forward search, an intermediate between the current second reference image and the start point is selected. Will be selected. Therefore, the search range (corresponding to the length of the second reference image selection section) can be halved. If logN images are selected as the second reference image, the entire search range can be searched. Expected to end. Therefore, the order of the calculation amount can be suppressed to N × logN, and when N is very large, the calculation amount is reduced as compared with the basic method of the second embodiment (the order of calculation amount is N 2 ). Great effect. Since (q + j) / 2 and (i + q) / 2 are not necessarily integers, there may be cases where there is no image corresponding to each value. In that case, for example, a maximum integer not exceeding (q + j) / 2, or an integer larger by 1 may be considered.
また、処理部100は、第2の基準画像選択区間の始点又は終点を更新した結果、始点と終点が隣り合う場合に、第1の基準画像として選択された画像を、要約画像列に含める処理を行ってもよい。また、始点に対応する画像、及び始点に対応する画像よりも入力画像列において後方の画像からなる部分画像列を入力画像列として設定し、設定された入力画像列に対して、pの値を1に設定して再度処理を行ってもよい。
In addition, the
ここで、始点と終点が隣り合うとは、始点に対応する画像と終点に対応する画像が、入力画像列において隣り合うことを表す。入力画像列としてN枚の画像が与えられた場合には、入力画像列は時系列的に或いは空間的に連続する画像の集合であることが想定されているため、その連続性から画像列の前方、後方を定義することができる。例えば時系列的に早い時刻に取得された画像は、それより遅い時刻に取得された画像よりも前方の画像となる。具体的には、入力画像列の各画像を第1〜第Nの画像として表し、振られた数値が小さい画像ほど前方にあるものとする。よって、画像列中の第iの画像と第j(>i)の画像が隣り合うとは、j=i+1を満たす状況を指す。 Here, that the start point and the end point are adjacent indicates that the image corresponding to the start point and the image corresponding to the end point are adjacent in the input image sequence. When N images are given as an input image sequence, it is assumed that the input image sequence is a set of images that are continuous in time series or spatially. You can define forward and backward. For example, an image acquired at an earlier time in time series is an image ahead of an image acquired at a later time. Specifically, each image in the input image sequence is represented as first to Nth images, and an image with a smaller shaken numerical value is assumed to be in front. Therefore, the i-th image and the j-th (> i) image in the image sequence are adjacent to each other in a situation where j = i + 1 is satisfied.
これにより、入力画像列に対する処理の終了条件として、第2の基準画像選択区間の始点、終点(或いは長さ)に基づく条件を設定することが可能になる。このような終了条件を設定することで、第2の基準画像として選択された場合にOKと判定される画像群のうち、第1の基準画像から最も離れていると予想される画像を、部分画像列の先頭画像(次の要約画像に相当)として選択することができる。なぜなら、図13(F)等に示したように、この終了条件とはOKの画像とNGの画像が隣り合う位置を探索することに等しいためである。そのため、最終的に出力される要約画像列に含まれる要約画像の枚数を少なくすることができ、ユーザの負担軽減等が可能になる。 This makes it possible to set a condition based on the start point and end point (or length) of the second reference image selection section as the process end condition for the input image sequence. By setting such an end condition, an image that is predicted to be the farthest from the first reference image in the image group determined to be OK when selected as the second reference image It can be selected as the first image (corresponding to the next summary image) of the image sequence. This is because, as shown in FIG. 13F and the like, this end condition is equivalent to searching for a position where an OK image and an NG image are adjacent to each other. Therefore, the number of summary images included in the finally output summary image sequence can be reduced, and the burden on the user can be reduced.
3.3 変形例(第2の基準画像の初期設定)
以上の第2の実施形態及びその変形例では、入力画像列(画像列取得部200が取得した画像列でもよいし、その一部の画像からなる部分画像列であってもよい)が入力された場合、最初に設定される第2の基準画像は、第1の基準画像の2つ後方の画像に限定されていた。
3.3 Modification (Initial setting of second reference image)
In the above second embodiment and its modifications, an input image sequence (which may be an image sequence acquired by the image
しかし、第2の基準画像の初期位置は異なるものであってもよい。例えば、実際の画像列では似たような画像が長く続く区間と、似たような画像があまりない区間が隣り合うことは多くない。つまり、次回の要約区間の長さ(隣り合う要約画像がどれだけ離れているかを表す)は、前回の要約区間の長さに近いことが予測される。よって、すでに要約画像が複数得られており、「前回の要約区間の長さ」に相当する情報が取得されているのであれば、第2の基準画像の初期位置を、第1の基準画像から「前回の要約区間の長さ」だけ離れた位置に設定することで、より早く正解に到達することが期待されることになり、計算量の削減効果も期待できる。 However, the initial position of the second reference image may be different. For example, in an actual image sequence, a section in which similar images continue for a long time and a section in which there are not many similar images are not often adjacent. In other words, the length of the next summary section (representing how far the adjacent summary images are separated) is predicted to be close to the length of the previous summary section. Therefore, if a plurality of summary images have already been obtained and information corresponding to “the length of the previous summary section” has been acquired, the initial position of the second reference image is determined from the first reference image. By setting it at a position separated by “the length of the previous summary section”, it is expected that the correct answer will be reached sooner, and a reduction in the amount of calculation can also be expected.
具体的には、直前の要約画像及びその1つ前の要約画像から、要約区間の長さgを取得しておく。そして、第2の基準画像選択区間が[i,j)である場合に、第2の基準画像を第i+1の画像ではなく、第i+gの画像に設定すればよい。なお、すでに決定している要約画像が0枚又は1枚の場合にはgを取得することができない。この場合には、gを用いずに第2の基準画像の初期位置を設定することになる。例えば、要約画像が0枚であれば、上述してきたように第2の基準画像を第i+1の画像にしてもよい。また、要約画像が1枚の場合には、画像列取得部200が取得した画像列の先頭の画像から、当該要約画像までの長さをg’とし、最初の第2の基準画像を第i+g’の画像としてもよい。
Specifically, the length g of the summary section is acquired from the immediately preceding summary image and the previous summary image. Then, when the second reference image selection section is [i, j), the second reference image may be set to the i + g image instead of the i + 1th image. Note that g cannot be acquired when the number of summary images already determined is zero or one. In this case, the initial position of the second reference image is set without using g. For example, if there are no summary images, the second reference image may be the (i + 1) th image as described above. If there is one summary image, the length from the first image in the image sequence acquired by the image
なお、第2の基準画像の更新処理が必要になった場合、その更新手法は種々の手法が考えられる。例えば、上述した変形例のように二分探索の手法を用いて次の第2の基準画像を選択してもよい。 Note that when the second reference image needs to be updated, various updating methods can be considered. For example, the next second reference image may be selected using a binary search method as in the above-described modification.
しかし、第i+gの画像付近に次の要約画像がある可能性が高いという仮定を鑑みれば、更新後の第2の基準画像が第i+gの画像から大きく離れることは、次の要約画像発見までの探索回数を増大させかねず、かえって好ましくないと考えることもできる。その場合には、第2の実施形態の基本的な手法として述べたように、前回の第2の基準画像と隣り合う画像を新たな第2の基準画像として選択してもよい。ただし、第i+1〜第i+g−1の画像について判定が行われていない以上、その範囲に次の要約画像がある可能性もある。よって、第2の基準画像の更新は1つずつ後方に移行させるものに限定されず、削除可否の判定結果次第では1つずつ前方に移行させる場合もあり得る。 However, in view of the assumption that there is a high possibility that the next summary image is likely to be in the vicinity of the i + g image, the fact that the updated second reference image is far away from the i + g image is until the next summary image is found. It may increase the number of searches and may be considered undesirable. In that case, as described as the basic method of the second embodiment, an image adjacent to the previous second reference image may be selected as a new second reference image. However, as long as the determination is not made for the (i + 1) -th to i + g-1 images, there is a possibility that the next summary image exists in the range. Therefore, the update of the second reference image is not limited to moving backward one by one, and may be shifted forward one by one depending on the determination result of deletion availability.
4.第3の実施形態
次に、基準画像と判定対象画像が選択された後に行われる、判定対象画像の削除可否判定の変形例について説明する。なお、本実施形態においては被覆領域や非被覆領域を必ずしも求めるものではないが、基準画像により被覆されない領域(非被覆領域に相当)に注目領域が完全に収まってしまうか否かに基づいて、削除可否判定を行う点では同一である。
4). Third Embodiment Next, a modification of determining whether or not a determination target image can be deleted, which is performed after the reference image and the determination target image are selected, will be described. In the present embodiment, the covering region and the non-covering region are not necessarily obtained, but based on whether or not the attention region completely fits in the region not covered by the reference image (corresponding to the non-covering region), It is the same in that the deletion permission / inhibition determination is performed.
図15に本実施形態における画像処理装置のシステム構成例を示す。図4の処理部100に対して要被覆領域生成部1011と、要被覆領域包含判定部1012が追加された構成となっている。
FIG. 15 shows a system configuration example of the image processing apparatus in the present embodiment. The
要被覆領域生成部1011は、判定対象画像と構造要素に基づいて、要被覆領域を生成する。要被覆領域包含判定部1012は、生成された要被覆領域が基準画像に包含されるか否かを判定する。要被覆領域生成部1011と、要被覆領域包含判定部1012での処理の詳細は後述する。また、本実施形態の注目領域見逃し可能性判定部1013は、要被覆領域と基準画像との包含関係に基づいて、注目領域の見逃し可能性を判定する。
The required coverage
以下、処理の詳細について説明する。本実施形態では、判定対象画像全体に対して構造要素による収縮処理を行って削除可否判定を行う。具体的には、図16(A)、図16(B)に示したように判定対象画像に対して注目領域に対応する構造要素による収縮処理を行い、残った領域を要被覆領域とする。構造要素を円形状とすれば、判定対象画像の境界(外周)を中心とする円を描き、当該円と判定対象画像との重複領域を削除し、残った領域が要被覆領域となる。 Details of the processing will be described below. In the present embodiment, the deletion permission / inhibition determination is performed by performing a contraction process using a structural element on the entire determination target image. Specifically, as shown in FIG. 16A and FIG. 16B, contraction processing is performed on the determination target image using a structural element corresponding to the attention area, and the remaining area is set as a covering area. If the structural element is circular, a circle centered on the boundary (periphery) of the determination target image is drawn, an overlapping area between the circle and the determination target image is deleted, and the remaining area becomes a required covering area.
ここで本実施形態では、収縮処理により削られる領域を、注目領域を完全に含むことがないという条件を満たすように設定する。この条件下では、削られた領域には注目領域が完全に収まってしまうことがないため、基準画像により当該削られた領域がカバーされる必要はない。逆に言えば、削られずに残った要被覆領域とは、基準画像により被覆されることが求められる領域と言うことになる。 Here, in the present embodiment, the region to be cut by the contraction process is set so as to satisfy the condition that the region of interest is not completely included. Under this condition, the attention area does not completely fit into the trimmed area, and therefore it is not necessary to cover the trimmed area with the reference image. In other words, the area that needs to be covered without being cut is an area that is required to be covered with the reference image.
つまり、基準画像と判定対象画像の間の変形情報に基づいて、基準画像と要被覆領域との比較処理を行い、基準画像により要被覆領域がカバーされている場合には、判定対象画像は削除可能であると判定し、基準画像により要被覆領域がカバーされていない場合には、判定対象画像は削除不可であると判定すればよい。 In other words, based on the deformation information between the reference image and the determination target image, the reference image is compared with the coverage area, and if the coverage area is covered by the reference image, the determination target image is deleted. If it is determined that the area to be covered is not covered by the reference image, it may be determined that the determination target image cannot be deleted.
ただし、収縮処理により削られる領域は、上記条件を満たすもののうち最大のものを設定することが望ましい。極端な例として、収縮処理により削られる領域が発生しない(収縮処理を行わない、或いは構造要素として大きさを持たない理想的な点を設定する等の場合に相当)場合を考える。このようにすれば、削られる領域が無い以上、削られた領域内に注目領域が完全に収まってしまうことがないという条件は満たす。しかし、判定対象画像全体が要被覆領域となるため、基準画像により判定対象画像全体が被覆されている(被覆率で言えば100%の場合)にしか判定対象画像を削除可能とすることができない。そのため、画像要約処理による画像枚数の削減効果が著しく低下し、画像要約処理の本来の目的を達成することが困難となる。つまり、画像枚数を効果的に削減するためには、削除可能と判定される可能性を高くするべきであり、本実施形態であれば、判定対象画像を削除した場合にも、基準画像上には注目領域の少なくとも一部が撮像されているという条件を満たす状況では、判定対象画像を高確率で(狭義には必ず)削除可能と判定するとよい。そのためには、上述したように収縮処理により削られる領域は条件を満たすものの中で最大となる領域を設定するとよく、基本的には構造要素のサイズを可能な限り大きくすることで実現される。 However, it is desirable to set the maximum area to be cut by the shrinking process among those satisfying the above conditions. As an extreme example, let us consider a case in which a region to be cut by the shrinking process does not occur (corresponding to the case where the shrinking process is not performed or an ideal point having no size as a structural element is set). In this way, as long as there is no area to be cut, the condition that the attention area does not completely fall within the cut area is satisfied. However, since the entire determination target image is a covering area, the determination target image can be deleted only when the entire determination target image is covered by the reference image (in the case of 100% coverage). . For this reason, the effect of reducing the number of images by the image summarization process is remarkably reduced, and it is difficult to achieve the original purpose of the image summarization process. That is, in order to effectively reduce the number of images, the possibility of being determined to be deleteable should be increased. In this embodiment, even when the determination target image is deleted, the reference image is displayed. In a situation where at least a part of the region of interest is imaged, it is better to determine that the determination target image can be deleted with a high probability (in the narrow sense, always). For this purpose, as described above, the area to be cut by the shrinking process may be set to the maximum area among the conditions satisfying the condition, and is basically realized by increasing the size of the structural element as much as possible.
なお、第1の実施形態では、構造要素による収縮処理の対象は非被覆領域であり、残留領域の有無により当該非被覆領域に注目領域に対応する領域が完全に収まってしまうか否かを判定していた。しかし本実施形態では、収縮処理の対象は判定対象画像全体であり、判定対象画像に注目領域全体が収まるということは、通常の観察時には当然のことである(撮像倍率の設定等によっては異なることもあるが、ここでは考慮しない)。よって、本実施形態では残留領域があるということはごく当たり前のことであり、残留領域の有無による判定に意味はない。なお、この処理上の差異は、第1の実施形態では、注目領域が完全に収まってしまうか否かの判定対象となる領域に対して収縮処理を個なっていたのに対して、本実施形態では収縮処理により削られた領域に注目領域が完全に収まってしまわないようにする、という違いに起因する。 In the first embodiment, the target of shrinkage processing by the structural element is an uncovered region, and it is determined whether or not the region corresponding to the attention region is completely contained in the uncovered region based on the presence or absence of the remaining region. Was. However, in the present embodiment, the target of the shrinkage process is the entire determination target image, and the fact that the entire region of interest fits in the determination target image is natural during normal observation (depending on the setting of the imaging magnification, etc.) Are not considered here). Therefore, in this embodiment, it is natural that there is a remaining area, and there is no meaning in the determination based on the presence or absence of the remaining area. This difference in processing is different from that in the first embodiment in which the contraction process is performed for the region to be determined whether or not the region of interest completely fits. This is due to the difference that the region of interest does not completely fit into the region cut by the shrinking process.
この違いにより、本実施形態では注目領域に基づく構造要素の設定手法が第1の実施形態とは異なるものになる。第1の実施形態では、円形状の注目領域から矩形状の構造要素を設定する等の形状変更処理はあり得るものの、基本的には注目領域と同等のサイズ(狭義には同一のサイズ及び形状)の構造要素を設定していた。しかし、図16(B)に示したように、半径rの円を構造要素とし、その基準点を円の中心とした場合、収縮処理により削られる領域は、収縮処理の対象領域の境界(本実施形態では判定対象画像の境界)から距離r以下の領域となる。つまり、注目領域としてR=rを満たす半径Rの円を考えた場合、図16(B)の収縮処理で削られる領域は、当該領域に注目領域が完全に収まってしまうことがない、という条件は満たすものの、そのうちの最大の領域に比べると面積は小さいものとなる(言い換えれば、より大きい領域を削ったとしても上記条件は満たされる)。そのため、第1の実施形態と同様の構造要素を設定した場合には、上述したように画像要約処理での画像枚数の削減効果が低くなってしまう。 Due to this difference, the structure element setting method based on the region of interest in this embodiment is different from that in the first embodiment. In the first embodiment, there can be a shape change process such as setting a rectangular structural element from a circular attention area, but basically the same size as the attention area (in the narrow sense, the same size and shape). ) Was set. However, as shown in FIG. 16B, when a circle having a radius r is a structural element and the reference point is the center of the circle, the area to be cut by the shrinking process is the boundary (the main area of the target area of the shrinking process). In the embodiment, the region is a distance r or less from the boundary of the determination target image. That is, when a circle with a radius R satisfying R = r is considered as the attention area, the condition that the attention area does not completely fit in the area to be cut by the contraction process in FIG. Is satisfied, but the area is smaller than the largest region (in other words, the above condition is satisfied even if a larger region is cut). For this reason, when the same structural elements as those in the first embodiment are set, the effect of reducing the number of images in the image summarization process is reduced as described above.
よって、本実施形態では第1の実施形態とは異なり、注目領域のサイズに比べて大きいサイズの構造要素を設定するとよい。例えば、構造要素として半径rの円を考え、その基準点を円の中心とした場合、収縮処理では判定対象画像の境界から距離r以内の範囲が削除される。よって、単純に考えれば、削除される範囲に完全に収まってしまう円とは半径がr/2となる。つまり、注目領域を半径Rの円とすれば、注目領域が削られる領域に完全に収まらない条件とは、R≧r/2を満たすこととなる。このことから、構造要素の半径rはr≦2Rとなり、例えば等号の成り立つ、r=2Rの円を構造要素として用いればよい。同様に、注目領域が一辺Lの正方形であれば、構造要素は一辺2Lの正方形とすればよい。つまり、基本的には注目領域の倍(面積ではなく、直径や最大径での比較)の構造要素を用いればよいことになる。 Therefore, in the present embodiment, unlike the first embodiment, a structural element having a size larger than the size of the region of interest may be set. For example, when a circle with a radius r is considered as the structural element and the reference point is the center of the circle, the range within the distance r from the boundary of the determination target image is deleted in the contraction process. Therefore, if considered simply, the radius that is completely within the deleted range is r / 2. That is, if the region of interest is a circle with a radius R, the condition that the region of interest does not completely fit in the region to be cut will satisfy R ≧ r / 2. From this, the radius r of the structural element is r ≦ 2R, and for example, a circle of r = 2R where the equal sign holds may be used as the structural element. Similarly, if the region of interest is a square with a side L, the structural element may be a square with a side 2L. That is, basically, a structural element twice as large as the region of interest (comparison with the diameter and the maximum diameter, not the area) may be used.
なお、判定対象画像や構造要素の形状によっては、上記の設定では削除可否判定の精度が低下する(見逃し可能性があるのに削除可能と判定してしまう)場合もありえる。その場合、精度を高めようとすると、構造要素のサイズは判定対象画像等の形状に応じて設定する必要があり、その設定処理の負荷が大きくなってしまう可能性もある。よって、本実施形態の手法を、第1の実施形態の手法に比べて、簡易的であり処理負荷の軽いものとして用いる(つまり、ある程度の精度低下を許容する)のであれば、判定対象画像等の形状によらず、注目領域の倍の構造要素を設定すればよい。 Depending on the determination target image and the shape of the structural element, the above-described setting may reduce the accuracy of the determination as to whether or not deletion is possible (determined that deletion is possible although there is a possibility of oversight). In that case, if the accuracy is to be increased, the size of the structural element needs to be set according to the shape of the determination target image or the like, which may increase the load of the setting process. Therefore, if the method of the present embodiment is used as a simpler and lighter processing load than the method of the first embodiment (that is, a certain degree of accuracy is allowed to be reduced), the determination target image, etc. Regardless of the shape, a structural element that is twice the area of interest may be set.
ただし、判定対象画像等の形状に応じて、適切な構造要素のサイズを決定してもよい。具体例を図16(A)〜図16(C)を用いて説明する。図16(A)、図16(B)のように四角形の判定対象画像に対して、半径rの円形状の構造要素で収縮処理を行った場合、判定対象画像の周縁部分が削られることになる。この場合、削られる領域に収まる最大の円の半径を厳密に考えると、図16(C)に示したように判定対象画像の四隅部分において最大となり、下式(2)を満たす必要がある。
つまり、注目領域が半径Rの円である場合には、構造要素として円形状を用いるのであれば、その半径rは下式(3)を満たす必要があり、狭義には等号が成り立つrを半径として用いればよい。
また、基準画像と要被覆領域との比較処理については、第1の実施形態で被覆領域を求めた処理と同様に、変形情報に基づく変形処理を行えばよい。例えば、図17(A)に示したように、要被覆領域を変形して基準画像に射影してもよい。この場合、変形後の要被覆領域が基準画像に含まれていれば、当該要被覆領域は基準画像によりカバーされていることになり、この場合の判定対象画像は削除可能となる。逆に、変形後の要被覆領域の少なくとも一部が基準画像に含まれない場合には、当該要被覆領域は基準画像によりカバーされていないことになり、この場合の判定対象画像は削除不可となる。 In addition, as for the comparison process between the reference image and the required coverage area, a deformation process based on the deformation information may be performed in the same manner as the process for obtaining the coverage area in the first embodiment. For example, as shown in FIG. 17A, the covering area may be deformed and projected onto the reference image. In this case, if the covered area after deformation is included in the reference image, the covered area is covered by the reference image, and the determination target image in this case can be deleted. Conversely, when at least a part of the required coverage area after deformation is not included in the reference image, the required coverage area is not covered by the reference image, and the determination target image in this case cannot be deleted. Become.
また、図17(B)に示したように、基準画像と要被覆領域との比較処理は基準画像側を変形してもよい。つまり、基準画像を変形情報に基づいて変形し、判定対象画像に射影する。変形後の基準画像は第1の実施形態での被覆領域に相当するものであり、要被覆領域が被覆領域に含まれていれば、判定対象画像は削除可能であり、要被覆領域の少なくとも一部が被覆領域に含まれていなければ、判定対象画像は削除不可となる。 In addition, as shown in FIG. 17B, the reference image side may be modified in the comparison process between the reference image and the area requiring coverage. That is, the reference image is deformed based on the deformation information and projected onto the determination target image. The deformed reference image corresponds to the covering area in the first embodiment. If the covering area is included in the covering area, the determination target image can be deleted, and at least one of the covering areas is required. If the portion is not included in the covering area, the determination target image cannot be deleted.
図18に本実施形態の処理を説明するフローチャートを示す。この処理のS401〜S405については、図5のS101〜S105と同様であるため詳細な説明は省略する。S405の後、S402で生成した構造要素に基づいて要被覆領域を生成する(S410)。具体的には、図16(A)、図16(B)のように判定対象画像に対して構造要素による収縮処理を行い、残存した領域を要被覆領域とすればよい。そして、要被覆領域が基準画像に包含されるかの判定を行う(S411)。具体的には、図17(A)に示したように、要被覆領域を変形情報により変形し、変形後の要被覆領域と基準画像を比較してもよいし、図17(B)に示したように基準画像を変形情報により変形し、要被覆領域と変形後の基準画像を比較してもよい。 FIG. 18 shows a flowchart for explaining the processing of this embodiment. Since S401 to S405 of this process are the same as S101 to S105 of FIG. 5, detailed description thereof is omitted. After S405, a covering area is generated based on the structural element generated in S402 (S410). Specifically, as shown in FIGS. 16A and 16B, a contraction process using a structural element may be performed on the determination target image, and the remaining area may be set as a required covering area. Then, it is determined whether the covering area is included in the reference image (S411). Specifically, as shown in FIG. 17A, the required coverage area may be deformed based on the deformation information, and the deformable coverage area may be compared with the reference image, as shown in FIG. As described above, the reference image may be deformed based on the deformation information, and the covering required area may be compared with the deformed reference image.
その後、注目領域見逃し可能性判定処理(S407)として、S411で要被覆領域が基準画像に包含されていると判定されたか否かに基づいて、見逃し可能性の有無を判定する。S408、S409については、図5のS108、S109と同様である。 After that, as attention area missing possibility determination processing (S407), the presence / absence of possibility of missing is determined based on whether it is determined in S411 that the required coverage area is included in the reference image. S408 and S409 are the same as S108 and S109 in FIG.
以上の本実施形態では、処理部100は、構造要素を用いた処理として、判定対象画像に対して構造要素による収縮処理を行って要被覆領域を求める処理を行ってもよい。そして、求めた要被覆領域、及び変形情報に基づいて、判定対象画像の削除可否判定を行う。
In the present embodiment described above, the
これにより、簡易的に注目領域の見逃し可能性を判定することが可能になる。画像列に含まれる複数の画像は、そのサイズや形状が変化することは少ない(狭義には全ての画像が同一のサイズ、形状となる)ことが想定されるため、判定対象画像についてもサイズや形状が同一のものが多いと考えられる。同一のサイズ、形状を有する複数の画像(領域)に対して、同一の構造要素による収縮処理を行った場合、収縮処理後の領域は同一のものとなる。つまり、複数の判定対象画像のサイズや形状が同一であれば、各判定対象画像から求められる要被覆領域は同一となるはずであり、全ての判定対象画像に対して構造要素による収縮処理を行う必要性は低い。よって、最初に一回要被覆領域を求める処理を行ったら、同一のサイズ、形状である判定対象画像については、その結果をそのまま用いればよいため、処理負荷を軽減することが可能になる。さらには、判定対象画像は単純な形状(例えば四角形や円形状等)であることが想定されるため、第1の実施形態での非被覆領域に対する収縮処理に比べて処理が容易である。なお、構造要素のサイズは注目領域のサイズの2倍を設定することが想定されるが、図16(C)のようにr=2Rでは注目領域の見逃しが発生するケースもあり得る点には注意が必要である。よって、状況に応じて処理を変更するとよく、ある程度の見逃しを許容し、処理負荷の軽減を重視する状況では、判定対象画像や注目領域の形状によらず、構造要素のサイズは注目領域のサイズの2倍であるものとすることで処理負荷のさらなる軽減が図れる。また、見逃し可能性の抑止を重視するのであれば、判定対象画像や注目領域の形状に応じて、注目領域のサイズに対する構造要素のサイズの比率を決定するとよい。 This makes it possible to easily determine the possibility of missing the attention area. The multiple images included in the image sequence are unlikely to change in size or shape (in the narrow sense, all images have the same size and shape). Many of them have the same shape. When a shrinking process using the same structural element is performed on a plurality of images (areas) having the same size and shape, the areas after the shrinking process are the same. In other words, if the sizes and shapes of the plurality of determination target images are the same, the required coverage area obtained from each determination target image should be the same, and the contraction process using the structural element is performed on all the determination target images. The need is low. Therefore, when the process for obtaining the required coverage area is performed once, the determination target images having the same size and shape can be used as they are, so that the processing load can be reduced. Furthermore, since the determination target image is assumed to have a simple shape (for example, a square shape or a circular shape), the processing is easier than the contraction processing for the uncovered region in the first embodiment. It is assumed that the size of the structural element is set to be twice the size of the region of interest, but there is a possibility that the region of interest may be overlooked when r = 2R as shown in FIG. Caution must be taken. Therefore, it is better to change the process according to the situation, and in a situation where a certain degree of oversight is allowed and reduction of processing load is important, the size of the structural element is the size of the attention area regardless of the judgment target image or the shape of the attention area. Further reduction of the processing load can be achieved by assuming that it is twice as large. Also, if importance is placed on suppression of the possibility of overlooking, the ratio of the size of the structural element to the size of the attention area may be determined according to the determination target image and the shape of the attention area.
また、処理部100は、変形情報を用いた処理として、基準画像と判定対象画像の間の変形情報に基づいて、要被覆領域を変形する処理を行ってもよい。そして、処理部100は、変形後の要被覆領域が基準画像に含まれる場合に、判定対象画像が削除可能であると判定してもよい。
Moreover, the
或いは、処理部100は、変形情報を用いた処理として、基準画像と判定対象画像の間の変形情報に基づいて、基準画像を変形する処理を行ってもよい。そして、処理部100は、要被覆領域が変形後の基準画像に含まれる場合に、判定対象画像が削除可能であると判定してもよい。
Or the
これにより、図17(A)又は図17(B)に示した包含判定が可能になる。ここでの要被覆領域とは、基準画像により被覆されることが求められる領域であるところ、判定対象画像(つまり要被覆領域も)は基準画像に対して変形が生じていることが一般的であるから、基準画像及び要被覆領域との比較処理はその少なくとも一方を変形情報に基づいて変形する必要がある。 Thereby, the inclusion determination shown in FIG. 17A or FIG. 17B becomes possible. The required coverage area here is an area that is required to be covered with the reference image, and the determination target image (that is, the required coverage area) is generally deformed with respect to the reference image. For this reason, at least one of the comparison processing with the reference image and the area requiring coverage needs to be deformed based on the deformation information.
なお、入力画像列において基準画像と判定対象画像の間に中間画像が存在する場合には、基準画像と中間画像の間の変形情報に基づいて基準画像を変形するとともに、判定対象画像と中間画像の間の変形情報に基づいて要被覆領域を変形し、変形後の基準画像と、変形後の要被覆領域の包含判定を行うことで削除可否判定を行ってもよい。ただし、処理負荷等を考慮すれば、基準画像と要被覆領域のいずれか一方を変形する手法を用いることが望ましい。 When an intermediate image exists between the reference image and the determination target image in the input image sequence, the reference image is deformed based on deformation information between the reference image and the intermediate image, and the determination target image and the intermediate image It is also possible to determine whether or not deletion is possible by deforming the required coverage area based on the deformation information between the two and determining whether or not to include the deformed reference image and the required coverage area after deformation. However, in consideration of the processing load and the like, it is desirable to use a method of deforming either the reference image or the area requiring coverage.
5.第4の実施形態
また、構造要素による収縮処理を行わずに、判定対象画像の削除判定処理(つまり、非被覆領域に注目領域が完全に収まってしまうか否かの判定)を行ってもよい。ここでは、第1の実施形態と同様に、基準画像を変形情報に基づいて変形し、被覆領域を求める。
5. Fourth Embodiment In addition, a deletion determination process for a determination target image (that is, a determination as to whether or not an attention area completely fits in an uncovered area) may be performed without performing a contraction process using a structural element. . Here, as in the first embodiment, the reference image is deformed based on the deformation information, and the covering area is obtained.
本実施形態の画像処理装置のシステム構成例は、第1の実施形態で用いた図4と同様であるため、詳細な説明は省略する。また、処理の詳細についても図5で示したフローチャートと同様であるため、詳細な説明は省略する。第1の実施形態との違いは、図4の注目領域見逃し可能性判定部1013、及び図5のS107の処理内容である。
The system configuration example of the image processing apparatus according to this embodiment is the same as that of FIG. 4 used in the first embodiment, and thus detailed description thereof is omitted. Further, details of the processing are the same as those in the flowchart shown in FIG. The difference from the first embodiment is the attention area missing
本実施形態では、被覆領域の境界上に複数の点を設定し、各点について、判定対象画像の境界までの距離の最小値を求める。例えば、図19(A)のような被覆領域及び判定対象画像が取得された場合には、点p1については最小値はk1となるし、p2〜p4では最小値はk2〜k4となる。図19(A)ではp1〜p4の4点を示したが、実際の処理では精度を確保するのに十分な数のN個の点について(狭義には被覆領域の境界に対応する全ての画素について)最小値を求めればよい。 In the present embodiment, a plurality of points are set on the boundary of the covering region, and the minimum value of the distance to the boundary of the determination target image is obtained for each point. For example, when the covering region and the determination target image as illustrated in FIG. 19A are acquired, the minimum value for the point p1 is k1, and the minimum value is k2 to k4 for p2 to p4. In FIG. 19A, four points p1 to p4 are shown. However, in actual processing, a sufficient number of N points to ensure accuracy (in a narrow sense, all pixels corresponding to the boundary of the covering region). )) Find the minimum value.
そして、点p1〜pNについて、N個の最小値k1〜kNが取得されたら、k1〜kNのうち最大となるものを求める。このk1〜kNのうち最大となるものは、非被覆領域の最大径に相当する情報と捉えることができるため、その値と構造要素(ここでは第1の実施形態と同様に注目領域と同等のサイズとする)の最小径との比較処理を行うことで、非被覆領域に注目領域が完全に収まってしまうか否かを簡易的に判定することができる。具体的には、k1〜kNのうちの最大値が構造要素の最小径より大きい場合には、注目領域が非被覆領域に完全に収まってしまう可能性があるものと判定し、判定対象画像を削除不可とする。逆に、k1〜kNのうちの最大値が構造要素の最小径以下の場合には、注目領域が非被覆領域に完全に収まってしまうことはないと判定し、判定対象画像を削除可能とする。 When N minimum values k1 to kN are acquired for the points p1 to pN, the largest one of k1 to kN is obtained. Since the largest of these k1 to kN can be regarded as information corresponding to the maximum diameter of the non-covered region, the value and the structural element (here, the same as the region of interest as in the first embodiment) By performing the comparison process with the minimum diameter), it can be easily determined whether or not the attention area completely fits in the non-covering area. Specifically, when the maximum value among k1 to kN is larger than the minimum diameter of the structural element, it is determined that the attention area may be completely contained in the non-covering area, and the determination target image is Cannot be deleted. On the contrary, when the maximum value of k1 to kN is equal to or smaller than the minimum diameter of the structural element, it is determined that the attention area is not completely contained in the non-covering area, and the determination target image can be deleted. .
なお、判定対象画像が四角形の場合には、その四隅に広い非被覆領域が現れる可能性がある。例えば、図19(A)ではp4での最小値をk4としたが、非被覆領域の最大径としては点線で示したk’を考える方が適切である。そのため、判定対象画像の境界上に複数の点を設定し、各点について、被覆領域の境界までの距離の最小値を求め、求められた複数の最小値のうちの最大値を併用してもよい。このようにすれば、k’も処理に用いることができ、非被覆領域の最大径に相当する情報を適切に求めることが可能になる。 When the determination target image is a quadrangle, wide uncovered areas may appear at the four corners. For example, in FIG. 19A, the minimum value at p4 is k4, but it is appropriate to consider k ′ indicated by a dotted line as the maximum diameter of the uncovered region. Therefore, it is possible to set a plurality of points on the boundary of the determination target image, obtain the minimum value of the distance to the boundary of the covering region for each point, and use the maximum value among the obtained minimum values together Good. In this way, k ′ can also be used for the processing, and information corresponding to the maximum diameter of the uncovered area can be obtained appropriately.
なお、図19(B)のように、判定対象画像が円形状であれば、各点での最小値(例えばp5,p6でのk5,k6等)は非被覆領域の最小径を適切に表しているものと考えられる。つまり、円形状の判定対象画像を用いる場合には、図19(A)のように四角形の判定対象画像を用いる場合と異なり、被覆領域の境界に複数の点を設定する手法と、判定対象画像の境界に複数の点を設定する手法のいずれか一方の手法をもちいれば十分である。よって、本実施形態の手法は円形状の判定対象画像を処理対象とする場合には、四角形の判定対象画像を対象として同程度の精度の処理を行おうとした場合に比べて、処理負荷を軽減する効果を発揮すると考えられる。また、円形状に比べると精度が低下する可能性はあるが、頂点数の多い多角形(8角形や16角形等)を用いた場合にも、被覆領域の境界に複数の点を設定する手法と、判定対象画像の境界に複数の点を設定する手法のいずれか一方の手法によりある程度の精度を確保できると考えられる。ただし、判定精度を重視するのであれば、上記2つの手法を併用してもよい。 As shown in FIG. 19B, if the determination target image is circular, the minimum value at each point (for example, k5, k6 at p5, p6, etc.) appropriately represents the minimum diameter of the non-covered area. It is thought that. That is, when using a circular determination target image, unlike the case of using a quadrangle determination target image as shown in FIG. 19A, a method of setting a plurality of points on the boundary of the covering region, and the determination target image It is sufficient to use one of the methods for setting a plurality of points on the boundary of. Therefore, the method of the present embodiment reduces the processing load when processing a circular determination target image as compared with a case where processing of the same degree of accuracy is performed on a quadrangle determination target image. It is thought that the effect to do. In addition, although the accuracy may be lower than that of a circular shape, a method of setting a plurality of points on the boundary of the covering region even when a polygon having a large number of vertices (such as an octagon or a hexagon) is used. Thus, it is considered that a certain degree of accuracy can be ensured by any one of the methods of setting a plurality of points at the boundary of the determination target image. However, if importance is attached to the determination accuracy, the above two methods may be used in combination.
ただし、本実施形態の手法では、k1〜kNのうちの最大値が構造要素の最小径より大きい場合であっても、注目領域が非被覆領域に完全に収まってしまうことがないケースもある。例えば、図19(C)に示したように、非被覆領域に注目領域が完全に収まってしまうことがないことが明らかな状況であっても、本実施形態の手法ではp7での最小値k7が、構造要素の最小径との比較処理に用いられることになるため、図19(C)の判定対象画像は削除不可と判定されてしまう。よって、円形状等の判定対象画像を用いたとしても、第1の実施形態の収縮処理を用いた場合と同程度の判定精度を確保できない(図19(C)では本来削除できるものを削除しないため、画像枚数の削減効果が低下する)可能性がある点には注意が必要である。 However, in the method of the present embodiment, there is a case where the attention area does not completely fit in the uncovered area even when the maximum value of k1 to kN is larger than the minimum diameter of the structural element. For example, as shown in FIG. 19C, even in a situation where it is clear that the region of interest does not completely fit in the uncovered region, the method of this embodiment uses the minimum value k7 at p7. However, since it is used for the comparison process with the minimum diameter of the structural element, it is determined that the determination target image in FIG. Therefore, even if a determination target image such as a circular shape is used, it is not possible to ensure the same determination accuracy as when the contraction process of the first embodiment is used (in FIG. 19C, what can be originally deleted is not deleted). Therefore, it should be noted that there is a possibility that the effect of reducing the number of images will be reduced).
以上の本実施形態では、処理部100は、変形情報を用いた処理として、基準画像を変形情報を用いて変形して、基準画像により判定対象画像が覆われる領域である被覆領域を求めてもよい。そして、求めた被覆領域の境界上に設定された複数の点の各点において、判定対象画像の外周までの最短距離を求め、複数の点の各点において求められた最短距離のうちの最大値を求める処理を行う。また、処理部100は、構造要素を用いた処理として、構造要素の最小径を取得し、取得した最小径と、最短距離のうちの最大値との比較処理に基づいて、判定対象画像のうち被覆領域以外の領域である非被覆領域に構造要素が含まれるか否かを判定する処理を行ってもよい。
In the above-described embodiment, the
ここで、構造要素の最小径とは、構造要素のサイズを表す値である。例えば、構造要素が円であれば直径であるし、四角形であれば短辺等の長さとなる。なお、注目領域の形状が複雑であり、その最小径を求めることが難しい場合には、構造要素は当該注目領域の形状を簡略化した形状(例えば注目領域に比べて頂点の数を減らした図形であり、且つ注目領域に外接する形状等)とすることで、構造要素の最小径を容易に求めることが可能になる。 Here, the minimum diameter of the structural element is a value representing the size of the structural element. For example, if the structural element is a circle, the diameter is a diameter, and if the structural element is a square, the length is a short side or the like. In addition, when the shape of the attention area is complex and it is difficult to obtain the minimum diameter, the structural element is a shape obtained by simplifying the shape of the attention area (for example, a figure having a reduced number of vertices compared to the attention area). And a shape circumscribing the region of interest), the minimum diameter of the structural element can be easily obtained.
これにより、簡易的に注目領域の見逃し可能性を判定することが可能になる。被覆領域の境界上の点から、判定対象画像の境界(外周)までの最短距離は、判定対象画像の形状にもよるが、図19(A)、図19(B)に示したように容易に算出できる。また、構造要素(ここでは注目領域と同一の形状、サイズ)の最小径との比較処理も容易であり、本実施形態の手法は第1の実施形態等に比べて処理負荷が軽い。 This makes it possible to easily determine the possibility of missing the attention area. The shortest distance from the point on the boundary of the covering region to the boundary (outer periphery) of the determination target image is easy as shown in FIGS. 19A and 19B, although it depends on the shape of the determination target image. Can be calculated. In addition, the comparison process with the minimum diameter of the structural element (here, the same shape and size as the region of interest) is easy, and the method of this embodiment has a lighter processing load than the first embodiment.
また、処理部100は、判定対象画像の外周上に設定された複数の点の各点において、被覆領域の境界までの最短距離を求め、複数の点の各点において求められた最短距離のうちの最大値を求める処理を行ってもよい。そして、処理部100は、構造要素を用いた処理として、構造要素の最小径を取得し、取得した最小径と、最短距離のうちの最大値との比較処理に基づいて、判定対象画像のうち被覆領域以外の領域である非被覆領域に構造要素が含まれるか否かを判定する処理を行う。
Further, the
これにより、判定対象画像の外周側に複数の点を設けて、同様の処理を行うことが可能になる。本実施形態は、判定対象画像の外周と、被覆領域の境界との距離から、非被覆領域の最大径に相当する情報を求めるものであるから、距離算出の起点となる上記複数の点は、判定対象側に設けても被覆領域側に設けてもよい。被覆領域の境界に複数の点を設定する手法と、判定対象画像の境界に複数の点を設定する手法は、併用してもよいし、いずれか一方を用いてもよい。例えば、判定精度を重視するのであれば2つの手法を併用すればよいし、処理負荷の軽減を重視するのであればいずれか一方の手法を用いればよい。或いは、上述したように判定対象画像の形状(円形状か四角形か等)を考慮して、2つの手法を併用するか否かを決定してもよい。 Accordingly, it is possible to perform a similar process by providing a plurality of points on the outer peripheral side of the determination target image. In the present embodiment, since the information corresponding to the maximum diameter of the non-covering region is obtained from the distance between the outer periphery of the determination target image and the boundary of the covering region, the plurality of points serving as the starting points of the distance calculation are as follows: It may be provided on the determination target side or on the covering region side. The method of setting a plurality of points on the boundary of the covering region and the method of setting a plurality of points on the boundary of the determination target image may be used in combination, or one of them may be used. For example, two methods may be used together if importance is attached to the determination accuracy, and one method may be used if reduction of processing load is important. Alternatively, as described above, it may be determined whether or not the two methods are used in consideration of the shape of the determination target image (whether it is circular or square).
6.第5の実施形態
第1の実施形態、第3の実施形態、及び第4の実施形態において、構造要素を用いた削除可否判定としてそれぞれ異なる処理を説明したが、本実施形態ではそれらのいずれかの処理と、被覆率に基づく削除判定処理を併用する手法について説明する。
6). Fifth Embodiment In the first embodiment, the third embodiment, and the fourth embodiment, different processes have been described as determinations on whether or not deletion is possible using a structural element. In the present embodiment, any one of them has been described. A method of using both the above process and the deletion determination process based on the coverage will be described.
図20に本実施形態の画像処理装置の構成例を示す。本実施形態の画像処理装置は、図4の画像処理装置に対して、処理部100に被覆率算出部1004を追加した構成になっている。被覆率算出部1004は、被覆領域算出部1003で算出された被覆領域等に基づいて、被覆率を算出する。また、本実施形態の削除可否判定部1005は、被覆率算出部1004で算出された被覆率、及び注目領域見逃し可能性判定部1013で判定された注目領域の見逃し可能性に基づいて、判定対象画像の削除可否判定を行う。
FIG. 20 shows a configuration example of the image processing apparatus of this embodiment. The image processing apparatus according to the present embodiment has a configuration in which a coverage
以下、処理の詳細について説明する。基準画像を変形して被覆領域を求める処理は第1の実施形態と同様である。ここでは、判定対象画像の面積に占める被覆領域の面積の割合を被覆率とすればよい。ただし、被覆率とは、基準画像による判定対象画像のカバーの程度を表す情報であればよく、割合・比率等に限定されるものではない。例えば、図21に示したように、判定対象画像状に設定された複数の点を、変形情報に基づいて基準画像上に射影し、前記複数の点のうち基準画像内に含まれる点の数を被覆率として用いてもよい。 Details of the processing will be described below. The process for deforming the reference image to obtain the coverage area is the same as in the first embodiment. Here, the ratio of the area of the covering region to the area of the determination target image may be set as the covering rate. However, the coverage may be information indicating the degree of coverage of the determination target image by the reference image, and is not limited to the ratio / ratio. For example, as shown in FIG. 21, a plurality of points set in the determination target image shape are projected on the reference image based on the deformation information, and the number of points included in the reference image among the plurality of points. May be used as the coverage.
被覆率による削除可否判定は、所与の閾値との比較処理を行えばよく、被覆率が閾値以上であれば判定対象画像を削除可能とし、被覆率が閾値よりも小さい場合には判定対象画像を削除不可とすればよい。被覆率に基づく削除可否判定により、判定対象画像を削除したとしても、当該判定対象画像に撮像されたある程度(閾値に対応する程度)の割合の領域は基準画像によりカバーできることが保証される。 Deletability determination based on the coverage rate may be performed by comparing with a given threshold value. If the coverage rate is equal to or greater than the threshold value, the determination target image can be deleted. If the coverage rate is smaller than the threshold value, the determination target image is determined. Can be deleted. Even if the determination target image is deleted based on the determination as to whether or not deletion is possible based on the coverage ratio, it is guaranteed that a region of a certain proportion (a level corresponding to the threshold value) captured in the determination target image can be covered by the reference image.
構造要素に基づく削除可否判定と、被覆率に基づく削除可否判定の統合は種々の手法が考えられるが、一例としては2つの判定をそれぞれ行って、そのAND条件をとればよい。つまり、構造要素に基づいて削除可能と判定され、且つ被覆率に基づいても削除可能と判定された場合に、判定対象画像に対する最終的な判定結果として削除可能という判定を行う。注目領域の見落とし可能性を低減するという観点から考えれば、OR条件ではなく、2つの判定の両方で削除可能の場合に削除することが望ましいためである Various methods are conceivable for integrating the deletion permission determination based on the structural element and the deletion permission determination based on the coverage ratio. For example, two determinations may be made and the AND condition may be taken. In other words, when it is determined that the image can be deleted based on the structural element and it is determined that the image can also be deleted based on the coverage, it is determined that the image can be deleted as a final determination result for the determination target image. From the viewpoint of reducing the possibility of overlooking the attention area, it is desirable to delete it when it can be deleted by both of the two determinations instead of the OR condition.
或いは、一方の処理を先に行い、その後他方の処理を行ってもよい。例えば、先に被覆率に基づく削除可否判定を行い、削除不可とされたものについては、最終的な判定結果も削除不可で確定させ、構造要素による判定は行わない。一方、被覆率に基づいて削除可能と判定されたものについては、構造要素による判定を行い、そこで削除可能なものは最終結果も削除可能とし、削除不可とされたものは最終結果も削除不可とすればよい。このようにすることで、時系列的に後に行われる処理の対象となる画像枚数を少なくすることができるため、処理負荷の軽減等が可能になる。この際には、2つの処理のうち、削除不可と判定される画像の枚数が多いことが想定される処理を先に行うことで、処理負荷の効率的な低減が可能になる。 Alternatively, one process may be performed first, and then the other process may be performed. For example, if it is determined that deletion is possible based on the coverage ratio first and the deletion is not possible, the final determination result is also determined to be non-deletable, and the determination based on the structural element is not performed. On the other hand, for those that are determined to be deletable based on the coverage rate, a determination is made based on the structural element, and those that can be deleted there can also delete the final result, and those that cannot be deleted cannot be deleted. do it. By doing so, it is possible to reduce the number of images to be processed later in time series, so that the processing load can be reduced. In this case, the processing load can be efficiently reduced by performing the processing that is assumed to have a large number of images that are determined not to be deleted among the two processings first.
以上の本実施形態では、処理部100は、基準画像と判定対象画像の間の変形情報に基づいて、基準画像による判定対象画像の被覆率を算出し、算出した被覆率に基づいて、判定対象画像の削除可否判定を行う第1の削除可否判定処理を行ってもよい。それとともに処理部100は、変形情報を用いた処理、及び前記構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行う第2の削除可否判定処理を行う。
In the above embodiment, the
これにより、第1の削除可否判定処理と第2の削除可否判定処理の両方に基づく削除可否判定処理が可能になるため、判定精度の向上が可能になる。その際、全ての画像に対して、第1,第2の判定の両方を行ってもよいが、一方の判定を先に行うことで、他方の判定の対象となる画像を限定すれば、処理負荷の軽減が可能となる。 As a result, it is possible to perform the deletion permission determination process based on both the first deletion permission determination process and the second deletion permission determination process, so that the determination accuracy can be improved. At that time, both the first and second determinations may be performed on all the images. However, if one of the determinations is performed first and the image to be subjected to the other determination is limited, the processing is performed. The load can be reduced.
以上、本発明を適用した5つの実施の形態1〜5およびその変形例について説明したが、本発明は、各実施の形態1〜5やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態1〜5や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態1〜5や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。 As mentioned above, although 5 Embodiment 1-5 and its modification which applied this invention were demonstrated, this invention is not limited to each Embodiment 1-5 and its modification as it is, Implementation stage The constituent elements can be modified and embodied without departing from the spirit of the invention. Various inventions can be formed by appropriately combining a plurality of constituent elements disclosed in the above-described first to fifth embodiments and modifications. For example, some constituent elements may be deleted from all the constituent elements described in the first to fifth embodiments and the modified examples. Furthermore, you may combine suitably the component demonstrated in different embodiment and modification. In addition, a term described together with a different term having a broader meaning or the same meaning at least once in the specification or the drawings can be replaced with the different term anywhere in the specification or the drawings. Thus, various modifications and applications are possible without departing from the spirit of the invention.
BO1 外側境界、BO2 内側境界、RE 残留領域、100 処理部、
200 画像列取得部、300 記憶部、1001 基準画像選択部、
1002 判定対象画像選択部、1003 被覆領域算出部、
1004 被覆率算出部、1005 削除可否判定部、1007 基準画像選択部、
1008 部分画像列設定部、1009 要約画像列決定部、
1011 要被覆領域生成部、1012 要被覆領域包含判定部、
1013 注目領域見逃し可能性判定部、1014 構造要素生成部、
1015 変形情報取得部
BO1 outer boundary, BO2 inner boundary, RE residual area, 100 processing section,
200 image sequence acquisition unit, 300 storage unit, 1001 reference image selection unit,
1002 determination target image selection unit, 1003 covering area calculation unit,
1004 Coverage rate calculation unit, 1005 Deletability determination unit, 1007 Reference image selection unit,
1008 Partial image sequence setting unit, 1009 Summary image sequence determination unit,
1011 required coverage area generation unit, 1012 required coverage area inclusion determination unit,
1013 attention area miss possibility determination unit, 1014 structural element generation unit,
1015 Deformation information acquisition unit
Claims (23)
前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、
を含み、
前記処理部は、
前記複数の画像から、基準画像と判定対象画像を選択し、
前記基準画像と前記判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行うことを特徴とする画像処理装置。 An image sequence acquisition unit for acquiring an image sequence having a plurality of images;
A processing unit that performs image summarization processing for acquiring a summary image sequence by deleting a part of the plurality of images of the image sequence acquired by the image sequence acquisition unit;
Including
The processor is
A reference image and a determination target image are selected from the plurality of images,
Determining whether or not the determination target image can be deleted based on a result of processing using deformation information between the reference image and the determination target image and processing using a structural element corresponding to a region of interest. An image processing apparatus.
前記変形情報を用いた処理は、
前記基準画像及び前記判定対象画像の一方の少なくとも一部を、前記変形情報を用いて変形する処理であり、
前記構造要素を用いた処理は、
前記構造要素による収縮処理、又は前記基準画像により前記判定対象画像が覆われない領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理であることを特徴とする画像処理装置。 In claim 1,
The process using the deformation information is as follows:
A process of deforming at least a part of one of the reference image and the determination target image using the deformation information;
The process using the structural element is as follows:
An image processing apparatus comprising: a shrinking process using the structural element; or a process for determining whether or not the structural element is included in an uncovered area that is an area where the determination target image is not covered by the reference image. .
前記処理部は、
前記変形情報を用いた処理として、
前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、前記判定対象画像のうち前記被覆領域以外の領域を非被覆領域として求める処理を行い、
前記構造要素を用いた処理として、
前記非被覆領域に対して前記構造要素による収縮処理を行うことを特徴とする画像処理装置。 In claim 1,
The processor is
As a process using the deformation information,
The reference image is deformed using the deformation information to obtain a covered area that is an area where the determination target image is covered by the reference image, and an area other than the covered area of the determination target image is set as an uncovered area. Perform the requested process,
As a process using the structural element,
An image processing apparatus that performs shrinkage processing by the structural element on the uncovered region.
前記処理部は、
前記収縮処理の結果、残留する領域がある場合に、前記判定対象画像が削除不可であると判定することを特徴とする画像処理装置。 In claim 3,
The processor is
An image processing apparatus that determines that the determination target image cannot be deleted when there is a remaining area as a result of the contraction process.
前記処理部は、
前記構造要素を用いた処理として、
前記判定対象画像に対して前記構造要素による収縮処理を行って要被覆領域を求める処理を行うことを特徴とする画像処理装置。 In claim 1,
The processor is
As a process using the structural element,
An image processing apparatus that performs a process of obtaining a covering area by performing a contraction process using the structural element on the determination target image.
前記処理部は、
前記変形情報を用いた処理として、
前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記要被覆領域を変形する処理を行い、
前記処理部は、
変形後の前記要被覆領域が前記基準画像に含まれる場合に、前記判定対象画像が削除可能であると判定することを特徴とする画像処理装置。 In claim 5,
The processor is
As a process using the deformation information,
Based on the deformation information between the reference image and the determination target image, performing a process of deforming the coverage area,
The processor is
An image processing apparatus that determines that the determination target image is erasable when the required coverage area after deformation is included in the reference image.
前記処理部は、
前記変形情報を用いた処理として、
前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像を変形する処理を行い、
前記処理部は、
前記要被覆領域が変形後の前記基準画像に含まれる場合に、前記判定対象画像が削除可能であると判定することを特徴とする画像処理装置。 In claim 5,
The processor is
As a process using the deformation information,
Based on the deformation information between the reference image and the determination target image, a process of deforming the reference image,
The processor is
An image processing apparatus that determines that the determination target image is erasable when the required coverage area is included in the deformed reference image.
前記処理部は、
前記変形情報を用いた処理として、
前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求めるとともに、求めた前記被覆領域の境界上に設定された複数の点の各点において、前記判定対象画像の外周までの最短距離を求め、前記複数の点の各点において求められた前記最短距離のうちの最大値を求める処理を行い、
前記構造要素を用いた処理として、
前記構造要素の最小径を取得し、取得した前記最小径と、前記最短距離のうちの前記最大値との比較処理に基づいて、前記判定対象画像のうち前記被覆領域以外の領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理を行うことを特徴とする画像処理装置。 In claim 1,
The processor is
As a process using the deformation information,
The reference image is deformed using the deformation information to obtain a covering region that is an area where the determination target image is covered by the reference image, and a plurality of points set on the obtained boundary of the covering region are obtained. At each point, the shortest distance to the outer periphery of the determination target image is obtained, and a process for obtaining a maximum value among the shortest distances obtained at each point of the plurality of points is performed.
As a process using the structural element,
The minimum diameter of the structural element is acquired, and based on a comparison process between the acquired minimum diameter and the maximum value of the shortest distances, non-covering that is an area other than the covering area of the determination target image An image processing apparatus that performs a process of determining whether or not the structural element is included in an area.
前記処理部は、
前記変形情報を用いた処理として、
前記基準画像を前記変形情報を用いて変形して、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求めるとともに、前記判定対象画像の外周上に設定された複数の点の各点において、前記被覆領域の境界までの最短距離を求め、前記複数の点の各点において求められた前記最短距離のうちの最大値を求める処理を行い、
前記構造要素を用いた処理として、
前記構造要素の最小径を取得し、取得した前記最小径と、前記最短距離のうちの前記最大値との比較処理に基づいて、前記判定対象画像のうち前記被覆領域以外の領域である非被覆領域に前記構造要素が含まれるか否かを判定する処理を行うことを特徴とする画像処理装置。 In claim 1,
The processor is
As a process using the deformation information,
The reference image is deformed using the deformation information to obtain a covered region that is a region where the determination target image is covered by the reference image, and each of a plurality of points set on the outer periphery of the determination target image At the point, the shortest distance to the boundary of the covering region is obtained, and the maximum value of the shortest distances obtained at each point of the plurality of points is determined.
As a process using the structural element,
The minimum diameter of the structural element is acquired, and based on a comparison process between the acquired minimum diameter and the maximum value of the shortest distances, non-covering that is an area other than the covering area of the determination target image An image processing apparatus that performs a process of determining whether or not the structural element is included in an area.
前記処理部は、
前記基準画像と前記判定対象画像の間の前記変形情報に基づいて、前記基準画像による前記判定対象画像の被覆率を算出し、算出した前記被覆率に基づいて、前記判定対象画像の削除可否判定を行う第1の削除可否判定処理と、
前記変形情報を用いた処理、及び前記構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行う第2の削除可否判定処理と、
を行うことを特徴とする画像処理装置。 In any one of Claims 1 thru | or 9,
The processor is
Based on the deformation information between the reference image and the determination target image, a coverage of the determination target image by the reference image is calculated, and based on the calculated coverage, whether the determination target image can be deleted is determined. A first deletion permission determination process for performing
A second deleteability determination process for determining whether or not the determination target image can be deleted based on a result of the process using the deformation information and the process using the structural element;
An image processing apparatus characterized by
前記処理部は、
前記基準画像、前記判定対象画像、及び前記複数の画像のうち前記画像列において前記基準画像と前記判定対象画像の間の前記画像について、隣り合う前記画像間の前記変形情報を求め、求めた隣り合う前記画像間の前記変形情報に基づいて、前記基準画像と前記判定対象画像の間の前記変形情報を求めることを特徴とする画像処理装置。 In any one of Claims 1 thru | or 10.
The processor is
For the image between the reference image and the determination target image in the image sequence among the reference image, the determination target image, and the plurality of images, the deformation information between the adjacent images is obtained, and the obtained neighbor An image processing apparatus, wherein the deformation information between the reference image and the determination target image is obtained based on the deformation information between the matching images.
前記処理部は、
前記注目領域のサイズに比例したサイズの前記構造要素を設定することを特徴とする画像処理装置。 In any one of Claims 1 thru | or 11,
The processor is
An image processing apparatus, wherein the structural element having a size proportional to the size of the region of interest is set.
第1〜第N(Nは2以上の整数)の画像が入力画像列として入力された場合に、
前記処理部は、
第p(pは1≦p≦Nを満たす整数)の画像を第1の基準画像として選択し、第q(qはp+2以上の整数)の画像を第2の基準画像として選択するとともに、第r(rはp+1≦r≦q−1を満たす整数)の画像を前記判定対象画像として選択し、
前記第1の基準画像と前記判定対象画像の間の前記変形情報を用いた処理、前記第2の基準画像と前記判定対象画像の間の前記変形情報を用いた処理、及び前記構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行うことを特徴とする画像処理装置。 In any one of Claims 1 to 12,
When the first to Nth images (N is an integer of 2 or more) are input as the input image sequence,
The processor is
The pth (p is an integer satisfying 1 ≦ p ≦ N) image is selected as the first reference image, the qth image (q is an integer equal to or greater than p + 2) is selected as the second reference image, and the first an image of r (r is an integer satisfying p + 1 ≦ r ≦ q−1) is selected as the determination target image;
The process using the deformation information between the first reference image and the determination target image, the process using the deformation information between the second reference image and the determination target image, and the structural element are used. An image processing apparatus that determines whether or not the determination target image can be deleted based on a result of the processing performed.
前記処理部は、
第p+2〜第Nの画像に対応する始点及び終点が設定された第2の基準画像選択区間から前記第2の基準画像を選択して、前記第1の基準画像及び前記第2の基準画像に基づいて前記判定対象画像の削除可否の判定を行い、
第p+1〜第q−1の画像が削除可能と判定された場合には、前記第2の基準画像選択区間に含まれる第x(xはx>qを満たす整数)の画像を新たな前記第2の基準画像として選択するとともに、前記第2の基準画像選択区間の前記始点を前記第qの画像に更新することを特徴とする画像処理装置。 In claim 13,
The processor is
The second reference image is selected from the second reference image selection section in which the start point and the end point corresponding to the p + 2 to Nth images are set, and the first reference image and the second reference image are selected. Based on the determination whether the determination target image can be deleted,
When it is determined that the (p + 1) -th to (q-1) -th images can be deleted, an x-th image (x is an integer satisfying x> q) included in the second reference image selection section is newly added to the first image. The image processing apparatus is selected as a second reference image and updates the start point of the second reference image selection section to the qth image.
前記処理部は、
前記第p+1〜第q−1の画像のうち少なくとも1つが削除不可と判定された場合には、前記第2の基準画像選択区間に含まれる第y(yはy<qを満たす整数)の画像を新たな前記第2の基準画像として選択するとともに、前記第2の基準画像選択区間の前記終点を前記第qの画像に更新することを特徴とする画像処理装置。 In claim 14,
The processor is
If it is determined that at least one of the p + 1 to q−1 images cannot be deleted, the y th image (y is an integer satisfying y <q) included in the second reference image selection section. Is selected as a new second reference image, and the end point of the second reference image selection section is updated to the qth image.
前記処理部は、
前記第2の基準画像選択区間の前記始点又は前記終点を更新した結果、前記始点と前記終点が隣り合う場合に、
前記第1の基準画像として選択された前記複数の画像の1つを、前記要約画像列に含める処理を行うとともに、
前記始点に対応する前記複数の画像の1つ、及び前記複数の画像のうち、前記始点に対応する前記複数の画像の1つよりも前記入力画像列において後方のものからなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記pの値を1に設定して再度処理を行うことを特徴とする画像処理装置。 In claim 14 or 15,
The processor is
As a result of updating the start point or the end point of the second reference image selection section, when the start point and the end point are adjacent,
A process of including one of the plurality of images selected as the first reference image in the summary image sequence;
One of the plurality of images corresponding to the start point, and among the plurality of images, a partial image sequence composed of a rear one in the input image sequence than one of the plurality of images corresponding to the start point An image processing apparatus that is set as an input image sequence and performs the process again with the p value set to 1 for the set input image sequence.
前記処理部は、
第p+1〜第q−1の画像が削除可能と判定された場合には、前記第2の基準画像として第q+1の画像を選択することを特徴とする画像処理装置。 In claim 13,
The processor is
An image processing apparatus, wherein when it is determined that the (p + 1) -th to (q-1) -th images can be deleted, the (q + 1) -th image is selected as the second reference image.
前記処理部は、
前記第p+1〜第q−1の画像のうち少なくとも1つが削除不可と判定された場合には、前記第1の基準画像として選択された前記複数の画像の1つを、前記要約画像列に含める処理を行うとともに、前記第q−1〜第Nの画像からなる部分画像列を前記入力画像列として設定し、設定された前記入力画像列に対して、前記pの値を1に設定して再度処理を行うことを特徴とする画像処理装置。 In claim 17,
The processor is
If it is determined that at least one of the p + 1 to q−1 images cannot be deleted, one of the plurality of images selected as the first reference image is included in the summary image sequence. And a partial image sequence composed of the q-1st to Nth images is set as the input image sequence, and the value of p is set to 1 for the set input image sequence. An image processing apparatus that performs processing again.
前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部と、
を含み、
前記処理部は、
前記複数の画像から、基準画像と判定対象画像を選択し、
前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、
前記被覆領域に基づいて、注目すべき領域である注目領域の見逃し可能性を判定することで、前記判定対象画像の削除可否判定を行うことを特徴とする画像処理装置。 An image sequence acquisition unit for acquiring an image sequence having a plurality of images;
A processing unit that performs image summarization processing for acquiring a summary image sequence by deleting a part of the plurality of images of the image sequence acquired by the image sequence acquisition unit;
Including
The processor is
A reference image and a determination target image are selected from the plurality of images,
Based on deformation information between the reference image and the determination target image, obtain a covered area that is an area where the determination target image is covered by the reference image;
An image processing apparatus that determines whether or not the determination target image can be deleted by determining a possibility of missing an attention area that is an area of interest based on the covering area.
前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部として、
コンピュータを機能させ、
前記処理部は、
前記複数の画像から、基準画像と判定対象画像を選択し、
前記基準画像と前記判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像の削除可否判定を行うことを特徴とするプログラム。 An image sequence acquisition unit for acquiring an image sequence having a plurality of images;
As a processing unit that performs image summarization processing for acquiring a summary image sequence by deleting a part of the plurality of images of the image sequence acquired by the image sequence acquisition unit,
Make the computer work,
The processor is
A reference image and a determination target image are selected from the plurality of images,
Determining whether or not the determination target image can be deleted based on a result of processing using deformation information between the reference image and the determination target image and processing using a structural element corresponding to a region of interest. Program to do.
前記画像列取得部が取得した前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行う処理部として、
コンピュータを機能させ、
前記処理部は、
前記複数の画像から、基準画像と判定対象画像を選択し、
前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、
前記被覆領域に基づいて、注目すべき領域である注目領域の見逃し可能性を判定することで、前記判定対象画像の削除可否判定を行うことを特徴とするプログラム。 An image sequence acquisition unit for acquiring an image sequence having a plurality of images;
As a processing unit that performs image summarization processing for acquiring a summary image sequence by deleting a part of the plurality of images of the image sequence acquired by the image sequence acquisition unit,
Make the computer work,
The processor is
A reference image and a determination target image are selected from the plurality of images,
Based on deformation information between the reference image and the determination target image, obtain a covered area that is an area where the determination target image is covered by the reference image;
A program for determining whether or not the determination target image can be deleted by determining a possibility of missing an attention area that is an area of interest based on the covering area.
前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、
前記基準画像と前記判定対象画像の間の変形情報を用いた処理、及び注目領域に対応する構造要素を用いた処理の結果に基づいて、前記判定対象画像を削除可否の判定を行い、
前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。 Obtain an image sequence with multiple images,
A reference image and a determination target image are selected from the plurality of images in the image sequence,
Based on the result of processing using deformation information between the reference image and the determination target image and processing using a structural element corresponding to the region of interest, it is determined whether or not the determination target image can be deleted,
An image processing method for performing image summarization processing for acquiring a summary image sequence by deleting a part of the plurality of images of the image sequence based on the determination result of the deletion possibility.
前記画像列の前記複数の画像から、基準画像と判定対象画像を選択し、
前記基準画像と前記判定対象画像の間の変形情報に基づいて、前記基準画像により前記判定対象画像が覆われる領域である被覆領域を求め、
前記被覆領域に基づいて、注目すべき領域である注目領域の見逃し可能性を判定することで、前記判定対象画像の削除可否判定を行い、
前記削除可否の判定結果に基づいて、前記画像列の前記複数の画像の一部を削除して要約画像列を取得する画像要約処理を行うことを特徴とする画像処理方法。 Obtain an image sequence with multiple images,
A reference image and a determination target image are selected from the plurality of images in the image sequence,
Based on deformation information between the reference image and the determination target image, obtain a covered area that is an area where the determination target image is covered by the reference image;
Based on the covering area, by determining the possibility of missing the attention area that is the area to be noticed, it is possible to delete the determination target image,
An image processing method for performing image summarization processing for acquiring a summary image sequence by deleting a part of the plurality of images of the image sequence based on the determination result of the deletion possibility.
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012094683A JP5973770B2 (en) | 2012-04-18 | 2012-04-18 | Image processing apparatus, program, and image processing method |
EP13778652.1A EP2839770A4 (en) | 2012-04-18 | 2013-03-25 | Image processing device, program, and image processing method |
PCT/JP2013/058489 WO2013157354A1 (en) | 2012-04-18 | 2013-03-25 | Image processing device, program, and image processing method |
CN201380020663.3A CN104244801B (en) | 2012-04-18 | 2013-03-25 | Image processing device, and image processing method |
US14/514,062 US9740939B2 (en) | 2012-04-18 | 2014-10-14 | Image processing device, information storage device, and image processing method |
US15/590,270 US10037468B2 (en) | 2012-04-18 | 2017-05-09 | Image processing device, information storage device, and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012094683A JP5973770B2 (en) | 2012-04-18 | 2012-04-18 | Image processing apparatus, program, and image processing method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013222382A true JP2013222382A (en) | 2013-10-28 |
JP5973770B2 JP5973770B2 (en) | 2016-08-23 |
Family
ID=49593281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012094683A Active JP5973770B2 (en) | 2012-04-18 | 2012-04-18 | Image processing apparatus, program, and image processing method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5973770B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015176273A (en) * | 2014-03-14 | 2015-10-05 | オムロン株式会社 | image processing apparatus, image processing method, and image processing program |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009005020A (en) * | 2007-06-20 | 2009-01-08 | Olympus Corp | Image extracting apparatus, and image extracting program |
JP2010158308A (en) * | 2009-01-06 | 2010-07-22 | Olympus Corp | Image processing apparatus, image processing method and image processing program |
-
2012
- 2012-04-18 JP JP2012094683A patent/JP5973770B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009005020A (en) * | 2007-06-20 | 2009-01-08 | Olympus Corp | Image extracting apparatus, and image extracting program |
JP2010158308A (en) * | 2009-01-06 | 2010-07-22 | Olympus Corp | Image processing apparatus, image processing method and image processing program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015176273A (en) * | 2014-03-14 | 2015-10-05 | オムロン株式会社 | image processing apparatus, image processing method, and image processing program |
Also Published As
Publication number | Publication date |
---|---|
JP5973770B2 (en) | 2016-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013157354A1 (en) | Image processing device, program, and image processing method | |
WO2013133370A1 (en) | Image processing device, program, and image processing method | |
JP6242072B2 (en) | Image processing apparatus, program, and method of operating image processing apparatus | |
WO2013133368A1 (en) | Image processing device, program, and image processing method | |
US9824189B2 (en) | Image processing apparatus, image processing method, image display system, and storage medium | |
US20210366121A1 (en) | Image matching method and device, and storage medium | |
JP5948200B2 (en) | Image processing apparatus, program, and image processing method | |
JP5963480B2 (en) | Image summarization apparatus and program | |
JP6004875B2 (en) | MEDICAL IMAGE DISPLAY DEVICE, MEDICAL IMAGE DISPLAY METHOD, AND PROGRAM | |
JP5973771B2 (en) | Image processing apparatus, program, and image processing method | |
JP5973770B2 (en) | Image processing apparatus, program, and image processing method | |
JP5835797B2 (en) | Panorama image creation program | |
JP5896791B2 (en) | Image processing apparatus, program, and image processing method | |
JP6006112B2 (en) | Image processing apparatus, image processing method, and program | |
JP5980567B2 (en) | Image processing apparatus, program, and method of operating image processing apparatus | |
JP5973783B2 (en) | Image processing apparatus, program, and image processing method | |
JP6128664B2 (en) | Panorama image creation program | |
US10964021B2 (en) | Information processing apparatus, information processing method, and information processing system | |
JP6221452B2 (en) | Image processing apparatus, image display apparatus, and imaging apparatus | |
JP6396114B2 (en) | Medical image processing device | |
JPWO2021241735A5 (en) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20150408 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160621 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160715 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5973770 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |