JP7382479B1 - Image processing device, program, and image processing method - Google Patents
Image processing device, program, and image processing method Download PDFInfo
- Publication number
- JP7382479B1 JP7382479B1 JP2022196586A JP2022196586A JP7382479B1 JP 7382479 B1 JP7382479 B1 JP 7382479B1 JP 2022196586 A JP2022196586 A JP 2022196586A JP 2022196586 A JP2022196586 A JP 2022196586A JP 7382479 B1 JP7382479 B1 JP 7382479B1
- Authority
- JP
- Japan
- Prior art keywords
- pixels
- pixel
- image
- unit
- target image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 108
- 238000003672 processing method Methods 0.000 title claims abstract description 8
- 230000004044 response Effects 0.000 claims abstract description 10
- 230000008859 change Effects 0.000 claims abstract description 6
- 238000001514 detection method Methods 0.000 claims description 86
- 238000000034 method Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 22
- 238000010586 diagram Methods 0.000 abstract description 11
- 239000000428 dust Substances 0.000 description 20
- 238000004364 calculation method Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000000295 complement effect Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003709 image segmentation Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Abstract
【課題】対象画像の複数の画素のそれぞれについて、画素に対応する物体を推定する画像処理装置、プログラム、及び画像処理方法を提供する。【解決手段】画像処理装置１００は、対象画像を取得する画像取得部１１０と、対象画像の複数の画素のそれぞれについて、画素に対応する物体を推定する推定部１２０と、推定部１２０による推定結果に対して、細かな絵柄変化に反応して誤推定された誤推定部分に反応するフィルタ処理を施すことによって、誤推定部分を検出する検出部１３０と、を備える。【選択図】図１The present invention provides an image processing device, a program, and an image processing method for estimating an object corresponding to each of a plurality of pixels of a target image. An image processing apparatus 100 includes an image acquisition unit 110 that acquires a target image, an estimation unit 120 that estimates an object corresponding to each pixel for each of a plurality of pixels of the target image, and an estimation result by the estimation unit 120. , a detecting unit 130 detects an incorrectly estimated portion by applying filter processing that reacts to the incorrectly estimated portion that is incorrectly estimated in response to a small pattern change. [Selection diagram] Figure 1
Description
本発明は、画像処理装置、プログラム、及び画像処理方法に関する。 The present invention relates to an image processing device, a program, and an image processing method.
非特許文献１には、Ｆｅｗ－ｓｈｏｔ ｌｅａｒｎｉｎｇを用いて画像をセグメンテーションするＦＳＳ（Ｆｅｗ－ｓｈｏｔ ｓｅｇｍｅｎｔａｔｉｏｎ）について記載されている。特許文献１には、画素レベルで対象物の検出を行う画素レベル対象物検出システムであって、検出対象を写した画像である推論用画像を収集する撮影部と、推論用画像から、検出対象を含む領域を検出する領域検出部と、推論用画像から、局所的情報のみを用い検出対象を検出する詳細検出部と、領域検出部の出力と、詳細検出部の出力とを統合して、画像内のいずれの画素が検出対象物と対応するかを確率マップとして示すセグメンテーションマップを出力する結果統合処理部とを有する画素レベル対象物検出システムが記載されている。
［先行技術文献］
［非特許文献］
［非特許文献１］Lihe Yang, Wei Zhuo, Lei Qi, Yinghuan Shi, Yang Gao: Mining Latent Classes for Few-shot Segmentation (2021), The IEEE International Conference on ComputerVision(ICCV)
［特許文献］
［特許文献１］特開２０２１－１７４１８２号公報
Non-Patent Document 1 describes FSS (few-shot segmentation) that performs image segmentation using few-shot learning. Patent Document 1 discloses a pixel-level object detection system that detects objects at a pixel level, including an imaging unit that collects an inference image that is an image of a detection object, and a detection object that is detected from the inference image. A region detection section that detects a region including a region, a detailed detection section that detects a detection target from an inference image using only local information, an output of the region detection section, and an output of the detailed detection section are integrated, A pixel-level object detection system is described that includes a result integration processing unit that outputs a segmentation map indicating as a probability map which pixels in an image correspond to a detection object.
[Prior art documents]
[Non-patent literature]
[Non-patent Document 1] Lihe Yang, Wei Zhuo, Lei Qi, Yinghuan Shi, Yang Gao: Mining Latent Classes for Few-shot Segmentation (2021), The IEEE International Conference on ComputerVision(ICCV)
[Patent document]
[Patent Document 1] Japanese Patent Application Publication No. 2021-174182
本発明の一実施態様によれば、画像処理装置が提供される。前記画像処理装置は、対象画像を取得する画像取得部を備えてよい。前記画像処理装置は、前記対象画像の複数の画素のそれぞれについて、画素に対応する物体を推定する推定部を備えてよい。前記画像処理装置は、前記推定部による推定結果に対して、細かな絵柄変化に反応して誤推定された誤推定部分に反応するフィルタ処理を施すことによって、前記誤推定部分を検出する検出部を備えてよい。 According to one embodiment of the present invention, an image processing device is provided. The image processing device may include an image acquisition unit that acquires a target image. The image processing device may include an estimation unit that estimates an object corresponding to each of the plurality of pixels of the target image. The image processing device includes a detection unit that detects the erroneously estimated portion by performing filter processing on the estimation result by the estimating unit in response to a erroneously estimated portion that is erroneously estimated in response to a small pattern change. may be provided.
前記画像処理装置において、前記検出部は、前記推定部による推定が行われた前記対象画像に対して、５×５画素以上のサイズのフィルタによって、基準画素と、前記基準画素と比較する複数の比較対象画素とを決定し、比較結果に基づいて前記誤推定部分を検出してよい。前記検出部は、前記フィルタの中心部分に位置する画素を前記基準画素とし、前記フィルタの外周部分に位置する複数の画素を前記複数の比較対象画素とし、前記推定部によって推定された、前記基準画素に対応する物体と、前記複数の比較対象画素のそれぞれに対応する物体との一致数が、０である場合又は予め定められた閾値以下である場合に、前記基準画素を、前記誤推定部分として検出してよい。 In the image processing device, the detection unit may detect a reference pixel and a plurality of pixels to be compared with the reference pixel using a filter having a size of 5×5 pixels or more on the target image that has been estimated by the estimation unit. A pixel to be compared may be determined, and the erroneously estimated portion may be detected based on the comparison result. The detection unit sets a pixel located at the center of the filter as the reference pixel, sets a plurality of pixels located at the outer periphery of the filter as the plurality of comparison target pixels, and uses the reference pixel estimated by the estimation unit as the reference pixel. If the number of matches between the object corresponding to the pixel and the objects corresponding to each of the plurality of comparison target pixels is 0 or less than a predetermined threshold, the reference pixel is replaced with the erroneously estimated portion. It can be detected as
前記いずれかの画像処理装置は、前記対象画像における前記誤推定部分の画素の周辺の複数の画素について、対応する物体が同一である画素の数を、物体毎に特定し、特定結果に基づいて、前記誤推定部分の画素に対応させる物体を決定する決定部をさらに備えてよい。前記画像処理装置は、前記推定部によって推定された、前記対象画像における前記誤推定部分の画素に対応する物体を、前記決定部によって決定された物体に置き換える置換処理部をさらに備えてよい。 Any of the image processing devices described above specifies, for each object, the number of pixels for which the corresponding object is the same for a plurality of pixels surrounding the pixel in the erroneously estimated portion in the target image, and based on the identification result. , the image forming apparatus may further include a determining unit that determines an object to be made to correspond to the pixel of the incorrectly estimated portion. The image processing device may further include a replacement processing unit that replaces an object estimated by the estimation unit and corresponding to a pixel of the incorrectly estimated portion in the target image with an object determined by the determination unit.
前記いずれかの画像処理装置において、前記検出部は、前記対象画像のサイズを変更し、複数の異なるサイズの前記対象画像のそれぞれに対して、前記誤推定部分を検出する処理を実行し、前記複数の異なるサイズの前記対象画像の少なくともいずれかにおいて前記誤推定部分として検出された部分を、前記対象画像の前記誤推定部分としてよい。 In any of the image processing devices, the detection unit changes the size of the target image, performs a process of detecting the erroneously estimated portion on each of the target images of a plurality of different sizes, and A portion detected as the erroneously estimated portion in at least one of the plurality of target images of different sizes may be set as the erroneously estimated portion of the target image.
前記いずれかの画像処理装置は、複数の物体のそれぞれについて、前記物体が撮影されたサポート画像及び前記サポート画像における前記物体の位置を示すアノテーションデータを含むサポートデータを取得するサポートデータ取得部を備えてよく、前記推定部は、前記サポートデータ取得部が取得した複数の前記サポートデータを用いた照合推論処理を実行することによって、前記対象画像の複数の画素のそれぞれについて、画素に対応する物体を推定してよい。 Any of the image processing devices described above includes a support data acquisition unit that acquires, for each of a plurality of objects, support data including a support image in which the object is photographed and annotation data indicating the position of the object in the support image. The estimation unit may determine, for each of the plurality of pixels of the target image, an object corresponding to the pixel by executing a matching inference process using the plurality of support data acquired by the support data acquisition unit. You can estimate it.
本発明の一実施形態によれば、コンピュータを、前記画像処理装置として機能させるためのプログラムが提供される。 According to one embodiment of the present invention, a program for causing a computer to function as the image processing device is provided.
本発明の一実施形態によれば、コンピュータによって実行される画像処理方法が提供される。前記画像処理方法は、対象画像を取得する画像取得段階を備えてよい。前記画像処理方法は、前記対象画像の複数の画素のそれぞれについて、画素に対応する物体を推定する推定段階を備えてよい。前記画像処理方法は、前記推定段階による推定結果に対して、細かな絵柄変化に反応して誤推定された誤推定部分に反応するフィルタ処理を施すことによって、前記誤推定部分を検出する検出段階を備えてよい。 According to one embodiment of the present invention, a computer-implemented image processing method is provided. The image processing method may include an image acquisition step of acquiring a target image. The image processing method may include, for each of the plurality of pixels of the target image, an estimation step of estimating an object corresponding to the pixel. The image processing method includes a detection step of detecting the erroneously estimated portion by applying a filtering process to the estimation result from the estimating step in response to the erroneously estimated portion that is erroneously estimated in response to a small pattern change. may be provided.
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 Note that the above summary of the invention does not list all the necessary features of the invention. Furthermore, subcombinations of these features may also constitute inventions.
ＦＳＳ等では、認識対象が撮影されたサポート画像における認識対象の位置を示すアノテーションデータを準備する必要がある。画像内の認識対象の位置を推定して、推定結果をユーザに提示する技術が知られているが、その推定結果には、いわゆるドットごみが含まれる場合がある。ドットごみとは、画像中の、ある物体が占める領域のうち、誤推定によって他の物体と推定されている部分のことを示す。特に、画像内に細かな絵柄が含まれる場合に、数多くのドットごみが含まれてしまうことになる。推定結果に数多くのドットごみが含まれる場合、ユーザによるドットごみの除去作業の負荷が高くなり、作業効率が著しく低下する。したがって、高品質なドットごみの除去技術が必要となる。特許文献１に係る発明では、絵柄の変化の大きい部分を重要視する思想のもと、画素差分を用いたエッジ強調処理を行っているが、当該思想では、エッジに加えてドットごみも検出してしまうことになり、ドットごみに対処することが難しい。それに対して、本実施形態に係る画像処理装置１００は、例えば、画像のうち、ドットごみに相当する特定のパターンを検出して、その領域を補正する。
In FSS and the like, it is necessary to prepare annotation data that indicates the position of a recognition target in a support image in which the recognition target is photographed. A technique is known that estimates the position of a recognition target in an image and presents the estimation result to a user, but the estimation result may include so-called dot dust. Dot dust refers to a portion of an image occupied by a certain object that is incorrectly estimated to be another object. Particularly, when an image includes a fine pattern, a large number of dots will be included. If a large number of dots are included in the estimation result, the burden of the user's task of removing dots increases, and work efficiency is significantly reduced. Therefore, a high-quality dot dust removal technique is required. In the invention according to Patent Document 1, edge enhancement processing using pixel differences is performed based on the idea of placing importance on parts with large changes in the pattern, but in this idea, dot dust is also detected in addition to edges. This makes it difficult to deal with dot waste. In contrast, the
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the invention according to the claims. Furthermore, not all combinations of features described in the embodiments are essential to the solution of the invention.
図１は、画像処理装置１００の機能構成の一例を概略的に示す。画像処理装置１００は、記憶部１０２、画像取得部１１０、推定部１２０、検出部１３０、決定部１４０、置換処理部１５０、及び出力制御部１６０を備える。なお、画像処理装置１００がこれらの全てを備えることは必須とは限らない。
FIG. 1 schematically shows an example of the functional configuration of an
画像取得部１１０は、処理対象となる対象画像を取得する。画像取得部１１０は、画像処理装置１００の外部から対象画像を取得してよい。例えば、画像取得部１１０は、他の装置から対象画像を受信する。例えば、画像取得部１１０は、カメラから、カメラによって撮像された対象画像を受信する。画像取得部１１０は、取得した対象画像を記憶部１０２に記憶させる。
The
推定部１２０は、画像取得部１１０が取得した対象画像の複数の画素のそれぞれについて、画素に対応する物体を推定する。
For each of the plurality of pixels of the target image acquired by the
推定部１２０は、例えば、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）等の既存のＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術を用いた画像セグメンテーションを実行することによって、対象画像の複数の画素のそれぞれについて、画像に対応する物体を推定する。推定部１２０は、例えば、セマンティックセグメンテーションを実行する。推定部１２０は、例えば、インスタンスセグメンテーションを実行する。推定部１２０は、例えば、パノプティックセグメンテーションを実行する。
For example, the
推定部１２０は、例えば、ＦＳＳを実行することによって、対象画像の複数の画素のそれぞれについて、画像に対応する物体を推定する。推定部１２０は、複数の物体のそれぞれについて、物体が撮影されたサポート画像及びサポート画像における物体の位置を示すアノテーションデータを含むサポートデータを取得しておき、それらを用いて、ＦＳＳを実行する。
The
推定部１２０による推定結果は、対象画像の全画素のそれぞれに、その画素が対応する物体を示す物体ＩＤが対応付けられたデータであってよい。具体例として、対象画像のうち、飛行機であると推定された画素に対して飛行機を示す物体ＩＤ：０が対応付けられ、道路であると推定された画素に対して道路を示す物体ＩＤ：１が対応付けられ、空であると推定された画素に対して空を示す物体ＩＤ：２が対応付けられ、建物であると推定された画素に対して建物を示す物体ＩＤ：３が対応付けられる。
The estimation result by the
検出部１３０は、推定部１２０による推定結果に対して、細かな絵柄変化に反応して誤推定された誤推定部分に反応するフィルタ処理を施すことによって、前記誤推定部分を検出する。これにより、検出部１３０は、推定部１２０による推定結果に含まれるドットごみに相当する部分を検出することができる。
The
検出部１３０は、推定部１２０による推定が行われた対象画像に対して、５×５画素以上のサイズのフィルタによって、基準画素と、基準画素とを比較する複数の比較対象画素とを決定し、比較結果に基づいて誤推定部分を検出してよい。検出部１３０は、対象画像の全画素に対して、当該フィルタを適用することによって、全画素のそれぞれについて、誤推定部分に相当するか否かを判定してよい。
The
例えば、検出部１３０は、フィルタの中心部分に位置する画素を基準画素とし、フィルタの外周部分に位置する複数の画素を複数の比較対象画素として、推定部１２０によって推定された、基準画素に対応する物体と、複数の比較対象画素のそれぞれに対応する物体との一致数が、０である場合に、当該基準画素を誤推定部分として検出する。外周部分に位置する全ての画素の物体ＩＤが、中心部分に位置する基準画素の物体ＩＤと異なる場合、基準画素の推定結果は誤りである可能性が非常に高い。よって、これにより、非常に高い確度で、ドットごみを検出することができる。
For example, the
例えば、検出部１３０は、フィルタの中心部分に位置する画素を基準画素とし、フィルタの外周部分に位置する複数の画素を複数の比較対象画素として、推定部１２０によって推定された、基準画素に対応する物体と、複数の比較対象画素のそれぞれに対応する物体との一致数が、予め定められた閾値以下である場合に、当該基準画素を誤推定部分として検出する。外周部分に位置する大部分の画素の物体ＩＤが、中心部分に位置する基準画素の物体ＩＤと異なる場合、基準画素の推定結果は誤りである可能性が高い。よって、これにより、高い確度で、ドットごみを検出することができる。なお、当該閾値は、任意に設定可能であってよく、また、変更可能であってよい。当該閾値は、例えば、画像処理装置１００の利用者が、経験的に設定してよい。また、例えば、画像処理装置１００の利用者が、複数の閾値のそれぞれを設定して実験を行うことにより、ドットごみの検出精度を特定し、特定結果によって、閾値を設定してよい。
For example, the
決定部１４０は、対象画像における誤推定部分の画素に対して新たに対応させる物体を決定する。決定部１４０は、対象画像における誤推定部分の画素の周辺の複数の画素について、対応する物体が同一である画素の数を、物体毎に特定し、特定結果に基づいて、誤推定部分の画素に対応させる物体を決定してよい。
The determining
決定部１４０は、対象画像における誤推定部分の画素に対応付けられている物体ＩＤを補完する補完ＩＤを決定してよい。決定部１４０は、例えば、誤推定部分の画素の周辺画素に対応する物体ＩＤの最頻値となる物体ＩＤを補完ＩＤとして決定する。決定部１４０は、例えば、誤推定部分の画素の周辺の３×３の画素に対応する物体ＩＤの最頻値となる物体ＩＤを補完ＩＤとして決定する。周辺の３×３に限らず、ｎ×ｎ（ｎは２以上）であってもよく、ｎ×ｍ（ｎは２以上、ｍは３以上）であってもよい。また、決定部１４０は、誤推定部分の画素に隣接する８画素に対応する物体ＩＤの最頻値となる物体ＩＤを補完ＩＤとして決定してもよい。なお、決定部１４０は、誤推定部分の画素の周辺画素に対応する物体ＩＤの最頻値に代えて、中央値を用いてもよい。
The determining
置換処理部１５０は、推定部１２０によって推定された、対象画像における誤推定部分の画素に対応する物体を、決定部１４０によって決定された物体に置き換える。置換処理部１５０は、推定部１２０によって、対象画像における誤推定部分に対応付けられた物体ＩＤを、決定部１４０によって決定された補完ＩＤに置き換えてよい。
The
出力制御部１６０は、各種出力を制御する。出力制御部１６０は、例えば、各種情報を表示出力させる。出力制御部１６０は、画像処理装置１００が備えるディスプレイに各種情報を表示させてよい。出力制御部１６０は、他の装置に各種情報を送信することによって、他の装置が備えるディスプレイに各種情報を表示させてよい。
The
出力制御部１６０は、例えば、推定部１２０による推定結果を表示出力させる。出力制御部１６０は、例えば、検出部１３０による検出結果を表示出力させる。出力制御部１６０は、例えば、決定部１４０による決定結果を表示出力させる。
For example, the
出力制御部１６０は、例えば、対象画像に、推定部１２０による推定結果と、検出部１３０による検出結果とを重畳表示させる。出力制御部１６０は、例えば、対象画像の複数の画素のそれぞれに、推定部１２０によって推定された物体ＩＤに対応する色を施し、かつ、誤推定部分として検出された画素に、誤推定部分であることを識別する表示態様を適用させた、対象画像を表示出力させる。出力制御部１６０は、更に、決定部１４０による決定結果を重畳表示させる。例えば、出力制御部１６０は、誤推定部分に対して、決定部１４０によって決定された物体の物体ＩＤを、修正候補として表示させる。置換処理部１５０は、修正候補として表示された物体ＩＤへの置き換えを指示されたことに応じて、物体ＩＤの置き換えを実行してもよい。出力制御部１６０は、置換処理部１５０による置換が行われた後に、対象画像の複数の画素のそれぞれに、対応する物体ＩＤに対応する色を施して、対象画像を表示出力させてもよい。
For example, the
図２は、検出部１３０が用いるフィルタ２００の一例を概略的に示す。ここでは、フィルタ２００のサイズが５×５である場合を例示している。
FIG. 2 schematically shows an example of a
検出部１３０は、フィルタ２００の中心部分に位置する画素２１０を基準画素とし、フィルタ２００の外周部分に位置する複数の画素２３０を複数の比較対象画素としてよい。
The
検出部１３０は、例えば、推定部１２０によって推定された、基準画素に対応する物体と、複数の比較対象画素のそれぞれに対応する物体との一致数が、０である場合に、基準画素を、誤推定部分として検出する。図２に示す例において、例えば、検出部１３０は、画素２１０に対応する物体ＩＤと、１６個の画素２３０のそれぞれに対応する物体ＩＤとを比較する。そして、検出部１３０は、１６個の画素２３０のそれぞれに対応する物体ＩＤの全てが、画素２１０に対応する物体ＩＤと異なる場合に、画素２１０を誤推定部分として検出する。
For example, when the number of matches between the object corresponding to the reference pixel and the objects corresponding to each of the plurality of comparison target pixels estimated by the
検出部１３０は、例えば、推定部１２０によって推定された、基準画素に対応する物体と、複数の比較対象画素のそれぞれに対応する物体との一致数が、予め定められた閾値（ここでは２であるものとして説明する）以下である場合に、基準画素を、誤推定部分として検出してよい。図２に示す例において、例えば、検出部１３０は、画素２１０に対応する物体ＩＤと、１６個の画素２３０のそれぞれに対応する物体ＩＤとを比較する。そして、検出部１３０は、１６個の画素２３０のそれぞれに対応する物体ＩＤのうち、１４個以上が、画素２１０に対応する物体ＩＤと異なる場合に、画素２１０を誤推定部分として検出する。
For example, the
決定部１４０は、画素２１０が誤推定部分として検出された場合に、画素２１０の周辺の複数の画素に対応する物体に基づいて、画素２１０に対応させる物体を決定してよい。決定部１４０は、周辺の複数の画素について、対応する物体が同一である画素の数を、物体毎に特定し、特定結果に基づいて、誤推定部分の画素２１０に対応させる物体を決定してよい。図２に示す例において、例えば、決定部１４０は、画素２１０及び８個の画素２２０を周辺の画素とする。そして、決定部１４０は、画素２１０及び８個の画素２２０について、対応する物体ＩＤが同一である画素の数を、物体ＩＤ毎に特定し、特定結果に基づいて、画素２１０に対応させる物体ＩＤを決定する。例えば、道路の物体ＩＤの数が６個であり、空の物体ＩＤの数が２個であり、飛行機の物体ＩＤの数が１個である場合、決定部１４０は、画素２１０に対応させる物体ＩＤを、最頻の道路の物体ＩＤとする。
The determining
検出部１３０は、フィルタ２００の中心部分に位置する画素２１０を基準画素とし、フィルタ２００の内周部分に位置する複数の画素２２０を複数の比較対象画素とした比較処理を実行してもよい。図２に示す例において、検出部１３０は、推定部１２０によって推定された、画素２１０に対応する物体ＩＤと、８個の画素２２０のそれぞれに対応する物体ＩＤとの一致数を算出してよい。
The
図３は、検出部１３０が用いるフィルタ２００の一例を概略的に示す。ここでは、フィルタ２００のサイズが７×７である場合を例示している。
FIG. 3 schematically shows an example of a
検出部１３０は、フィルタ２００の中心部分に位置する画素２１０を基準画素とし、フィルタ２００の外周部分に位置する複数の画素２３０を複数の比較対象画素としてよい。
The
検出部１３０は、例えば、推定部１２０によって推定された、基準画素に対応する物体と、複数の比較対象画素のそれぞれに対応する物体との一致数が、０である場合に、基準画素を、誤推定部分として検出する。図３に示す例において、例えば、検出部１３０は、画素２１０に対応する物体ＩＤと、２４個の画素２３０のそれぞれに対応する物体ＩＤとを比較する。そして、検出部１３０は、２４個の画素２３０のそれぞれに対応する物体ＩＤの全てが、画素２１０に対応する物体ＩＤと異なる場合に、画素２１０を誤推定部分として検出する。
For example, when the number of matches between the object corresponding to the reference pixel and the objects corresponding to each of the plurality of comparison target pixels estimated by the
検出部１３０は、例えば、推定部１２０によって推定された、基準画素に対応する物体と、複数の比較対象画素のそれぞれに対応する物体との一致数が、予め定められた閾値（ここでは４であるものとして説明する）以下である場合に、基準画素を、誤推定部分として検出してよい。図３に示す例において、例えば、検出部１３０は、画素２１０に対応する物体ＩＤと、２４個の画素２３０のそれぞれに対応する物体ＩＤとを比較する。そして、検出部１３０は、２４個の画素２３０のそれぞれに対応する物体ＩＤのうち、２０個以上が、画素２１０に対応する物体ＩＤと異なる場合に、画素２１０を誤推定部分として検出する。
For example, the
決定部１４０は、画素２１０が誤推定部分として検出された場合に、画素２１０の周辺の複数の画素に対応する物体に基づいて、画素２１０に対応させる物体を決定してよい。決定部１４０は、周辺の複数の画素について、対応する物体が同一である画素の数を、物体毎に特定し、特定結果に基づいて、誤推定部分の画素２１０に対応させる物体を決定してよい。図３に示す例において、例えば、決定部１４０は、画素２１０及び８個の画素２２０を周辺の画素とする。そして、決定部１４０は、画素２１０及び８個の画素２２０について、対応する物体ＩＤが同一である画素の数を、物体ＩＤ毎に特定し、特定結果に基づいて、画素２１０に対応させる物体ＩＤを決定する。また、例えば、決定部１４０は、画素２１０と、８個の画素２２０と、その周りの１６個の画素とを周辺の画素としてもよい。
The determining
検出部１３０は、フィルタ２００の中心部分に位置する画素２１０を基準画素とし、フィルタ２００の内周部分に位置する複数の画素２２０を複数の比較対象画素とした比較処理を実行してもよい。図３に示す例において、検出部１３０は、推定部１２０によって推定された、画素２１０に対応する物体ＩＤと、８個の画素２２０のそれぞれに対応する物体ＩＤとの一致数を算出してよい。
The
図４は、画像処理装置１００による処理の流れの一例を概略的に示す。ここでは、ドットごみを検出する対象となる対象画像を取得して、当該対象画像のドットごみを検出し、ドットごみを除去する流れを説明する。
FIG. 4 schematically shows an example of the flow of processing by the
ステップ１０２（ステップをＳと省略して記載する場合がある。）１０２では、画像取得部１１０が、対象画像を取得する。Ｓ１０４では、推定部１２０が、Ｓ１０２において画像取得部１１０が取得した対象画像の各画素に対応する物体を推定する。推定部１２０は、各画素に対して、推定した物体の物体ＩＤを対応付ける。
In step 102 (step may be abbreviated as S) 102, the
Ｓ１０６では、検出部１３０が、ドットごみ検出処理を実行する。検出部１３０は、Ｓ１０４における推定結果に対して、フィルタ２００を用いたフィルタ処理を施すことによって、誤推定部分を検出する。検出部１３０は、対象画像の全画素に対して、フィルタ２００を用いたフィルタ処理を施してよい。
In S106, the
ドットごみが１つでも検出された場合（Ｓ１０８でＹＥＳ）、Ｓ１１０に進み、ドットごみが検出されなかった場合（Ｓ１０８でＮＯ）、処理を終了する。Ｓ１１０では、決定部１４０が、Ｓ１０６において検出された誤推定部分の画素の物体ＩＤに対して、補完すべき補完ＩＤを算出する。決定部１４０は、誤推定部分の画素の周辺の複数の画素について、対応する物体ＩＤが同一である画素の数を、物体ＩＤ毎に特定し、特定結果に基づいて、補完ＩＤを決定する。
If even one dot dust is detected (YES in S108), the process advances to S110, and if no dot dust is detected (NO in S108), the process ends. In S110, the determining
Ｓ１１２では、置換処理部１５０が、Ｓ１０４において推定された、対象画像における誤推定部分の画素に対応する物体ＩＤを、Ｓ１１０において決定された補完ＩＤに置き換える。そして、処理を終了する。
In S112, the
図５は、検出部１３０によるマルチスケール処理について説明するための説明図である。検出部１３０は、対象画像３００のサイズを変更し、複数の異なるサイズの対象画像３００のそれぞれに対して、誤推定部分を検出する検出処理を実行する。図５では、等倍の対象画像３００と、１／４のサイズの対象画像３００と、１／８のサイズの対象画像３００のそれぞれに対して、検出処理を実行する場合を例示している。
FIG. 5 is an explanatory diagram for explaining multiscale processing by the
等倍の対象画像３００に対して検出処理を実行することによって、等倍のサイズにおける１画素の大きさのドットごみを検出できる。しかし、対象画像３００内には、様々なサイズのドットサイズが存在し得る。そこで、検出部１３０は、対象画像３００を縮小して検出処理を実行する。例えば、図５に示すように、１／４のサイズに縮小した対象画像３００に対して検出処理を実行することによって、等倍の対象画像３００ではドットごみとして検出できない、２×２画素のドットごみが、１画素のサイズとなることによって、ドットごみとして検出することができる。
By performing the detection process on the
検出部１３０は、１／４のサイズの対象画像３００に対して検出処理を実行し、誤推定部分を検出する。そして、検出部１３０は、対象画像３００を等倍のサイズに戻し、検出結果３１４とする。これにより、１／４のサイズの対象画像３００における１画素のサイズの誤推定部分は、２×２画素のサイズの誤推定部分となる。
The
同様に、検出部１３０は、１／８のサイズの対象画像３００に対して検出処理を実行し、誤推定部分を検出する。そして、検出部１３０は、誤推定部分を含めて、対象画像３００を等倍のサイズに戻し、検出結果３１６とする。
Similarly, the
検出部１３０は、複数の異なるサイズの対象画像３００のそれぞれに対して検出処理を実行した検出結果を統合し、複数の異なるサイズの対象画像３００の少なくともいずれかにおいて誤推定部分として検出された部分を、対象画像３００の誤推定部分としてよい。図５に示す例において、検出部１３０は、検出結果３１２、検出結果３１４、及び検出結果３１６を統合し、検出結果３１２、検出結果３１４、及び検出結果３１６の少なくともいずれかにおいて誤推定部分として検出された部分を、誤推定部分とする。
The
これにより、様々なサイズのドットごみを検出することができる。決定部１４０は、様々なサイズの誤推定部分について、誤推定部分の画素の周辺の画素を用いて、誤推定部分の画素に対応させる物体を特定してよい。例えば、決定部１４０は、２×２画素のサイズの誤推定部分について、その周辺の１２画素、又は、当該１２画素と誤推定部分の４画素について、対応する物体が同一である画素の数を、物体毎に特定し、特定結果に基づいて、誤推定部分の画素に対応させる物体を決定する。決定部１４０は、最頻の物体を、誤推定部分の画素に対応させる物体として決定してよい。置換処理部１５０は、誤推定部分の画素に対応する物体を、決定部１４０によって決定された物体に置き換えてよい。
This makes it possible to detect dot dust of various sizes. For incorrectly estimated portions of various sizes, the determining
図５では、サイズの例として、１／４及び１／８を挙げているが、これらに限られず、他の縮小サイズが用いられてもよい。また、拡大サイズが用いられてもよい。対象画像３００に対してマルチスケール処理を実行する場合に、どのサイズを採用するかは、例えば、予め設定されてよい。例えば、画像処理装置１００の利用者が、対象画像３００のサイズ等に応じて、マルチスケール処理に用いる複数のサイズを設定する。例えば、画像処理装置１００の利用者は、対象画像３００のサイズが第１のサイズである場合に、等倍、１／４及び１／８を設定し、対象画像３００のサイズが第１のサイズよりも大きい第２のサイズである場合、等倍、１／４、１／８、及び１／１６を設定し得る。なお、マルチスケール処理に用いる複数のサイズは、検出部１３０によって自動設定されてもよい。検出部１３０は、対象画像３００のサイズに応じた、マルチスケール処理に用いる複数のサイズを設定する。
Although 1/4 and 1/8 are shown as examples of sizes in FIG. 5, the size is not limited to these, and other reduced sizes may be used. Also, enlarged sizes may be used. When performing multiscale processing on the
図６は、推定部１２０の機能構成の一例を概略的に示す。ここでは、推定部１２０がＦＳＳを実行することによって、対象画像の複数の画素のそれぞれについて、画像に対応する物体を推定する場合における、推定部１２０の機能構成の一例を示す。推定部１２０がＦＳＳを実行する場合、画像取得部１１０が、複数の物体のそれぞれについて、サポートデータを取得して、記憶部１０２に記憶させておく。推定部１２０は、サポートデータ取得部１２１、及び照合推論処理部１２２を有する。
FIG. 6 schematically shows an example of the functional configuration of the
サポートデータ取得部１２１は、記憶部１０２からサポートデータを取得する。サポートデータ取得部１２１は、それぞれが複数の物体のそれぞれに対応する複数のサポートデータを取得してよい。１つのサポートデータには、１以上のサポート画像及びアノテーションデータの組み合わせが含まれる。
The support
照合推論処理部１２２は、サポートデータ取得部１２１が取得した複数のサポートデータを用いて、対象画像に含まれる各種物体の位置を推定する。照合推論処理部１２２は、特徴抽出処理部１２３、プロトタイプ算出処理部１２４、及びプロトタイプ照合処理部１２５を有する。
The matching and
特徴抽出処理部１２３は、複数のサポートデータのそれぞれについて、サポートデータに含まれる１以上のサポート画像のそれぞれの特徴量を抽出する。特徴抽出処理部１２３は、サポート画像の複数の領域毎の特徴量を示すサポートフィーチャを生成してよい。
The feature
特徴抽出処理部１２３は、画像取得部１１０が取得した対象画像の特徴量を抽出する。特徴抽出処理部１２３は、対象画像の複数の領域毎の特徴量を示す対象画像フィーチャを生成してよい。
The feature
プロトタイプ算出処理部１２４は、サポートデータに含まれるサポート画像及びアノテーションデータに基づいて、サポート画像の物体の特徴を表すプロトタイプを算出する。 プロトタイプ算出処理部１２４は、特徴抽出処理部１２３によって生成されたサポートフィーチャと、アノテーションデータに基づいて、プロトタイプを算出してよい。
The prototype
例えば、プロトタイプ算出処理部１２４は、アノテーションデータを用いて、サポートフィーチャから、物体の位置に対応する複数の領域の特徴量を抽出する。プロトタイプ算出処理部１２４は、複数のサポートフィーチャのそれぞれから、物体の位置に対応する複数の領域の特徴量を抽出してよい。プロトタイプ算出処理部１２４は、抽出した複数の特徴量を特徴空間に配置して、複数の特徴量の重心を、物体のプロトタイプとして算出してよい。このように、プロトタイプは、特徴空間における特徴ベクトルであってよい。
For example, the prototype
プロトタイプ照合処理部１２５は、対象画像の複数の領域毎に、プロトタイプ算出処理部１２４によって算出されたプロトタイプとの類似度に基づいて、対応する物体を判定する。プロトタイプ照合処理部１２５は、例えば、対象画像フィーチャを用いて、対象画像の複数の領域のそれぞれについて、領域の特徴量と物体のプロトタイプとの類似度を算出する。プロトタイプ照合処理部１２５は、例えば、領域の特徴量と物体のプロトタイプとのコサイン類似度を算出する。そして、プロトタイプ照合処理部１２５は、対象画像の複数の領域のそれぞれについて、類似度が最も高いプロトタイプに対応する物体を、領域に対応する物体として決定する。
The prototype
図７、図８及び図９は、推定部１２０によるＦＳＳについて概略的に説明するための説明図である。ここでは、４－Ｓｈｏｔ、すなわち、サポートデータ４０に４組のサポート画像４２及びアノテーションデータ４４が含まれている場合を例示している。
7, FIG. 8, and FIG. 9 are explanatory diagrams for schematically explaining the FSS by the
図７では、複数のサポートデータ４０のうちの１つのサポートデータ４０を例示している。当該サポートデータは、飛行機に対応する。４つのサポート画像４２のそれぞれは、飛行機を含む。４つのアノテーションデータ４４のそれぞれは、対応するサポート画像４２における飛行機の位置を示す。
In FIG. 7, one
特徴抽出処理部１２３は、４つのサポート画像４２のそれぞれについて、サポート画像４２の複数の領域４０１毎の特徴量を示すサポートフィーチャ４００を生成する。領域４０１のサイズは、任意のサイズであってよく、設定によって変更可能であってよい。
The feature
プロトタイプ算出処理部１２４は、アノテーションデータ４４及びサポートフィーチャ４００を用いて、飛行機のプロトタイプを生成する。本例において、プロトタイプ算出処理部１２４は、１つ目のサポートフィーチャ４００のうちの、複数の飛行機領域４０２の特徴量を抽出する。同様に、プロトタイプ算出処理部１２４は、他の３つのサポートフィーチャ４００のうちの、複数の飛行機領域４０２の特徴量を抽出する。プロトタイプ算出処理部１２４は、抽出した複数の特徴量を特徴空間４１２に配置して、複数の特徴量の重心を、飛行機プロトタイプ４２２として算出する。
The prototype
特徴抽出処理部１２３は、図９に例示するように、対象画像３００の複数の領域３０１毎の特徴量を示す対象画像フィーチャ３０２を生成する。プロトタイプ照合処理部１２５は、複数の領域３０１のそれぞれについて、複数のプロトタイプとの類似度を算出して、最も類似度が高いプロトタイプを決定し、プロトタイプに対応する物体ＩＤを対応付ける。これにより、対象画像３００の全画素のそれぞれに物体ＩＤが対応付けられる。
The feature
図１０は、画像処理装置１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。コンピュータ１２００にインストールされたプログラムは、コンピュータ１２００を、本実施形態に係る装置の１又は複数の「部」として機能させ、又はコンピュータ１２００に、本実施形態に係る装置に関連付けられるオペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ１２００に、本実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ１２００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ１２１２によって実行されてよい。
FIG. 10 schematically shows an example of the hardware configuration of a
本実施形態によるコンピュータ１２００は、ＣＰＵ１２１２、ＲＡＭ１２１４、及びグラフィックコントローラ１２１６を含み、それらはホストコントローラ１２１０によって相互に接続されている。コンピュータ１２００はまた、通信インタフェース１２２２、記憶装置１２２４、ＤＶＤドライブ１２２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ１２２０を介してホストコントローラ１２１０に接続されている。ＤＶＤドライブ１２２６は、ＤＶＤ－ＲＯＭドライブ及びＤＶＤ－ＲＡＭドライブ等であってよい。記憶装置１２２４は、ハードディスクドライブ及びソリッドステートドライブ等であってよい。コンピュータ１２００はまた、ＲＯＭ１２３０及びキーボードのようなレガシの入出力ユニットを含み、それらは入出力チップ１２４０を介して入出力コントローラ１２２０に接続されている。
The
ＣＰＵ１２１２は、ＲＯＭ１２３０及びＲＡＭ１２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ１２１６は、ＲＡＭ１２１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ１２１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス１２１８上に表示されるようにする。
The
通信インタフェース１２２２は、ネットワークを介して他の電子デバイスと通信する。記憶装置１２２４は、コンピュータ１２００内のＣＰＵ１２１２によって使用されるプログラム及びデータを格納する。ＤＶＤドライブ１２２６は、プログラム又はデータをＤＶＤ－ＲＯＭ１２２７等から読み取り、記憶装置１２２４に提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
ＲＯＭ１２３０はその中に、アクティブ化時にコンピュータ１２００によって実行されるブートプログラム等、及び／又はコンピュータ１２００のハードウェアに依存するプログラムを格納する。入出力チップ１２４０はまた、様々な入出力ユニットをＵＳＢポート、パラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ１２２０に接続してよい。
プログラムは、ＤＶＤ－ＲＯＭ１２２７又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもある記憶装置１２２４、ＲＡＭ１２１４、又はＲＯＭ１２３０にインストールされ、ＣＰＵ１２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ１２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ１２００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
The program is provided by a computer readable storage medium such as a DVD-
例えば、通信がコンピュータ１２００及び外部デバイス間で実行される場合、ＣＰＵ１２１２は、ＲＡＭ１２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース１２２２に対し、通信処理を命令してよい。通信インタフェース１２２２は、ＣＰＵ１２１２の制御の下、ＲＡＭ１２１４、記憶装置１２２４、ＤＶＤ－ＲＯＭ１２２７、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
For example, when communication is performed between the
また、ＣＰＵ１２１２は、記憶装置１２２４、ＤＶＤドライブ１２２６（ＤＶＤ－ＲＯＭ１２２７）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ１２１４に読み取られるようにし、ＲＡＭ１２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ１２１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
Further, the
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ１２１２は、ＲＡＭ１２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ１２１４に対しライトバックする。また、ＣＰＵ１２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ１２１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
Various types of information, such as various types of programs, data, tables, and databases, may be stored on a recording medium and subjected to information processing.
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ１２００上又はコンピュータ１２００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ１２００に提供する。
The programs or software modules described above may be stored in a computer-readable storage medium on or near
本実施形態におけるフローチャート及びブロック図におけるブロックは、オペレーションが実行されるプロセスの段階又はオペレーションを実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、専用回路、コンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、及び／又はコンピュータ可読記憶媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサによって実装されてよい。専用回路は、デジタル及び／又はアナログハードウェア回路を含んでよく、集積回路（ＩＣ）及び／又はディスクリート回路を含んでよい。プログラマブル回路は、例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、及びプログラマブルロジックアレイ（ＰＬＡ）等のような、論理積、論理和、排他的論理和、否定論理積、否定論理和、及び他の論理演算、フリップフロップ、レジスタ、並びにメモリエレメントを含む、再構成可能なハードウェア回路を含んでよい。 Blocks in the flowcharts and block diagrams of the present embodiments may represent stages in a process in which an operation is performed or a "part" of a device responsible for performing the operation. Certain steps and units may be provided with dedicated circuitry, programmable circuitry provided with computer readable instructions stored on a computer readable storage medium, and/or provided with computer readable instructions stored on a computer readable storage medium. May be implemented by a processor. Dedicated circuitry may include digital and/or analog hardware circuits, and may include integrated circuits (ICs) and/or discrete circuits. Programmable circuits can perform AND, OR, EXCLUSIVE OR, NAND, NOR, and other logical operations, such as field programmable gate arrays (FPGAs), programmable logic arrays (PLAs), etc. , flip-flops, registers, and memory elements.
コンピュータ可読記憶媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読記憶媒体は、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読記憶媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読記憶媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭ又はフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（登録商標）ディスク、メモリスティック、集積回路カード等が含まれてよい。 A computer-readable storage medium may include any tangible device capable of storing instructions for execution by a suitable device such that a computer-readable storage medium with instructions stored therein may be illustrated in a flowchart or block diagram. A product will be provided that includes instructions that can be executed to create a means for performing specified operations. Examples of computer-readable storage media may include electronic storage media, magnetic storage media, optical storage media, electromagnetic storage media, semiconductor storage media, and the like. More specific examples of computer readable storage media include floppy disks, diskettes, hard disks, random access memory (RAM), read only memory (ROM), erasable programmable read only memory (EPROM or flash memory). , Electrically Erasable Programmable Read Only Memory (EEPROM), Static Random Access Memory (SRAM), Compact Disk Read Only Memory (CD-ROM), Digital Versatile Disk (DVD), Blu-ray Disc, Memory Stick , integrated circuit cards, and the like.
コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又はＳｍａｌｌｔａｌｋ（登録商標）、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、及び「Ｃ」プログラミング言語又は同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１又は複数のプログラミング言語の任意の組み合わせで記述されたソースコード又はオブジェクトコードのいずれかを含んでよい。 Computer-readable instructions may include assembler instructions, instruction set architecture (ISA) instructions, machine instructions, machine-dependent instructions, microcode, firmware instructions, state configuration data, or instructions such as Smalltalk®, JAVA®, C++, etc. any source code or object code written in any combination of one or more programming languages, including object-oriented programming languages such as may include.
コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路が、フローチャート又はブロック図で指定されたオペレーションを実行するための手段を生成するために当該コンピュータ可読命令を実行すべく、ローカルに又はローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサ、又はプログラマブル回路に提供されてよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。 The computer-readable instructions are for producing means for a processor of a general purpose computer, special purpose computer, or other programmable data processing device, or programmable circuit to perform the operations specified in the flowchart or block diagrams. A general purpose computer, special purpose computer, or other programmable data processor, locally or over a local area network (LAN), wide area network (WAN), such as the Internet, to execute the computer readable instructions. It may be provided in a processor or programmable circuit of the device. Examples of processors include computer processors, processing units, microprocessors, digital signal processors, controllers, microcontrollers, and the like.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることが可能であることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the range described in the above embodiments. It will be apparent to those skilled in the art that various changes or improvements can be made to the embodiments described above. It is clear from the claims that such modifications or improvements may be included within the technical scope of the present invention.
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階などの各処理の実行順序は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」などを用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The execution order of each process, such as an operation, a procedure, a step, and a stage in the apparatus, system, program, and method shown in the claims, specification, and drawings, specifically refers to "before" or "before". It should be noted that they can be implemented in any order unless the output of the previous process is used in the subsequent process. Even if the claims, specifications, and operational flows in the drawings are explained using "first," "next," etc. for convenience, this does not mean that it is essential to carry out the operations in this order. It's not a thing.
４０ サポートデータ、４２ サポート画像、４４ アノテーションデータ、１００ 画像処理装置、１０２ 記憶部、１１０ 画像取得部、１２０ 推定部、１２１ サポートデータ取得部、１２２ 照合推論処理部、１２３ 特徴抽出処理部、１２４ プロトタイプ算出処理部、１２５ プロトタイプ照合処理部、１３０ 検出部、１４０ 決定部、１５０ 置換処理部、１６０ 出力制御部、２００ フィルタ、２１０、２２０、２３０ 画素、３００ 対象画像、３０１ 領域、３０２ 対象画像フィーチャ、３１２、３１４、３１６ 検出結果、４００ サポートフィーチャ、４０１ 領域、４０２ 飛行機領域、４１２ 特徴空間、４２２ 飛行機プロトタイプ、１２００ コンピュータ、１２１０ ホストコントローラ、１２１２ ＣＰＵ、１２１４ ＲＡＭ、１２１６ グラフィックコントローラ、１２１８ ディスプレイデバイス、１２２０ 入出力コントローラ、１２２２ 通信インタフェース、１２２４ 記憶装置、１２２６ ＤＶＤドライブ、１２２７ ＤＶＤ－ＲＯＭ、１２３０ ＲＯＭ、１２４０ 入出力チップ 40 support data, 42 support image, 44 annotation data, 100 image processing device, 102 storage unit, 110 image acquisition unit, 120 estimation unit, 121 support data acquisition unit, 122 matching inference processing unit, 123 feature extraction processing unit, 124 prototype calculation processing unit, 125 prototype matching processing unit, 130 detection unit, 140 determination unit, 150 replacement processing unit, 160 output control unit, 200 filter, 210, 220, 230 pixels, 300 target image, 301 area, 302 target image feature, 312, 314, 316 detection result, 400 support feature, 401 region, 402 airplane region, 412 feature space, 422 airplane prototype, 1200 computer, 1210 host controller, 1212 CPU, 1214 RAM, 1216 graphics controller, 1218 display device, 1220 input Output controller, 1222 Communication interface, 1224 Storage device, 1226 DVD drive, 1227 DVD-ROM, 1230 ROM, 1240 Input/output chip
Claims (9)
前記対象画像の複数の画素のそれぞれについて、画素に対応する物体を推定する推定部と、
前記推定部による推定結果に対して、細かな絵柄変化に反応して誤推定された誤推定部分に反応するフィルタ処理を施すことによって、前記誤推定部分を検出する検出部と
を備える、画像処理装置。 an image acquisition unit that acquires a target image;
an estimation unit that estimates an object corresponding to each pixel for each of the plurality of pixels of the target image;
and a detection unit that detects the erroneously estimated portion by applying filter processing that responds to the erroneously estimated portion that is erroneously estimated in response to a small picture pattern change to the estimation result by the estimator. Device.
をさらに備える、請求項１に記載の画像処理装置。 Identifying for each object the number of pixels that have the same corresponding object among a plurality of pixels surrounding the pixel in the incorrectly estimated portion in the target image, and corresponding to the pixel in the incorrectly estimated portion based on the identification result. The image processing device according to claim 1, further comprising: a determining unit that determines an object to be displayed.
をさらに備える、請求項４に記載の画像処理装置。 The image processing device according to claim 4, further comprising: a replacement processing unit that replaces an object corresponding to a pixel of the incorrectly estimated portion in the target image estimated by the estimation unit with an object determined by the determination unit. .
を備え、
前記推定部は、前記サポートデータ取得部が取得した複数の前記サポートデータを用いた照合推論処理を実行することによって、前記対象画像の複数の画素のそれぞれについて、画素に対応する物体を推定する、請求項１に記載の画像処理装置。 A support data acquisition unit that acquires, for each of a plurality of objects, support data including a support image in which the object is photographed and annotation data indicating the position of the object in the support image,
The estimation unit estimates, for each of the plurality of pixels of the target image, an object corresponding to the pixel by executing a matching inference process using the plurality of support data acquired by the support data acquisition unit. The image processing device according to claim 1.
対象画像を取得する画像取得段階と、
前記対象画像の複数の画素のそれぞれについて、画素に対応する物体を推定する推定段階と、
前記推定段階による推定結果に対して、細かな絵柄変化に反応して誤推定された誤推定部分に反応するフィルタ処理を施すことによって、前記誤推定部分を検出する検出段階と
を備える、画像処理方法。 An image processing method performed by a computer, the method comprising:
an image acquisition step of acquiring a target image;
an estimation step of estimating, for each of the plurality of pixels of the target image, an object corresponding to the pixel;
and a detection step of detecting the erroneously estimated portion by performing filter processing on the estimation result from the estimating step in response to a small picture pattern change, thereby detecting the erroneously estimated portion. Method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022196586A JP7382479B1 (en) | 2022-12-08 | 2022-12-08 | Image processing device, program, and image processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022196586A JP7382479B1 (en) | 2022-12-08 | 2022-12-08 | Image processing device, program, and image processing method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP7382479B1 true JP7382479B1 (en) | 2023-11-16 |
Family
ID=88729235
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022196586A Active JP7382479B1 (en) | 2022-12-08 | 2022-12-08 | Image processing device, program, and image processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7382479B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080187219A1 (en) | 2007-02-05 | 2008-08-07 | Chao-Ho Chen | Video Object Segmentation Method Applied for Rainy Situations |
| US20150278616A1 (en) | 2014-03-27 | 2015-10-01 | Xerox Corporation | Feature- and classifier-based vehicle headlight/shadow removal in video |
| EP3185180A1 (en) | 2014-10-23 | 2017-06-28 | Axis AB | Modification of at least one parameter used by a video processing algorithm for monitoring of a scene |
| WO2018105112A1 (en) | 2016-12-09 | 2018-06-14 | 株式会社日立国際電気 | Water intrusion detection system and method |
-
2022
- 2022-12-08 JP JP2022196586A patent/JP7382479B1/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080187219A1 (en) | 2007-02-05 | 2008-08-07 | Chao-Ho Chen | Video Object Segmentation Method Applied for Rainy Situations |
| US20150278616A1 (en) | 2014-03-27 | 2015-10-01 | Xerox Corporation | Feature- and classifier-based vehicle headlight/shadow removal in video |
| EP3185180A1 (en) | 2014-10-23 | 2017-06-28 | Axis AB | Modification of at least one parameter used by a video processing algorithm for monitoring of a scene |
| WO2018105112A1 (en) | 2016-12-09 | 2018-06-14 | 株式会社日立国際電気 | Water intrusion detection system and method |
Non-Patent Citations (2)
| Title |
|---|
| 奥剛一 外２名，俯瞰視ＲＧＢ－Ｄカメラによる個人再識別用の画像の自動取得，電子情報通信学会技術研究報告 Ｖｏｌ．１１８ Ｎｏ．５１３ ［ｏｎｌｉｎｅ］，日本，一般社団法人電子情報通信学会，2019年03月10日，Ｖｏｌ．１１８ Ｎｏ．５１３，pp.31～35 |
| 神谷卓也 外３名，天井カメラを用いて観測された身体動揺における自己遮蔽の影響を考慮した人物対応付け，電気学会論文誌Ｃ Ｖｏｌ．１４０ Ｎｏ．６，日本，一般社団法人電気学会，2020年06月01日，Ｖｏｌ．１４０ Ｎｏ．６，pp.629～637 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5713790B2 (en) | Image processing apparatus, image processing method, and program | |
| JP5775225B2 (en) | Text detection using multi-layer connected components with histograms | |
| EP2808828B1 (en) | Image matching method, image matching device, model template generation method, model template generation device, and program | |
| JP5878924B2 (en) | Image processing apparatus, imaging apparatus, and image processing method | |
| CN108765315B (en) | Image completion method and device, computer equipment and storage medium | |
| EP3038017A1 (en) | Method of generating descriptor for interest point in image and apparatus implementing the same | |
| US11600088B2 (en) | Utilizing machine learning and image filtering techniques to detect and analyze handwritten text | |
| CN112164013B (en) | Portrait reloading method, system and medium | |
| JP2019215647A (en) | Information processing device, control method of the same and program | |
| JP2011257963A (en) | Image processing device, and processing method and program thereof | |
| JP2019220014A (en) | Image analyzing apparatus, image analyzing method and program | |
| CN109325387B (en) | Image processing method and device and electronic equipment | |
| JP7382479B1 (en) | Image processing device, program, and image processing method | |
| JP2023129401A (en) | Image recognition apparatus, program, image recognition method, and machine learning method | |
| US10872423B2 (en) | Image detection device, image detection method and storage medium storing program | |
| CN112365513A (en) | Model training method and device | |
| JP2016053763A (en) | Image processor, image processing method and program | |
| CN111488776A (en) | Object detection method, object detection device and electronic equipment | |
| Yang et al. | Scene classification-oriented saliency detection via the modularized prescription | |
| JP2016081472A (en) | Image processing device, and image processing method and program | |
| García et al. | A gaussian-median filter for moving objects segmentation applied for static scenarios | |
| CN113129227A (en) | Image processing method, image processing device, computer equipment and storage medium | |
| CN110264480B (en) | Image segmentation method, device and computer readable storage medium | |
| KR20170109927A (en) | Method and apparatus for detection door image using machine learning algorithm | |
| JP4253265B2 (en) | Shadow detection apparatus, shadow detection method and shadow detection program, image processing apparatus using shadow detection apparatus, image processing method using shadow detection method, and image processing program using shadow detection program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230208 |
|
| TRDD | Decision of grant or rejection written | ||
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20231016 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231017 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231106 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7382479 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |