JP2006039658A - Image classification learning processing system and image identification processing system - Google Patents
Image classification learning processing system and image identification processing system Download PDFInfo
- Publication number
- JP2006039658A JP2006039658A JP2004214538A JP2004214538A JP2006039658A JP 2006039658 A JP2006039658 A JP 2006039658A JP 2004214538 A JP2004214538 A JP 2004214538A JP 2004214538 A JP2004214538 A JP 2004214538A JP 2006039658 A JP2006039658 A JP 2006039658A
- Authority
- JP
- Japan
- Prior art keywords
- image
- learning
- mapping
- images
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、画像の特徴量に注目した画像分類学習処理システム及びその学習結果を利用した画像識別処理システムに関するものである。 The present invention relates to an image classification learning processing system focusing on image feature amounts and an image identification processing system using the learning result.
画像のクラス分類を学習し、その学習結果に基づいて画像中の対象物体を識別するための方法として、画像を特徴付ける情報（特徴量）に基づくものがある。このような方法では、特徴量を入力としクラスを出力とするパラメタ表示された写像（クラス識別写像）を用いるが、そのクラス識別写像のパラメタは、既にクラス分類されている学習用画像を教師データ（モデル）として与え、この学習用画像に対する経験リスクが最小化されるようにして定義され（ニューラルネットワーク）、あるいは構造リスクを最大化するようにして定義される（サポートベクターマシン）。いずれの場合にも、画像からヒューリスティックな方法で抽出された特徴量を用いている。ところが、このようにして抽出される特徴量が画像を分類及び識別するにあたって最適な基準となるかどうかは自明ではないので、客観的な評価に基づいて真に最適な特徴量を求めることが重要である。 As a method for learning the classification of an image and identifying a target object in the image based on the learning result, there is a method based on information (feature amount) characterizing the image. In such a method, a parameter-displayed map (class identification map) having a feature quantity as an input and a class as an output is used. The class identification map uses a learning image that has already been classified as teaching data. It is defined as (model) and defined so that the experience risk for this learning image is minimized (neural network), or is defined so as to maximize the structural risk (support vector machine). In either case, the feature amount extracted from the image by a heuristic method is used. However, since it is not obvious whether the feature quantity extracted in this way is the optimum standard for classifying and identifying images, it is important to find the true optimum feature quantity based on objective evaluation. It is.
特徴量に基づいて画像のクラス分類を学習し、対象物体を識別するプロセスにおいては、統計的手法によって有用な特徴量を抽出するアプローチが知られている。特に、画像から線形変換によって得られるような特徴量を抽出するものとして、（１）主成分分析（Principal Component Analysis；PCA）や重判別分析（Multiple Discriminant Analysis；MDA）を用いるものなどが一般的である。例えば、特許文献１や特許文献２には、適応学習型汎用画像計測方法及び適応学習型汎用画像計測装置が記載されている。ところが、対象物体や背景（環境）の条件などによっては、線形性の仮定が成り立たないこともあり、画像からの線形変換によって常に画像の分類及び識別に有用な特徴量が得られるとは限らない。このような場合に対処する方法としては、（２）ニューラルネットワークや非線形変換を行った後に主成分分析を行う方法がある。但し、これらの手法では、非線形変換の形を予め仮定する必要があるが、抽出すべき特徴量が予め仮定した非線形変換と異なる場合には、適切な特徴量を得ることができない。そこで、どのような非線形変換を行うかを予め仮定しない手法として、（３）自己組織化写像（Self-Organizing Maps；SOM）を用いる手法や、計量的多次元尺度構成法（Multi Dimensional Scaling；MDS）などのクラスタリングを行う手法がある。例えば、特許文献３には、特徴空間の階層的クラスタリングを行う類似画像表示方法が記載されている。
しかしながら、従来技術（１）で説明した手法では、特徴量が画像情報に関する線形変換として与えられることを仮定しているが、そのような仮定が一般的に成り立つとは限らないので、適用できる対象が限られてしまうという問題がある。 However, in the method described in the prior art (1), it is assumed that the feature amount is given as a linear transformation related to image information. However, since such an assumption is not generally valid, an applicable target There is a problem that is limited.
また、従来技術（２）で説明した手法では、非線形変換によって得られる特徴量を扱うことができるが、抽出すべき特徴量が予め仮定した特徴量と異なる場合には、適切な結果を得ることができないという問題がある。 In the method described in the prior art (2), it is possible to handle the feature quantity obtained by nonlinear transformation. However, when the feature quantity to be extracted is different from the assumed feature quantity, an appropriate result is obtained. There is a problem that can not be.
また、従来技術（３）で説明した手法では、非線形変換を予め仮定する必要はないが、特徴量の成す空間に計量を与えなければならず、解析結果はこの計量に大きく影響される。しかしながら、求めるべき特徴空間に計量をどのように与えれば良いかは自明ではないので、設定した計量が不適切であった場合には、精度が悪くなるという問題がある。さらに、SOMの場合には、特徴空間が離散的な格子によって表されるため、離散化に伴う誤差が大きく影響する可能性がある。 Further, in the method described in the prior art (3), it is not necessary to presuppose nonlinear transformation in advance, but a metric must be given to the space formed by the feature quantity, and the analysis result is greatly influenced by this metric. However, since it is not self-evident how to provide the metric to the feature space to be obtained, there is a problem that accuracy is deteriorated when the set metric is inappropriate. Furthermore, in the case of SOM, since the feature space is represented by a discrete grid, errors due to discretization may greatly affect.
また、画像処理において、画像計測装置による解像度などの違い、対象物体の変化、オクルージョンや環境（背景）の突然の変化などによるノイズが発生するが、これらは統計的に扱うことは困難である。上記した従来技術はずれもデータを計量的に扱っているため、このようなノイズの発生に対するロバスト性が低いという問題がある。また、このような大きなノイズの影響を画像に対する前処理において十分に補正することも困難である場合が多い。 In image processing, noise is generated due to a difference in resolution between image measurement devices, a change in a target object, a sudden change in occlusion or an environment (background), and these are difficult to handle statistically. Since the above-described conventional technology handles data quantitatively, there is a problem that the robustness against such noise generation is low. In addition, it is often difficult to sufficiently correct the influence of such large noise in the preprocessing for the image.
さらに、MRI画像のような３次元画像に対して、従来の手法を適用する際には、特徴量を抽出するために、一度、２次元の断面画像を取ってから解析を行い、再度３次元の情報に組み直す必要性があるが、このような場合には、断面間のグローバルな特徴を抽出するのが困難である。また、近年のMRI画像計測技術の発展によって、テンソル値の３次元画像を取得することも出来るようになっているが、テンソル値（行列値）のデータは色相や輝度のようなデータとは異なり、各成分自体の値よりも、行列式、固有値およびトレースなどの量の方に本質的な意味があり、従来手法のような平均輝度やエッジ強度のような特徴量は有効な特徴量とはならない場合が多い。 Furthermore, when applying a conventional method to a three-dimensional image such as an MRI image, in order to extract a feature amount, a two-dimensional cross-sectional image is once taken and analyzed, and then again three-dimensional. However, in such a case, it is difficult to extract global features between cross sections. Also, recent developments in MRI image measurement technology have made it possible to acquire 3D images of tensor values, but tensor value (matrix value) data differs from data such as hue and brightness. The amount of determinants, eigenvalues, and traces is more meaningful than the value of each component itself, and features such as average luminance and edge strength as in the conventional method are effective features. Often not.
本発明は、このような従来技術における問題点に鑑みてなされたものであり、画像のクラス分類学習処理システム及びその学習結果を用いた画像識別処理システムであって、適切な特徴量をより客観的な規準によって抽出することにより、画像の解像度の違い、対象物体の変化、オクルージョンや環境の突然な変化などに対してロバストなクラス分類学習及び画像識別を行うことができるシステムを提供しようとするものである。 The present invention has been made in view of such problems in the prior art, and is an image class classification learning processing system and an image identification processing system using the learning result, and more appropriate feature amounts are more objective. By extracting based on common criteria, we intend to provide a system that can perform robust class classification learning and image identification against differences in image resolution, changes in target objects, sudden changes in occlusion and environment, etc. Is.
本発明者は、上記の課題を解決するために、まず画像の大きさに比べて十分に小さく予め定められた形状の領域（窓）を、この窓が画像全体を覆うように設定し（窓はお互いに重なりあっても良いし、重なりがないようにしても良い）、それぞれの窓から画像の小領域を切り出した部分画像の集合を作成し、切り出されたすべての部分画像同士の間にそれらの間の非類似度（あるいは類似度）に相当するような順序関係を定義し、この順序関係のみに基づいて各部分画像を任意の距離空間における点へと写像し、このようにして写像された距離空間における点の位置座標ベクトルの直積又はテンソル積を画像についての特徴量とすることにより、統計的に客観的であり、かつ、ノイズ、環境変動、画像中の識別対象のオクルージョンなどに対してロバストである画像のクラス分類学習およびクラス識別を行うことができることに想到した。 In order to solve the above problem, the present inventor first sets an area (window) having a predetermined shape that is sufficiently smaller than the image size so that the window covers the entire image (window). May be overlapped with each other or may not overlap each other), and a set of partial images obtained by cutting out a small area of the image from each window is created, and between all the cut out partial images Define an order relationship that corresponds to the dissimilarity (or similarity) between them, and map each partial image to a point in an arbitrary metric space based on this order relationship. By using the direct product or tensor product of the position coordinate vectors of the points in the specified metric space as the feature quantity of the image, it is statistically objective and can be used for noise, environmental fluctuation, occlusion of the identification target in the image, etc. versus And conceived that it is possible to perform class classification learning and class identification of the image is robust Te.
従来技術で説明した手法に比べ、本発明では、特に、従来技術（１）で説明した手法に比べ、写像元における非類似度あるいは類似度といった量の間の順序関係のみを使用すること、順序関係のみが大切なので、ノイズや環境の明るさの変動などに対してロバスト性が高いこと、先の非類似度あるいは類似度のスケールの選び方にも依存しないため、写像先の空間における距離スケールすなわち計量の定義に影響されずに、精度高く写像を構成することができること、かつ写像が非線形であっても適用することができること、さらに、従来技術（２）で説明した手法に比べ、予め非線形写像の形を決めておく必要がないため、任意の形の非線形写像を構成することができること、また、従来技術（３）で説明した手法に比べ、写像先の空間は連続空間として扱うことができ、自己組織化写像のように空間を離散化することによる写像の精度の悪化はないこと、かつ、距離スケールすなわち計量の定義に依存しないため、自己組織化写像及び計量的多次元尺度構成法のように精度良く写像を構成するためには、距離スケールを非常に正確に調整しなければならないというような問題に影響されなくなることに特徴を有している。 Compared to the method described in the prior art, the present invention uses only the order relationship between the quantities such as dissimilarity or similarity in the mapping source, especially in comparison with the method described in the prior art (1). Since only the relationship is important, it is highly robust against noise and fluctuations in the brightness of the environment, and it does not depend on how the dissimilarity or similarity scale is selected. The mapping can be constructed with high accuracy without being affected by the definition of the metric, and can be applied even when the mapping is nonlinear. Further, compared to the method described in the prior art (2), the nonlinear mapping is previously performed. Since it is not necessary to determine the shape of, it is possible to construct a non-linear mapping of an arbitrary shape, and compared to the method described in the prior art (3), the space of the mapping destination is Since it can be treated as a continuation space, there is no deterioration in the accuracy of mapping by discretizing the space as in the self-organizing mapping, and it does not depend on the definition of the distance scale, that is, the metric, so self-organizing mapping and metric In order to construct a mapping with high accuracy like the general multidimensional scaling method, it is characterized by being unaffected by the problem that the distance scale must be adjusted very accurately.
さらに、ノイズ削除、輝度補正、背景変動補正などの画像に対する前処理を実行しなくとも、これらの影響を受けずに処理を行うことが出来るため、計算コストを大きく削減することが可能であることにおいても特徴を有している。 Furthermore, the calculation cost can be greatly reduced because the processing can be performed without being affected by these effects without performing pre-processing on the image such as noise removal, brightness correction, and background fluctuation correction. Also has features.
さらに、MRI画像のような３次元画像に対しても、本発明では、３次元画像を２次元の断面に分割する必要性はなく、３次元画像のまま、解析を行うことが可能であり、また、近年のMRI画像計測技術の発展によって、テンソル値の３次元画像を取得することも出来るようになっているが、このようなテンソル値のデータであっても客観的に本質な特徴量を抽出することができるようになることにおいても特徴を有している。 Furthermore, even for a three-dimensional image such as an MRI image, in the present invention, it is not necessary to divide the three-dimensional image into two-dimensional cross sections, and it is possible to analyze the three-dimensional image as it is, In addition, with the recent development of MRI image measurement technology, it has become possible to acquire three-dimensional images of tensor values. Even with such tensor value data, objective feature values can be obtained objectively. It also has a feature in that it can be extracted.
以上のような特徴を実現するための手段として、本発明は、画像のクラス分類を学習するシステムであって、学習用画像の対象領域に対して、該対象領域全体を覆うようにして１以上の所定形状の窓領域を設定する窓領域設定手段と、前記各窓領域に含まれる部分画像の集合から、互いに異なる２つの部分画像の組を生成し、各組の部分画像間における類似度又は非類似度を、各部分画像から抽出される特徴量に基づいて計算する部分画像間類似度計算手段と、前記部分画像間の類似度又は非類似度に基づいて前記各部分画像の組の間での順序関係を決定する第１の順序関係決定手段と、前記各部分画像の組の間で決定された順序関係が保存されるようにして、前記各部分画像を第１の距離空間上に写像する第１の写像手段と、前記第１の距離空間に写像された各点の位置座標の直積又はテンソル積を各学習用画像の第１種特徴量とし、各学習用画像の第１種特徴量に基づいて、画像間の非類似度又は類似度を計算する画像間類似度計算手段と、前記学習用画像間の非類似度又は類似度に基づいて前記各学習用画像の組の間での順序関係を決定する第２の順序関係決定手段と、前記各学習用画像の組の間で決定された順序関係が保存されるようにして、前記各学習用画像を第２の距離空間上に写像する第２の写像手段と、前記第２の距離空間に写像された各点の位置座標ベクトルを各学習用画像の第２種特徴量とし、前記第２の距離空間上に写像された点から、前記第２の距離空間における距離又は分布密度に基づいてクラスタを構成するクラスタリング手段と、各クラスタをクラス分類するとともに、各クラスタに属する点に対応する学習用画像を前記第２の写像手段による写像の逆写像によって求めることにより、各学習用画像がどのクラスに属するかを判定するクラス分類判定手段と、を含むことを特徴とするシステムを提供するものである。 As a means for realizing the above-described features, the present invention is a system that learns the classification of an image, and includes at least one target area of a learning image so as to cover the entire target area. A window area setting means for setting a window area having a predetermined shape and a set of two partial images different from each other from a set of partial images included in each window area, and the similarity between the partial images of each set or Between the partial image similarity calculation means for calculating the dissimilarity based on the feature amount extracted from each partial image, and between the sets of the partial images based on the similarity or dissimilarity between the partial images And the first order relation determining means for determining the order relation in order to store the order relation determined between the set of the partial images so that the partial images are placed on the first metric space. First mapping means for mapping, and the first distance; The direct product or tensor product of the position coordinates of each point mapped in space is the first type feature amount of each learning image, and the dissimilarity or similarity between images based on the first type feature amount of each learning image Image similarity calculating means for calculating the degree, and second order relation determining means for determining an order relation between the sets of learning images based on the dissimilarity or similarity between the learning images And second mapping means for mapping each learning image onto a second metric space in such a manner that the order relation determined between the sets of learning images is stored, and the second mapping means The position coordinate vector of each point mapped in the metric space is used as the second type feature quantity of each learning image, and the distance or distribution in the second metric space from the point mapped on the second metric space Clustering means for configuring clusters based on density, and each cluster Class classification determining means for determining which class each learning image belongs to by classifying and obtaining learning images corresponding to points belonging to each cluster by inverse mapping of the mapping by the second mapping means; And a system including the above.
本発明のシステムにおいて、前記クラスタリング手段は、全クラスタ数を予め指定せず、あるいは、全クラスタ数を予め指定してクラスタリングを行うことを特徴とする。 In the system of the present invention, the clustering means does not specify the total number of clusters in advance, or performs clustering by specifying the total number of clusters in advance.
本発明は、また、上記の画像クラス分類学習システムにおいて、学習用画像について計算された第１特徴量及び第２特徴量と、クラス分類の判定結果とを予め記憶しておき、前記画像間類似度計算手段により、前記入力画像の第１種特徴量を計算し、該第１種特徴量と学習用画像の第１種特徴量とを用いて、前記入力画像と前記学習用画像との間の非類似度又は類似度を計算し、前記第２の順序関係決定手段により、該非類似度又は類似度に基づいて前記入力画像と前記学習用画像との間の順序関係を決定し、前記第２の写像手段により、前記入力画像と前記学習用画像との間で決定された順序関係が保存されるようして、前記入力画像を第２の距離空間上に写像し、前記画像間類似度計算手段により、前記入力画像が前記第２の距離空間に写像された各点の位置座標ベクトルを前記入力画像の第２種特徴量とし、前記入力画像の第２種特徴量と前記記憶してある学習用画像の第２特徴量との間の非類似度又は類似度を計算し、該非類似度又は類似度に基づいて、入力画像が学習用画像のいずれのクラスに該当するかを識別することを特徴とするシステムを提供するものである。 According to the present invention, in the image class classification learning system, the first feature amount and the second feature amount calculated for the learning image and the determination result of the class classification are stored in advance, and the similarity between the images is determined. The first type feature amount of the input image is calculated by the degree calculating means, and the input image and the learning image are calculated using the first type feature amount and the first type feature amount of the learning image. The second order relation determining means determines the order relation between the input image and the learning image based on the degree of dissimilarity or similarity. The second mapping unit maps the input image onto a second metric space so that the order relationship determined between the input image and the learning image is stored, and the similarity between the images By the calculation means, the input image is transferred to the second metric space. The position coordinate vector of each imaged point is the second type feature quantity of the input image, and the dissimilarity between the second type feature quantity of the input image and the second feature quantity of the stored learning image The present invention provides a system characterized in that a degree or similarity is calculated, and based on the dissimilarity or similarity, the class of an input image corresponds to a learning image.
本発明は、また、上記の画像クラス分類学習システムにおいて、学習用画像について計算された第１特徴量及び第２特徴量と、クラス分類の判定結果とを予め記憶しておき、前記画像間類似度計算手段により、前記入力画像の第１種特徴量を計算し、該第１種特徴量と学習用画像の第１種特徴量とを用いて、前記入力画像と前記学習用画像との間の非類似度又は類似度を計算し、前記第２の順序関係決定手段により、該非類似度又は類似度に基づいて前記入力画像と前記学習用画像との間の順序関係を決定し、前記第２の写像手段により、前記入力画像と前記学習用画像との間で決定された順序関係が保存されるようして、前記入力画像を第２の距離空間上に写像し、前記第２の距離空間において前記入力画像が写像された点と距離が近い順に所定数の学習用画像を選択し、選択された学習用画像のうち最も多くの学習用画像が属するクラスを入力画像のクラスとして識別することを特徴とするシステムを提供するものである。 According to the present invention, in the image class classification learning system, the first feature amount and the second feature amount calculated for the learning image and the determination result of the class classification are stored in advance, and the similarity between the images is determined. The first type feature amount of the input image is calculated by the degree calculating means, and the input image and the learning image are calculated using the first type feature amount and the first type feature amount of the learning image. The second order relation determining means determines the order relation between the input image and the learning image based on the degree of dissimilarity or similarity. The second mapping unit maps the input image onto the second metric space so that the order relationship determined between the input image and the learning image is stored, and the second distance In order of distance from the point where the input image is mapped in space Select learning image of a predetermined number, there is provided a system, wherein to identify a class of most of the input image an image belongs CLASS learning of the selected learning image.
本発明は、また、上記の画像クラス分類学習システムにおいて、クラス分類済みの学習用画像の第１種特徴量を計算し、該第１種特徴量を入力して得られるクラス分類判定結果と、クラス分類済み学習用画像のクラスとの差に関する関数を全てのクラス分類済み学習用画像について足し上げた誤差関数を算出し、該誤差関数が最小化されるように前記第２の写像手段による写像のパラメタを定めることを特徴とする。 The present invention also provides a class classification determination result obtained by calculating a first type feature quantity of a class-classified learning image and inputting the first type feature quantity in the image class classification learning system described above. An error function obtained by adding a function related to the difference between the class-classified learning images to all the class-classified learning images is calculated, and mapping by the second mapping unit is performed so that the error function is minimized. The parameter is defined.
本発明のシステムにおいて、前記第２の写像手段による写像は、ニューラルネットワークを用いて構成されることを特徴とする。 In the system of the present invention, the mapping by the second mapping means is configured using a neural network.
本発明は、また、上記のシステムにおいて、さらに、入力画像の第１種特徴量を計算し、該第１種特徴量を入力して得られるクラス分類判定結果に従って前記入力画像のクラスを識別することを特徴とするシステムを提供するものである。 In the above-described system, the present invention further calculates a first type feature amount of the input image, and identifies the class of the input image according to a class classification determination result obtained by inputting the first type feature amount. The system characterized by this is provided.
本発明は、また、上記のシステムにおいて、クラス分類済みの学習用画像の第１種特徴量を計算し、該第１種特徴量を入力して得られるクラス分類判定結果における各クラスについて、クラス分類済み学習用画像をそのクラスに属する群と他のクラスに属する群とに分け、それぞれの群について、各学習用画像の第１特徴量を第３の距離空間に写像し、その写像された像を第３種特徴量とし、該第３種特徴量に関する線形な判別関数であって、一方の群に属する学習用画像の第３特徴量に関しては、前記判別関数の値がある定められた正の定数以上の値となり、他方の群に属する学習用画像の第３特徴量に関しては、前記判別関数の値が前記正の定数と絶対値が等しい負の定数以下の値となり、かつ、前記判別関数の値を０と置いた方程式により表される第３の距離空間上の超平面と各学習用画像の第３特徴量との間の距離を最小化するようパラメタをとった判別関数を定めることを特徴とするシステムを提供するものである。 According to the present invention, in the above-described system, the first type feature amount of the learning image after class classification is calculated, and for each class in the class classification determination result obtained by inputting the first type feature amount, the class is determined. The classified learning image is divided into a group belonging to the class and a group belonging to the other class, and for each group, the first feature amount of each learning image is mapped to the third metric space, and the mapping is performed. An image is a third type feature quantity, and a linear discriminant function related to the third type feature quantity, and a value of the discriminant function is determined for the third feature quantity of the learning image belonging to one group. With respect to the third feature value of the learning image belonging to the other group, the value of the discriminant function is a value equal to or less than a negative constant whose absolute value is equal to the positive constant, and The equation with the discriminant function value set to 0 And a discriminant function that takes a parameter to minimize the distance between the hyperplane on the third metric space represented by the third metric space and the third feature value of each learning image. Is.
本発明は、また、上記のシステムにおいて、入力画像の第１種特徴量を計算し、該第１種特徴量から得られる第３種特徴量についての前記判別関数の値が最大値となることを基準として、前記入力画像のクラスを識別することを特徴とするシステムを提供するものである。 According to the present invention, in the above-described system, the first type feature quantity of the input image is calculated, and the value of the discriminant function for the third type feature quantity obtained from the first type feature quantity is the maximum value. A system characterized by identifying a class of the input image on the basis of the above.
本発明のシステムにおいて、前記第３の距離空間への写像は、サポートベクターマシン、非線形サポートベクターマシン又はカーネルサポートベクターマシンを用いて構成されることを特徴とする。 In the system of the present invention, the mapping to the third metric space is configured using a support vector machine, a nonlinear support vector machine, or a kernel support vector machine.
本発明のシステムにおいて、前記クラスタリング手段は、混合確率分布を用いた尤度あるいは対数尤度最大化する処理、事後確率を最大化する処理、あるいは予め与えられた事前分布に基づく期待値を計算する処理のいずれかの処理を実行することを特徴とする。 In the system of the present invention, the clustering means calculates an expectation value based on a process that maximizes the likelihood or log likelihood using a mixed probability distribution, a process that maximizes the posterior probability, or a pre-distribution given in advance. Any one of the processes is executed.
本発明のシステムにおいて、前記クラスタリング手段は、混合ガウス分布に関する最尤推定法、事後確率最大化法あるいはベイズ推定法を適用することによって定まる各ガウス成分が１つのクラスを表すとし、各部分画像が属するクラスタをその部分画像に対応する距離空間における点の各ガウス成分に関するマハラノビス距離が最小となるガウス成分として定めることを特徴とする。 In the system of the present invention, the clustering means may assume that each Gaussian component determined by applying a maximum likelihood estimation method, a posteriori probability maximization method or a Bayesian estimation method for a mixed Gaussian distribution represents one class, The cluster to which it belongs is defined as a Gaussian component that minimizes the Mahalanobis distance for each Gaussian component of a point in the metric space corresponding to the partial image.
本発明のシステムにおいて、前記クラスタリング手段は、初期状態として全データを含む１つのクラスタから開始し、同じクラスタに属する２点間の距離が最大となる２点組を選択し、その距離が予め定められた閾値以上である場合に、そのクラスタを２分し、選択された２点をそれぞれのクラスタの種とし、同じクラスタに属していた全ての点に関して、これらのクラスタの種との間の距離を計算し、距離が小さい方のクラスタに属するように分類する処理を各クラスタにおけるクラスタ分割条件が満たされなくなるまで実行する分割クラスタリングを適用することを特徴とする。 In the system of the present invention, the clustering means starts from one cluster including all data as an initial state, selects a two-point set that maximizes the distance between two points belonging to the same cluster, and the distance is determined in advance. If it is greater than or equal to the threshold value, the cluster is divided into two, the two selected points are the seeds of each cluster, and for all points that belonged to the same cluster, the distance between these cluster seeds And dividing clustering that executes the process of classifying the cluster so as to belong to the cluster with the smaller distance until the cluster partitioning condition in each cluster is not satisfied is applied.
本発明のシステムにおいて、前記クラスタリング手段は、K-最近接法又はK-平均法を実行するクラスタリングを行うことを特徴とする。 In the system of the present invention, the clustering means performs clustering that executes a K-nearest neighbor method or a K-average method.
本発明のシステムにおいて、前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組の間で決定された順序関係のみに基づいて写像を行うことを特徴とする。 In the system of the present invention, at least one of the first mapping unit and the second mapping unit performs mapping based only on the order relationship determined between the partial image / learning image pair. Features.
本発明のシステムにおいて、前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組の間で決定された順序関係に基づいて各部分画像／学習用画像の組に自然数による番号付けを行い、それらの番号の差の大きさのみに基づいて写像を行うことを特徴とする。 In the system according to the present invention, at least one of the first mapping unit and the second mapping unit is configured so that each partial image / learning image is based on an order relationship determined between the partial image / learning image pair. It is characterized in that a number of images is numbered by a natural number and mapping is performed based only on the magnitude of the difference between the numbers.
本発明のシステムにおいて、前記第１の写像手段及び第２の写像手段のうち少なくとも一方は、前記部分画像／学習用画像の組が前記第１の距離空間／第２の距離空間に写像された点の組の２点間距離を計算するとともに、前記写像された点の組について補助距離の大小関係によって定められる順序関係が、前記部分画像／学習用画像の組の間で決定された順序関係と一致するようにして、前記２点間距離の補助距離を計算し、前記写像される点の組における２点間距離と補助距離との差の自乗を全ての前記写像される点の組について足し合わせた値が最小化されるようにして写像を行うことを特徴とする。 In the system of the present invention, at least one of the first mapping means and the second mapping means is such that the set of the partial image / learning image is mapped to the first metric space / second metric space. An order relationship in which a distance between two points of a set of points is calculated and an order relationship defined by a magnitude relationship of auxiliary distances for the mapped point set is determined between the partial image / learning image set The auxiliary distance of the distance between the two points is calculated so as to match, and the square of the difference between the distance between the two points and the auxiliary distance in the set of mapped points is calculated for all the set of mapped points. The mapping is performed so that the added value is minimized.
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数の汎関数として定義されていることを特徴とする。 In the system of the present invention, the similarity or dissimilarity between each set of partial images is defined as a functional of a function that gives positional information of each pixel on each partial image and a hue or gray value on the pixel. It is characterized by.
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、画像が画像間の差分又はマッチングによって生成された差分画像、オプティカルフロー画像、ステレオ画像のいずれかである場合には、各部分画像上の各画素の位置情報と、画素上の差分値、ベクトル値又は距離値とを与える関数の汎関数として定義されていることを特徴とする。 In the system of the present invention, the similarity or dissimilarity between each set of partial images is determined when the images are any of a difference image between images, a difference image generated by matching, an optical flow image, or a stereo image. The function is defined as a functional of a function that gives position information of each pixel on each partial image and a difference value, vector value, or distance value on the pixel.
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とについてのヒストグラム関数の汎関数として定義されていることを特徴とする。 In the system of the present invention, the similarity or dissimilarity between each set of partial images is defined as a functional of a histogram function with respect to positional information of each pixel on each partial image and hue or gray value on the pixel. It is characterized by being.
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する汎関数として定義されていることを特徴とする。 In the system of the present invention, the degree of similarity or dissimilarity between each set of partial images is determined by the spatial coordinates on the image as a function that gives the position information of each pixel on each partial image and the hue or gray value on the pixel. It is defined as a functional related to a vector value function obtained by acting a differential operator on.
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する積分演算子を作用させることで得られる関数に関する汎関数として定義されていることを特徴とする。 In the system of the present invention, the degree of similarity or dissimilarity between each set of partial images is determined by the spatial coordinates on the image as a function that gives the position information of each pixel on each partial image and the hue or gray value on the pixel. It is defined as a functional related to a function obtained by applying an integral operator.
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子をさせることで得られるベクトル値関数を引数とする２階テンソル値関数に関して、その各成分に画像上の空間座標に関する積分演算子を作用させることで得られる２階テンソル値関数に関する汎関数として定義されていることを特徴とする。 In the system of the present invention, the degree of similarity or dissimilarity between each set of partial images is determined by the spatial coordinates on the image as a function that gives the position information of each pixel on each partial image and the hue or gray value on the pixel. The second-order tensor value function that takes a vector value function obtained as an argument with respect to the second-order tensor value function obtained by applying an integral operator related to the spatial coordinates on the image to each component It is defined as a functional.
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は白黒の濃淡値とを与える関数の自己相関関数に関する汎関数として定義されていることを特徴とする。 In the system of the present invention, the degree of similarity or dissimilarity between each set of partial images is an autocorrelation function of a function that gives positional information of each pixel on each partial image and the hue or black and white gray value on the pixel. It is defined as a functional with respect to.
本発明のシステムにおいて、各組の部分画像間における類似度又は非類似度は、各部分画像上の各画素の位置情報と、画素上の色相又は濃淡値とを与える関数に画像上の空間座標に関する微分演算子を作用させることで得られるベクトル値関数に関する自己相関関数に関する汎関数として定義されていることを特徴とする。 In the system of the present invention, the degree of similarity or dissimilarity between each set of partial images is determined by the spatial coordinates on the image as a function that gives the position information of each pixel on each partial image and the hue or gray value on the pixel. It is defined as a functional relating to an autocorrelation function relating to a vector value function obtained by applying a differential operator relating to.
以上、説明したように、本発明の画像分類学習処理システム及び画像識別処理システムによれば、客観性の高い規準に従って画像が持つ統計的な特徴量が抽出されるので、この特徴量を用いて対象画像のクラス分類の教師あり学習又は教師なし学習処理やクラス識別処理を行うと、画像に含まれる対象物体の違い、変化、オクルージョン及び環境の変動に対してロバスト性が高い画像処理を行うことができる。また、そのロバスト性の高さから、画像の解像度の違いや、各種の統計的又は非統計的なノイズ、環境の状態の大きな変化があっても、特別な前処理を行う必要はないため、広範囲の対象画像について適用することができる。 As described above, according to the image classification learning processing system and the image identification processing system of the present invention, since the statistical feature amount of an image is extracted according to a highly objective criterion, the feature amount is used. When supervised learning or unsupervised learning processing or class identification processing of class classification of target images is performed, image processing that is highly robust against differences, changes, occlusions, and environmental variations of target objects included in images Can do. In addition, because of its high robustness, there is no need to perform special preprocessing even if there are differences in image resolution, various statistical or non-statistical noises, and large changes in environmental conditions. It can be applied to a wide range of target images.
また、３次元以上の画像中における空間的な構造を特徴づける特徴量を抽出することができるようになる。さらには、テンソル値（行列値）の画像（２次元及び３次元以上）であっても、画像を特徴づける特徴量を抽出することができるようになる。 Further, it is possible to extract a feature amount that characterizes a spatial structure in a three-dimensional or higher image. Furthermore, even if the image is a tensor value (matrix value) (two-dimensional or three-dimensional or more), it is possible to extract a feature amount that characterizes the image.
以下、添付図面を参照しながら、本発明の画像分類学習処理システム及び画像識別処理システムを実施するための最良の形態を詳細に説明する。図１〜図１３は、本発明の実施の形態を例示する図であり、これらの図において、同一の符号を付した部分は同一物を表わし、基本的な構成及び動作は同様であるものとする。 The best mode for carrying out the image classification learning processing system and the image identification processing system of the present invention will be described below in detail with reference to the accompanying drawings. 1 to 13 are diagrams illustrating embodiments of the present invention. In these drawings, the same reference numerals denote the same components, and the basic configuration and operation are the same. To do.
図１は、本発明の一実施形態として構築される画像クラス分類学習及び画像認識を行う画像処理システムの内部構成を概略的に示す機能ブロック図である。この画像処理システムは、画像データを保存する記録装置１００、ユーザに対するインタフェース画面や画像データを分類又は認識した結果などを表示するための表示装置１０１、ユーザからの操作入力を受け付けるためのキーボード１０２とマウスなどのポインティングデバイス１０３、画像クラス分類学習及び画像認識に必要な演算処理、制御処理等を行う中央処理装置１０４、画像クラス分類学習及び画像認識の処理に必要なプログラムを格納するプログラムメモリ１０５、処理の対象となる画像データ１１０を格納するデータメモリ１０６を備えている。
FIG. 1 is a functional block diagram schematically showing an internal configuration of an image processing system that performs image class classification learning and image recognition constructed as an embodiment of the present invention. This image processing system includes a
プログラムメモリ１０５は、データ入出力ユニット１１１、画像特徴量抽出ユニット１１２、教師なし画像クラス分類・識別ユニット１１３、教師あり画像クラス分類・識別ユニット１１４、データ記憶ユニット１１５を含んでいる。これらのプログラムユニットの機能ブロック図を図２に示す。
The
図２において、プログラムメモリ１０５のデータ入出力ユニットは、画像入力処理部Ｂ１、クラス識別結果出力部Ｂ１３、クラス分類結果出力処理部Ｂ１５を含んでおり、画像特徴量抽出ユニット、データ記憶ユニットは、画像処理部Ｂ２、部分画像構成処理部Ｂ４、部分画像間非類似度計算処理部Ｂ５、順序関係保存写像構成処理部Ｂ６、画像間非類似度計算処理部Ｂ８を含んでおり、教師なし画像クラス分類・識別ユニットは、クラスタリング処理部Ｂ１０、クラス識別処理部Ｂ１２、クラス識別写像構成処理部Ｂ１４を含んでおり、教師あり画像クラス分類・識別ユニットは、学習処理部Ｂ１６、識別処理部Ｂ１９を含んでおり、データ記憶ユニットは、入力画像記憶部Ｂ３、第１種特徴量記憶部Ｂ７、第２種特徴量記憶部Ｂ９、クラスタデータ記憶部Ｂ１１、学習器パラメタ記憶部Ｂ１７、学習器状態記憶部Ｂ１８、を含んでいる。
In FIG. 2, the data input / output unit of the
以下において、これらの処理部における処理を詳細に説明する。まず、教師なしで画像クラス分類学習及び画像認識を行う処理について説明し、続いて、教師ありで画像クラス分類学習及び画像認識を行う処理について説明する。 Hereinafter, processing in these processing units will be described in detail. First, processing for performing image class classification learning and image recognition without a teacher will be described, and subsequently, processing for performing image class classification learning and image recognition without a teacher will be described.
画像入力処理部Ｂ１は、記録装置１００などから処理対象となる画像データをデータメモリ１０６に取得する。以下においては、２次元画像を処理対象とする場合について説明するが、本発明の画像処理システムでは３次元画像であってもこれと同様に処理を実行することができる。
The image input processing unit B1 acquires image data to be processed from the
画像処理部Ｂ２は、取得した対象画像がカラー画像である場合には、グレースケール画像への変換、輝度正規化、ヒストグラム平滑化、サイズ変更、ノイズ低減などの各種フィルタリング処理を行うものとする。但し、これらの画像処理は必ずしも行う必要があるものではなく、画像入力処理部Ｂ１により取得した画像データをそのまま用いて以下の処理を行ってもよい。従来技術では、ここで輝度の正規化処理などを行わないと以下の処理に重大な影響を与えることとなるが、本発明の画像処理システムは、ここで輝度の正規化処理を行わなくとも以下の処理に問題が生じないという点でロバスト性が高いシステムである。ここでは、取得した画像データはRGB値で表されるカラー画像データであり、画像処理部Ｂ２では特に上記したような画像処理を行わないものとする。画像処理部Ｂ２による処理後の画像は、入力画像記憶部Ｂ３により記憶される。 When the acquired target image is a color image, the image processing unit B2 performs various filtering processes such as conversion to a gray scale image, luminance normalization, histogram smoothing, size change, and noise reduction. However, these image processes are not necessarily performed, and the following process may be performed using the image data acquired by the image input processing unit B1 as it is. In the prior art, if the luminance normalization processing is not performed here, the following processing is seriously affected. However, the image processing system of the present invention does not perform the luminance normalization processing here, and the following processing is performed. This system is highly robust in that no problem occurs in the processing. Here, the acquired image data is color image data represented by RGB values, and the image processing unit B2 does not perform the above-described image processing. The image processed by the image processing unit B2 is stored in the input image storage unit B3.
部分画像構成処理部Ｂ４は、画像データ全体を覆うように窓を設定して、複数の部分画像を構成する。ここで、画像データに対する窓の設定方法を図９に示す。図９に示す窓の設定方法は、注目領域が画像全体であり窓が矩形である場合の例であり、図９（ａ）に示すように窓はお互いに交差しないように設定されていても良く、あるいは図９（ｂ）に示すようにお互いに交差するものがあるように設定されていても良い。また、窓の形も図９のような矩形ではなくても、注目領域全体を覆うことができるようになっていれば、形は任意で構わない。以下の処理では、図９（ａ）に示すような窓の設定方法を採用するが、部分画像の大きさは原理的にはかならずしも全て同じではなくても良い。 The partial image configuration processing unit B4 configures a plurality of partial images by setting a window so as to cover the entire image data. Here, FIG. 9 shows a window setting method for image data. The window setting method shown in FIG. 9 is an example in which the region of interest is the entire image and the window is rectangular. Even if the windows are set so as not to cross each other as shown in FIG. Alternatively, it may be set so that there are those that cross each other as shown in FIG. Further, even if the shape of the window is not a rectangle as shown in FIG. 9, the shape may be arbitrary as long as the entire region of interest can be covered. In the following processing, a window setting method as shown in FIG. 9A is adopted. However, in principle, the sizes of the partial images are not necessarily the same.
部分画像間非類似度計算処理部Ｂ５は、構成された各部分画像からヒストグラムやエッジ強度などの特徴量を抽出する。但し、特に特徴抽出せずに、与えられた部分画像そのものを特別な場合における特徴量として使用してもよい（その場合、ここでは一切処理は行うことはない）。非類似度の計算用に良く利用される特徴量としては、平均輝度と分散又はエッジ強度やテクスチャー構造を特徴づける共起(co-occurrence)行列、ランレングス・コード(run-length code)、フラクタル次元、窓フーリエ変換係数、ウェーブレット変換係数、輝度や色相のヒストグラムなどがある。 The inter-partial image dissimilarity calculation processing unit B5 extracts a feature quantity such as a histogram and edge strength from each configured partial image. However, a given partial image itself may be used as a feature amount in a special case without performing feature extraction (in this case, no processing is performed here). Features often used to calculate dissimilarities include average luminance and variance, or co-occurrence matrices that characterize edge strength and texture structure, run-length codes, fractals There are dimensions, window Fourier transform coefficients, wavelet transform coefficients, histograms of luminance and hue.
部分画像間非類似度計算処理部Ｂ５は、さらに、お互いに異なるように選ばれた２つの部分画像からなる組全体について、各組に属する２つの部分画像間の非類似度を計算する。非類似度としては、部分画像組全体から順序集合上への任意の写像を使用することができる。対象画像に応じて、適切な非類似度が与えられれば良い。以下の説明では、順序集合として、特に、実数を使用するものとする。今、各部分画像をCi (i=1,2,...,N) と表す。Nは部分画像構成処理部Ｂ４において、切り出された部分画像の数（すなわち設定された窓の数）を表す。部分画像Ciに属する画素をkと表し、部分画像Cj に属する画素をlと表し、画素kにおけるRGBの値をそれぞれRk 、Gk、Bk と表すことにする。非類似度としては、２つの部分画像それぞれに属する画素値すべてから実数への任意の関数が使用できる。例えば、画像の領域の平行移動や回転に対して不変性が高い非類似度の与え方としては、（１）式に示すような関数dが使用できる。 The inter-partial image dissimilarity calculation processing unit B5 further calculates the dissimilarity between two partial images belonging to each group for the entire group composed of two partial images selected so as to be different from each other. As the dissimilarity, any mapping from the entire partial image set onto the ordered set can be used. An appropriate dissimilarity may be given according to the target image. In the following description, it is assumed that real numbers are used as the ordered set. Now, each partial image is represented as C i (i = 1, 2,..., N). N represents the number of partial images cut out (that is, the number of windows set) in the partial image configuration processing unit B4. A pixel belonging to the partial image C i is represented by k, a pixel belonging to the partial image C j is represented by l, and RGB values at the pixel k are represented by R k , G k , and B k , respectively. As the dissimilarity, any function from all the pixel values belonging to each of the two partial images to a real number can be used. For example, as a method of giving a dissimilarity that is highly invariant with respect to translation and rotation of an image area, a function d as shown in equation (1) can be used.
このように任意の２つのお互いに異なる部分画像の組の間に順序関係が定義された部分画像の集合は、順序関係保存特徴写像構成処理部Ｂ６において写像処理されることとなる。 Thus, a set of partial images in which an order relationship is defined between any two sets of different partial images is subjected to mapping processing in the order relationship preserving feature mapping configuration processing unit B6.
順序関係保存特徴写像構成処理部Ｂ６は、部分画像の集合をある距離空間の点の集合に１対１で写像する。ここで写像に関しては、写像によって写される距離空間上の点全体からなる集合から選ばれるお互いに異なる２点の組合せ全体がなす集合上に、２点間の距離に基づいて与えられる、お互いに異なる２点の組の全体からなる集合上に定義される順序関係が、写像元の部分画像のお互いに異なる２つの部分画像の組全体からなる集合対して、部分画像間非類似度計算処理部Ｂ５において計算される順序関係と一致するように選ばれていれば、任意の写像を使用することができる。以下では、このような写像を「特徴写像」と呼ぶ。例えば、非計量多次元尺度構成法を用いて、このような写像の一つを構成することができる。特に、以下の処理では、非計量的多次元尺度構成法を部分画像の全体からなる集合上から選ばれたお互いに異なる２つの部分画像の組合せ全体からなる集合上に定義される順序関係のみを用いて特徴写像を構成する方法（非特許文献１参照）に従う。 The order relationship preserving feature mapping configuration processing unit B6 maps a set of partial images to a set of points in a certain metric space on a one-to-one basis. Here, regarding the mapping, given to the set formed by the whole combination of two different points selected from the set consisting of the entire points in the metric space mapped by the mapping, given based on the distance between the two points, An inter-partial image dissimilarity calculation processing unit for a set of two partial images that are different from each other in an ordering relationship defined on a set of two different sets of points. Any mapping can be used as long as it is chosen to match the order relationship calculated in B5. Hereinafter, such a map is referred to as a “feature map”. For example, one such map can be constructed using non-metric multidimensional scaling. In particular, in the following processing, only the order relationship defined on the set consisting of the combination of two different partial images selected from the set consisting of the entire partial images is applied to the non-metric multidimensional scaling method. It follows the method of using the feature map to construct (see Non-Patent Document 1).
特徴写像を構成するために、まず、部分画像Ci が写される距離空間上の点の位置座標をランダムに初期状態として選び、ベクトル To construct a feature map, first, the position coordinates of a point on the metric space where the partial image C i is mapped are randomly selected as the initial state,
（ア）以下の（７）式に定義する行列の成分を対角成分以外のすべてについて計算する。（対角成分はすべて０と置いても良い。）ここで、mは部分画像の組(Ci, Cj)の順位を表し、Tm は（６）式で定義される位置ベクトルの組
(A) The matrix components defined in the following equation (7) are calculated for all components other than the diagonal components. (All the diagonal components may be set to 0.) Here, m represents the order of the set of partial images (C i , C j ), and T m is a set of position vectors defined by equation (6).
（イ）位置ベクトル
（ウ）手順（イ）で求めた差分ベクトルによって、位置ベクトルを以下の（９）式のように更新する。
（エ）更新された位置ベクトル
（オ）手順（ア）〜（エ）を終了条件が満たされるまで繰返し行う。例えば、（７）式で与えられる行列Di,j の全ての非対角成分がすべて０となるか、予め決めた最大繰返し数に達するまで繰り返す。 (E) Repeat steps (a) to (d) until the end condition is satisfied. For example, the processing is repeated until all the off-diagonal components of the matrix D i, j given by the equation (7) are all 0 or a predetermined maximum number of repetitions is reached.
以上のようにして、順序関係保存特徴写像構成処理部Ｂ６により特徴写像が構成される。この処理の様子を図１０に示す。図１０（ｂ）は、２次元のユークリッド空間に写像する特徴写像の例である。本画像処理システムでは、このようにして対象画像の各部分画像から写像された距離空間上の点の位置座標ベクトルの直積又はテンソル積を取ったものを、その対象画像についての第１種特徴量と定義する。順序関係保存特徴写像構成処理部Ｂ６は、写像結果から対象画像の第１種特徴量を計算し、第１種特徴量記憶部Ｂ７に出力する。第１種特徴量記憶部Ｂ７はこの第１種特徴量を記憶する。 As described above, the feature map is configured by the order relation storage feature map configuration processing unit B6. The state of this processing is shown in FIG. FIG. 10B is an example of a feature map that maps to a two-dimensional Euclidean space. In this image processing system, the first type feature amount of the target image is obtained by taking the direct product or tensor product of the position coordinate vectors of the points on the metric space mapped from the partial images of the target image in this way. It is defined as The order relation storage feature mapping configuration processing unit B6 calculates the first type feature quantity of the target image from the mapping result and outputs it to the first type feature quantity storage unit B7. The first type feature amount storage unit B7 stores the first type feature amount.
画像間非類似度計算処理部Ｂ８は、第１種特徴量記憶部Ｂ７により記憶されている画像の第１種特徴量から、それらの画像間の非類似度を計算する。画像間の非類似度としては、部分画像組全体から順序集合上への任意の写像を使用することができる。対象画像に応じて、適切な非類似度が与えられれば良い。以下の説明では、順序集合として、特に、実数を使用するものとする。今、A番目の画像に対する第１種特徴量を（１１）式に示すような直積であるとすると、 The inter-image dissimilarity calculation processing unit B8 calculates the dissimilarity between the images from the first type feature quantity stored in the first type feature quantity storage unit B7. As the dissimilarity between images, any mapping from the entire partial image set onto the ordered set can be used. An appropriate dissimilarity may be given according to the target image. In the following description, it is assumed that real numbers are used as the ordered set. Now, assuming that the first type feature for the Ath image is a direct product as shown in equation (11),
再び順序関係保存写像構成処理部Ｂ６は、上記のようにして（１２）式又は（１３）式により定義される画像間の非類似度に基いて、上記で第１種特徴量を計算したのと同じ手順により、各画像を距離空間における点へと写像（特徴写像）する。これにより距離空間において得られる点の集合の例を図１１に示す。本画像処理システムでは、このようにして写像された点の位置座標ベクトルを、画像についての第２種特徴量と定義する。この第２種特徴量は、第２種特徴量記憶部Ｂ９により記憶されるとともに、クラスタリング処理部Ｂ１０に出力される。 Again, the order relation preserving map configuration processing unit B6 calculated the first type feature amount based on the dissimilarity between images defined by the equation (12) or the equation (13) as described above. Each image is mapped to a point in the metric space (feature mapping) by the same procedure as. An example of a set of points obtained in this way in the metric space is shown in FIG. In the present image processing system, the position coordinate vector of the points mapped in this way is defined as the second type feature amount for the image. The second type feature quantity is stored in the second type feature quantity storage unit B9 and is output to the clustering processing unit B10.
クラスタリング処理部Ｂ１０は、入力された画像についての第２種特徴量を表すベクトル The clustering processing unit B10 is a vector representing the second type feature amount for the input image.
混合ガウス分布を使用する場合には、第２種特徴量の配置
各ガウス分布成分が１つのクラスタを表す。このとき、位置ベクトルの配置
この対数尤度関数
この混合ガウス分布によるクラスタリング結果の例を図１２に示す。図１２において、楕円は同一のクラスタに属する点を囲んでいる。以上のようにして、クラスタリング処理部Ｂ１０は、順序関係保存写像構成処理部Ｂ６により計算された各画像についての第２種特徴量 An example of the clustering result by this mixed Gaussian distribution is shown in FIG. In FIG. 12, the ellipse surrounds points belonging to the same cluster. As described above, the clustering processing unit B10 performs the second type feature amount for each image calculated by the order relation storage mapping configuration processing unit B6.
クラス識別処理部Ｂ１２は、入力された画像についての第２種特徴量及びクラスタリング結果及びに基づいて、各画像がどのクラスタに属するかを計算する。各画像が属するクラスタは、その第２種特徴量 The class identification processing unit B12 calculates which cluster each image belongs to based on the second type feature amount and the clustering result for the input image. The cluster to which each image belongs is its second type feature
クラス識別処理部Ｂ１２は、全画像について、それらがどのクラスタに属するかを表すリストを構成し、そのリストをクラス識別結果出力部Ｂ１３に出力し、クラス分類結果出力処理部Ｂ１５にクラスタデータを出力する。以上のようにして、本画像処理システムは、教師なしで入力画像のクラスを分類・識別し、その結果を出力することができる。入力画像のクラス分類・識別結果の出力例を図１３に示す。 The class identification processing unit B12 constructs a list indicating which cluster each image belongs to, outputs the list to the class identification result output unit B13, and outputs the cluster data to the class classification result output processing unit B15 To do. As described above, the image processing system can classify and identify the class of the input image without a teacher and output the result. An output example of the classification / identification result of the input image is shown in FIG.
尚、以上の処理は、図３に示すフローチャートの手順に従って実行することができる。図３において、Iは入力画像の数を表す。また、図３のステップＳ３−３における第１種特徴量計算処理は、図４に示すフローチャートの手順に従って実行され、ステップＳ３−６における第２種特徴量計算処理は、図５に示すフローチャートの手順に従って実行されるものとする。 The above processing can be executed according to the procedure of the flowchart shown in FIG. In FIG. 3, I represents the number of input images. Further, the first type feature quantity calculation process in step S3-3 in FIG. 3 is executed according to the procedure of the flowchart shown in FIG. 4, and the second type feature quantity calculation process in step S3-6 is executed in the flowchart shown in FIG. It shall be executed according to the procedure.
以下に、本画像処理システムにおいて、教師なしで入力画像のクラスを分類・識別する他の処理方法について、図６を参照しながら説明する。本方法では、まず、対象画像を読み込み（ステップＳ６−１）、その画像の第１種特徴量を計算する（ステップＳ６−２）。これらの処理は、上記と同様にして実行されるものとする。本画像処理システムの順序関係保存写像構成処理部Ｂ６において計算された対象画像の第１種特徴量はクラス識別写像構成処理部Ｂ１４に出力される。クラス識別写像構成処理部Ｂ１４は、入力された第１種特徴量に基づいて画像のクラス識別特徴量を計算する（ステップＳ６−３）。この計算処理は、図５のステップＳ５−１からＳ５−３の処理に順ずるものであるが、本方法では、既に学習している画像についての第２種特徴量は学習時に得られた値に固定しておき、対象画像についての第２種特徴量のみを、上記した順序関係保存写像構成処理部Ｂ６による（ア）〜（オ）の処理に従って計算することを特徴としている。このように計算された識別画像についての第２種特徴量は、クラス識別処理部Ｂ１２に出力される。クラス識別処理部Ｂ１２は、上記と同様に、入力された第２種特徴量に基づいて、対象画像がどのクラスタに属するかを判定する（ステップＳ６−４）。対象画像のクラス識別処理については、学習用画像に対して与えられたクラス分類結果に基づいて、第２種特徴量の空間におけるＫ最近傍法により対象画像のクラスを判定することもできる。この判定結果は、クラス識別結果出力部Ｂ１３に出力される（ステップＳ６−５）。 Hereinafter, another processing method for classifying and identifying a class of an input image without a teacher in the image processing system will be described with reference to FIG. In this method, first, the target image is read (step S6-1), and the first type feature amount of the image is calculated (step S6-2). These processes are executed in the same manner as described above. The first type feature amount of the target image calculated in the order relation storage mapping configuration processing unit B6 of the present image processing system is output to the class identification mapping configuration processing unit B14. The class identification mapping configuration processing unit B14 calculates the class identification feature amount of the image based on the input first type feature amount (step S6-3). This calculation processing is in accordance with the processing of steps S5-1 to S5-3 in FIG. 5, but in this method, the second type feature amount for the image that has already been learned is the value obtained at the time of learning. It is characterized in that only the second type feature amount for the target image is calculated according to the processes (a) to (e) by the above-described order relation storage mapping configuration processing unit B6. The second type feature amount for the identification image calculated in this way is output to the class identification processing unit B12. Similar to the above, the class identification processing unit B12 determines which cluster the target image belongs to based on the input second type feature amount (step S6-4). Regarding the class identification processing of the target image, the class of the target image can also be determined by the K nearest neighbor method in the space of the second type feature amount based on the class classification result given to the learning image. This determination result is output to the class identification result output unit B13 (step S6-5).
以下に、本画像処理システムにおいて、（準）教師ありで入力画像のクラスを分類・識別する処理方法について、図７及び図８を参照しながら説明する。図７において、Iは入力画像の数を表す。本方法では、学習器のタイプは、学習用画像に対する第１種特徴量から予め与えられた学習用画像に対するクラスを与える写像を学習することができる教師あり学習アルゴリズムが適用されてさえいれば、ニューラルネットワークやサポートベクターマシン、あるいはＫ最近傍法やＫ平均法に基づく学習器などから任意のものを選択できる。また、オンライン学習とバッチ学習のどちらにも使用することができる。 Hereinafter, a processing method for classifying and identifying a class of an input image with (semi) supervised data in this image processing system will be described with reference to FIGS. In FIG. 7, I represents the number of input images. In this method, as long as a supervised learning algorithm that can learn a map that gives a class for a learning image given in advance from the first type feature amount for the learning image is applied, An arbitrary one can be selected from a neural network, a support vector machine, or a learning device based on the K nearest neighbor method or the K average method. It can also be used for both online learning and batch learning.
まず、学習用画像を読み込み（ステップＳ７−３）、その画像の第１種特徴量を計算する（ステップＳ７−４）。これらの処理は、上記と同様にして実行されるものとする。本画像処理システムは、順序関係保存写像構成処理部Ｂ６により学習用画像の第１種特徴量を計算した後、適用されている学習アルゴリズムがオンライン学習であるかどうかを判断し（ステップＳ７−５）、オンライン学習である場合には、計算した学習用画像の第１種特徴量を学習処理部Ｂ１６に出力する。学習処理部Ｂ１６は、学習用画像の第１種特徴量が入力されるごとに、オンライン学習処理を行い、その時点で学習されている学習器のパラメタ値を学習器パラメタ記憶部Ｂ１７に出力する。また、学習処理部Ｂ１６は、学習器が内部状態を持つ場合には、学習器の内部状態の値を学習器状態記憶部Ｂ１８に出力する（ステップＳ７−７）。適用されている学習アルゴリズムがバッチ学習である場合には、学習用画像の第１種特徴量は第１種特徴量記憶部Ｂ７に出力されるとともに、画像数Iがカウントアップされる（ステップＳ７−８）。 First, the learning image is read (step S7-3), and the first type feature amount of the image is calculated (step S7-4). These processes are executed in the same manner as described above. In the image processing system, after the first-type feature amount of the learning image is calculated by the order relation storage mapping configuration processing unit B6, it is determined whether or not the applied learning algorithm is online learning (step S7-5). In the case of online learning, the calculated first type feature amount of the learning image is output to the learning processing unit B16. The learning processing unit B16 performs online learning processing each time the first type feature amount of the learning image is input, and outputs the parameter value of the learning device learned at that time to the learning device parameter storage unit B17. . Further, when the learning device has an internal state, the learning processing unit B16 outputs the value of the internal state of the learning device to the learning device state storage unit B18 (step S7-7). When the applied learning algorithm is batch learning, the first type feature amount of the learning image is output to the first type feature amount storage unit B7, and the number of images I is counted up (step S7). -8).
すべての学習用画像が読み込まれて、ステップＳ７−３からステップＳ７−８までの処理が行われた後、バッチ学習アルゴリズムを適用している場合には、すべての学習用画像に対して一括してバッチ学習処理を行い（ステップＳ７−１０）、その結果を学習器パラメタ記憶部Ｂ１７及び学習器状態記憶部Ｂ１８に出力する。最後に、学習結果の保存処理が行われて（ステップＳ７−１１）処理が終了する。 After all learning images have been read and the processing from step S7-3 to step S7-8 has been performed, if a batch learning algorithm is applied, all the learning images are batched. The batch learning process is performed (step S7-10), and the result is output to the learner parameter storage unit B17 and the learner state storage unit B18. Finally, a learning result storage process is performed (step S7-11), and the process ends.
次に、クラス分類学習処理を行う方法について説明する。図８において、まず、識別の対象とする画像を読み込み（ステップＳ８−１）、その画像の第１種特徴量を計算する（ステップＳ８−２）。これらの処理は、上記と同様にして実行されるものとする。順序関係保存写像構成処理部Ｂ６により計算された対象画像の第１種特徴量は、識別処理部Ｂ１９に出力される。識別処理部Ｂ１９は、学習器パラメタ記憶部Ｂ１７及び学習器状態記憶部Ｂ１８から教師あり学習で得られたパラメタを取得し、これを用いて入力された対象画像の第１種特徴量を特徴写像することにより、画像クラスを識別することができる（ステップＳ８−３）。 Next, a method for performing class classification learning processing will be described. In FIG. 8, first, an image to be identified is read (step S8-1), and the first type feature amount of the image is calculated (step S8-2). These processes are executed in the same manner as described above. The first type feature amount of the target image calculated by the order relation storage mapping configuration processing unit B6 is output to the identification processing unit B19. The identification processing unit B19 acquires the parameters obtained by supervised learning from the learner parameter storage unit B17 and the learner state storage unit B18, and uses the first type feature amount of the target image input using this as a feature mapping By doing so, the image class can be identified (step S8-3).
このとき、オンライン学習アルゴリズムを適用している場合には、この時点で学習器のパラメタ学習処理を行い、その結果を学習器パラメタ記憶部Ｂ１７に出力する。また、学習器が内部状態を持っている場合には、現在の学習器の状態を学習器状態記憶部Ｂ１８に出力する。識別処理部Ｂ１９によるクラス識別結果は、クラス識別結果出力部へ送られ、処理が終了する。 At this time, when the online learning algorithm is applied, the learning device parameter learning processing is performed at this time, and the result is output to the learning device parameter storage unit B17. If the learning device has an internal state, the current state of the learning device is output to the learning device state storage unit B18. The class identification result by the identification processing unit B19 is sent to the class identification result output unit, and the process ends.
以上、本発明の画像分類学習処理システム及び画像識別処理システムについて、具体的な実施の形態を示して説明したが、本発明はこれらに限定されるものではない。当業者であれば、本発明の要旨を逸脱しない範囲内において、上記各実施形態又は他の実施形態にかかる発明の構成及び機能に様々な変更・改良を加えることが可能である。 Although the image classification learning processing system and the image identification processing system of the present invention have been described with reference to specific embodiments, the present invention is not limited to these. A person skilled in the art can make various changes and improvements to the configurations and functions of the invention according to the above-described embodiments or other embodiments without departing from the gist of the present invention.
本発明の画像分類学習処理システム及び画像識別処理システムは、医療システム、監視システム、検査システムおよび高度道路交通システム（Intelligent Transportation Systems；ITS）などにおいて、計測された画像の分類を学習することにより画像中の物体の検出及び認識を可能にするシステムとして利用可能である。 The image classification learning processing system and the image identification processing system according to the present invention learn images classification by learning classification of measured images in medical systems, surveillance systems, inspection systems, intelligent transportation systems (ITS), and the like. It can be used as a system that enables detection and recognition of an object inside.
１００ 記録装置
１０１ 表示装置
１０２ キーボード
１０３ ポインティングデバイス
１０４ 中央処理装置
１０５ プログラムメモリ
１０６ データメモリ
１１０ 画像データ
１１１ データ入出力ユニット
１１２ 画像特徴量抽出ユニット
１１３ 教師なし画像クラス分類・識別ユニット
１１４ 教師あり画像クラス分類・識別ユニット
１１５ データ記憶ユニット
DESCRIPTION OF
Claims (27)
学習用画像の対象領域に対して、該対象領域全体を覆うようにして１以上の所定形状の窓領域を設定する窓領域設定手段と、
前記各窓領域に含まれる部分画像の集合から、互いに異なる２つの部分画像の組を生成し、各組の部分画像間における類似度又は非類似度を、各部分画像から抽出される特徴量に基づいて計算する部分画像間類似度計算手段と、
前記部分画像間の類似度又は非類似度に基づいて前記各部分画像の組の間での順序関係を決定する第１の順序関係決定手段と、
前記各部分画像の組の間で決定された順序関係が保存されるようにして、前記各部分画像を第１の距離空間上に写像する第１の写像手段と、
前記第１の距離空間に写像された各点の位置座標の直積又はテンソル積を各学習用画像の第１種特徴量とし、各学習用画像の第１種特徴量に基づいて、画像間の非類似度又は類似度を計算する画像間類似度計算手段と、
前記学習用画像間の非類似度又は類似度に基づいて前記各学習用画像の組の間での順序関係を決定する第２の順序関係決定手段と、
前記各学習用画像の組の間で決定された順序関係が保存されるようにして、前記各学習用画像を第２の距離空間上に写像する第２の写像手段と、
前記第２の距離空間に写像された各点の位置座標ベクトルを各学習用画像の第２種特徴量とし、前記第２の距離空間上に写像された点から、前記第２の距離空間における距離又は分布密度に基づいてクラスタを構成するクラスタリング手段と、
各クラスタをクラス分類するとともに、各クラスタに属する点に対応する学習用画像を前記第２の写像手段による写像の逆写像によって求めることにより、各学習用画像がどのクラスに属するかを判定するクラス分類判定手段と、を含むことを特徴とするシステム。 A system for learning image classification,
A window area setting means for setting one or more predetermined-shaped window areas so as to cover the entire target area with respect to the target area of the learning image;
A set of two different partial images is generated from the set of partial images included in each window region, and the similarity or dissimilarity between the partial images of each set is used as a feature amount extracted from each partial image. A similarity calculation means between partial images to be calculated based on;
First order relationship determining means for determining an order relationship between each set of partial images based on a similarity or dissimilarity between the partial images;
First mapping means for mapping each partial image onto a first metric space in such a manner that the order relationship determined between the sets of the partial images is stored;
The direct product or tensor product of the position coordinates of each point mapped to the first metric space is set as the first type feature amount of each learning image, and based on the first type feature amount of each learning image, Image similarity calculation means for calculating dissimilarity or similarity;
Second order relationship determining means for determining an order relationship between each set of learning images based on the dissimilarity or similarity between the learning images;
Second mapping means for mapping each learning image onto a second metric space in such a manner that the order relation determined between the learning image sets is stored;
The position coordinate vector of each point mapped to the second metric space is used as the second type feature amount of each learning image, and from the point mapped on the second metric space, in the second metric space Clustering means for forming clusters based on distance or distribution density;
A class for classifying each cluster and determining which class each learning image belongs to by obtaining a learning image corresponding to a point belonging to each cluster by inverse mapping of the mapping by the second mapping means And a system for determining the classification.
学習用画像について計算された第１特徴量及び第２特徴量と、クラス分類の判定結果とを予め記憶しておき、
前記画像間類似度計算手段により、前記入力画像の第１種特徴量を計算し、該第１種特徴量と学習用画像の第１種特徴量とを用いて、前記入力画像と前記学習用画像との間の非類似度又は類似度を計算し、
前記第２の順序関係決定手段により、該非類似度又は類似度に基づいて前記入力画像と前記学習用画像との間の順序関係を決定し、
前記第２の写像手段により、前記入力画像と前記学習用画像との間で決定された順序関係が保存されるようして、前記入力画像を第２の距離空間上に写像し、
前記画像間類似度計算手段により、前記入力画像が前記第２の距離空間に写像された各点の位置座標ベクトルを前記入力画像の第２種特徴量とし、前記入力画像の第２種特徴量と前記記憶してある学習用画像の第２特徴量との間の非類似度又は類似度を計算し、
該非類似度又は類似度に基づいて、入力画像が学習用画像のいずれのクラスに該当するかを識別することを特徴とするシステム。 A system for identifying a class of input images using the system according to claim 1,
First and second feature amounts calculated for the learning image and a determination result of class classification are stored in advance,
The inter-image similarity calculation means calculates a first type feature quantity of the input image, and uses the first type feature quantity and the first type feature quantity of the learning image to calculate the input image and the learning image. Calculate dissimilarity or similarity between images,
The second order relation determining means determines an order relation between the input image and the learning image based on the dissimilarity or similarity.
The second mapping means maps the input image on the second metric space so that the order relationship determined between the input image and the learning image is stored,
A position coordinate vector of each point where the input image is mapped to the second metric space by the inter-image similarity calculation means is used as a second type feature quantity of the input image, and a second type feature quantity of the input image And the degree of dissimilarity or similarity between the stored second feature amount of the learning image,
A system for identifying which class of an image for learning an input image corresponds to based on the dissimilarity or similarity.
学習用画像について計算された第１特徴量及び第２特徴量と、クラス分類の判定結果とを予め記憶しておき、
前記画像間類似度計算手段により、前記入力画像の第１種特徴量を計算し、該第１種特徴量と学習用画像の第１種特徴量とを用いて、前記入力画像と前記学習用画像との間の非類似度又は類似度を計算し、
前記第２の順序関係決定手段により、該非類似度又は類似度に基づいて前記入力画像と前記学習用画像との間の順序関係を決定し、
前記第２の写像手段により、前記入力画像と前記学習用画像との間で決定された順序関係が保存されるようして、前記入力画像を第２の距離空間上に写像し、
前記第２の距離空間において前記入力画像が写像された点と距離が近い順に所定数の学習用画像を選択し、選択された学習用画像のうち最も多くの学習用画像が属するクラスを入力画像のクラスとして識別することを特徴とするシステム。 A system for identifying a class of input images using the system according to claim 1,
First and second feature amounts calculated for the learning image and a determination result of class classification are stored in advance,
The inter-image similarity calculation means calculates a first type feature quantity of the input image, and uses the first type feature quantity and the first type feature quantity of the learning image to calculate the input image and the learning image. Calculate dissimilarity or similarity between images,
The second order relation determining means determines an order relation between the input image and the learning image based on the dissimilarity or similarity.
The second mapping means maps the input image on the second metric space so that the order relationship determined between the input image and the learning image is stored,
In the second metric space, a predetermined number of learning images are selected in order of distance from the point where the input image is mapped, and the class to which the largest number of learning images among the selected learning images belongs is input image. A system characterized by identifying as a class.
クラス分類済みの学習用画像の第１種特徴量を計算し、
該第１種特徴量を入力して得られるクラス分類判定結果と、クラス分類済み学習用画像のクラスとの差に関する関数を全てのクラス分類済み学習用画像について足し上げた誤差関数を算出し、
該誤差関数が最小化されるように前記第２の写像手段による写像のパラメタを定めることを特徴とするシステム。 The system of claim 1, wherein
Calculate the first type feature amount of the classified image for learning,
Calculating an error function obtained by adding a function related to the difference between the classification result obtained by inputting the first type feature amount and the class of the classified image for learning to all the classified learning images;
A parameter for mapping by the second mapping means is determined so that the error function is minimized.
入力画像の第１種特徴量を計算し、該第１種特徴量を入力して得られるクラス分類判定結果に従って前記入力画像のクラスを識別することを特徴とするシステム。 A system for identifying a class of input images using the system according to claim 6 or 7,
A system characterized in that a first type feature quantity of an input image is calculated, and a class of the input image is identified according to a class classification determination result obtained by inputting the first type feature quantity.
クラス分類済みの学習用画像の第１種特徴量を計算し、
該第１種特徴量を入力して得られるクラス分類判定結果における各クラスについて、クラス分類済み学習用画像をそのクラスに属する群と他のクラスに属する群とに分け、それぞれの群について、各学習用画像の第１特徴量を第３の距離空間に写像し、その写像された像を第３種特徴量とし、
該第３種特徴量に関する線形な判別関数であって、
一方の群に属する学習用画像の第３特徴量に関しては、前記判別関数の値がある定められた正の定数以上の値となり、
他方の群に属する学習用画像の第３特徴量に関しては、前記判別関数の値が前記正の定数と絶対値が等しい負の定数以下の値となり、かつ、
前記判別関数の値を０と置いた方程式により表される第３の距離空間上の超平面と各学習用画像の第３特徴量との間の距離を最小化するようパラメタをとった判別関数を定めることを特徴とするシステム。 The system of claim 1, wherein
Calculate the first type feature amount of the classified image for learning,
For each class in the class classification determination result obtained by inputting the first type feature quantity, the class-classified learning image is divided into a group belonging to the class and a group belonging to another class. The first feature amount of the learning image is mapped to the third metric space, and the mapped image is the third type feature amount.
A linear discriminant function related to the third type feature amount,
Regarding the third feature amount of the learning image belonging to one group, the value of the discriminant function is a value equal to or greater than a predetermined positive constant,
Regarding the third feature value of the learning image belonging to the other group, the value of the discriminant function becomes a value equal to or less than a negative constant whose absolute value is equal to the positive constant, and
Discriminant function that takes parameters to minimize the distance between the hyperplane on the third metric space represented by an equation in which the value of the discriminant function is set to 0 and the third feature quantity of each learning image A system characterized by determining.
入力画像の第１種特徴量を計算し、
該第１種特徴量から得られる第３種特徴量についての前記判別関数の値が最大値となることを基準として、前記入力画像のクラスを識別することを特徴とするシステム。 A system for identifying a class of input images using the system according to claim 9, comprising:
Calculate the type 1 feature of the input image,
A system for identifying a class of the input image on the basis that a value of the discriminant function for a third type feature quantity obtained from the first type feature quantity is a maximum value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004214538A JP4376145B2 (en) | 2004-07-22 | 2004-07-22 | Image classification learning processing system and image identification processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004214538A JP4376145B2 (en) | 2004-07-22 | 2004-07-22 | Image classification learning processing system and image identification processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2006039658A true JP2006039658A (en) | 2006-02-09 |
| JP4376145B2 JP4376145B2 (en) | 2009-12-02 |
Family
ID=35904630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004214538A Expired - Fee Related JP4376145B2 (en) | 2004-07-22 | 2004-07-22 | Image classification learning processing system and image identification processing system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4376145B2 (en) |
Cited By (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007316830A (en) * | 2006-05-24 | 2007-12-06 | Toshiba Corp | Information processor and content retrieval program |
| JP2007323177A (en) * | 2006-05-30 | 2007-12-13 | Fuji Heavy Ind Ltd | Image processor |
| JP2009105594A (en) * | 2007-10-23 | 2009-05-14 | Ricoh Co Ltd | Image processing device, and image processing method |
| KR100949893B1 (en) * | 2008-04-28 | 2010-03-25 | 경북대학교 산학협력단 | Method and Apparatus for Classificating Image-data Using Tensor Data |
| JP2010182295A (en) * | 2008-12-31 | 2010-08-19 | Intel Corp | Object recognition using classification method based on global similarity |
| JP2011507099A (en) * | 2007-12-12 | 2011-03-03 | マイクロソフト コーポレーション | Interactive concept learning in image retrieval |
| JP2011128773A (en) * | 2009-12-16 | 2011-06-30 | Yahoo Japan Corp | Image retrieval device, image retrieval method, and program |
| JPWO2010050334A1 (en) * | 2008-10-30 | 2012-03-29 | コニカミノルタエムジー株式会社 | Information processing device |
| JP2012093976A (en) * | 2010-10-27 | 2012-05-17 | Internatl Business Mach Corp <Ibm> | Clustering system, method and program |
| JP2013050713A (en) * | 2007-03-08 | 2013-03-14 | Cella Vision AB | Method for determining in-focus position and vision inspection system |
| US8560488B2 (en) | 2008-08-08 | 2013-10-15 | Nec Corporation | Pattern determination devices, methods, and programs |
| CN103645890A (en) * | 2013-11-29 | 2014-03-19 | 北京奇虎科技有限公司 | Method and device for positioning control part in graphical user interface |
| US8699795B2 (en) | 2009-10-29 | 2014-04-15 | Rakuten, Inc. | Image processing device, image processing method and image processing program |
| JP2015158739A (en) * | 2014-02-21 | 2015-09-03 | 日本電信電話株式会社 | Image sorting device, image classification method, and image classification program |
| KR101823746B1 (en) * | 2016-02-05 | 2018-01-30 | 울산대학교 산학협력단 | Method for bearing fault diagnosis |
| CN110245608A (en) * | 2019-06-14 | 2019-09-17 | 西北工业大学 | A kind of Underwater targets recognition based on semi-tensor product neural network |
| JP2019534727A (en) * | 2016-09-18 | 2019-12-05 | イェダ リサーチ アンド ディベロップメント カンパニー リミテッドＹｅｄａ Ｒｅｓｅａｒｃｈ Ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏ．Ｌｔｄ． | System and method for generating 3D images based on fluorescent illumination |
| CN110853047A (en) * | 2019-10-12 | 2020-02-28 | 平安科技（深圳）有限公司 | Intelligent image segmentation and classification method and device and computer readable storage medium |
| CN111161248A (en) * | 2019-12-30 | 2020-05-15 | 新源动力股份有限公司 | Fuel cell stack assembly force distribution analysis method applying machine learning and data regression |
| JP6951810B1 (en) * | 2021-03-31 | 2021-10-20 | Ｌｉｎｋｓ株式会社 | Augmented reality system |
| CN114881314A (en) * | 2022-04-27 | 2022-08-09 | 广西科学院 | Formula optimization method based on multidirectional approximation |
| CN116912202A (en) * | 2023-07-13 | 2023-10-20 | 中国中医科学院眼科医院 | Medical high-value consumable management method and system |
-
2004
- 2004-07-22 JP JP2004214538A patent/JP4376145B2/en not_active Expired - Fee Related
Cited By (34)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007316830A (en) * | 2006-05-24 | 2007-12-06 | Toshiba Corp | Information processor and content retrieval program |
| JP2007323177A (en) * | 2006-05-30 | 2007-12-13 | Fuji Heavy Ind Ltd | Image processor |
| JP4740038B2 (en) * | 2006-05-30 | 2011-08-03 | 富士重工業株式会社 | Image processing device |
| JP2013050713A (en) * | 2007-03-08 | 2013-03-14 | Cella Vision AB | Method for determining in-focus position and vision inspection system |
| US10210376B2 (en) | 2007-03-08 | 2019-02-19 | Cellavision Ab | Method for determining an in-focus position and a vision inspection system |
| JP2009105594A (en) * | 2007-10-23 | 2009-05-14 | Ricoh Co Ltd | Image processing device, and image processing method |
| JP2011507099A (en) * | 2007-12-12 | 2011-03-03 | マイクロソフト コーポレーション | Interactive concept learning in image retrieval |
| US9008446B2 (en) | 2007-12-12 | 2015-04-14 | Microsoft Technology Licensing, LLP | Interactive concept learning in image search |
| KR100949893B1 (en) * | 2008-04-28 | 2010-03-25 | 경북대학교 산학협력단 | Method and Apparatus for Classificating Image-data Using Tensor Data |
| US8560488B2 (en) | 2008-08-08 | 2013-10-15 | Nec Corporation | Pattern determination devices, methods, and programs |
| JPWO2010050334A1 (en) * | 2008-10-30 | 2012-03-29 | コニカミノルタエムジー株式会社 | Information processing device |
| JP5533662B2 (en) * | 2008-10-30 | 2014-06-25 | コニカミノルタ株式会社 | Information processing device |
| JP2010182295A (en) * | 2008-12-31 | 2010-08-19 | Intel Corp | Object recognition using classification method based on global similarity |
| US8699795B2 (en) | 2009-10-29 | 2014-04-15 | Rakuten, Inc. | Image processing device, image processing method and image processing program |
| JP2011128773A (en) * | 2009-12-16 | 2011-06-30 | Yahoo Japan Corp | Image retrieval device, image retrieval method, and program |
| JP2012093976A (en) * | 2010-10-27 | 2012-05-17 | Internatl Business Mach Corp <Ibm> | Clustering system, method and program |
| US8805841B2 (en) | 2010-10-27 | 2014-08-12 | International Business Machines Corporation | Clustering system, method and program |
| CN103645890A (en) * | 2013-11-29 | 2014-03-19 | 北京奇虎科技有限公司 | Method and device for positioning control part in graphical user interface |
| JP2015158739A (en) * | 2014-02-21 | 2015-09-03 | 日本電信電話株式会社 | Image sorting device, image classification method, and image classification program |
| KR101823746B1 (en) * | 2016-02-05 | 2018-01-30 | 울산대학교 산학협력단 | Method for bearing fault diagnosis |
| JP2019534727A (en) * | 2016-09-18 | 2019-12-05 | イェダ リサーチ アンド ディベロップメント カンパニー リミテッドＹｅｄａ Ｒｅｓｅａｒｃｈ Ａｎｄ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏ．Ｌｔｄ． | System and method for generating 3D images based on fluorescent illumination |
| US11540725B2 (en) | 2016-09-18 | 2023-01-03 | Yeda Research And Development Co. Ltd. | Systems and methods for generating 3D images based on fluorescent illumination |
| JP7184489B2 (en) | 2016-09-18 | 2022-12-06 | イェダ リサーチ アンド ディベロップメント カンパニー リミテッド | Systems and methods for generating 3D images based on fluorescent illumination |
| CN110245608A (en) * | 2019-06-14 | 2019-09-17 | 西北工业大学 | A kind of Underwater targets recognition based on semi-tensor product neural network |
| CN110245608B (en) * | 2019-06-14 | 2022-05-17 | 西北工业大学 | Underwater target identification method based on half tensor product neural network |
| CN110853047A (en) * | 2019-10-12 | 2020-02-28 | 平安科技（深圳）有限公司 | Intelligent image segmentation and classification method and device and computer readable storage medium |
| CN110853047B (en) * | 2019-10-12 | 2023-09-15 | 平安科技（深圳）有限公司 | Intelligent image segmentation and classification method, device and computer readable storage medium |
| CN111161248A (en) * | 2019-12-30 | 2020-05-15 | 新源动力股份有限公司 | Fuel cell stack assembly force distribution analysis method applying machine learning and data regression |
| CN111161248B (en) * | 2019-12-30 | 2023-06-02 | 新源动力股份有限公司 | Fuel cell stack assembly force distribution analysis method applying machine learning and data regression |
| JP6951810B1 (en) * | 2021-03-31 | 2021-10-20 | Ｌｉｎｋｓ株式会社 | Augmented reality system |
| JP2022157203A (en) * | 2021-03-31 | 2022-10-14 | Ｌｉｎｋｓ株式会社 | augmented reality system |
| CN114881314A (en) * | 2022-04-27 | 2022-08-09 | 广西科学院 | Formula optimization method based on multidirectional approximation |
| CN116912202A (en) * | 2023-07-13 | 2023-10-20 | 中国中医科学院眼科医院 | Medical high-value consumable management method and system |
| CN116912202B (en) * | 2023-07-13 | 2024-01-30 | 中国中医科学院眼科医院 | Medical high-value consumable management method and system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4376145B2 (en) | 2009-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4376145B2 (en) | Image classification learning processing system and image identification processing system | |
| US10353948B2 (en) | Content based image retrieval | |
| Fowlkes et al. | Spectral grouping using the nystrom method | |
| Unnikrishnan et al. | Toward objective evaluation of image segmentation algorithms | |
| US8885926B2 (en) | Image and data segmentation | |
| US8908945B2 (en) | Biological unit identification based on supervised shape ranking | |
| US20110158535A1 (en) | Image processing apparatus and image processing method | |
| Sridhar et al. | Content-based image retrieval of digitized histopathology in boosted spectrally embedded spaces | |
| Laha et al. | Land cover classification using fuzzy rules and aggregation of contextual information through evidence theory | |
| CN112651955A (en) | Intestinal tract image identification method and terminal device | |
| CN107423771B (en) | Two-time-phase remote sensing image change detection method | |
| WO2022266745A1 (en) | Visualizing feature variation effects on computer model prediction | |
| JP4477439B2 (en) | Image segmentation system | |
| Alizadeh Naeini et al. | Assessment of normalization techniques on the accuracy of hyperspectral data clustering | |
| CN110929801B (en) | Improved Euclid distance KNN classification method and system | |
| CN113343920A (en) | Method and device for classifying face recognition photos, electronic equipment and storage medium | |
| Parsi et al. | Improving the unsupervised LBG clustering algorithm performance in image segmentation using principal component analysis | |
| JP4434868B2 (en) | Image segmentation system | |
| Jose et al. | Genus and species-level classification of wrasse fishes using multidomain features and extreme learning machine classifier | |
| CN110717547A (en) | Learning algorithm based on regression hypergraph | |
| CN111027609A (en) | Image data weighted classification method and system | |
| KR102405168B1 (en) | Method and apparatus for generating of data set, computer-readable storage medium and computer program | |
| Kindelan et al. | A topological data analysis based classifier | |
| Pietikäinen et al. | Texture classification and segmentation | |
| JP2023005937A (en) | Method for executing class discrimination processing on data to be discriminated using machine learning model, information processing apparatus, and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070115 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090825 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090908 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |