JP6969678B2 - Image judgment system, image judgment method and image judgment program - Google Patents

Image judgment system, image judgment method and image judgment program Download PDF

Info

Publication number
JP6969678B2
JP6969678B2 JP2020518152A JP2020518152A JP6969678B2 JP 6969678 B2 JP6969678 B2 JP 6969678B2 JP 2020518152 A JP2020518152 A JP 2020518152A JP 2020518152 A JP2020518152 A JP 2020518152A JP 6969678 B2 JP6969678 B2 JP 6969678B2
Authority
JP
Japan
Prior art keywords
image
type
threshold value
images
indistinguishable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020518152A
Other languages
Japanese (ja)
Other versions
JPWO2019215994A1 (en
Inventor
徳寿 伊賀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019215994A1 publication Critical patent/JPWO2019215994A1/en
Application granted granted Critical
Publication of JP6969678B2 publication Critical patent/JP6969678B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像の種別を判定する画像判定システム、画像判定方法および画像判定プログラムに関する。 The present invention relates to an image determination system for determining an image type, an image determination method, and an image determination program.

様々な種別の画像に対して対応する後続処理を適切に行うため、画像の内容を人手で確認して、画像を各種別に分類することが一般的に行われている。一方、人手で確認する作業を効率化し、作業コストを低減させる方法も提案されている。 In order to appropriately perform the corresponding subsequent processing for various types of images, it is common practice to manually check the contents of the images and classify the images by type. On the other hand, a method of streamlining the work of manually checking and reducing the work cost has also been proposed.

特許文献１には、画像種別の自動判別方法が記載されている。特許文献１に記載された判別方法では、画像の種別をモノクロ画像とカラー画像に大別し、更にモノクロ画像をモノクロ写真、ワープロ・新聞、綱点写真に、カラー画像を原色の絵、カラー写真にそれぞれ細別する。そして、特許文献１に記載された方法では、画像種別が既知の画像を読み込んで画像種別が既知のデジタル画像を作成し、画像の彩度上限、明度と彩度のフラクタル次元を計算し、自動判別のための閾値を決定する。 Patent Document 1 describes a method for automatically discriminating an image type. In the discrimination method described in Patent Document 1, the types of images are roughly classified into monochrome images and color images, and monochrome images are further classified into monochrome photographs, word processors / newspapers, and point photographs, and color images are primary color photographs and color photographs. It is subdivided into each. Then, in the method described in Patent Document 1, an image having a known image type is read to create a digital image having a known image type, the upper limit of saturation of the image, the fractal dimension of lightness and saturation are calculated, and the image is automatically performed. Determine the threshold for discrimination.

特開平０６−３５０８６１号公報Japanese Unexamined Patent Publication No. 06-350861

学習するための画像が少ない場合や、判定が難しいような類似する種別の画像が混在するような場合では、全ての画像に対して精度の高い判定を行うことは困難である。このような状況では、判定器を利用して画像データの種別の確からしさをもとに種別を自動判別したとしても、人手による再確認が必要不可欠である。 When there are few images to be learned or when images of similar types that are difficult to determine are mixed, it is difficult to make a highly accurate determination for all the images. In such a situation, even if the type is automatically determined based on the certainty of the type of the image data using the determination device, reconfirmation by hand is indispensable.

判別不可能な画像の数を減らすためには、画像の種別を自動判別する閾値を低く設定することが考えられる。しかし、閾値を低くし過ぎると、判別ミスを誘発するおそれが高くなるため、人手で確認する作業および修正の作業が増加してしまう可能性がある。一方、初期段階から閾値を高く設定してしまうと、画像がどの種別にも判別されなくなってしまう恐れが高くなるため、人手で正解ラベルを設定する作業が増加する可能性もある。 In order to reduce the number of images that cannot be discriminated, it is conceivable to set a low threshold value for automatically discriminating the type of image. However, if the threshold value is set too low, there is a high possibility that a discrimination error will be induced, so that the work of manually checking and the work of correction may increase. On the other hand, if the threshold value is set high from the initial stage, there is a high possibility that the image will not be discriminated into any type, so that the work of manually setting the correct label may increase.

特許文献１に記載された方法では、画像種別の性質に応じて閾値が一意に決定される。しかし、確認すべき画像の数が増加し、判別できない画像の数も増加した場合、想定する人員では、画像の内容を確認しきれなくなり、全体としての処理が不完全になってしまう恐れがある。そのため、画像を自動判別する精度が低くなりすぎることを抑制しつつ、対応可能な人員の状況に応じて、画像を自動判別する基準を調整できることが好ましい。 In the method described in Patent Document 1, the threshold value is uniquely determined according to the nature of the image type. However, if the number of images to be confirmed increases and the number of unidentifiable images also increases, the expected personnel may not be able to confirm the contents of the images, and the processing as a whole may be incomplete. .. Therefore, it is preferable to be able to adjust the criteria for automatically discriminating images according to the situation of available personnel while suppressing the accuracy of automatically discriminating images from becoming too low.

そこで、本発明は、画像を判別する精度が低減することを抑制しつつ人員の状況に応じて画像を判別する基準を調整できる画像判定システム、画像判定方法および画像判定プログラムを提供することを目的とする。 Therefore, an object of the present invention is to provide an image determination system, an image determination method, and an image determination program that can adjust a standard for image discrimination according to the situation of personnel while suppressing a decrease in the accuracy of image discrimination. And.

本発明による画像判定システムは、入力される画像の種別の確からしさを推定する推定器によって出力される種別の確からしさが、設定された閾値を超える画像の種別を判別する判別部と、閾値を設定する閾値設定部とを備え、閾値設定部が、判別部が種別を判別できないと推定される画像である判別不可推定画像の数と、その判別不可推定画像の種別の判別に割り当て可能な人員の数とに応じて閾値を設定することを特徴とする。 The image determination system according to the present invention has a discriminator that determines the type of an image in which the certainty of the type output by the estimator that estimates the certainty of the type of the input image exceeds the set threshold, and the threshold value. The threshold setting unit is provided with a threshold value setting unit, and the threshold value setting unit can be assigned to determine the number of non-discriminable estimated images, which are images for which the discriminant unit is presumed to be unable to discriminate the type, and the type of the non-discriminable estimated image. It is characterized in that a threshold value is set according to the number of.

本発明による画像判定方法は、入力される画像の種別の確からしさを推定する推定器によって出力される種別の確からしさが、設定された閾値を超える画像の種別を判別し、種別を判別できないと推定される画像である判別不可推定画像の数と、その判別不可推定画像の種別の判別に割り当て可能な人員の数とに応じて閾値を設定することを特徴とする。 In the image determination method according to the present invention, the certainty of the type output by the estimator that estimates the certainty of the type of the input image is determined, and the type of the image that exceeds the set threshold value cannot be determined. It is characterized in that a threshold value is set according to the number of indistinguishable estimated images which are estimated images and the number of personnel who can be assigned to discriminate the type of the indistinguishable estimated image.

本発明による画像判定プログラムは、コンピュータに、入力される画像の種別の確からしさを推定する推定器によって出力される種別の確からしさが、設定された閾値を超える画像の種別を判別する判別処理、および、閾値を設定する閾値設定処理を実行させ、閾値設定処理で、判別処理で種別を判別できないと推定される画像である判別不可推定画像の数と、その判別不可推定画像の種別の判別に割り当て可能な人員の数とに応じて閾値を設定させることを特徴とする。 The image determination program according to the present invention is a discrimination process for determining the type of an image in which the certainty of the type output by the estimator that estimates the certainty of the type of the image input to the computer exceeds the set threshold. Then, the threshold setting process for setting the threshold is executed, and the number of undiscriminate estimated images that are presumed that the type cannot be discriminated by the discriminant process in the threshold setting process and the type of the non-discriminable estimated image are discriminated. It is characterized in that a threshold value is set according to the number of personnel that can be assigned.

本発明によれば、画像を判別する精度が低減することを抑制しつつ人員の状況に応じて画像を判別する基準を調整できる。 According to the present invention, it is possible to adjust the criteria for discriminating images according to the situation of personnel while suppressing the decrease in the accuracy of discriminating images.

本発明による画像判定システムの第一の実施形態の構成例を示すブロック図である。It is a block diagram which shows the structural example of the 1st Embodiment of the image determination system by this invention. 第一の実施形態の画像判定システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the image determination system of 1st Embodiment. 画像判定システムの動作の具体例を示す説明図である。It is explanatory drawing which shows the specific example of the operation of an image determination system. 本発明による画像判定システムの第二の実施形態の構成例を示すブロック図である。It is a block diagram which shows the structural example of the 2nd Embodiment of the image determination system by this invention. 閾値ごとに判別不可比率を対応付けた例を示す説明図である。It is explanatory drawing which shows the example which associated the indiscriminate ratio for each threshold value. 第二の実施形態の画像判定システムの動作例を示すフローチャートである。It is a flowchart which shows the operation example of the image determination system of 2nd Embodiment. 本発明による画像判定システムの概要を示すブロック図である。It is a block diagram which shows the outline of the image determination system by this invention.

以下、本発明の実施形態を図面を参照して説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

実施形態１．
図１は、本発明による画像判定システムの第一の実施形態の構成例を示すブロック図である。本実施形態の画像判定システム１００は、画像入力部１０と、画像種別推定部２０と、判別器３０と、再学習用データ記憶部３１と、テスト用データ記憶部３２と、種別設定部４０と、学習器５０と、評価部６０と、出力部７０とを備えている。Embodiment 1.
FIG. 1 is a block diagram showing a configuration example of the first embodiment of the image determination system according to the present invention. The image determination system 100 of the present embodiment includes an image input unit 10, an image type estimation unit 20, a discriminator 30, a re-learning data storage unit 31, a test data storage unit 32, and a type setting unit 40. , A learning device 50, an evaluation unit 60, and an output unit 70 are provided.

出力部７０は、画像判定システムによる各種結果を出力する。出力部７０は、例えば、ディスプレイ装置や、プリンタなどにより実現される。 The output unit 70 outputs various results from the image determination system. The output unit 70 is realized by, for example, a display device, a printer, or the like.

画像入力部１０は、画像種別推定部２０が種別の推定に用いる画像を入力する。画像入力部１０は、通信ネットワークを介して画像を入力してもよいし、他のシステムの記憶部（図示せず）に記憶された画像を読み取ってもよい。 The image input unit 10 inputs an image used by the image type estimation unit 20 for type estimation. The image input unit 10 may input an image via a communication network, or may read an image stored in a storage unit (not shown) of another system.

画像種別推定部２０は、画像が表す種別ごとの確からしさを推定するモデル（以下、単にモデルまたは学習済モデルと記す。）を用いて、入力された画像の種別の確からしさを推定する。種別の確からしさの表し方は任意であり、例えば、種別らしさの確率であってもよく、種別ごとの信頼度であってもよい。 The image type estimation unit 20 estimates the certainty of the input image type by using a model for estimating the certainty of each type represented by the image (hereinafter, simply referred to as a model or a trained model). The method of expressing the certainty of the type is arbitrary, and may be, for example, the probability of the type-likeness or the reliability of each type.

画像の分類に用いられる種別の設定方法は任意である。種別は、異なる種類の画像ごとに設定されてもよく、同じ種類の画像について、その画像が表す対象の程度に応じて設定されてもよい。異なる種類の画像ごとに設定される例として、異なる種類の帳票ごと（住民票、婚姻届、印鑑証明など）、地図ごと（道路地図、地形図など）、見取り図ごと（住居用、オフィス用、など）に設定する場合が挙げられる。また、同じ種類の画像ごとに設定される例として、同じ建築物の劣化の度合いや病変の進行度合いに応じて設定する場合が挙げられる。 The type setting method used for image classification is arbitrary. The type may be set for each different type of image, or may be set for the same type of image according to the degree of the target represented by the image. Examples of settings for different types of images are different types of forms (resident's card, marriage registration, seal certificate, etc.), maps (road maps, topographic maps, etc.), sketches (residential, office, etc.). ) May be set. Further, as an example of setting for each image of the same type, there is a case where the setting is made according to the degree of deterioration of the same building and the degree of progression of lesions.

画像種別推定部２０が使用するモデルの態様は任意であり、例えば、ディープラーニングにより生成されたモデルである。この場合、画像種別推定部２０は、入力された画像をモデルに適用して、種別ごとの確率を推定してもよい。例えば、画像Ａの種別の候補が種別Ａ〜Ｄの４種類存在し、種別Ａらしさが最も高い場合、画像種別推定部２０は、種別ごとに「種別Ａ：８５％」、「種別Ｂ：１０％」、「種別Ｃ：３％」、「種別Ｄ：２％」のように確率を推定してもよい。なお、画像種別推定部２０が使用するモデルを学習する方法については後述される。 The mode of the model used by the image type estimation unit 20 is arbitrary, for example, a model generated by deep learning. In this case, the image type estimation unit 20 may apply the input image to the model to estimate the probability for each type. For example, when there are four types of image A type candidates, types A to D, and the type A-likeness is the highest, the image type estimation unit 20 performs "type A: 85%" and "type B: 10" for each type. The probability may be estimated as "%", "type C: 3%", "type D: 2%". The method of learning the model used by the image type estimation unit 20 will be described later.

判別器３０は、画像種別推定部２０によって推定された画像の種別の確からしさに基づいて、画像の種別を判別する。具体的には、判別器３０は、画像種別推定部２０が推定に使用したモデルによって推定される確からしさが閾値を超える画像の種別を判別する。 The discriminator 30 discriminates the type of an image based on the certainty of the type of the image estimated by the image type estimation unit 20. Specifically, the discriminator 30 discriminates the type of the image whose certainty is estimated by the model used for the estimation by the image type estimation unit 20 exceeds the threshold value.

判別に用いられる閾値には、種別ごとに値が設定されていてもよく、種別全体で共通の値が設定されていてもよい。例えば、推定が容易な種別には、他の種別の閾値よりも高い閾値が設定されてもよい。 For the threshold value used for discrimination, a value may be set for each type, or a value common to all types may be set. For example, a threshold value higher than the threshold value of other types may be set for the type that can be easily estimated.

また、例えば、複数の種別が設定されていても、ある種別（例えば、種別Ｘとする。）とそれ以外の種別との判断が出来ればよい場合や、非常に高い確率で判別可能な種別（例えば、種別Ｙとする。）が存在する場合も考えられる。このような場合、その種別（種別Ｘ，種別Ｙ）のみ判別器３０に判別させればよいような場合、その種別に対して適切な閾値を設定し、それ以外の種別に対しては、非常に高い閾値を設定してもよい。このようにすることで、人手で判別させることが好ましい種別の画像を抽出することが可能になる。 Further, for example, even if a plurality of types are set, there is a case where it is sufficient to determine a certain type (for example, type X) and another type, or a type that can be determined with a very high probability (for example, a type X). For example, the type Y) may exist. In such a case, if only the type (type X, type Y) needs to be discriminated by the discriminator 30, an appropriate threshold value is set for the type, and for other types, it is extremely difficult. May be set to a high threshold. By doing so, it becomes possible to extract an image of a type that is preferably manually discriminated.

第一の実施形態において、判別器３０が用いる閾値は、後述する評価部６０によって更新される。初期段階では、ユーザの経験等や既存の推定確率に基づいて閾値が設定されてもよい。また、現在のモデルを用いて正解データが付与された画像の種別の確率を推定し、推定される確率を満たすような閾値が設定されてもよい。なお、閾値を更新する方法は後述される。 In the first embodiment, the threshold value used by the discriminator 30 is updated by the evaluation unit 60 described later. In the initial stage, the threshold value may be set based on the user's experience or the existing estimated probability. Further, the probability of the type of the image to which the correct answer data is given may be estimated using the current model, and a threshold value may be set so as to satisfy the estimated probability. The method of updating the threshold value will be described later.

判別器３０は、種別を判別した画像（すなわち、種別を判別できた画像）をテスト用データ記憶部３２に登録する。また、判別器３０は、種別を判別した画像を後続の処理に送信してもよい。判別器３０は、例えば、種別を判別した画像を、出力部７０に種別とともに出力させてもよいし、種別に対応する後続処理を行う処理器（図示せず）に画像を通知してもよい。 The discriminator 30 registers an image for which the type is discriminated (that is, an image for which the type can be discriminated) in the test data storage unit 32. Further, the discriminator 30 may transmit the image for which the type is discriminated to the subsequent processing. For example, the discriminator 30 may output an image for which the type is discriminated to the output unit 70 together with the type, or may notify the image to a processor (not shown) that performs subsequent processing corresponding to the type. ..

一方、判別器３０は、画像の種別が判別できなかった場合、種別が判別できなかった画像（以下、判別不可画像と記す。）を再学習用データ記憶部３１に登録する。登録された画像は、後続の種別設定部４０で利用される。なお、判別器３０は、判別不可画像を再学習用データ記憶部３１に登録せず、種別設定部４０に直接送信してもよい。 On the other hand, when the type of the image cannot be discriminated, the discriminator 30 registers the image for which the type could not be discriminated (hereinafter referred to as a discriminable image) in the re-learning data storage unit 31. The registered image is used in the subsequent type setting unit 40. The discriminator 30 may not register the non-discriminable image in the re-learning data storage unit 31, but may directly transmit the non-discriminating image to the type setting unit 40.

種別設定部４０は、判別器３０によって種別が判別できなかった画像（すなわち、判別不可画像）に対して正解データ（ラベル）である種別を付与する。種別設定部４０は、例えば、ユーザに対して判別不可画像を表示し、人手で正解データを付与してもよい。なお、正解データが付与された判別不可画像は、後続の再学習処理で教師データとして用いられるため、精度高く正解データが付与されることが好ましい。また、正解ラベルが付与された画像はテストデータとして用いることが可能であるため、種別設定部４０は、この画像をテスト用データ記憶部３２に記憶する。 The type setting unit 40 assigns a type that is correct answer data (label) to an image (that is, an image that cannot be discriminated) whose type cannot be discriminated by the discriminator 30. The type setting unit 40 may, for example, display an indistinguishable image to the user and manually add correct answer data. Since the indistinguishable image to which the correct answer data is attached is used as teacher data in the subsequent re-learning process, it is preferable that the correct answer data is attached with high accuracy. Further, since the image to which the correct answer label is attached can be used as test data, the type setting unit 40 stores this image in the test data storage unit 32.

学習器５０は、判別器３０で用いられるモデル（すなわち、画像が表す種別ごとの確からしさを推定するモデル）を学習用の画像データを用いて学習する。初期段階では、学習器５０は、例えば、既存の画像データを学習データとして用いてモデルを学習すればよい。 The learner 50 learns a model used in the discriminator 30 (that is, a model that estimates the certainty of each type represented by an image) using image data for learning. In the initial stage, the learner 50 may train the model using, for example, existing image data as training data.

さらに、学習器５０は、判別不可画像に対して正解ラベルが付与されたデータを学習用画像データとして用いて、モデルを再学習する。判別不可画像は、モデルが種別の精度を高く推定できなかった画像、または、判別器３０が要求する精度（すなわち、設定された閾値の精度）で種別を推定できなかった画像であると言える。このような画像に対して正解ラベルを付与した学習用画像データを生成し、この学習用画像データに基づいて再学習を行うことにより、再学習済モデルが種別を推定する精度を向上させることが可能になる。 Further, the learner 50 relearns the model by using the data to which the correct answer label is attached to the indistinguishable image as the image data for learning. It can be said that the non-discriminable image is an image in which the model cannot estimate the accuracy of the type with high accuracy, or an image in which the type cannot be estimated with the accuracy required by the discriminator 30 (that is, the accuracy of the set threshold value). By generating training image data with a correct label attached to such an image and performing re-learning based on this training image data, it is possible to improve the accuracy with which the retrained model estimates the type. It will be possible.

学習器５０が再学習を行う方法は任意である。例えば、種別が増加しない場合、学習器５０は、学習用画像データを用いて追加学習を行ってもよいし、過去に学習に用いた画像と正解ラベルが付与された判別不可画像とを学習データとして用いて、新たにモデルの学習を行ってもよい。 The method by which the learner 50 performs re-learning is arbitrary. For example, when the types do not increase, the learning device 50 may perform additional learning using the image data for learning, or learn data between the image used for learning in the past and the indistinguishable image to which the correct answer label is attached. You may use it as a new model to learn.

その際、学習器５０が再学習に用いるデータも、学習方法に応じて選択することが可能である。学習器５０は、例えば、正解ラベルが付与された判別不可画像の全てを学習用画像データとして用いて、モデルの再学習を行ってもよい。また、学習時間の短縮や、特定の種別に対する推定精度の強化のため、学習器５０は、正解ラベルが付与された判別不可画像のうち、特定の種別の画像のみを学習用画像データとして用いてもよい。 At that time, the data used by the learning device 50 for re-learning can also be selected according to the learning method. The learner 50 may relearn the model by using, for example, all the indistinguishable images to which the correct answer label is attached as the image data for learning. Further, in order to shorten the learning time and enhance the estimation accuracy for a specific type, the learning device 50 uses only the image of a specific type among the indistinguishable images to which the correct answer label is attached as the image data for learning. May be good.

例えば、該当すると推定される場合の確率が低い種別（すなわち、他の種別よりも確率が高く、その種別に該当すると推定される場合であっても、その確率が低い種別）の推定精度を向上させたいとする。例えば、種別Ａ〜Ｄが存在する場合に、種別Ｄの推定確率が５１％だったとする。この場合、他の種別と比較すると最も高く推定される種別ではあるが、推定確率自体は低いと考えられる。この場合、学習器５０は、その種別（例えば、種別Ｄ）が正解ラベルとして設定された学習用画像データを用いて、再学習を行ってもよい。 For example, improved the estimation accuracy of a type with a low probability of being presumed to be applicable (that is, a type with a higher probability than other types and a type with a low probability even if it is presumed to correspond to that type). I want to let you. For example, when types A to D exist, the estimated probability of type D is 51%. In this case, although it is the most highly estimated type compared to other types, the estimation probability itself is considered to be low. In this case, the learning device 50 may perform re-learning using the learning image data in which the type (for example, type D) is set as the correct answer label.

また、学習器５０は、判別不可画像のうち、最も多く設定された（または、最も割合が多い）種別の画像データを用いて再学習を行ってもよい。このような種別の画像は、推定精度が低いと考えられるからである。このような画像を用いて再学習を行うことで、推定精度の低い種別について、その種別を精度よく推定することが可能なモデルを生成できる。 Further, the learner 50 may perform re-learning using the image data of the type in which the most is set (or the most ratio is) among the indistinguishable images. This is because it is considered that such types of images have low estimation accuracy. By performing re-learning using such an image, it is possible to generate a model capable of accurately estimating the type with low estimation accuracy.

一方、学習器５０が再学習を行うタイミングも任意である。学習器５０は、所定期間経過後に再学習を行ってもよく、精度を確保できそうな数として予め定めた数の学習用画像データが溜まった場合に再学習を行ってもよい。また、学習器５０は、判別器３０によって種別が判別できない画像の割合（以下、判別不可比率と記す。）が所定の基準を満たさなくなった場合に、再学習を行ってもよい。学習器５０は、例えば、判別対象の画像の全体数に対して種別が判別できなかった画像の数の割合を判別不可比率として算出し、判別不可比率が予め定めた基準を超えた場合に再学習を行ってもよい。このようにすることで、例えば、入力される画像の傾向が変わった場合、自動で再学習できるようになるため好ましい。 On the other hand, the timing at which the learner 50 performs re-learning is also arbitrary. The learning device 50 may perform re-learning after a lapse of a predetermined period, or may perform re-learning when a predetermined number of image data for learning is accumulated as a number that is likely to secure accuracy. Further, the learning device 50 may perform re-learning when the ratio of images whose type cannot be discriminated by the discriminator 30 (hereinafter referred to as the non-discriminating ratio) does not satisfy a predetermined criterion. The learner 50 calculates, for example, the ratio of the number of images whose type cannot be discriminated to the total number of images to be discriminated as the non-discrimination ratio, and when the non-discrimination ratio exceeds a predetermined standard, the learning device 50 re-uses. You may study. By doing so, for example, when the tendency of the input image changes, it becomes possible to automatically relearn, which is preferable.

評価部６０は、学習器５０によって学習されたモデルの精度を評価する。そして、評価部６０は、既存のモデル（再学習前のモデル）と再学習後のモデルの精度を比較して、より精度の高いモデルを選択する。評価部６０は、選択されたモデルを画像種別推定部２０が使用するモデルとして自動的に置き換えてもよく、ユーザ等の指示に応じて置き換えてもよい。 The evaluation unit 60 evaluates the accuracy of the model learned by the learner 50. Then, the evaluation unit 60 compares the accuracy of the existing model (the model before re-learning) with the model after re-learning, and selects a model with higher accuracy. The evaluation unit 60 may automatically replace the selected model as the model used by the image type estimation unit 20, or may replace it according to an instruction from the user or the like.

評価部６０は、単一の指標に基づいてモデルの精度を評価してもよく、複数の指標を総合的に判断してモデルの精度を評価してもよい。その際、評価部６０は、テスト用データ記憶部３２に記憶されたデータである種別が判別できた画像および判別不可画像の両方を利用してモデルの精度を評価してもよく、いずれか一方のデータを利用してモデルの精度を評価してもよい。評価部６０は、例えば、既存のモデルと再学習後のモデルとを並行して判別不可画像を判別させ、各種別の確からしさが、既存のモデルよりも再学習後のモデルの方が高くなった場合に、精度が高くなったと判断して再学習後のモデルを選択してもよい。 The evaluation unit 60 may evaluate the accuracy of the model based on a single index, or may comprehensively judge a plurality of indexes to evaluate the accuracy of the model. At that time, the evaluation unit 60 may evaluate the accuracy of the model by using both the image whose type can be discriminated and the image whose type cannot be discriminated, which is the data stored in the test data storage unit 32. The accuracy of the model may be evaluated using the data of. For example, the evaluation unit 60 discriminates an indistinguishable image between an existing model and a retrained model in parallel, and the certainty of each type is higher in the retrained model than in the existing model. In that case, it may be judged that the accuracy has been improved and the model after re-learning may be selected.

また、評価部６０は、既存のモデルで判別不可と判断された画像を再学習後のモデルで判別した結果、判別が可能になった数（または割合）を算出してもよい。そして、評価部６０は、算出した数（または割合）が所定の基準を満たした場合に、再学習後のモデルがより精度の高いモデルになったと判断して、そのモデルを選択してもよい。 Further, the evaluation unit 60 may calculate the number (or ratio) at which the image that is determined to be indistinguishable by the existing model can be discriminated as a result of discriminating by the model after re-learning. Then, the evaluation unit 60 may determine that the model after re-learning has become a more accurate model when the calculated number (or ratio) satisfies a predetermined criterion, and may select the model. ..

他にも、評価部６０は、複数のテストデータを既存のモデルと再学習後のモデルの双方に適用して、種別ごとの確からしさを算出し、テストデータごとの評価結果を統計処理（例えば、確からしさの平均値を算出、確からしさの標準偏差を算出）してもよい。例えば、統計処理として平均値が算出された場合、評価部６０は、確からしさの平均値が高いモデルをより精度の高いモデルとして選択してもよい。また、例えば、統計処理として標準偏差が算出された場合、評価部６０は、確からしさの標準偏差が小さい（すなわち、評価にブレが少ない）モデルをより精度の高いモデルとして選択してもよい。なお、統計処理に用いるテストデータは、学習させた種別の過去のデータ全てであってもよく、予め選択した件数のデータであってもよい。 In addition, the evaluation unit 60 applies a plurality of test data to both the existing model and the model after retraining, calculates the certainty for each type, and statistically processes the evaluation result for each test data (for example). , The average value of the certainty is calculated, and the standard deviation of the certainty is calculated). For example, when the average value is calculated as statistical processing, the evaluation unit 60 may select a model having a high average value of certainty as a model with higher accuracy. Further, for example, when the standard deviation is calculated as statistical processing, the evaluation unit 60 may select a model having a small standard deviation of certainty (that is, having less deviation in evaluation) as a model with higher accuracy. The test data used for the statistical processing may be all the past data of the trained type, or may be the data of the number of cases selected in advance.

さらに、評価部６０は、画像種別推定部２０が使用するモデルを更新する際に、判別器３０が用いる閾値を併せて更新してもよい。例えば、更新の際に閾値を変更する度合いを予め定めておき、評価部６０は、その度合いに応じて閾値を更新してもよい。このとき、定めておく度合いは、種別ごとであってもよく、全体で共通であってもよい。 Further, the evaluation unit 60 may also update the threshold value used by the discriminator 30 when updating the model used by the image type estimation unit 20. For example, the degree of changing the threshold value at the time of updating may be determined in advance, and the evaluation unit 60 may update the threshold value according to the degree. At this time, the degree to be determined may be for each type or may be common to all.

他にも、評価部６０は、既存のモデルと再学習後のモデルとを比較した結果、向上した精度に応じて閾値を増加させる度合いを決定してもよい。例えば、向上した精度に応じて閾値を変化させた場合の過去の判別不可比率の変化を学習しておき、評価部６０は、向上した精度と向上させた閾値と判別不可比率との関係から、閾値を変化させる度合いを決定してもよい。 In addition, the evaluation unit 60 may determine the degree to which the threshold value is increased according to the improved accuracy as a result of comparing the existing model with the model after re-learning. For example, the change in the past indistinguishable ratio when the threshold value is changed according to the improved accuracy is learned, and the evaluation unit 60 is based on the relationship between the improved accuracy and the improved threshold value and the indistinguishable ratio. The degree to which the threshold is changed may be determined.

具体的には、精度の高いモデルに更新することにより画像種別推定部２０による推定確率が向上すれば判別不可比率は減少する。一方、判別器３０が用いる判別の閾値を増加させれば判別不可比率が増加することになる。そのため、評価部６０は、予め定めた許容できる判別不可比率に応じて、閾値を増加させてもよい。 Specifically, if the estimation probability by the image type estimation unit 20 is improved by updating to a model with high accuracy, the indistinguishable ratio will decrease. On the other hand, if the threshold value for discrimination used by the discriminator 30 is increased, the discriminable ratio will increase. Therefore, the evaluation unit 60 may increase the threshold value according to a predetermined acceptable undeterminable ratio.

再学習用データ記憶部３１は、判別不可画像を記憶する。なお、再学習用データ記憶部３１は、判別不可画像を種別設定部４０によって付与された正解ラベルに対応付けて記憶してもよい。また、テスト用データ記憶部３２は、判別または付加された種別を画像と対応付けて記憶する。再学習用データ記憶部３１およびテスト用データ記憶部３２は、例えば、磁気ディスク装置により実現される。 The re-learning data storage unit 31 stores an indistinguishable image. The re-learning data storage unit 31 may store the non-discriminable image in association with the correct answer label given by the type setting unit 40. Further, the test data storage unit 32 stores the discriminated or added type in association with the image. The re-learning data storage unit 31 and the test data storage unit 32 are realized by, for example, a magnetic disk device.

画像入力部１０と、画像種別推定部２０と、判別器３０と、種別設定部４０と、学習器５０と、評価部６０とは、プログラム（画像判定プログラム）に従って動作するコンピュータのＣＰＵ（Central Processing Unit ）によって実現される。例えば、プログラムは、画像判定システムが備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、画像入力部１０、画像種別推定部２０、判別器３０、種別設定部４０、学習器５０および評価部６０として動作してもよい。 The image input unit 10, the image type estimation unit 20, the discriminator 30, the type setting unit 40, the learning unit 50, and the evaluation unit 60 are CPUs (Central Processing) of a computer that operates according to a program (image determination program). It is realized by Unit). For example, the program is stored in a storage unit (not shown) provided in the image determination system, the CPU reads the program, and according to the program, the image input unit 10, the image type estimation unit 20, the discriminator 30, and the type setting unit. It may operate as 40, a learning device 50, and an evaluation unit 60.

画像入力部１０と、画像種別推定部２０と、判別器３０と、種別設定部４０と、学習器５０と、評価部６０とは、それぞれが専用のハードウェアで実現されていてもよい。 The image input unit 10, the image type estimation unit 20, the discriminator 30, the type setting unit 40, the learning unit 50, and the evaluation unit 60 may each be realized by dedicated hardware.

次に、本実施形態の画像判定システムの動作を説明する。図２は、第一の実施形態の画像判定システムの動作例を示すフローチャートである。なお、画像種別推定部２０が初期段階で推定に用いるモデルは予め学習されているとする。 Next, the operation of the image determination system of the present embodiment will be described. FIG. 2 is a flowchart showing an operation example of the image determination system of the first embodiment. It is assumed that the model used by the image type estimation unit 20 for estimation at the initial stage has been learned in advance.

画像入力部１０は、判別の対象とする画像を入力する（ステップＳ１１）。画像種別推定部２０は、入力された画像に対してモデルを適用し、入力された画像の種別の確からしさを推定する（ステップＳ１２）。判別器３０は、推定された画像の種別の確からしさに基づいて、画像の種別を判別する（ステップＳ１３）。 The image input unit 10 inputs an image to be discriminated (step S11). The image type estimation unit 20 applies a model to the input image and estimates the certainty of the type of the input image (step S12). The discriminator 30 discriminates the image type based on the estimated certainty of the image type (step S13).

画像の種別が判別できなかった場合（ステップＳ１３におけるＮｏ）、種別設定部４０は、判別不可画像に対して正解データを付与し（ステップＳ１４）、再学習用データ記憶部３１に記憶する。その後ステップＳ１５の処理が行われる。一方、画像の種別が判別できた場合（ステップＳ１３におけるＹｅｓ）、判別器３０は、種別に対応する後続処理を行う処理器（図示せず）に画像を通知する（ステップＳ１５）。また、判別器３０は、判別された種別を画像と対応付けてテスト用データ記憶部３２に記憶する。 When the type of the image cannot be determined (No in step S13), the type setting unit 40 assigns correct answer data to the unidentifiable image (step S14) and stores it in the relearning data storage unit 31. After that, the process of step S15 is performed. On the other hand, when the type of the image can be discriminated (Yes in step S13), the discriminator 30 notifies the processor (not shown) that performs subsequent processing corresponding to the type (step S15). Further, the discriminator 30 stores the discriminated type in the test data storage unit 32 in association with the image.

学習器５０は、判別不可画像に対して正解ラベルが付与されたデータを学習用画像データとして用いて、モデルを再学習する（ステップＳ１６）。学習器５０は、予め定められた条件に応じたタイミングおよび方法で再学習を行う。評価部６０は、学習器５０によって学習されたモデルの精度を評価し、既存のモデルよりも精度が高くなっているか否か判断する（ステップＳ１７）。精度が高くなっている場合（ステップＳ１７におけるＹｅｓ）、評価部６０は、画像種別推定部２０が推定に用いている既存のモデルを再学習後のモデルに置き換える（ステップＳ１８）。さらに評価部６０は、判別器３０が判別に用いる閾値を更新する（ステップＳ１９）。一方、精度が高くなっていない場合（ステップＳ１７におけるＮｏ）、既存のモデルはそのままに処理を終了する。 The learner 50 relearns the model by using the data to which the correct label is attached to the indistinguishable image as the image data for learning (step S16). The learner 50 performs re-learning at a timing and method according to predetermined conditions. The evaluation unit 60 evaluates the accuracy of the model learned by the learner 50, and determines whether or not the accuracy is higher than that of the existing model (step S17). When the accuracy is high (Yes in step S17), the evaluation unit 60 replaces the existing model used for estimation by the image type estimation unit 20 with the model after re-learning (step S18). Further, the evaluation unit 60 updates the threshold value used by the discriminator 30 for discrimination (step S19). On the other hand, if the accuracy is not high (No in step S17), the processing ends with the existing model as it is.

次に、本実施形態の画像判定システムの具体例を説明する。図３は、本実施形態の画像判定システムの動作の具体例を示す説明図である。図３に示す例では、画像記憶器１１に判別対象の画像が記憶されているとする。図３に例示するＡＩ（Artificial Intelligence ）２１は、画像種別推定部２０に対応し、モデルを使用して種別Ａ、種別Ｂ、種別Ｃおよび種別Ｄの確からしさを推定する。 Next, a specific example of the image determination system of the present embodiment will be described. FIG. 3 is an explanatory diagram showing a specific example of the operation of the image determination system of the present embodiment. In the example shown in FIG. 3, it is assumed that the image to be discriminated is stored in the image storage device 11. The AI (Artificial Intelligence) 21 illustrated in FIG. 3 corresponds to the image type estimation unit 20, and estimates the certainty of the types A, B, C, and D using a model.

次に、判別器３０が、推定された種別の確からしさを設定された閾値と比較し、閾値よりも大きい確からしさの種別を特定する。ここで、閾値（８０％）よりも大きい種別が特定された画像は、判別済３０ｘに分類され、種別が特定されなかった画像は、判別不可３０ｙに分類される。判別不可３０ｙに分類された画像（すなわち、判別不可画像）に対し、ユーザが種別設定部４０を介して、種別Ａ〜Ｄを設定する。このデータは、再学習用データとして利用される。 Next, the discriminator 30 compares the estimated type of certainty with the set threshold value, and identifies the type of certainty larger than the threshold value. Here, the image in which the type larger than the threshold value (80%) is specified is classified into the discriminated 30x, and the image in which the type is not specified is classified into the discriminable 30y. The user sets the types A to D for the images classified into the indistinguishable 30y (that is, the indistinguishable images) via the type setting unit 40. This data is used as data for re-learning.

判別済３０ｘに分類された画像および種別が設定された判別不可画像は、それぞれの処理を行う処理器Ｐａ〜Ｐｄに入力され、各処理が行われる。また、これらの画像は、判別済画像の記憶装置３３に記憶される。この記憶装置３３は、テスト用データ記憶部３２に対応する。 The image classified into the discriminated 30x and the non-discriminating image for which the type is set are input to the processors Pa to Pd for performing the respective processes, and each process is performed. Further, these images are stored in the storage device 33 of the discriminated image. The storage device 33 corresponds to the test data storage unit 32.

その後、ＡＩ５１は、再学習用データを用いてモデルの再学習を行い、再学習済モデルを生成する。なお、ＡＩ５１は、学習器５０に対応し、予め定められた条件に応じたタイミングおよび方法で再学習を行う。そして、再学習モデルの評価器６１は、既存のモデルｐｍと再学習後のモデルｒｍの精度を比較して、より精度の高いモデルを選択する。再学習後のモデルｒｍが選択された場合、評価器６１は、ＡＩ２１が使用するモデルを置き換える。併せて、評価器６１は、判別器３０が使用する閾値を変更する。なお、評価器６１は、評価部６０に対応する。 After that, AI51 relearns the model using the relearning data and generates a relearned model. The AI 51 corresponds to the learning device 50 and performs re-learning at a timing and a method according to predetermined conditions. Then, the re-learning model evaluator 61 compares the accuracy of the existing model pm with the accuracy of the model rm after re-learning, and selects a model with higher accuracy. If the retrained model rm is selected, the evaluator 61 replaces the model used by AI21. At the same time, the evaluator 61 changes the threshold value used by the discriminator 30. The evaluator 61 corresponds to the evaluation unit 60.

以上のように、本実施形態では、学習器５０が、判別不可画像を学習用データとして用いてモデルを再学習し、評価部６０が、再学習前のモデルと再学習後のモデルの精度を比較して、より精度の高いモデルを選択する。よって、使用に応じて画像を判定する精度を向上させることができる。すなわち、使用に応じてより精度の高いモデルが選択されるため、そのモデルを用いて画像を判定することにより、精度を向上させることが可能になる。 As described above, in the present embodiment, the learner 50 relearns the model using the indistinguishable image as learning data, and the evaluation unit 60 determines the accuracy of the model before relearning and the model after relearning. Compare and select a more accurate model. Therefore, it is possible to improve the accuracy of determining the image according to the use. That is, since a model with higher accuracy is selected according to use, it is possible to improve the accuracy by determining an image using the model.

実施形態２．
次に、本発明による画像判定システムの第二の実施形態を説明する。画像の種別の判別作業に投入できる人的工数や人件費などには限度があり、限られたリソース内で精度よく判別できることが望まれている。すなわち、人員を多数確保できる状況であれば、判別が困難な画像だけでなく、判別が微妙な画像も含めて人手で種別を判別して正解ラベルを付与できることが好ましい。Embodiment 2.
Next, a second embodiment of the image determination system according to the present invention will be described. There is a limit to the man-hours and labor costs that can be invested in the image type discrimination work, and it is desired that accurate discrimination can be performed within limited resources. That is, in a situation where a large number of personnel can be secured, it is preferable that not only images that are difficult to discriminate but also images that are delicately discriminated can be manually discriminated and given a correct answer label.

一方、人員があまり確保できない状況の場合、判別不可画像が多数発生してしまうと、判別不可画像に正解ラベルを付与する作業が完了できない状況になってしまう。このような状況を避けるために、許容できる精度で判別可能な画像についてはモデルに基づいて自動判別することで判別不可画像の数を低減できることが好ましい。 On the other hand, in a situation where it is not possible to secure a large number of personnel, if a large number of indistinguishable images occur, the work of assigning a correct label to the indistinguishable images cannot be completed. In order to avoid such a situation, it is preferable that the number of indistinguishable images can be reduced by automatically discriminating the images that can be discriminated with an acceptable accuracy based on the model.

第一の実施形態では、モデルの更新に応じて閾値を変化させる場合について説明した。本実施形態では、判別不可画像に対して正解ラベルを付与するために確保可能な人員の状況に応じて、画像を判別する基準である閾値を調整する方法を説明する。 In the first embodiment, the case where the threshold value is changed according to the update of the model has been described. In the present embodiment, a method of adjusting a threshold value, which is a standard for discriminating an image, will be described according to the situation of personnel that can be secured in order to give a correct label to an unidentifiable image.

図４は、本発明による画像判定システムの第二の実施形態の構成例を示すブロック図である。本実施形態の画像判定システム２００は、画像入力部１０と、画像種別推定部２０と、判別器３０と、再学習用データ記憶部３１と、テスト用データ記憶部３２と、種別設定部４０と、学習器５０と、評価部６０と、閾値設定部６２と、記憶部６３と、出力部７０とを備えている。 FIG. 4 is a block diagram showing a configuration example of a second embodiment of the image determination system according to the present invention. The image determination system 200 of the present embodiment includes an image input unit 10, an image type estimation unit 20, a discriminator 30, a re-learning data storage unit 31, a test data storage unit 32, and a type setting unit 40. A learning device 50, an evaluation unit 60, a threshold setting unit 62, a storage unit 63, and an output unit 70 are provided.

すなわち、本実施形態の画像判定システム２００は、第一の実施形態の画像判定システム１００と比較し、閾値設定部６２および記憶部６３をさらに備えている。それ以外の構成は、第一の実施形態と同様である。 That is, the image determination system 200 of the present embodiment further includes a threshold value setting unit 62 and a storage unit 63 as compared with the image determination system 100 of the first embodiment. Other than that, the configuration is the same as that of the first embodiment.

評価部６０は、第一の実施形態の評価部６０と同様、学習器５０によって学習されたモデルの精度を評価し、既存のモデル（再学習前のモデル）と再学習後のモデルの精度を比較して、より精度の高いモデルを選択する。なお、本実施形態では、閾値設定部６２が判別器３０が用いる閾値を更新する場合について説明する。ただし、評価部６０が第一の実施形態と同様に閾値を更新してもよい。 Similar to the evaluation unit 60 of the first embodiment, the evaluation unit 60 evaluates the accuracy of the model learned by the learner 50, and evaluates the accuracy of the existing model (model before re-learning) and the model after re-learning. Compare and select a more accurate model. In this embodiment, a case where the threshold value setting unit 62 updates the threshold value used by the discriminator 30 will be described. However, the evaluation unit 60 may update the threshold value as in the first embodiment.

記憶部６３は、判別器３０が種別を判別できない画像の割合（すなわち、判別不可比率）と閾値との対応関係を記憶する。対応関係は、個々の閾値と判別不可比率とが対応付けられていてもよく、閾値と判別不可比率との関係が数式で表されていてもよい。なお、一般に閾値が高くなるほど判別不可比率は増加することから、閾値と判別不可比率との関係を表す関数は、任意の単調非減少関数で表される。 The storage unit 63 stores the correspondence between the ratio of images whose type cannot be discriminated by the discriminator 30 (that is, the non-discrimination ratio) and the threshold value. As for the correspondence relationship, the individual threshold value and the indistinguishable ratio may be associated with each other, and the relationship between the threshold value and the indistinguishable ratio may be expressed by a mathematical formula. In general, the higher the threshold value, the higher the indistinguishable ratio. Therefore, the function representing the relationship between the threshold value and the indistinguishable ratio is represented by an arbitrary monotonic non-decreasing function.

また、上述するように、閾値には、種別全体で共通の値が用いられていてもよく、種別ごとに異なる値が用いられていてもよい。さらに、記憶部６３は、画像種別推定部２０が使用するモデルごとに、判別不可比率と閾値との対応関係を記憶してもよい。 Further, as described above, as the threshold value, a value common to all types may be used, or a different value may be used for each type. Further, the storage unit 63 may store the correspondence between the indistinguishable ratio and the threshold value for each model used by the image type estimation unit 20.

図５は、閾値ごとに判別不可比率を対応付けた例を示す説明図である。図５に示す例では、画像種別推定部２０が使用するモデルおよび種別ごとに、閾値と判別不可比率とを対応付けていることを示す。例えば、モデルαを用いて種別Ａの確からしさを推定した場合に閾値８０％と設定されていると、入力される画像のうち１０％の推定確率で判別不可に判別されることを示す。 FIG. 5 is an explanatory diagram showing an example in which the indistinguishable ratio is associated with each threshold value. In the example shown in FIG. 5, it is shown that the threshold value and the indistinguishable ratio are associated with each model and type used by the image type estimation unit 20. For example, when the certainty of the type A is estimated using the model α and the threshold value is set to 80%, it is shown that the determination is indistinguishable with an estimation probability of 10% of the input images.

記憶部６３には、過去の経験等に応じて判別不可比率と閾値との対応関係が記憶されてもよい。また、後述する閾値設定部６２が、実際に入力される画像の判別結果から判別不可画像の割合を算出してもよい。閾値設定部６２の動作については後述される。また、記憶部６３は、例えば、磁気ディスク装置により実現される。 The storage unit 63 may store the correspondence between the indistinguishable ratio and the threshold value according to past experience and the like. Further, the threshold value setting unit 62, which will be described later, may calculate the ratio of the indistinguishable image from the discrimination result of the actually input image. The operation of the threshold value setting unit 62 will be described later. Further, the storage unit 63 is realized by, for example, a magnetic disk device.

閾値設定部６２は、判別器３０が画像の種別を判別する際に用いる閾値を設定する。具体的には閾値設定部６２は、判別器３０が種別を判別できないと推定される画像（以下、判別不可推定画像と記す。）の数と、その判別不可推定画像の種別の判別に割り当て可能な人員の数とに応じて閾値を設定する。種別の判別に割り当て可能な人員の数は、判別の確認作業を行う人員の数と言うこともできる。具体的には、この人員によって判別不可推定画像への正解ラベルの設定が行われることになる。 The threshold value setting unit 62 sets a threshold value used by the discriminator 30 to discriminate the type of the image. Specifically, the threshold value setting unit 62 can be assigned to discriminate between the number of images estimated that the discriminator 30 cannot discriminate the type (hereinafter referred to as non-discriminable estimated image) and the type of the discriminable estimated image. Set a threshold according to the number of personnel. The number of personnel that can be assigned to the type discrimination can also be said to be the number of personnel who perform the discrimination confirmation work. Specifically, this person will set the correct label for the indistinguishable estimated image.

判別作業を行う期間Ｔ（時間）に対して投入できる人員の数をＮ（人）とする。また、１人の人員で単位期間に判別できる画像の枚数をＷ（時間・人／枚）とする。期間Ｔの間に入力される画像の枚数をＸ（枚）としたとき、判別不可推定画像の枚数Ｘｎ（枚）は、判別不可比率をＰとすると、以下に例示する式１で表される。 Let N (person) be the number of personnel that can be put in for the period T (hour) for which the discrimination work is performed. Further, the number of images that can be discriminated by one person in a unit period is W (time / person / sheet). When the number of images input during the period T is X (sheets), the number of indistinguishable estimated images Xn (images) is expressed by the following equation 1 when the indistinguishable ratio is P. ..

Ｘｎ＝Ｘ・Ｐ （式１） Xn = XP (Equation 1)

また、期間Ｔの間に判別できる画像の枚数はＴ・Ｎ／Ｗであるため、判別不可推定画像を全て確認するには、以下に例示する式２の条件を満たす必要がある。 Further, since the number of images that can be discriminated during the period T is T / N / W, it is necessary to satisfy the condition of Equation 2 illustrated below in order to confirm all the non-discriminable estimated images.

Ｘｎ≦Ｔ・Ｎ／Ｗ （式２） Xn ≦ T ・ N / W (Equation 2)

したがって、閾値設定部６２は、判別不可比率Ｐ≦Ｔ・Ｎ／Ｗ・Ｘｎを満たす閾値を決定する。そして、閾値設定部６２は、決定した閾値を判別器３０に通知し、通知した閾値を設定させる。図５に示す例において、例えば、種別Ａの判別不可比率が８％と算出されたとする。この場合、閾値設定部６２は、判別不可比率８％を満たす閾値のうち、もっとも高い閾値である７５％を設定する閾値として決定する。 Therefore, the threshold value setting unit 62 determines a threshold value that satisfies the indistinguishable ratio P ≦ T · N / W · Xn. Then, the threshold value setting unit 62 notifies the discriminator 30 of the determined threshold value, and causes the discriminator 30 to set the notified threshold value. In the example shown in FIG. 5, for example, it is assumed that the indistinguishable ratio of type A is calculated to be 8%. In this case, the threshold value setting unit 62 determines as a threshold value for setting 75%, which is the highest threshold value among the threshold values satisfying the indistinguishable ratio of 8%.

また、閾値設定部６２は、実際に入力される画像の判別結果から設定する閾値ごとに判別不可比率を算出してもよい。具体的には、閾値設定部６２は、ユーザから判別不可比率の算出指示を受け取ると、画像入力部１０に閾値算出用の画像を入力し、閾値を変えながら、入力した画像の数に対する判別不可画像の数に基づいて判別不可比率を算出し、算出結果を記憶部６３に登録する。閾値算出用の画像には、例えば、テスト用データ記憶部３２に記憶された画像データが用いられてもよい。 Further, the threshold value setting unit 62 may calculate the non-discrimination ratio for each threshold value set from the discrimination result of the actually input image. Specifically, when the threshold value setting unit 62 receives an instruction to calculate the indistinguishable ratio from the user, the threshold value setting unit 62 inputs an image for calculating the threshold value to the image input unit 10, and while changing the threshold value, the determination is not possible for the number of input images. The indistinguishable ratio is calculated based on the number of images, and the calculation result is registered in the storage unit 63. For the image for calculating the threshold value, for example, the image data stored in the test data storage unit 32 may be used.

また、閾値設定部６２は、ユーザからの明示的な算出指示を受け取る場合以外にも、画像の種別の確からしさを推定する状況の変化（例えば、画像種別推定部２０によって使用されるモデルが更新された状況）に応じて、閾値ごとの判別不可比率を算出しなおしてもよい。すなわち、閾値設定部６２は、第一の実施形態で評価部６０がモデルを更新するタイミングで閾値を更新する場合と同じように、評価部６０がモデルを更新するタイミングで閾値ごとの判別不可比率を算出し直して記憶部６３の情報を更新してもよい。 Further, the threshold value setting unit 62 changes the situation for estimating the certainty of the image type (for example, the model used by the image type estimation unit 20 is updated) other than the case of receiving an explicit calculation instruction from the user. The indistinguishable ratio for each threshold value may be recalculated according to the situation. That is, the threshold value setting unit 62 has a non-discriminable ratio for each threshold value at the timing when the evaluation unit 60 updates the model, as in the case where the evaluation unit 60 updates the threshold value at the timing when the evaluation unit 60 updates the model in the first embodiment. May be recalculated to update the information in the storage unit 63.

なお、画像入力部１０と、画像種別推定部２０と、判別器３０と、種別設定部４０と、学習器５０と、評価部６０と、閾値設定部６２とは、プログラム（画像判定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。 The image input unit 10, the image type estimation unit 20, the discriminator 30, the type setting unit 40, the learning unit 50, the evaluation unit 60, and the threshold value setting unit 62 follow a program (image determination program). It is realized by the CPU of the operating computer.

次に、本実施形態の画像判定システムの動作を説明する。図６は、第二の実施形態の画像判定システムの動作例を示すフローチャートである。閾値設定部６２は、判別不可推定画像の数と、その判別不可推定画像の種別の判別に割り当て可能な人員の数とに応じて判別器３０の閾値を設定する（ステップＳ２１）。画像種別推定部２０が、入力される画像の種別の確からしさを推定する（ステップＳ２２）。そして、判別器３０は、設定された閾値に基づいて、推定された種別の確からしさがその閾値を超える画像の種別を判別する（ステップＳ２３）。 Next, the operation of the image determination system of the present embodiment will be described. FIG. 6 is a flowchart showing an operation example of the image determination system of the second embodiment. The threshold value setting unit 62 sets the threshold value of the discriminator 30 according to the number of non-discriminable estimated images and the number of personnel that can be assigned to discriminate the type of the non-discriminable estimated image (step S21). The image type estimation unit 20 estimates the certainty of the input image type (step S22). Then, the discriminator 30 discriminates the type of the image whose estimated certainty of the type exceeds the threshold value based on the set threshold value (step S23).

以上のように、本実施形態では、閾値設定部６２が、判別不可推定画像の数とその判別不可推定画像の種別の判別に割り当て可能な人員の数とに応じて閾値を設定する。そして、判別器３０が、画像種別推定部２０によって推定される確からしさが、設定された閾値を超える画像の種別を判別する。 As described above, in the present embodiment, the threshold value setting unit 62 sets the threshold value according to the number of non-discriminable estimated images and the number of personnel that can be assigned to discriminate the type of the non-discriminable estimated image. Then, the discriminator 30 discriminates the type of the image whose certainty estimated by the image type estimation unit 20 exceeds the set threshold value.

このような構成により、画像を判別する精度が低減することを抑制しつつ人員の状況に応じて画像を判別する基準を調整できる。そのため、種別の判別に割り当て可能な人員の範囲内で、判別できなかった画像（すなわち、判別不可画像）に対する判別処理を行うことが可能になる。 With such a configuration, it is possible to adjust the criteria for discriminating images according to the situation of personnel while suppressing the decrease in the accuracy of discriminating images. Therefore, it is possible to perform discrimination processing on an image that could not be discriminated (that is, an image that cannot be discriminated) within the range of personnel that can be assigned to discriminate the type.

次に、本発明の概要を説明する。図７は、本発明による画像判定システムの概要を示すブロック図である。本発明による画像判定システム９０（例えば、画像判定システム２００）は、入力される画像の種別の確からしさを推定する推定器（例えば、画像種別推定部２０）によって出力される種別の確からしさが、設定された閾値を超える画像の種別を判別する判別部９１（例えば、判別器３０）と、閾値を設定する閾値設定部９２（例えば、閾値設定部６２）とを備えている。 Next, the outline of the present invention will be described. FIG. 7 is a block diagram showing an outline of the image determination system according to the present invention. In the image determination system 90 (for example, the image determination system 200) according to the present invention, the certainty of the type output by the estimator (for example, the image type estimation unit 20) for estimating the certainty of the type of the input image is determined. A discrimination unit 91 (for example, a discriminator 30) for discriminating the type of an image exceeding a set threshold value and a threshold value setting unit 92 (for example, a threshold value setting unit 62) for setting a threshold value are provided.

閾値設定部９２は、判別部９１が種別を判別できないと推定される画像である判別不可推定画像の数と、その判別不可推定画像の種別の判別に割り当て可能な人員の数とに応じて閾値を設定する。 The threshold setting unit 92 sets a threshold value according to the number of non-discriminable estimated images that are presumed that the discriminating unit 91 cannot discriminate the type and the number of personnel that can be assigned to discriminate the type of the non-discriminating estimated image. To set.

そのような構成により、画像を判別する精度が低減することを抑制しつつ人員の状況に応じて画像を判別する基準を調整できる。 With such a configuration, it is possible to adjust the criteria for discriminating the image according to the situation of the personnel while suppressing the decrease in the accuracy of discriminating the image.

具体的には、画像判定システム９０は、判別部９１が種別を判別できない画像の割合である判別不可比率と閾値との対応関係を記憶する記憶部（例えば、記憶部６３）を備えていてもよい。そして、閾値設定部９２は、判別対象の画像の数と判別不可比率とから判別不可推定画像の数を閾値ごとに算出し、算出された数の判別不可推定画像の判別に割り当て可能な人員に応じて閾値を設定してもよい。 Specifically, even if the image determination system 90 includes a storage unit (for example, a storage unit 63) that stores the correspondence between the discriminable ratio, which is the ratio of images for which the type cannot be discriminated, and the threshold value. good. Then, the threshold value setting unit 92 calculates the number of indistinguishable estimated images for each threshold value from the number of images to be discriminated and the indistinguishable ratio, and assigns the calculated number to the personnel who can be assigned to discriminate the indistinguishable estimated images. The threshold value may be set accordingly.

その際、閾値設定部９２は、割り当て可能な人員によって、算出された数の判別不可推定画像の判別が可能な閾値のうち、最も高い閾値を設定してもよい。 At that time, the threshold value setting unit 92 may set the highest threshold value among the threshold values that can discriminate the calculated number of non-discriminable estimated images by the assignable personnel.

また、閾値設定部９２は、入力した画像の数に対する判別不可画像の数に基づいて閾値を変えながら判別不可比率を算出し、算出結果を記憶部に登録してもよい。 Further, the threshold value setting unit 92 may calculate the indistinguishable ratio while changing the threshold value based on the number of indistinguishable images with respect to the number of input images, and register the calculation result in the storage unit.

また、閾値設定部９２は、画像の種別の確からしさを推定する状況の変化（例えば、画像種別推定部２０が用いるモデルの変化）に応じて閾値ごとの判別不可比率を算出してもよい。 Further, the threshold value setting unit 92 may calculate the indistinguishable ratio for each threshold value according to a change in the situation for estimating the certainty of the image type (for example, a change in the model used by the image type estimation unit 20).

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。 Although the present invention has been described above with reference to the embodiments and examples, the present invention is not limited to the above embodiments and examples. Various changes that can be understood by those skilled in the art can be made within the scope of the present invention in terms of the configuration and details of the present invention.

この出願は、２０１８年５月８日に出願された日本特許出願２０１８−０８９９２８を基礎とする優先権を主張し、その開示の全てをここに取り込む。 This application claims priority on the basis of Japanese patent application 2018-089928 filed on May 8, 2018, and incorporates all of its disclosures herein.

１０ 画像入力部
１１ 画像記憶器
２０ 画像種別推定部
２１ ＡＩ
３０ 判別器
３１ 再学習用データ記憶部
３２ テスト用データ記憶部
４０ 種別設定部
５０ 学習器
５１ ＡＩ
６０ 評価部
６１ 評価器
６２ 閾値設定部
６３ 記憶部
７０ 出力部
Ｐａ〜Ｐｂ 処理器
１００，２００ 画像判定システム10 Image input unit 11 Image storage device 20 Image type estimation unit 21 AI
30 Discriminator 31 Data storage unit for re-learning 32 Data storage unit for test 40 Type setting unit 50 Learner 51 AI
60 Evaluation unit 61 Evaluation unit 62 Threshold setting unit 63 Storage unit 70 Output unit Pa to Pb processor 100,200 Image judgment system

Claims (9)

入力される画像の種別の確からしさを推定する推定器によって出力される当該種別の確からしさが、設定された閾値を超える画像の種別を判別する判別部と、
前記閾値を設定する閾値設定部とを備え、
前記閾値設定部は、前記判別部が種別を判別できないと推定される画像である判別不可推定画像の数と、当該判別不可推定画像の種別の判別に割り当て可能な人員の数とに応じて前記閾値を設定する
ことを特徴とする画像判定システム。A discriminator that determines the type of image whose accuracy exceeds the set threshold value, which is output by the estimator that estimates the certainty of the input image type.
It is provided with a threshold value setting unit for setting the threshold value.
The threshold setting unit is said to correspond to the number of non-discriminable estimated images that are presumed that the discriminant unit cannot discriminate the type and the number of personnel that can be assigned to discriminate the type of the non-discriminable estimated image. An image judgment system characterized by setting a threshold value. 判別部が種別を判別できない画像の割合である判別不可比率と閾値との対応関係を記憶する記憶部を備え、
閾値設定部は、判別対象の画像の数と判別不可比率とから判別不可推定画像の数を閾値ごとに算出し、算出された数の判別不可推定画像の判別に割り当て可能な人員に応じて閾値を設定する
請求項１記載の画像判定システム。It is equipped with a storage unit that stores the correspondence between the indistinguishable ratio, which is the ratio of images for which the type cannot be discriminated, and the threshold value.
The threshold setting unit calculates the number of indistinguishable estimated images for each threshold value from the number of images to be discriminated and the indistinguishable ratio, and the threshold value according to the number of personnel that can be assigned to discriminate the calculated number of indistinguishable estimated images. The image determination system according to claim 1. 閾値設定部は、割り当て可能な人員によって、算出された数の判別不可推定画像の判別が可能な閾値のうち、最も高い閾値を設定する
請求項２記載の画像判定システム。The image determination system according to claim 2, wherein the threshold value setting unit sets the highest threshold value among the threshold values at which the calculated number of undeterminable estimated images can be discriminated by the assignable personnel. 閾値設定部は、入力した画像の数に対する判別不可画像の数に基づいて閾値を変えながら判別不可比率を算出し、算出結果を記憶部に登録する
請求項２または請求項３記載の画像判定システム。The image determination system according to claim 2 or 3, wherein the threshold value setting unit calculates the indistinguishable ratio while changing the threshold value based on the number of indistinguishable images with respect to the number of input images, and registers the calculation result in the storage unit. .. 閾値設定部は、画像の種別の確からしさを推定する状況の変化に応じて閾値ごとの判別不可比率を算出する
請求項４記載の画像判定システム。The image determination system according to claim 4, wherein the threshold value setting unit calculates an indistinguishable ratio for each threshold value according to a change in a situation for estimating the certainty of an image type. 入力される画像の種別の確からしさを推定する推定器によって出力される当該種別の確からしさが、設定された閾値を超える画像の種別を判別し、
種別を判別できないと推定される画像である判別不可推定画像の数と、当該判別不可推定画像の種別の判別に割り当て可能な人員の数とに応じて前記閾値を設定する
ことを特徴とする画像判定方法。Estimating the certainty of the input image type The certainty of the type output by the estimator determines the type of image that exceeds the set threshold value.
An image characterized in that the threshold value is set according to the number of non-discriminable estimated images that are presumed to be unable to discriminate the type and the number of personnel that can be assigned to discriminate the type of the non-discriminable estimated image. Judgment method. 種別を判別できない画像の割合である判別不可比率と閾値との対応関係を記憶する記憶部を参照し、判別対象の画像の数と前記判別不可比率とから判別不可推定画像の数を前記閾値ごとに算出し、
算出された数の判別不可推定画像の判別に割り当て可能な人員に応じて閾値を設定する
請求項６記載の画像判定方法。Refer to the storage unit that stores the correspondence between the indistinguishable ratio, which is the ratio of images for which the type cannot be determined, and the threshold value, and determine the number of indistinguishable estimated images from the number of images to be discriminated and the indistinguishable ratio for each threshold value. Calculated in
The image determination method according to claim 6, wherein a threshold value is set according to the number of persons who can be assigned to the determination of the calculated number of undeterminable estimated images. コンピュータに、
入力される画像の種別の確からしさを推定する推定器によって出力される当該種別の確からしさが、設定された閾値を超える画像の種別を判別する判別処理、および、
前記閾値を設定する閾値設定処理を実行させ、
前記閾値設定処理で、前記判別処理で種別を判別できないと推定される画像である判別不可推定画像の数と、当該判別不可推定画像の種別の判別に割り当て可能な人員の数とに応じて前記閾値を設定させる
ための画像判定プログラム。On the computer
Discrimination process for determining the type of image whose accuracy exceeds the set threshold value output by the estimator that estimates the certainty of the input image type, and
The threshold setting process for setting the threshold value is executed, and the threshold value setting process is executed.
In the threshold setting process, the number of non-discriminable estimated images that are presumed that the type cannot be discriminated by the discriminating process and the number of personnel that can be assigned to discriminate the type of the non-discriminable estimated image. An image judgment program for setting a threshold value. コンピュータに、
閾値設定処理で、種別を判別できない画像の割合である判別不可比率と閾値との対応関係を記憶する記憶部を参照し、判別対象の画像の数と前記判別不可比率とから判別不可推定画像の数を前記閾値ごとに算出させ、算出された数の判別不可推定画像の判別に割り当て可能な人員に応じて閾値を設定させる
請求項８記載の画像判定プログラム。On the computer
In the threshold setting process, the storage unit that stores the correspondence between the indistinguishable ratio, which is the ratio of images for which the type cannot be determined, and the threshold is referred to, and the indistinguishable estimated image is determined from the number of images to be discriminated and the indistinguishable ratio. The image determination program according to claim 8, wherein the number is calculated for each of the thresholds, and the threshold is set according to the personnel who can be assigned to discriminate the calculated number of undeterminable estimated images.
JP2020518152A 2018-05-08 2019-02-22 Image judgment system, image judgment method and image judgment program Active JP6969678B2 (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018089928 2018-05-08
JP2018089928 2018-05-08
PCT/JP2019/006777 WO2019215994A1 (en) 2018-05-08 2019-02-22 Image determination system, image determination method, and image determination program

Publications (2)

Publication Number Publication Date
JPWO2019215994A1 JPWO2019215994A1 (en) 2020-12-17
JP6969678B2 true JP6969678B2 (en) 2021-11-24

Family

ID=68467426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020518152A Active JP6969678B2 (en) 2018-05-08 2019-02-22 Image judgment system, image judgment method and image judgment program

Country Status (2)

Country Link
JP (1) JP6969678B2 (en)
WO (1) WO2019215994A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11822913B2 (en) * 2019-12-20 2023-11-21 UiPath, Inc. Dynamic artificial intelligence / machine learning model update, or retrain and update, in digital processes at runtime
JP6950911B1 (en) * 2020-07-31 2021-10-13 株式会社アイデミ— Demand forecast program, demand forecast device, demand forecast method, demand forecast notification program, demand forecast notification device and demand forecast notification method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007047981A (en) * 2005-08-09 2007-02-22 Toshiba Corp Production plan output program and production plan output device
JP2012190159A (en) * 2011-03-09 2012-10-04 Canon Inc Information processing device, information processing method, and program
JP5750946B2 (en) * 2011-03-09 2015-07-22 株式会社リコー Content distribution system, content distribution server, content distribution method, program, and recording medium
JP6335504B2 (en) * 2013-12-20 2018-05-30 キヤノン株式会社 Image processing apparatus, image processing method, and program
JP2016173682A (en) * 2015-03-16 2016-09-29 シャープ株式会社 Abnormality determination device and abnormality determination method
JP6575132B2 (en) * 2015-05-14 2019-09-18 富士ゼロックス株式会社 Information processing apparatus and information processing program

Also Published As

Publication number Publication date
WO2019215994A1 (en) 2019-11-14
JPWO2019215994A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
JP7130984B2 (en) Image judgment system, model update method and model update program
CN107665473B (en) Learning path planning method and device
CN110852755B (en) User identity identification method and device for transaction scene
US20100310134A1 (en) Assisted face recognition tagging
JP2020123330A (en) Method for acquiring sample image for label acceptance inspection from among auto-labeled images utilized for neural network learning, and sample image acquisition device utilizing the same
JP6969678B2 (en) Image judgment system, image judgment method and image judgment program
CN109886343B (en) Image classification method and device, equipment and storage medium
US20220405682A1 (en) Inverse reinforcement learning-based delivery means detection apparatus and method
US20150371149A1 (en) Calculation device, calculation method, and recording medium
CN113537630B (en) Training method and device of business prediction model
US20200042883A1 (en) Dictionary learning device, dictionary learning method, data recognition method, and program storage medium
JP2019204190A (en) Learning support device and learning support method
CN112365007B (en) Model parameter determining method, device, equipment and storage medium
WO2021079442A1 (en) Estimation program, estimation method, information processing device, relearning program, and relearning method
WO2021064787A1 (en) Learning system, learning device, and learning method
JP2019095968A (en) Impression estimation model learning device, impression estimation device, impression estimation model learning method, impression estimation method, and program
JP6988995B2 (en) Image generator, image generator and image generator
CN110766086B (en) Method and device for fusing multiple classification models based on reinforcement learning model
CN110866437B (en) Face value judgment model optimization method and device, electronic equipment and storage medium
JP2019028484A (en) Attribute identification apparatus, attribute identification model learning apparatus, method and program
CN114970732A (en) Posterior calibration method and device for classification model, computer equipment and medium
WO2020183807A1 (en) Information processing method and information processing system
CN114937166A (en) Image classification model construction method, image classification method and device and electronic equipment
WO2020166321A1 (en) Model learning device, label estimation device, method for these, and program
JP2021177312A (en) Information processing device and information processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200626

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210928

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211011

R150 Certificate of patent or registration of utility model

Ref document number: 6969678

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150