WO2020110224A1 - Information processing method and computer program - Google Patents

Information processing method and computer program Download PDF

Info

Publication number
WO2020110224A1
WO2020110224A1 PCT/JP2018/043736 JP2018043736W WO2020110224A1 WO 2020110224 A1 WO2020110224 A1 WO 2020110224A1 JP 2018043736 W JP2018043736 W JP 2018043736W WO 2020110224 A1 WO2020110224 A1 WO 2020110224A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
data
similarity
input image
error
Prior art date
Application number
PCT/JP2018/043736
Other languages
French (fr)
Japanese (ja)
Inventor
和樹 筒川
裕介 伴場
伸成 田端
Original Assignee
Eizo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Eizo株式会社 filed Critical Eizo株式会社
Priority to PCT/JP2018/043736 priority Critical patent/WO2020110224A1/en
Priority to TW108136466A priority patent/TWI735967B/en
Priority to US17/294,506 priority patent/US11776114B2/en
Priority to CN201980074677.0A priority patent/CN113016023B/en
Priority to JP2020558244A priority patent/JP7008843B2/en
Priority to PCT/JP2019/043367 priority patent/WO2020110629A1/en
Priority to KR1020217016279A priority patent/KR102647255B1/en
Publication of WO2020110224A1 publication Critical patent/WO2020110224A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00—Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30121—CRT, LCD or plasma display

Definitions

  • the auto encoder includes the encoder and a decoder, and the auto encoder brings learning-time output image data output from the decoder close to learning-time input image data input to the encoder.
  • a method is provided in which learning is performed using a learning model, and the learning-time input image data is data in which the display unevenness is acceptable.
  • FIG. 6 is an explanatory diagram of a filter process and a threshold process applied to the image data acquired by the measurement unit 10.
  • FIG. It is a block diagram which shows the flow of data in a learning stage. It is a block diagram which shows the flow of data in the relationship acquisition stage.
  • 5A is a graph showing the relationship RS between the error L and the similarity S
  • FIG. 5B is the image data of the plot P1 shown in FIG. 5A
  • FIG. 5C is the image data of the plot P2 shown in FIG. 5A.
  • the determination unit 2A of the information processing device 1 is configured to automatically determine whether or not the image data is acceptable based on the following two viewpoints. Therefore, the evaluation target monitor 21 is quickly inspected, and an increase in the inspection time of the evaluation target monitor 21 is suppressed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Image Analysis (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

The purpose of the present invention is to provide an information processing method and a computer program capable of suppressing an increase in inspection time during a monitor manufacturing step.　Provided is a method including an error calculation step, a degree of similarity calculation step, and a determination step, wherein the error calculation step involves calculating the error between input image data to an autoencoder and output image data from the autoencoder, the degree of similarity calculation step involves calculating, from compressed data obtained by compressing the input image data using the encoder in the autoencoder and reference data, the degree of similarity between the compressed data and the reference data, the determination step involves determining whether or not display unevenness in the input image data is acceptable on the basis of the relationship between the error and the degree of similarity, and the relationship is represented by a relational expression or a table.

Description

情報処理方法及びコンピュータプログラムInformation processing method and computer program
　本発明は、情報処理方法及びコンピュータプログラムに関する。 The present invention relates to an information processing method and a computer program.
　モニタの画像表示部の表示画面は、例えば製造品質のバラツキで表示ムラが生じてしまう場合がある。ここで、表示ムラは、輝度ムラ及び色度ムラのうちの一方を意味していてもよいし、輝度ムラ及び色度ムラの両方を意味していてもよい。例えば、ＬＣＤ(Liquid Crystal Display)モニタの画像表示部である液晶パネルにおいて、表示ムラの要因には、液晶層の厚みのバラツキ、駆動用トランジスタの動作特性のバラツキ、及びバックライトの発光分布のバラツキ等が挙げられる。 The display screen of the image display section of the monitor may have display unevenness due to variations in manufacturing quality, for example. Here, the display unevenness may mean one of the brightness unevenness and the chromaticity unevenness, or both the brightness unevenness and the chromaticity unevenness. For example, in a liquid crystal panel that is an image display unit of an LCD (Liquid Crystal Display) monitor, display unevenness is caused by variations in the thickness of the liquid crystal layer, variations in the operating characteristics of the driving transistor, and variations in the light emission distribution of the backlight. Etc.
　モニタの製造工程では、モニタの各種部品を組み立て終えた後に、画面表示部の表示画面に表示ムラがあるか否かを検査する工程が設けられる場合がある（例えば、特許文献１参照）。 In the monitor manufacturing process, after assembling various parts of the monitor, a process of inspecting whether or not there is display unevenness on the display screen of the screen display unit may be provided (for example, see Patent Document 1).
特開２００５－１０７１５５号公報JP, 2005-107155, A
　従来のモニタの製造工程では画像表示部の表示ムラ等の欠陥の検出を検査員の経験等に頼っているため、その分、従来のモニタの製造工程では検査時間が増大しやすいという課題がある。 Since the conventional monitor manufacturing process relies on the experience of the inspector to detect defects such as display unevenness of the image display unit, the conventional monitor manufacturing process has a problem that the inspection time tends to increase accordingly. ..
　本発明はこのような事情に鑑みてなされたものであり、モニタの製造工程における検査時間の増大を抑制することができる、情報処理方法及びコンピュータプログラムを提供することを目的としている。 The present invention has been made in view of such circumstances, and an object thereof is to provide an information processing method and a computer program capable of suppressing an increase in inspection time in a monitor manufacturing process.
　本発明によれば、誤差算出ステップと、類似度算出ステップと、判定ステップとを備え、前記誤差算出ステップでは、オートエンコーダへの入力画像データと、前記オートエンコーダからの出力画像データとの誤差を算出し、前記類似度算出ステップでは、前記入力画像データを前記オートエンコーダのエンコーダで圧縮して得られた圧縮データと基準データとに基づいて、前記圧縮データと前記基準データとの類似度を算出し、前記判定ステップでは、前記誤差及び前記類似度の関係に基づいて、前記入力画像データの表示ムラが許容可能であるか否かを判定し、前記関係は、関係式又はテーブルである、方法が提供される。 According to the present invention, an error calculation step, a similarity calculation step, and a determination step are provided, and in the error calculation step, an error between the input image data to the auto encoder and the output image data from the auto encoder is calculated. And calculating the degree of similarity between the compressed data and the reference data based on compressed data obtained by compressing the input image data by the encoder of the auto encoder and the reference data in the similarity calculation step. Then, in the determining step, based on the relationship between the error and the similarity, it is determined whether or not display unevenness of the input image data is allowable, and the relationship is a relational expression or a table. Will be provided.
　本発明では、判定ステップにおいて、上記の誤差及び上記の類似度の関係に基づいて表示ムラが許容可能であるか否かを判定する。第１に、本発明では、上記の誤差を加味して、表示ムラが許容可能であるか否かを判定するので、表示ムラの強弱（ピクセル値）に基づく観点で画像データを分類することができる。第２に、本発明では、上記の類似度を加味して、表示ムラが許容可能であるか否かを判定するので、多様な表示ムラのパターンに基づく観点で画像データを分類することができる。このように、本発明では、両方の観点で表示ムラが許容可能であるか否かを分類し、画像データが許容可能であるか否かをすみやかに判定することができるので、モニタの検査時間の増大が抑制される。 In the present invention, in the determination step, it is determined whether display unevenness is allowable based on the relationship between the error and the similarity. First, in the present invention, it is determined whether or not the display unevenness is allowable by taking the above error into consideration. Therefore, it is possible to classify the image data from the viewpoint based on the strength (pixel value) of the display unevenness. it can. Secondly, in the present invention, it is determined whether or not the display unevenness is acceptable by taking the above-mentioned similarity into consideration, so that the image data can be classified from the viewpoint based on various display unevenness patterns. .. As described above, in the present invention, it is possible to classify whether display unevenness is acceptable from both viewpoints and quickly determine whether the image data is acceptable. Is suppressed.
　以下、本発明の種々の実施形態を例示する。以下に示す実施形態は互いに組み合わせ可能である。
　好ましくは、取得ステップを更に備え、前記取得ステップでは、複数の前記入力画像データのそれぞれについて第１及び第２ステップを実行することによって複数組の関係取得用の誤差及び関係取得用の類似度を算出し、これらの誤差及び類似度に基づいて前記関係を取得し、第１ステップでは、関係取得用の入力画像データと、前記オートエンコーダからの、関係取得用の出力画像データと、に基づいて前記関係取得用の誤差を算出し、第２ステップでは、前記関係取得用の入力画像データを前記オートエンコーダの前記エンコーダで圧縮して得られた関係取得用の圧縮データと、前記基準データと、に基づいて前記関係取得用の類似度を算出する、方法が提供される。
　好ましくは、前記オートエンコーダは、前記エンコーダと、デコーダとを有し、且つ、前記オートエンコーダは、前記エンコーダに入力する学習時入力画像データに、前記デコーダから出力される学習時出力画像データを近づける学習モデルで学習をし、前記学習時入力画像データは、前記表示ムラが許容可能なデータである、方法が提供される。
　好ましくは、前記基準データは、前記学習時入力画像データを前記エンコーダで圧縮して取得するデータに基づいており、前記類似度算出ステップでは、前記圧縮データと前記基準データとの内積に基づいて前記類似度を取得する、方法が提供される。
　好ましくは、コンピュータに、誤差算出ステップと、類似度算出ステップと、判定ステップとを備える情報処理を実行させ、前記誤差算出ステップでは、オートエンコーダへの入力画像データと、前記オートエンコーダからの出力画像データとの誤差を算出し、前記類似度算出ステップでは、前記入力画像データを前記オートエンコーダのエンコーダで圧縮して得られた圧縮データと基準データとに基づいて、前記圧縮データと前記基準データとの類似度を算出し、前記判定ステップでは、前記誤差及び前記類似度の関係に基づいて、前記入力画像データの表示ムラが許容可能であるか否かを判定し、前記関係は、関係式又はテーブルである、コンピュータプログラムが提供される。 Hereinafter, various embodiments of the present invention will be exemplified. The embodiments described below can be combined with each other.
Preferably, the method further comprises an acquisition step, wherein in the acquisition step, a plurality of sets of error for relationship acquisition and similarity for relationship acquisition are performed by executing the first and second steps for each of the plurality of input image data. The relationship is calculated based on these errors and the similarity, and in the first step, based on the relationship acquisition input image data and the relationship acquisition output image data from the auto encoder. Calculating the error for acquiring the relationship, and in the second step, compressed data for acquiring the relationship obtained by compressing the input image data for acquiring the relationship by the encoder of the auto encoder; and the reference data, A method is provided for calculating the similarity for obtaining the relationship based on
Preferably, the auto encoder includes the encoder and a decoder, and the auto encoder brings learning-time output image data output from the decoder close to learning-time input image data input to the encoder. A method is provided in which learning is performed using a learning model, and the learning-time input image data is data in which the display unevenness is acceptable.
Preferably, the reference data is based on data acquired by compressing the learning input image data by the encoder, and in the similarity calculation step, the reference data is based on an inner product of the compressed data and the reference data. A method is provided for obtaining similarity.
Preferably, the computer is caused to execute information processing including an error calculation step, a similarity calculation step, and a determination step, and in the error calculation step, input image data to the auto encoder and an output image from the auto encoder are provided. An error from the data is calculated, and in the similarity calculation step, based on compressed data and reference data obtained by compressing the input image data by the encoder of the auto encoder, the compressed data and the reference data are Of the similarity, the determination step, based on the relationship between the error and the similarity, to determine whether display unevenness of the input image data is acceptable, the relationship is a relational expression or A computer program, which is a table, is provided.
第１実施形態の情報処理システム１００の構成を示すブロック図である。It is a block diagram which shows the structure of the information processing system 100 of 1st Embodiment. 測定部１０が取得した画像データに適用するフィルタ処理及び閾値処理の説明図である。6 is an explanatory diagram of a filter process and a threshold process applied to the image data acquired by the measurement unit 10. FIG. 学習段階におけるデータの流れを示すブロック図である。It is a block diagram which shows the flow of data in a learning stage. 関係取得段階におけるデータの流れを示すブロック図である。It is a block diagram which shows the flow of data in the relationship acquisition stage. 図５Ａは誤差Ｌと類似度Ｓとの関係ＲＳを示すグラフであり、図５Ｂは図５Ａに示すプロットＰ１の画像データであり、図５Ｃは図５Ａに示すプロットＰ２の画像データである。5A is a graph showing the relationship RS between the error L and the similarity S, FIG. 5B is the image data of the plot P1 shown in FIG. 5A, and FIG. 5C is the image data of the plot P2 shown in FIG. 5A. 判定段階におけるデータの流れを示すブロック図である。It is a block diagram which shows the flow of data in a determination step. 第１実施形態の情報処理システム１００の動作フローチャートである。It is an operation|movement flowchart of the information processing system 100 of 1st Embodiment. 第１実施形態の変形例１に係る誤差Ｌと類似度Ｓとの関係ＲＳを示すグラフである。9 is a graph showing a relationship RS between an error L and a similarity S according to the modified example 1 of the first embodiment. 第１実施形態の変形例２に係るフィルタ処理の説明図である。It is explanatory drawing of the filter process which concerns on the modification 2 of 1st Embodiment. 第２実施形態の情報処理システム１００の構成を示すブロック図である。It is a block diagram which shows the structure of the information processing system 100 of 2nd Embodiment.
　以下、図面を用いて本発明の実施形態について説明する。以下に示す実施形態中で示した各種特徴事項は、互いに組み合わせ可能である。また、各特徴事項について独立して発明が成立する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. The various features shown in the embodiments described below can be combined with each other. Further, the invention is independently established for each characteristic item.
第１実施形態
　図１～図８に基づいて、第１実施形態の情報処理システム１００について説明する。本実施形態の情報処理システム１００は、図１に示すように、情報処理装置１と、情報処理装置１１と、測定部１０とを備えている。情報処理システム１００が表示ムラを評価する対象は、評価対象モニタ２１である。情報処理装置１は、データ生成部２ａと判定部２Ａと誤差算出部２Ｂと類似度算出部２Ｃと処理部３と記憶部４と入出力部５とを備える。情報処理装置１１は、演算部１２と記憶部１３と入出力部１４とを備える。演算部１２は、学習部１２Ａと誤差算出部１２Ｂと類似度算出部１２Ｃと取得部１２Ｄとを備える。 First Embodiment An information processing system 100 of the first embodiment will be described based on FIGS. 1 to 8. As shown in FIG. 1, the information processing system 100 of the present embodiment includes an information processing device 1, an information processing device 11, and a measuring unit 10. The target for which the information processing system 100 evaluates the display unevenness is the evaluation target monitor 21. The information processing device 1 includes a data generation unit 2a, a determination unit 2A, an error calculation unit 2B, a similarity calculation unit 2C, a processing unit 3, a storage unit 4, and an input/output unit 5. The information processing device 11 includes a calculation unit 12, a storage unit 13, and an input/output unit 14. The calculation unit 12 includes a learning unit 12A, an error calculation unit 12B, a similarity calculation unit 12C, and an acquisition unit 12D.
　上記の各構成要素は、ソフトウェアによって実現してもよく、ハードウェアによって実現してもよい。ソフトウェアによって実現する場合、ＣＰＵがコンピュータプログラムを実行することによって各種機能を実現することができる。プログラムは、内蔵の記憶部に格納してもよく、コンピュータ読み取り可能な非一時的な記録媒体に格納してもよい。また、外部の記憶部に格納されたプログラムを読み出し、いわゆるクラウドコンピューティングにより実現してもよい。ハードウェアによって実現する場合、ＡＳＩＣ、ＦＰＧＡ、又はＤＲＰなどの種々の回路によって実現することができる。本実施形態においては、様々な情報やこれを包含する概念を取り扱うが、これらは、０又は１で構成される２進数のビット集合体として信号値の高低によって表され、上記のソフトウェア又はハードウェアの態様によって通信や演算が実行され得るものである。 Each of the above components may be realized by software or hardware. When it is realized by software, various functions can be realized by the CPU executing a computer program. The program may be stored in a built-in storage unit or a computer-readable non-transitory recording medium. Alternatively, a program stored in an external storage unit may be read and realized by so-called cloud computing. When it is realized by hardware, it can be realized by various circuits such as ASIC, FPGA, or DRP. In the present embodiment, various kinds of information and a concept including the same are dealt with, but these are represented by a high or low of a signal value as a binary bit aggregate composed of 0 or 1, and the software or hardware described above is used. The communication and the calculation can be executed depending on the mode.
１．構成概要及びデータ概要
１－１．学習段階、関係取得段階、及び、判定段階
　第１実施形態には３つの段階がある。第１段階は学習段階であり、学習段階では後述するオートエンコーダに機械学習をさせて重み係数を確定する段階である。第２段階は関係取得段階であり、関係取得段階では評価対象モニタ２１の画像表示部２２の表示ムラが許容可能であるか否かを判定するための基準となる関係式を取得する。第３段階は判定段階であり、判定段階では、製造現場において評価対象モニタ２１から測定光を取得し、前述の基準となる関係式に基づいて評価対象モニタ２１の画像表示部２２の表示ムラが許容可能であるか否かを判定する。つまり、判定段階は、例えば製造現場において、評価対象モニタ２１の検査をする段階である。 1. Configuration outline and data outline 1-1. Learning stage, relationship acquisition stage, and determination stage There are three stages in the first embodiment. The first stage is a learning stage, and in the learning stage, a later-described auto encoder performs machine learning to determine weighting factors. The second step is a relationship acquisition step, and in the relationship acquisition step, a relational expression serving as a reference for determining whether display unevenness of the image display unit 22 of the evaluation target monitor 21 is acceptable is acquired. The third stage is a determination stage. In the determination stage, the measurement light is acquired from the evaluation target monitor 21 at the manufacturing site, and the display unevenness of the image display unit 22 of the evaluation target monitor 21 is based on the above-described reference relational expression. Determine if acceptable. That is, the determination step is a step of inspecting the evaluation target monitor 21 at a manufacturing site, for example.
１－２．各種の段階でやり取りされるデータについて
　図３に示すように、学習段階でやり取りされるデータは、学習時入力画像データｄ１、学習時出力画像データｄ２及び圧縮データｄｃを含む。全ての学習時入力画像データｄ１は、許容可能であると予め分類された画像データである。 1-2. Data exchanged in various stages As shown in FIG. 3, the data exchanged in the learning stage includes learning-time input image data d1, learning-time output image data d2, and compressed data dc. All the learning-time input image data d1 are image data classified in advance as acceptable.
　図４に示すように、関係取得段階でやり取りされるデータは、関係取得用の入力画像データＤ１、関係取得用の出力画像データＤ２及び圧縮データＤｃを含む。関係取得用の入力画像データＤ１は、許容可能であると予め分類された画像データだけでなく、許容可能でないと予め分類された表示画面の画像データをも含む。つまり、全ての関係取得用の入力画像データＤ１は、許容可能な画像データ又は許容可能でない画像データのいずれか一方に予め分類されている。換言すると、関係取得用の入力画像データＤ１には予めラベリングがなされている。つまり、全ての関係取得用の入力画像データＤ１は、許容可能な画像データ又は許容可能でない画像データのいずれか一方に予めラベリングされている。 As shown in FIG. 4, the data exchanged at the relationship acquisition stage includes input image data D1 for relationship acquisition, output image data D2 for relationship acquisition, and compressed data Dc. The input image data D1 for acquiring the relationship includes not only image data pre-classified as acceptable, but also image data of the display screen pre-classified as not acceptable. That is, all the input image data D1 for acquiring the relations are classified in advance into either acceptable image data or unacceptable image data. In other words, the relationship acquisition input image data D1 is pre-labeled. In other words, all the input image data D1 for obtaining the relationship are preliminarily labeled with either the allowable image data or the unacceptable image data.
　図６に示すように、判定段階でやり取りされるデータは、入力画像データｒ１、出力画像データｒ２及び圧縮データｒｃを含む。入力画像データｒ１は処理部３から取得することができる。出力画像データｒ２及び圧縮データｒｃはデータ生成部２ａにおいて生成される。 As shown in FIG. 6, the data exchanged in the determination stage includes input image data r1, output image data r2, and compressed data rc. The input image data r1 can be acquired from the processing unit 3. The output image data r2 and the compressed data rc are generated by the data generation unit 2a.
１－３．ラベリングにおける分類方法
　上述のように、学習時入力画像データｄ１は、許容可能であると予め分類された画像データである。また、関係取得用の入力画像データＤ１は、許容可能な画像データ又は許容可能でない画像データのいずれか一方に予め分類されている。ここで、これらの分類方法の一例について説明する。撮像装置から取得された画像データは、後述のフィルタ処理等が施されて、入力画像データへ変換される。入力画像データの表示ムラは、互いに隣接する暗領域及び明領域が分布して構成されている。入力画像データの明領域と入力画像データの暗領域との境界部分には、ピクセル値が極大値となる部分と、ピクセル値が極小値となる部分とが含まれている。入力画像データは、極大値と極小値との差分の大きさに基づいて、許容可能な画像データ又は許容可能でない画像データに分類される。具体的には、極大値と極小値との差分が閾値よりも大きい入力画像データは、許容可能でない画像データに分類される。逆に、極大値と極小値との差分が閾値よりも小さい入力画像データは、許容可能な画像データに分類される。 1-3. Classification Method in Labeling As described above, the learning-time input image data d1 is image data that has been classified in advance as acceptable. Further, the input image data D1 for obtaining the relationship is pre-classified into either acceptable image data or unacceptable image data. Here, an example of these classification methods will be described. The image data acquired from the image pickup device is subjected to a filtering process, etc., which will be described later, and converted into input image data. The display unevenness of the input image data is formed by distributing dark areas and bright areas adjacent to each other. The boundary portion between the bright area of the input image data and the dark area of the input image data includes a portion having a maximum pixel value and a portion having a minimum pixel value. The input image data is classified into acceptable image data or unacceptable image data based on the magnitude of the difference between the maximum value and the minimum value. Specifically, input image data in which the difference between the maximum value and the minimum value is larger than the threshold value is classified as unacceptable image data. On the contrary, input image data in which the difference between the maximum value and the minimum value is smaller than the threshold value is classified as acceptable image data.
１－４．フィルタ処理、閾値処理、及び絶対値化処理
　第１実施形態では、測定部１０で取得した画像データのピクセル値を用いて、評価対象モニタ２１の表示ムラが許容可能であるか否かを判定するのではなく、図２に示すように、フィルタ処理、閾値処理及び絶対値化処理を施した画像データを用いて、評価対象モニタ２１の表示ムラが許容可能であるか否かを判定している。これにより、表示ムラの特徴的な部分を際立たせることができ、判定精度が向上する。なお、画像データは閾値処理及び絶対値化処理が必ず施されている必要はない。例えば、画像データのうちの特定範囲の表示ムラを分析する場合には、閾値処理及び絶対値化処理が施されることが好ましい。一方、画像データのうちの全範囲の表示ムラを分析する場合には、閾値処理及び絶対値化処理が施されていなくてよい。第１実施形態における入力画像データは、学習時入力画像データｄ１と、関係取得用の入力画像データＤ１と、評価対象モニタ２１の画像データに基づく入力画像データｒ１とを含む。第１実施形態では、いずれの入力画像データも、フィルタ処理、閾値処理及び絶対値化処理が施されている。これらの処理の構成例は、処理部３の構成において説明する。 1-4. Filtering Process, Thresholding Process, and Absolute Value Converting Process In the first embodiment, it is determined using the pixel value of the image data acquired by the measuring unit 10 whether display unevenness on the evaluation target monitor 21 is acceptable. Instead, as shown in FIG. 2, it is determined whether or not the display unevenness of the evaluation target monitor 21 is allowable by using the image data that has been subjected to the filter processing, the threshold processing and the absolute value processing. .. Thereby, the characteristic portion of the display unevenness can be highlighted, and the determination accuracy can be improved. The image data does not necessarily have to be subjected to the threshold processing and the absolute value processing. For example, when analyzing display unevenness in a specific range of image data, it is preferable to perform threshold processing and absolute value conversion processing. On the other hand, when analyzing display unevenness in the entire range of the image data, threshold processing and absolute value conversion processing need not be performed. The input image data in the first embodiment includes learning-time input image data d1, input image data D1 for acquiring a relationship, and input image data r1 based on the image data of the evaluation target monitor 21. In the first embodiment, any input image data is subjected to filter processing, threshold processing, and absolute value conversion processing. A configuration example of these processes will be described in the configuration of the processing unit 3.
２．構成説明
２－１．測定部１０
　図２に示すように、測定部１０は、評価対象モニタ２１の画像表示部２２の表示画面の表示ムラ情報を取得する。測定部１０は撮像装置で構成され、測定部１０は、評価対象モニタ２１の画像表示部２２の表示画面に向けられており、表示画面から照射される測定光を検出する。測定部１０の検出結果は、測定光情報として情報処理装置１に送信される。この測定光情報は画像表示部２２の表示画面の表示ムラを示す情報を含んでいることから、測定光情報は表示ムラ情報に含まれる。 2. Configuration explanation 2-1. Measuring unit 10
As shown in FIG. 2, the measurement unit 10 acquires display unevenness information on the display screen of the image display unit 22 of the evaluation target monitor 21. The measurement unit 10 is composed of an image pickup device, and the measurement unit 10 is directed to the display screen of the image display unit 22 of the evaluation target monitor 21 and detects the measurement light emitted from the display screen. The detection result of the measurement unit 10 is transmitted to the information processing device 1 as measurement light information. Since this measurement light information includes information indicating display unevenness on the display screen of the image display unit 22, the measurement light information is included in the display unevenness information.
　ここで、表示ムラは、輝度ムラ及び色度ムラのうちの一方を意味していてもよいし、輝度ムラ及び色度ムラの両方を意味していてもよい。測定光情報は、任意の階調の表示画面の輝度又は色度を示す情報を含んでいる。評価対象モニタ２１は、例えば、ＬＣＤ(Liquid Crystal Display)モニタでもよいし、有機ＥＬ（Electro Luminescence）モニタでもよいし、ＰＤＰ(Plasma Display Panel)モニタでもよい。 Here, the display unevenness may mean one of brightness unevenness and chromaticity unevenness, or both brightness unevenness and chromaticity unevenness. The measurement light information includes information indicating the brightness or chromaticity of the display screen having an arbitrary gradation. The evaluation target monitor 21 may be, for example, an LCD (Liquid Crystal Display) monitor, an organic EL (Electro Luminescence) monitor, or a PDP (Plasma Display Panel) monitor.
２－２．情報処理装置１１
　情報処理装置１１は、情報処理装置１１を統括するサーバーとしての機能を有する。情報処理装置１１は、演算部１２と記憶部１３と入出力部１４とを備える。演算部１２は、学習部１２Ａと誤差算出部１２Ｂと類似度算出部１２Ｃと取得部１２Ｄとを備える。演算部１２はプロセッサユニットを備えている。例えば、演算部１２はＧＰＵ（Graphics Processing Unit）を備えており、演算速度が高い。 2-2. Information processing device 11
The information processing device 11 has a function as a server that controls the information processing device 11. The information processing device 11 includes a calculation unit 12, a storage unit 13, and an input/output unit 14. The calculation unit 12 includes a learning unit 12A, an error calculation unit 12B, a similarity calculation unit 12C, and an acquisition unit 12D. The arithmetic unit 12 includes a processor unit. For example, the calculation unit 12 includes a GPU (Graphics Processing Unit) and has a high calculation speed.
　図３に示すように、学習部１２Ａは、学習段階及び関係取得段階の両方で用いられる構成である。その一方、図４に示すように、誤差算出部１２Ｂ、類似度算出部１２Ｃ及び取得部１２Ｄ（図示省略）は、関係取得段階で用いられる構成である。学習段階は、後述する学習部１２Ａのオートエンコーダの重み係数を逐次変更して確定させていく段階である。関係取得段階は、学習段階で確定した重み係数を用いて、図５Ａに示すグラフに対応する関係ＲＳを取得する段階である。 As shown in FIG. 3, the learning unit 12A has a configuration used in both the learning stage and the relationship acquisition stage. On the other hand, as shown in FIG. 4, the error calculation unit 12B, the similarity calculation unit 12C, and the acquisition unit 12D (not shown) are configured to be used in the relationship acquisition stage. The learning stage is a stage in which the weighting coefficient of the automatic encoder of the learning unit 12A described later is sequentially changed and confirmed. The relationship acquisition step is a step of acquiring the relationship RS corresponding to the graph shown in FIG. 5A by using the weighting factor determined in the learning step.
２－２－１．学習部１２Ａ
　図３に示すように、学習部１２Ａはオートエンコーダとしての機能を有し、学習部１２Ａはエンコーダ１２Ａ１とデコーダ１２Ａ２とを有する。学習部１２Ａのオートエンコーダとしては、全結合層を用いたオートエンコーダを採用してもよいし、畳み込み層を用いたオートエンコーダを採用してもよい。つまり、学習部１２Ａのオートエンコーダの構成は適宜変更してよい。第１実施形態では、畳み込み層に加えて、類似度抽出のために全結合層を用いたオートエンコーダを採用する。学習部１２Ａは、学習時入力画像データｄ１を入力すると、学習時出力画像データｄ２が出力されるように構成されている。具体的には、学習部１２Ａは、学習時入力画像データｄ１に、学習時出力画像データｄ２を近づける学習モデルで、予め学習をしている。ここで、学習時入力画像データｄ１は、許容可能であると予め分類された画像データから生成される画像データである。学習時入力画像データｄ１は、処理部３で説明するフィルタ処理と同様の処理が施されている。 2-2-1. Learning section 12A
As shown in FIG. 3, the learning unit 12A has a function as an automatic encoder, and the learning unit 12A has an encoder 12A1 and a decoder 12A2. As the auto encoder of the learning unit 12A, an auto encoder using a fully connected layer may be adopted, or an auto encoder using a convolutional layer may be adopted. That is, the configuration of the automatic encoder of the learning unit 12A may be changed as appropriate. In the first embodiment, in addition to the convolutional layer, an auto encoder using a fully connected layer is used for similarity extraction. The learning unit 12A is configured to output the learning-time output image data d2 when the learning-time input image data d1 is input. Specifically, the learning unit 12A performs learning in advance with a learning model that brings the learning-time output image data d2 closer to the learning-time input image data d1. Here, the learning-time input image data d1 is image data generated from image data classified in advance as acceptable. The learning input image data d1 is subjected to the same processing as the filtering processing described in the processing unit 3.
　ここで、学習モデルとは、多数の教師データを用いてモデルを訓練し、将来の出力を予測可能にするモデルである。本実施形態において、教師データの入力データは学習時入力画像データｄ１であり、教師データの正解データは教師データの入力データと同じである。多数の教師データが学習部１２Ａに入力されることで、エンコーダ１２Ａ１及びデコーダ１２Ａ２の重み係数は逐次変更される。そして、学習部１２Ａの学習が完了すると、学習部１２Ａでは重み係数が確定する。つまり、学習部１２Ａでは、上述した学習段階において、重み係数が確定される。その後に、上述した関係取得段階において、学習部１２Ａは、図５Ａに示す誤差Ｌ及び類似度Ｓの関係ＲＳを取得するために用いられる。具体的には、学習部１２Ａは、関係取得用の入力画像データＤ１が入力されると、確定した重み係数に基づいて圧縮データＤｃを出力するとともに、確定した重み係数に基づいて算出される出力画像データ（関係取得用の出力画像データＤ２）を出力する。次に説明する誤差算出部１２Ｂ及び類似度算出部１２Ｃは、これらの出力を取得する。 Here, the learning model is a model that trains the model using a large number of teacher data and makes it possible to predict future output. In the present embodiment, the input data of the teacher data is the learning-time input image data d1, and the correct answer data of the teacher data is the same as the input data of the teacher data. The weighting factors of the encoder 12A1 and the decoder 12A2 are sequentially changed by inputting a large number of teacher data to the learning unit 12A. Then, when the learning of the learning unit 12A is completed, the weighting coefficient is fixed in the learning unit 12A. That is, in the learning unit 12A, the weighting factor is determined at the learning stage described above. After that, in the above-described relationship acquisition stage, the learning unit 12A is used to acquire the relationship RS of the error L and the similarity S shown in FIG. 5A. Specifically, when the input image data D1 for acquiring the relationship is input, the learning unit 12A outputs the compressed data Dc based on the confirmed weighting factor and the output calculated based on the confirmed weighting factor. The image data (output image data D2 for acquiring the relationship) is output. The error calculating unit 12B and the similarity calculating unit 12C, which will be described next, acquire these outputs.
２－２－２．誤差算出部１２Ｂ
　図４に示すように、誤差算出部１２Ｂは関係取得用の入力画像データＤ１と関係取得用の出力画像データＤ２との誤差Ｌを算出する。誤差Ｌは、関係取得用の入力画像データＤ１の各座標の各ピクセル値と、関係取得用の出力画像データＤ２の各座標の各ピクセル値との差分ｔに基づいて算出される。換言すると、誤差Ｌは、損失関数（入力Ｉ　－　出力Ｏ）２に基づいて算出される。入力Ｉは関係取得用の入力画像データＤ１の各座標の各ピクセル値に対応し、出力Ｏは関係取得用の出力画像データＤ２の各座標の各ピクセル値に対応している。例えば、画像データが縦ａ×横ｂ（ａ、ｂは自然数）の座標を有する場合において、誤差Ｌは、（各座標の差分ｔ）２の総和を平均して表される。 2-2-2. Error calculator 12B
As shown in FIG. 4, the error calculation unit 12B calculates an error L between the relationship acquisition input image data D1 and the relationship acquisition output image data D2. The error L is calculated based on the difference t between each pixel value at each coordinate of the input image data D1 for obtaining a relationship and each pixel value at each coordinate of the output image data D2 for obtaining a relationship. In other words, the error L is calculated based on the loss function (input I-output O) 2 . The input I corresponds to each pixel value of each coordinate of the input image data D1 for relationship acquisition, and the output O corresponds to each pixel value of each coordinate of the output image data D2 for relationship acquisition. For example, when the image data has coordinates of vertical a×horizontal b (a and b are natural numbers), the error L is represented by averaging the sum of (difference t of each coordinate) 2 .
２－２－３．類似度算出部１２Ｃ
　図４に示すように、類似度算出部１２Ｃは、エンコーダ１２Ａ１で圧縮されたデータ（圧縮データｄｃ）と基準データｄｒｅｆとに基づいて、圧縮データｄｃと基準データｄｒｅｆとの類似度を算出する。ここで言う類似度は、コサイン類似度を意味している。つまり、類似度算出部１２Ｃは、圧縮データｄｃと基準データｄｒｅｆとの内積に基づいて類似度を算出する。基準データｄｒｅｆには、複数の圧縮データｄｃの重心データが用いられる。第１実施形態において、基準データｄｒｅｆの生成に用いる全ての圧縮データｄｃは、許容可能であると予め分類された画像データから生成される。つまり、基準データｄｒｅｆの生成には、学習時入力画像データｄ１を圧縮したデータ（圧縮データｄｃ）が用いられる。なお、学習部１２Ａが学習途中の状態では、重み係数が逐次変化する。このため、学習部１２Ａが学習途中の状態において、取得する圧縮データｄｃを、重心データの演算に用いると、基準データｄｒｅｆの基準としての適正が損なわれる可能性がある。そこで、重心データを取得するときに用いる圧縮データｄｃは、重み係数が確定した状態で、学習部１２Ａに複数の学習時入力画像データｄ１を入力することで、取得するとよい。また、圧縮データｄｃは複数次元のベクトルであり、重心データは許容可能であると予め分類された画像データ群における複数の圧縮データｄｃの重心ベクトルである。 2-2-3. Similarity calculation unit 12C
As illustrated in FIG. 4, the similarity calculation unit 12C calculates the similarity between the compressed data dc and the reference data dref based on the data (compressed data dc) compressed by the encoder 12A1 and the reference data dref. The similarity degree here means the cosine similarity degree. That is, the similarity calculation unit 12C calculates the similarity based on the inner product of the compressed data dc and the reference data dref. The center of gravity data of the plurality of compressed data dc is used as the reference data dref. In the first embodiment, all the compressed data dc used to generate the reference data dref are generated from the image data classified in advance as acceptable. That is, data (compressed data dc) obtained by compressing the learning-time input image data d1 is used to generate the reference data dref. It should be noted that the weighting coefficient is sequentially changed while the learning unit 12A is in the middle of learning. Therefore, if the compressed data dc acquired by the learning unit 12A during the learning is used for the calculation of the gravity center data, the appropriateness of the reference data dref as the reference may be impaired. Therefore, the compressed data dc used when acquiring the center-of-gravity data may be acquired by inputting a plurality of learning-time input image data d1 to the learning unit 12A in a state where the weighting coefficient is fixed. The compressed data dc is a multidimensional vector, and the center-of-gravity data is the center-of-gravity vector of the plurality of compressed data dc in the image data group that is pre-classified as acceptable.
　第１実施形態において、類似度は０以上１以下の値である。つまり、類似度を算出する際において、圧縮データｄｃと基準データｄｒｅｆとの内積は正規化されている。類似度が１に近いほど、圧縮データｄｃに対応する画像データの表示ムラのパターンと、基準データｄｒｅｆに対応する画像の表示ムラのパターンとは似ていることを意味する。なお、第１実施形態では、類似度を０以上１以下の値としているが、それに限定されるものではなく、適宜変更可能である。例えば、第１実施形態におけるオートエンコーダにはエンコード結果がランプ関数の出力となる構成が採用されているが、オートエンコーダがランプ関数を採用しない場合には、類似度は－１以上１以下の値である。 In the first embodiment, the similarity is a value of 0 or more and 1 or less. That is, when calculating the degree of similarity, the inner product of the compressed data dc and the reference data dref is normalized. The closer the similarity is to 1, the more similar the display unevenness pattern of the image data corresponding to the compressed data dc is to the display unevenness pattern of the image corresponding to the reference data dref. In the first embodiment, the similarity is set to a value of 0 or more and 1 or less, but it is not limited to this and can be changed as appropriate. For example, the auto encoder in the first embodiment has a configuration in which the encoding result is the output of the ramp function. However, when the auto encoder does not employ the ramp function, the similarity is a value between -1 and 1 inclusive. Is.
２－２－４．取得部１２Ｄ
　取得部１２Ｄは、誤差算出部１２Ｂ及び類似度算出部１２Ｃで算出された誤差及び類似度を取得する。複数の関係取得用の入力画像データが学習部１２Ａに入力されることで、取得部１２Ｄは、学習部１２Ａに入力された関係取得用の入力画像データの数に対応する複数組の誤差及び類似度を取得する。図５Ａは、横軸を誤差Ｌとし且つ縦軸を類似度Ｓとするグラフに、取得部１２Ｄが取得した各組の誤差及び類似度をプロットしたものである。 2-2-4. Acquisition unit 12D
The acquisition unit 12D acquires the error and the similarity calculated by the error calculation unit 12B and the similarity calculation unit 12C. By inputting a plurality of input image data for obtaining a relationship to the learning unit 12A, the obtaining unit 12D causes the obtaining unit 12D to obtain a plurality of sets of errors and similarities corresponding to the number of input image data for obtaining a relationship input to the learning unit 12A. Get the degree. FIG. 5A is a graph in which the horizontal axis represents the error L and the vertical axis represents the similarity S, and the error and the similarity of each set acquired by the acquisition unit 12D are plotted.
　図５Ａに示すように、線Ｌａで示す領域よりも左側には、許容可能であると予め分類された表示画面の関係取得用の入力画像データが分布している。線Ｌａで示す領域よりも右側には、許容可能でないと予め分類された表示画面の関係取得用の入力画像データが分布している。このように、誤差及び類似度の両方を特徴量として入力画像データをプロットすることで、図５Ａに示すグラフのように、許容可能でない画像データと、許容可能である画像データとが、切り分けられる。つまり、図５Ａに示す線Ｌａは、許容可能である画像データと許容可能でない画像データとを分類する関係式である。 As shown in FIG. 5A, on the left side of the area indicated by the line La, input image data for acquiring the relationship of the display screens that are pre-classified as acceptable are distributed. On the right side of the area indicated by the line La, the input image data for acquiring the relationship of the display screen, which is pre-classified as unacceptable, is distributed. As described above, by plotting the input image data using both the error and the similarity as the feature amounts, unacceptable image data and acceptable image data are separated as shown in the graph of FIG. 5A. .. That is, the line La shown in FIG. 5A is a relational expression for classifying acceptable image data and unacceptable image data.
　取得部１２Ｄは、この線Ｌａに対応する関係式を取得する。線Ｌａが例えば直線である場合には、取得部１２Ｄは線Ｌａの傾き及び切片を取得する。取得部１２Ｄが線Ｌａの傾き及び切片を取得する方法は、コンピュータ（取得部１２Ｄ）が各組の誤差及び類似度のプロットに基づいて演算して取得する方法であってもよいし、ユーザーが図５Ａに示すグラフを参照しながら決定する方法であってもよい。また、線Ｌａに対応する関係式は、直線に限定されるものではなく、例えば曲線で表される関係式であってもよい。更に、第１実施形態において、取得部１２Ｄは線Ｌａに対応する関係式を取得しているが、それに限定されるものではなく、取得部１２Ｄは、誤差及び類似度に応じて、許容可能である画像データと許容可能でない画像データとを分類するテーブルを取得してもよい。 The acquisition unit 12D acquires the relational expression corresponding to this line La. When the line La is, for example, a straight line, the acquisition unit 12D acquires the slope and intercept of the line La. The method by which the acquisition unit 12D acquires the slope and intercept of the line La may be a method by which the computer (acquisition unit 12D) calculates and acquires based on the plot of the error and the similarity of each set, or the user may The determination method may be performed with reference to the graph shown in FIG. 5A. The relational expression corresponding to the line La is not limited to a straight line, and may be a relational expression represented by a curve, for example. Furthermore, in the first embodiment, the acquisition unit 12D acquires the relational expression corresponding to the line La, but the present invention is not limited to this, and the acquisition unit 12D can accept it depending on the error and the similarity. A table that classifies certain image data and unacceptable image data may be acquired.
２－２－５．記憶部１３及び入出力部１４
　記憶部１３には、例えば、学習部１２Ａの学習モデルで用いる各種のパラメータ等が格納されている。入出力部１４は学習時入力画像データｄ１及び関係取得用の入力画像データＤ１等を受け取る、また、入出力部１４は取得部１２Ｄが取得した関係式等を情報処理装置１へ出力する。 2-2-5. Storage unit 13 and input/output unit 14
The storage unit 13 stores, for example, various parameters used in the learning model of the learning unit 12A. The input/output unit 14 receives the learning-time input image data d1, the input image data D1 for acquiring the relationship, and the like, and the input/output unit 14 outputs the relational expression and the like acquired by the acquisition unit 12D to the information processing apparatus 1.
２－３．情報処理装置１
　情報処理装置１は、データ生成部２ａと判定部２Ａと誤差算出部２Ｂと類似度算出部２Ｃと処理部３と記憶部４と入出力部５とを備える。情報処理装置１は例えば製造現場の製造ラインに配置される。 2-3. Information processing device 1
The information processing device 1 includes a data generation unit 2a, a determination unit 2A, an error calculation unit 2B, a similarity calculation unit 2C, a processing unit 3, a storage unit 4, and an input/output unit 5. The information processing device 1 is arranged, for example, on a manufacturing line at a manufacturing site.
２－３－１．処理部３
　処理部３は、フィルタ処理、閾値処理及び絶対値化処理を実行する。図２に示すように、フィルタ処理において、測定部１０で取得した画像データには、バンドパスフィルタが適用される。例えば帯ムラや筋ムラを際立たせたい場合には、測定部１０で取得した画像データには、帯ムラや筋ムラの幅に相当する空間周波数を通すフィルタが適用される。フィルタ処理のフィルタは、判定したいムラの種類に応じて決定することができる。 2-3-1. Processing unit 3
The processing unit 3 executes filter processing, threshold processing, and absolute value conversion processing. As shown in FIG. 2, in the filtering process, a bandpass filter is applied to the image data acquired by the measuring unit 10. For example, when it is desired to highlight the band unevenness or the line unevenness, the image data acquired by the measuring unit 10 is applied with a filter that passes a spatial frequency corresponding to the width of the band unevenness or the line unevenness. The filter for the filtering process can be determined according to the type of unevenness to be determined.
　図２に示すように、フィルタ処理後画像データには、閾値処理が施される。閾値処理では、予め定められた閾値範囲内のピクセル値になっている各座標のピクセル値を一定値に変換し、当該閾値範囲外のピクセル値の各座標のピクセル値をそのまま維持する処理をする。絶対値化処理では、例えば表示画面の暗領域におけるムラの明暗を反転させ、表示画面の暗領域におけるムラの表示形式と、表示画面の明領域におけるムラの表示形式とを同じにする。 As shown in FIG. 2, threshold processing is performed on the filtered image data. In the threshold processing, the pixel value of each coordinate which is a pixel value within a predetermined threshold range is converted into a constant value, and the pixel value of each coordinate of the pixel value outside the threshold range is maintained as it is. .. In the absolute value conversion process, for example, the lightness and darkness of the unevenness in the dark area of the display screen is reversed, and the display format of the unevenness in the dark area of the display screen is made the same as the display format of the unevenness in the bright area of the display screen.
２－３－２．データ生成部２ａ
　データ生成部２ａも学習部１２Ａで説明したオートエンコーダ対応する機能を有している。データ生成部２ａは学習部１２Ａで確定された重み係数に基づく演算を実行する。具体的には、データ生成部２ａは、処理部３から入力画像データｒ１が入力されると、確定された重み係数を用いて圧縮データｒｃ及び出力画像データｒ２を生成する。このように、データ生成部２ａでは多数の教師データを用いてモデルを訓練するわけではなく、データ生成部２ａは学習部１２Ａで確定された重み係数を用いて圧縮データｒｃや出力画像データｒ２を生成する。 2-3-2. Data generator 2a
The data generator 2a also has a function corresponding to the automatic encoder described in the learning unit 12A. The data generation unit 2a executes a calculation based on the weighting coefficient determined by the learning unit 12A. Specifically, when the input image data r1 is input from the processing unit 3, the data generation unit 2a generates the compressed data rc and the output image data r2 using the determined weighting coefficient. As described above, the data generation unit 2a does not train the model using a large number of teacher data, and the data generation unit 2a uses the weighting factor determined by the learning unit 12A to calculate the compressed data rc and the output image data r2. To generate.
２－３－３．誤差算出部２Ｂ及び類似度算出部２Ｃ
　誤差算出部２Ｂの機能は誤差算出部１２Ｂと同様である。なお、誤差算出部１２Ｂに入力されるデータは例えば関係取得用の入力画像データＤ１であるが、誤差算出部２Ｂに入力されるデータは入力画像データｒ１に基づくデータである。誤差算出部２Ｂは入力画像データｒ１と出力画像データｒ２との誤差Ｌを算出する。誤差Ｌは、入力画像データｒ１の各座標の各ピクセル値と、出力画像データｒ２の各座標の各ピクセル値との差分ｔに基づいて算出される。換言すると、誤差Ｌは、損失関数（入力Ｉ　－　出力Ｏ）２に基づいて算出される。入力Ｉは入力画像データｒ１の各座標の各ピクセル値に対応し、出力Ｏは出力画像データｒ２の各座標の各ピクセル値に対応している。 2-3-3. Error calculator 2B and similarity calculator 2C
The function of the error calculator 2B is the same as that of the error calculator 12B. Note that the data input to the error calculating unit 12B is, for example, the input image data D1 for obtaining the relationship, but the data input to the error calculating unit 2B is data based on the input image data r1. The error calculator 2B calculates an error L between the input image data r1 and the output image data r2. The error L is calculated based on the difference t between each pixel value at each coordinate of the input image data r1 and each pixel value at each coordinate of the output image data r2. In other words, the error L is calculated based on the loss function (input I-output O) 2 . The input I corresponds to each pixel value of each coordinate of the input image data r1, and the output O corresponds to each pixel value of each coordinate of the output image data r2.
　類似度算出部２Ｃの機能は類似度算出部１２Ｃと同様である。なお、類似度算出部１２Ｃに入力されるデータは例えば関係取得用の入力画像データＤ１であるが、類似度算出部２Ｃに入力されるデータは入力画像データｒ１に基づくデータである。類似度算出部２Ｃは、データ生成部２ａのエンコーダで圧縮されたデータ（圧縮データｒｃ）と基準データｄｒｅｆとに基づいて、圧縮データｒｃと基準データｄｒｅｆとの類似度を算出する。つまり、類似度算出部２Ｃは、圧縮データｒｃと基準データｄｒｅｆとの内積に基づいて類似度を算出する。類似度算出部２Ｃが用いる基準データｄｒｅｆは、類似度算出部１２Ｃが用いる基準データｄｒｅｆと同じである。 The function of the similarity calculation unit 2C is the same as that of the similarity calculation unit 12C. The data input to the similarity calculation unit 12C is, for example, the input image data D1 for obtaining a relationship, but the data input to the similarity calculation unit 2C is data based on the input image data r1. The similarity calculator 2C calculates the similarity between the compressed data rc and the reference data dref based on the data (compressed data rc) compressed by the encoder of the data generator 2a and the reference data dref. That is, the similarity calculation unit 2C calculates the similarity based on the inner product of the compressed data rc and the reference data dref. The reference data dref used by the similarity calculation unit 2C is the same as the reference data dref used by the similarity calculation unit 12C.
２－３－４．判定部２Ａ
　判定部２Ａは、誤差Ｌ及び類似度Ｓの関係ＲＳに基づいて、画像表示部２２の表示画面の表示ムラが許容可能な画像データであるか否かを判定する。判定部２Ａは、取得部１２Ｄが予め取得した関係式又はテーブルを取得している。判定部２Ａは、入力画像データｒ１に基づく誤差Ｌ及び類似度Ｓと、取得部１２Ｄが予め取得した関係式と、に基づいて、画像データの表示ムラが許容可能な画像データであるか否かを分類する。入力画像データｒ１に基づく誤差Ｌは、誤差算出部２Ｂが算出する誤差Ｌに対応し、入力画像データｒ１に基づく類似度Ｓは、類似度算出部２Ｃが算出する類似度Ｓである。 2-3-4. Judgment unit 2A
The determination unit 2A determines whether the display unevenness of the display screen of the image display unit 22 is acceptable image data, based on the relationship RS between the error L and the similarity S. 2 A of determination parts have acquired the relational expression or table which the acquisition part 12D acquired previously. The determination unit 2A determines whether or not the display unevenness of the image data is allowable based on the error L and the similarity S based on the input image data r1 and the relational expression acquired in advance by the acquisition unit 12D. Classify. The error L based on the input image data r1 corresponds to the error L calculated by the error calculation unit 2B, and the similarity S based on the input image data r1 is the similarity S calculated by the similarity calculation unit 2C.
　例えば、入力画像データｒ１に基づく誤差Ｌ及び類似度Ｓのプロット位置が、図５Ａに示す線Ｌａよりも右側であれば、入力画像データｒ１は許容可能でない画像データに分類される。逆に、入力画像データｒ１に基づく誤差Ｌ及び類似度Ｓのプロット位置が、図５Ａに示す線Ｌａよりも左側であれば、入力画像データｒ１は許容可能な画像データに分類される。判定部２Ａはこの分類結果を判定結果として出力してもよいし、判定部２Ａは別の分析結果を加味して最終的に判定結果を出力してもよい。また、判定部２Ａは、線Ｌａ付近のプロットの画像データを、検査員が注意すべきデータとして出力してもよい。第１実施形態では、判定部２Ａはこの分類結果を判定結果として出力する。例えば、判定部２Ａは、入力画像データｒ１を許容可能であると分類した場合には、入力画像データｒ１の表示ムラが許容可能であると判定する。判定部２Ａの判定結果及び分類結果は、例えば、情報処理装置１に設けられたモニタ（図示省略）に表示される。 For example, if the plot position of the error L and the similarity S based on the input image data r1 is on the right side of the line La shown in FIG. 5A, the input image data r1 is classified as unacceptable image data. Conversely, if the plot position of the error L and the similarity S based on the input image data r1 is on the left side of the line La shown in FIG. 5A, the input image data r1 is classified as acceptable image data. The determination unit 2A may output this classification result as the determination result, or the determination unit 2A may finally output the determination result in consideration of another analysis result. In addition, the determination unit 2A may output the image data of the plot near the line La as data to be noted by the inspector. In the first embodiment, the determination unit 2A outputs this classification result as the determination result. For example, when the determination unit 2A classifies the input image data r1 as acceptable, it determines that display unevenness of the input image data r1 is acceptable. The determination result and the classification result of the determination unit 2A are displayed on, for example, a monitor (not shown) provided in the information processing device 1.
２－３－５．記憶部４と入出力部５
　記憶部４には、例えば、データ生成部２ａの演算で用いる各種のパラメータ等が格納されている。入出力部５には、測定部１０から入力画像データを受け取る。また、入出力部５は、情報処理装置１１から、学習部１２Ａで確定した重み係数、基準データｄｒｅｆ、及び、取得部１２Ｄが予め取得した関係式又はテーブル等を受け取る。 2-3-5. Storage unit 4 and input/output unit 5
The storage unit 4 stores, for example, various parameters used in the calculation of the data generation unit 2a. The input/output unit 5 receives the input image data from the measuring unit 10. Further, the input/output unit 5 receives from the information processing device 11 the weighting coefficient determined by the learning unit 12A, the reference data dref, and the relational expression or table acquired in advance by the acquisition unit 12D.
３．フローチャート
　図７に基づいて、情報処理装置１の動作フローを説明する。情報処理装置１の入出力部５は、画像表示部２２の表示画面の画像データを取得する（ステップＳ１）。画像データは、測定部１０が画像表示部２２の表示画面から取得した測定光情報に対応する。情報処理装置１の処理部３は、画像データに対してフィルタ処理、閾値処理及び絶対値化処理を施し、画像データを入力画像データｒ１に変換する（ステップＳ２）。つまり、情報処理装置１の処理部３は、画像データを入力画像データｒ１に変換することで、入力画像データｒ１を取得する。 3. Flowchart The operation flow of the information processing device 1 will be described with reference to FIG. The input/output unit 5 of the information processing device 1 acquires the image data of the display screen of the image display unit 22 (step S1). The image data corresponds to the measurement light information acquired by the measuring unit 10 from the display screen of the image display unit 22. The processing unit 3 of the information processing device 1 performs filter processing, threshold processing, and absolute value conversion processing on the image data to convert the image data into the input image data r1 (step S2). That is, the processing unit 3 of the information processing device 1 acquires the input image data r1 by converting the image data into the input image data r1.
　情報処理装置１のデータ生成部２ａは、入力画像データｒ１から、圧縮データｒｃ及び出力画像データｒ２を生成する（ステップＳ３）。情報処理装置１の誤差算出部２Ｂは、入力画像データｒ１及び出力画像データｒ２に基づいて誤差Ｌを算出する（ステップＳ４）。また、情報処理装置１の類似度算出部２Ｃは、圧縮データｒｃ及び基準データｄｒｅｆに基づいて類似度Ｓを算出する（ステップＳ５）。ステップＳ４は誤差算出ステップに対応し、ステップＳ５は類似度算出ステップに対応する。ステップＳ４及びステップＳ５の順番は特に限定されるものではない。情報処理装置１の判定部２Ａは、ステップＳ４で算出した誤差Ｌと、ステップＳ５で算出した類似度と、予め取得している関係ＲＳ（図４に示す線Ｌａに対応する関係式）とに基づいて、入力画像データｒ１の表示ムラが許容可能であるか否かを判定する（ステップＳ６）。ステップＳ６は判定ステップに対応する。 The data generation unit 2a of the information processing device 1 generates compressed data rc and output image data r2 from the input image data r1 (step S3). The error calculation unit 2B of the information processing device 1 calculates the error L based on the input image data r1 and the output image data r2 (step S4). Further, the similarity calculation unit 2C of the information processing device 1 calculates the similarity S based on the compressed data rc and the reference data dref (step S5). Step S4 corresponds to the error calculation step, and step S5 corresponds to the similarity calculation step. The order of step S4 and step S5 is not particularly limited. The determination unit 2A of the information processing device 1 uses the error L calculated in step S4, the similarity calculated in step S5, and the relationship RS (relational expression corresponding to the line La shown in FIG. 4) acquired in advance. Based on this, it is determined whether the display unevenness of the input image data r1 is acceptable (step S6). Step S6 corresponds to the determination step.
　情報処理装置１の判定部２Ａは、情報処理装置１１の取得部１２Ｄより、関係ＲＳを予め取得している。情報処理装置１１の取得部１２Ｄは、複数組の関係取得用の誤差Ｌ及び関係取得用の類似度Ｓを算出することで関係ＲＳを取得する。具体的には、情報処理装置１１の取得部１２Ｄは、次に説明する第１及び第２ステップを実行することで、関係ＲＳを取得する。第１ステップでは、関係取得用の入力画像データＤ１と、学習部１２Ａからの、関係取得用の出力画像データＤ２と、に基づいて関係取得用の誤差Ｌを算出する。第２ステップでは、関係取得用の入力画像データＤ１を学習部１２Ａのエンコーダ１２Ａ１で圧縮して得られた関係取得用の圧縮データＤｃと、基準データｄｒｅｆと、に基づいて関係取得用の類似度Ｓを算出する。このように、取得部１２Ｄが関係ＲＳを取得し、判定部２Ａが情報処理装置１１から関係ＲＳを取得するステップは、取得ステップに対応する。 The determination unit 2A of the information processing device 1 acquires the relation RS in advance from the acquisition unit 12D of the information processing device 11. The acquisition unit 12D of the information processing device 11 acquires the relationship RS by calculating a plurality of sets of the relationship acquisition error L and the relationship acquisition similarity S. Specifically, the acquisition unit 12D of the information processing device 11 acquires the relation RS by executing the first and second steps described below. In the first step, the error L for relationship acquisition is calculated based on the input image data D1 for relationship acquisition and the output image data D2 for relationship acquisition from the learning unit 12A. In the second step, based on the relationship acquisition compressed data Dc obtained by compressing the relationship acquisition input image data D1 by the encoder 12A1 of the learning unit 12A and the reference data dref, the relationship acquisition similarity degree is calculated. Calculate S. In this way, the step in which the acquisition unit 12D acquires the relationship RS and the determination unit 2A acquires the relationship RS from the information processing device 11 corresponds to the acquisition step.
４．第１実施形態の効果
　第１実施形態において、情報処理装置１の判定部２Ａが、画像データが許容可能であるか否かを次に説明する２つの観点に基づいて自動的に判定する構成であるので、評価対象モニタ２１の検査がすみやかに行われ、評価対象モニタ２１の検査時間の増大が抑制される。 4. Effects of First Embodiment In the first embodiment, the determination unit 2A of the information processing device 1 is configured to automatically determine whether or not the image data is acceptable based on the following two viewpoints. Therefore, the evaluation target monitor 21 is quickly inspected, and an increase in the inspection time of the evaluation target monitor 21 is suppressed.
　第１実施形態の判定ステップでは、誤差Ｌ及び類似度Ｓの関係に基づいて表示ムラが許容可能な画像データであるか否かを判定する。具体的には、判定ステップでは、誤差Ｌを加味して、表示ムラが許容可能であるか否かを分類するので、表示ムラの強弱（ピクセル値）に基づく観点で画像データを分類することができる。また、判定ステップでは、類似度Ｓを加味して、表示ムラが許容可能であるか否かを分類するので、多様な表示ムラのパターンに基づく観点で画像データを分類することができる。 In the determination step of the first embodiment, it is determined whether display unevenness is acceptable image data based on the relationship between the error L and the similarity S. Specifically, in the determination step, the error L is taken into consideration to classify whether or not the display unevenness is acceptable. Therefore, the image data can be classified from the viewpoint based on the strength (pixel value) of the display unevenness. it can. In addition, in the determination step, the similarity S is taken into consideration to classify whether display unevenness is acceptable, so that image data can be classified from the viewpoint based on various patterns of display unevenness.
　例えば、表示ムラの強弱（ピクセル値）に基づく観点のみで、表示ムラが許容可能な画像データであるか否かを分類する場合には、図５Ａに示す全てのプロットが横軸上に並ぶことになる。ここでは、表示ムラの強弱（ピクセル値）に基づく観点のみで、表示ムラが許容可能な画像データであるか否かを分類するデメリットを強調するため、図５Ａに示すプロットに基づいて説明をする。表示ムラの強弱（ピクセル値）に基づく観点のみで、表示ムラが許容可能な画像データであるか否かを判定する場合には、分類に用いる関係式は、図５Ａに示す直線Ｌｂのような態様に限定される。ここで、直線Ｌｂは縦軸に平行である。この直線Ｌｂの左側には表示ムラが許容可能ではない画像データのプロットも存在しており、直線Ｌｂでは表示ムラが許容可能な画像データと表示ムラが許容可能でない画像データとを適切に分類することができないことは明らかである。 For example, when classifying whether display unevenness is acceptable image data only based on the strength (pixel value) of display unevenness, all plots shown in FIG. 5A should be arranged on the horizontal axis. become. Here, in order to emphasize the demerit of classifying whether or not the display unevenness is acceptable image data only from the viewpoint of the strength (pixel value) of the display unevenness, description will be given based on the plot shown in FIG. 5A. .. When it is determined whether the display unevenness is acceptable image data only from the viewpoint based on the strength (pixel value) of the display unevenness, the relational expression used for classification is as shown by the straight line Lb in FIG. 5A. Limited to the embodiment. Here, the straight line Lb is parallel to the vertical axis. On the left side of the straight line Lb, there is also a plot of image data in which display unevenness is not acceptable, and the straight line Lb appropriately classifies image data in which display unevenness is acceptable and image data in which display unevenness is not acceptable. Obviously you can't.
　類似度Ｓは、画像データの表示ムラのパターンが、許容可能な表示ムラのパターンにどれだけ近いかを表している。つまり、類似度Ｓは表示ムラの強弱の観点で画像データを分析するパラメータではない。表示ムラの強弱の観点で画像データを分析するパラメータは、誤差Ｌである。類似度Ｓは正規化されているため、類似度は表示ムラの強弱に関する情報を含まないからである。
　誤差Ｌが同じで類似度Ｓが異なる２つの入力画像データｒ１があった場合、類似度Ｓの高い方の入力画像データｒ１は、許容可能な表示ムラに似た表示ムラのパターンを有するため、類似度Ｓの高い方の入力画像データｒ１は表示ムラが許容可能である可能性が高いはずである。この性質を利用し、第１実施形態の判定部２Ａの関係式は、誤差Ｌが同じであっても、類似度Ｓが高い場合には、入力画像データｒ１が許容可能な画像データに分類されやすくなるように設定されている。また、第１実施形態の判定部２Ａの関係式は、誤差Ｌが同じであっても、類似度Ｓが低い場合には、入力画像データｒ１が許容可能でない画像データに分類されやすくなるように設定される。 The degree of similarity S represents how close the pattern of display unevenness of the image data is to the pattern of allowable display unevenness. That is, the similarity S is not a parameter for analyzing image data from the viewpoint of display unevenness. A parameter for analyzing the image data from the viewpoint of display unevenness is the error L. This is because the similarity S does not include information regarding the strength of display unevenness because the similarity S is normalized.
When there are two input image data r1 having the same error L but different similarity S, the input image data r1 having the higher similarity S has a display unevenness pattern similar to the allowable display unevenness. The input image data r1 having the higher degree of similarity S should be more likely to be allowable for display unevenness. Utilizing this property, the relational expression of the determination unit 2A of the first embodiment classifies the input image data r1 into acceptable image data when the similarity S is high even if the error L is the same. It is set to be easy. Further, the relational expression of the determination unit 2A of the first embodiment is such that the input image data r1 is likely to be classified as unacceptable image data when the similarity S is low even if the error L is the same. Is set.
　第１実施形態の判定ステップでは、表示ムラの強弱（ピクセル値）に基づく観点だけでなく、多様な表示ムラのパターンに基づく観点で、表示ムラが許容可能であるか否かを分類するので、画像データがよりきめ細やかに分類される。両方の観点で入力画像データｒ１を分類することで、図５Ａに示すように、表示ムラが許容可能な画像データと表示ムラが許容可能でない画像データとを切り分ける関係式がグラフ上に設定され得る。このため、第１実施形態の判定ステップでは、表示画像の表示ムラが許容可能な画像データであるか否かの判定精度が向上する。 In the determination step of the first embodiment, whether or not the display unevenness is acceptable is classified not only from the viewpoint based on the strength (pixel value) of the display unevenness but also from the viewpoint based on various patterns of the display unevenness. Image data is classified more finely. By classifying the input image data r1 from both viewpoints, as shown in FIG. 5A, a relational expression for separating image data in which display unevenness is acceptable and image data in which display unevenness is not acceptable can be set on the graph. .. Therefore, in the determination step of the first embodiment, the determination accuracy of whether or not the display unevenness of the display image is acceptable image data is improved.
　また、図７のフローチャートが学習時に用いられたモニタと異なる種類のモニタに対して適用された場合であっても、第１実施形態と同様の効果が得られる。つまり、表示画像の表示ムラが許容可能な画像データであるか否かを精度よく判定可能である。学習時に用いられたモニタの誤差Ｌと類似度Ｓの相関と、学習時に用いられたモニタと異なる種類のモニタの誤差Ｌと類似度Ｓの相関とは似通っているためである。 Even when the flowchart of FIG. 7 is applied to a monitor of a type different from the monitor used at the time of learning, the same effect as the first embodiment can be obtained. That is, it is possible to accurately determine whether or not the display data is image data in which display unevenness is allowable. This is because the correlation between the error L and the similarity S of the monitor used during learning is similar to the correlation between the error L and the similarity S of a monitor different in type from the monitor used during learning.
５－１．変形例１
　第１実施形態では、表示ムラを、許容可能な画像データと許容可能でない画像データとの２つに分類する形態であったが、それに限定されるものではない。変形例１では、表示ムラを、注意データに分類することができる。具体的には、取得部１２Ｄは、図８に示すように、線Ｌａ１及び線Ｌａ２に対応する関係式をそれぞれ取得してもよい。線Ｌａ１よりも左側の領域Ａｒ１が許容可能な画像データの領域でありとし、線Ｌａ２よりも右側の領域Ａｒ２が許容可能でない画像データの領域であり、線Ｌａ１と線Ｌａ２との間の領域Ａｒ３が注意データの領域である。入力画像データｒ１のプロットが領域Ａｒ３に位置する場合には、判定部２Ａの判定結果は検査員に注意を促す内容とする。許容可能な表示ムラの画像データが主に分布する領域と、許容可能でない画像データが主に分布する領域の境界が明確でない場合には、変形例１のように、分類式を複数設定することで、検査員は、より精度よく且つより慎重に、表示ムラが許容可能であるか否かを判断することができる。なお、変形例１の構成であっても、全ての評価対象モニタ２１の表示ムラが注意データに分類されるとは限らない。つまり、変形例１の構成であっても、全ての評価対象モニタ２１のうちの一部の表示ムラが、領域Ａｒ１又は領域Ａｒ２に分類され得る。このため、変形例１の構成であっても、評価対象モニタ２１の検査時間の増大の抑制効果が得られる。 5-1. Modification 1
In the first embodiment, the display unevenness is classified into two types, that is, acceptable image data and unacceptable image data, but the present invention is not limited to this. In the first modification, display unevenness can be classified into caution data. Specifically, the acquisition unit 12D may respectively acquire the relational expressions corresponding to the lines La1 and La2, as shown in FIG. A region Ar1 on the left side of the line La1 is an allowable image data region, a region Ar2 on the right side of the line La2 is an unacceptable image data region, and a region Ar3 between the lines La1 and La2 is set. Is the area of caution data. When the plot of the input image data r1 is located in the area Ar3, the determination result of the determination unit 2A is such that the inspector is warned. When the boundary between the area where the image data of the allowable display unevenness is mainly distributed and the area where the unacceptable image data is mainly distributed are not clear, a plurality of classification formulas should be set as in the first modification. Then, the inspector can judge whether or not the display unevenness is acceptable more accurately and more carefully. Even with the configuration of the first modification, the display unevenness of all the evaluation target monitors 21 is not always classified as caution data. That is, even with the configuration of the first modification, some display unevenness of all the evaluation target monitors 21 can be classified into the area Ar1 or the area Ar2. Therefore, even with the configuration of the first modification, the effect of suppressing an increase in the inspection time of the evaluation target monitor 21 can be obtained.
５－２．変形例２
　変形例２では、処理部３のバンドパスフィルタとして、空間周波数に対して人間の視覚特性をモデル化したコントラスト感度特性関数(ＣＳＦ: Contrast Sensitivity Function)を適用している。２次元ＣＳＦフィルタを用いることにより、人間の視覚特性に応じて表示ムラを際立たせることができる。また、２次元ＣＳＦフィルタが特定方向の空間周波数を通す構成を採用することで、特定方向の帯ムラ及び筋ムラを際立たせることもできる。図９に示すように、２次元ＣＳＦフィルタ適用した場合には、画像データから処理後画像データＤａが生成され、２次元ＣＳＦフィルタのうち縦方向のみを通すフィルタを適用した場合には、画像データから処理後画像データＤｂが生成される。 5-2. Modification 2
In the second modification, a contrast sensitivity characteristic function (CSF: Contrast Sensitivity Function) that models human visual characteristics with respect to spatial frequencies is applied as a bandpass filter of the processing unit 3. By using the two-dimensional CSF filter, display unevenness can be emphasized according to human visual characteristics. Further, by adopting a configuration in which the two-dimensional CSF filter allows the spatial frequency in the specific direction to pass, band unevenness and streak unevenness in the specific direction can be emphasized. As shown in FIG. 9, when the two-dimensional CSF filter is applied, the processed image data Da is generated from the image data, and when the filter that passes only the vertical direction of the two-dimensional CSF filter is applied, the image data The processed image data Db is generated from.
第２実施形態
　第２実施形態は第１実施形態と相違する部分を主に説明し、同様の部分については説明を省略する。図１０に示すように、第２実施形態の情報処理システム１００の情報処理装置１１は、判定部２Ａ及び処理部３を備えている。なお、学習部１２Ａはデータ生成部２ａと同様の機能を有するため、第２実施形態の情報処理システム１００の情報処理装置１１は、データ生成部２ａを有さない。 Second Embodiment The second embodiment will mainly describe portions different from the first embodiment, and description of similar portions will be omitted. As illustrated in FIG. 10, the information processing device 11 of the information processing system 100 according to the second embodiment includes a determination unit 2A and a processing unit 3. Since the learning unit 12A has the same function as the data generation unit 2a, the information processing device 11 of the information processing system 100 according to the second embodiment does not have the data generation unit 2a.
　第２実施形態の情報処理装置１の機能は第１実施形態の情報処理装置１と比較すると制限されている。第２実施形態の情報処理装置１は測定部１０から取得した画像データを情報処理装置１１に出力するアプリケーションが格納されている。つまり、第２実施形態の情報処理装置１は画像データを情報処理装置１１へ出力する機能を有する。また、第２実施形態の情報処理装置１は、出力した画像データの表示ムラが許容可能であるか否かの判定結果を受け取る機能を有する。つまり、第２実施形態は、製造現場に設けられている情報処理装置１が画像データを分析せず、情報処理装置１１が画像データを分析する形態である。情報処理装置１が受け取った判定結果は、情報処理装置１のモニタ（図示省略）に表示される。第２実施形態では、製造現場に画像データを分析する機器がなくても、製造現場の検査員は画像データの表示ムラが許容可能であるかを判断することができる。第２実施形態は、情報処理装置１が情報処理装置１１に対して遠隔地に配置されている場合や、情報処理装置１を所有する会社と情報処理装置１１を所有する会社とが異なる場合に好適である。 The functions of the information processing device 1 of the second embodiment are limited as compared with the information processing device 1 of the first embodiment. The information processing apparatus 1 of the second embodiment stores an application that outputs the image data acquired from the measuring unit 10 to the information processing apparatus 11. That is, the information processing device 1 of the second embodiment has a function of outputting image data to the information processing device 11. The information processing apparatus 1 according to the second embodiment also has a function of receiving a determination result as to whether display unevenness of output image data is acceptable. That is, the second embodiment is a mode in which the information processing apparatus 1 provided at the manufacturing site does not analyze the image data, but the information processing apparatus 11 analyzes the image data. The determination result received by the information processing device 1 is displayed on the monitor (not shown) of the information processing device 1. In the second embodiment, even if the manufacturing site does not have a device for analyzing the image data, the inspector at the manufacturing site can determine whether the display unevenness of the image data is acceptable. In the second embodiment, when the information processing device 1 is located in a remote place with respect to the information processing device 11, or when the company that owns the information processing device 1 is different from the company that owns the information processing device 11. It is suitable.
１：情報処理装置、２Ａ：判定部、２Ｂ：誤差算出部、２Ｃ：類似度算出部、２ａ：データ生成部、３：処理部、４：記憶部、５：入出力部、１０：測定部、１１：情報処理装置、１２：演算部、１２Ａ：学習部、１２Ａ１：エンコーダ、１２Ａ２：デコーダ、１２Ｂ：誤差算出部、１２Ｃ：類似度算出部、１２Ｄ：取得部、１３：記憶部、１４：入出力部、２１：評価対象モニタ、２２：画像表示部、１００：情報処理システム、Ａｒ１：領域、Ａｒ２：領域、Ａｒ３：領域、ＲＳ：関係、Ｓ：類似度、ｄ１：学習時入力画像データ、ｄ２：学習時出力画像データ、ｄｃ：圧縮データ、Ｄ１：関係取得用の入力画像データ、Ｄ２：関係取得用の出力画像データ、Ｄｃ：圧縮データ、ｒ１：入力画像データ、ｒ２：出力画像データ、ｒｃ：圧縮データ、ｄｒｅｆ：基準データ 1: information processing device, 2A: determination unit, 2B: error calculation unit, 2C: similarity calculation unit, 2a: data generation unit, 3: processing unit, 4: storage unit, 5: input/output unit, 10: measurement unit , 11: information processing device, 12: calculation unit, 12A: learning unit, 12A1: encoder, 12A2: decoder, 12B: error calculation unit, 12C: similarity calculation unit, 12D: acquisition unit, 13: storage unit, 14: Input/output unit, 21: monitor for evaluation, 22: image display unit, 100: information processing system, Ar1: region, Ar2: region, Ar3: region, RS: relationship, S: similarity, d1: learning input image data , D2: output image data during learning, dc: compressed data, D1: input image data for relationship acquisition, D2: output image data for relationship acquisition, Dc: compressed data, r1: input image data, r2: output image data , Rc: compressed data, dref: reference data

Claims (5)

  1. 　誤差算出ステップと、類似度算出ステップと、判定ステップとを備え、
    　前記誤差算出ステップでは、オートエンコーダへの入力画像データと、前記オートエンコーダからの出力画像データとの誤差を算出し、
    　前記類似度算出ステップでは、前記入力画像データを前記オートエンコーダのエンコーダで圧縮して得られた圧縮データと基準データとに基づいて、前記圧縮データと前記基準データとの類似度を算出し、
    　前記判定ステップでは、前記誤差及び前記類似度の関係に基づいて、前記入力画像データの表示ムラが許容可能であるか否かを判定し、前記関係は、関係式又はテーブルである、方法。     An error calculation step, a similarity calculation step, and a determination step,
    In the error calculation step, the error between the input image data to the auto encoder and the output image data from the auto encoder is calculated,
    In the similarity calculation step, based on compressed data and reference data obtained by compressing the input image data by the encoder of the auto encoder, a similarity between the compressed data and the reference data is calculated,
    In the determining step, it is determined whether display unevenness of the input image data is allowable based on the relationship between the error and the similarity, and the relationship is a relational expression or a table.
  2. 　請求項１に記載の方法であって、
    　取得ステップを更に備え、
    　前記取得ステップでは、複数の前記入力画像データのそれぞれについて第１及び第２ステップを実行することによって複数組の関係取得用の誤差及び関係取得用の類似度を算出し、これらの誤差及び類似度に基づいて前記関係を取得し、
    　第１ステップでは、関係取得用の入力画像データと、前記オートエンコーダからの、関係取得用の出力画像データと、に基づいて前記関係取得用の誤差を算出し、
    　第２ステップでは、前記関係取得用の入力画像データを前記オートエンコーダの前記エンコーダで圧縮して得られた関係取得用の圧縮データと、前記基準データと、に基づいて前記関係取得用の類似度を算出する、方法。     The method of claim 1, wherein
    Further comprising an acquisition step,
    In the acquisition step, a plurality of sets of error for relationship acquisition and similarity for relationship acquisition are calculated by executing the first and second steps for each of the plurality of input image data, and these error and similarity are calculated. Get the relationship based on
    In the first step, the relationship acquisition error is calculated based on the relationship acquisition input image data and the relationship acquisition output image data from the auto encoder,
    In the second step, based on the reference data and the compressed data for relationship acquisition obtained by compressing the input image data for relationship acquisition by the encoder of the auto encoder, the similarity for the relationship acquisition is obtained. How to calculate.
  3. 　請求項１又は請求項２に記載の方法であって、
    　前記オートエンコーダは、前記エンコーダと、デコーダとを有し、且つ、前記オートエンコーダは、前記エンコーダに入力する学習時入力画像データに、前記デコーダから出力される学習時出力画像データを近づける学習モデルで学習をし、
    　前記学習時入力画像データは、前記表示ムラが許容可能なデータである、方法。     A method according to claim 1 or claim 2,
    The auto-encoder has the encoder and a decoder, and the auto-encoder is a learning model that brings learning-time output image data output from the decoder close to learning-time input image data input to the encoder. Learning,
    The method, wherein the learning-time input image data is data in which the display unevenness is acceptable.
  4. 　請求項３に記載の方法であって、
    　前記基準データは、前記学習時入力画像データを前記エンコーダで圧縮して取得するデータに基づいており、
    　前記類似度算出ステップでは、前記圧縮データと前記基準データとの内積に基づいて前記類似度を取得する、方法。     The method of claim 3, wherein
    The reference data is based on data acquired by compressing the learning input image data by the encoder,
    The said similarity calculation step acquires the said similarity based on the inner product of the said compression data and the said reference data.
  5. 　コンピュータに、誤差算出ステップと、類似度算出ステップと、判定ステップとを備える情報処理を実行させ、
    　前記誤差算出ステップでは、オートエンコーダへの入力画像データと、前記オートエンコーダからの出力画像データとの誤差を算出し、
    　前記類似度算出ステップでは、前記入力画像データを前記オートエンコーダのエンコーダで圧縮して得られた圧縮データと基準データとに基づいて、前記圧縮データと前記基準データとの類似度を算出し、
    　前記判定ステップでは、前記誤差及び前記類似度の関係に基づいて、前記入力画像データの表示ムラが許容可能であるか否かを判定し、前記関係は、関係式又はテーブルである、コンピュータプログラム。     Causing a computer to execute information processing including an error calculation step, a similarity calculation step, and a determination step,
    In the error calculation step, the error between the input image data to the auto encoder and the output image data from the auto encoder is calculated,
    In the similarity calculation step, based on compressed data and reference data obtained by compressing the input image data by the encoder of the auto encoder, a similarity between the compressed data and the reference data is calculated,
    In the determining step, it is determined whether display unevenness of the input image data is acceptable based on the relationship between the error and the similarity, and the relationship is a relational expression or a table.
PCT/JP2018/043736 2018-11-28 2018-11-28 Information processing method and computer program WO2020110224A1 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
PCT/JP2018/043736 WO2020110224A1 (en) 2018-11-28 2018-11-28 Information processing method and computer program
TW108136466A TWI735967B (en) 2018-11-28 2019-10-08 Information processing method and computer program
US17/294,506 US11776114B2 (en) 2018-11-28 2019-11-06 Information processing method and computer program
CN201980074677.0A CN113016023B (en) 2018-11-28 2019-11-06 Information processing method and computer-readable non-transitory recording medium
JP2020558244A JP7008843B2 (en) 2018-11-28 2019-11-06 Information processing method and computer program
PCT/JP2019/043367 WO2020110629A1 (en) 2018-11-28 2019-11-06 Information processing method and computer program
KR1020217016279A KR102647255B1 (en) 2018-11-28 2019-11-06 Information processing methods and computer programs recorded on recording media

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/043736 WO2020110224A1 (en) 2018-11-28 2018-11-28 Information processing method and computer program

Publications (1)

Publication Number Publication Date
WO2020110224A1 true WO2020110224A1 (en) 2020-06-04

Family

ID=70854192

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2018/043736 WO2020110224A1 (en) 2018-11-28 2018-11-28 Information processing method and computer program
PCT/JP2019/043367 WO2020110629A1 (en) 2018-11-28 2019-11-06 Information processing method and computer program

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/043367 WO2020110629A1 (en) 2018-11-28 2019-11-06 Information processing method and computer program

Country Status (6)

Country Link
US (1) US11776114B2 (en)
JP (1) JP7008843B2 (en)
KR (1) KR102647255B1 (en)
CN (1) CN113016023B (en)
TW (1) TWI735967B (en)
WO (2) WO2020110224A1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4068173A4 (en) * 2019-11-29 2022-11-16 BOE Technology Group Co., Ltd. System and method for analyzing cause of product defect and computer-readable medium
EP4276743A1 (en) * 2022-05-13 2023-11-15 Framatome Method and system for inspecting an object, such as a nuclear reactor component, e.g. a nuclear fuel assembly

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06295168A (en) * 1993-04-09 1994-10-21 Hitachi Ltd Method for detecting color unevenness on display element
WO2018105028A1 (en) * 2016-12-06 2018-06-14 三菱電機株式会社 Inspection device and inspection method

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5305204A (en) * 1989-07-19 1994-04-19 Kabushiki Kaisha Toshiba Digital image display apparatus with automatic window level and window width adjustment
EP0500315B1 (en) 1991-02-18 1999-07-21 Sumitomo Cement Co. Ltd. Method of optical recognition and classification of pattern
DE10022009C2 (en) 1999-11-26 2002-12-05 Inb Vision Ag Method and device for determining and at least partially correcting the errors of an image display system
JP4085301B2 (en) * 2001-11-09 2008-05-14 ソニー株式会社 Information processing apparatus and method, recording medium, and program
DE60134561D1 (en) * 2001-12-28 2008-08-07 Texas Instruments France Method for compressing images of a video telephone system
EP1424672A1 (en) * 2002-11-29 2004-06-02 Barco N.V. Method and device for correction of matrix display pixel non-uniformities
JP4515739B2 (en) 2003-09-30 2010-08-04 大日本印刷株式会社 Manufacturing method of color filter
KR100540469B1 (en) 2004-05-07 2006-01-10 (주)제이엠아이씨큐 Device for analyzing, intercepting and treating malicious code and control method thereof
JP2006258921A (en) * 2005-03-15 2006-09-28 Hitachi Displays Ltd Display device
US20060208671A1 (en) 2005-03-15 2006-09-21 Hitachi Displays, Ltd. Display device
JP2010159979A (en) 2009-01-06 2010-07-22 Hitachi Ltd Visual examination method and visual examination system
JP2012185030A (en) * 2011-03-04 2012-09-27 Sony Corp Color unevenness determination device, color unevenness determination method and display device
EP2734976B1 (en) * 2011-07-21 2019-02-20 Imax Corporation Generalized normalization for image display
CA2953619A1 (en) * 2014-06-05 2015-12-10 Interdev Technologies Inc. Systems and methods of interpreting speech data
JP6634936B2 (en) * 2016-04-05 2020-01-22 富士通株式会社 Image encoding device, image encoding method, image encoding program, image decoding device, image decoding method, image decoding program, and image transmission system
US10395356B2 (en) 2016-05-25 2019-08-27 Kla-Tencor Corp. Generating simulated images from input images for semiconductor applications
JP2018005773A (en) * 2016-07-07 2018-01-11 株式会社リコー Abnormality determination device and abnormality determination method
WO2018138597A1 (en) * 2017-01-26 2018-08-02 株式会社半導体エネルギー研究所 Semiconductor device, and electronic apparatus
JP6624125B2 (en) * 2017-03-13 2019-12-25 コニカミノルタ株式会社 Image inspection apparatus, image forming system, and image compression method
JP2018156451A (en) 2017-03-17 2018-10-04 株式会社東芝 Network learning device, network learning system, network learning method, and program
JP7042118B2 (en) * 2018-03-08 2022-03-25 株式会社東芝 Inspection equipment, inspection methods, and programs
KR101911061B1 (en) 2018-03-26 2018-10-23 주식회사 대곤코퍼레이션 System of product defect discrimination using an unsupervised learning based regional convolutional auto-encoder and Method of product defect discrimination using an unsupervised learning based regional convolutional auto-encoder
CN108665441B (en) * 2018-03-30 2019-09-17 北京三快在线科技有限公司 A kind of Near-duplicate image detection method and device, electronic equipment

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06295168A (en) * 1993-04-09 1994-10-21 Hitachi Ltd Method for detecting color unevenness on display element
WO2018105028A1 (en) * 2016-12-06 2018-06-14 三菱電機株式会社 Inspection device and inspection method

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
"What is tailor-made engineering for image processing industry", THE PAPERS OF JOINT TECHNICAL MEETING ON INFORMATION PROCESSING AND INNOVATIVE INDUSTRIAL SYSTEM, 25 March 2011 (2011-03-25), pages IP-11 - 3, IIS-11-33 , 13-16 *
KATSUSHI, MIURA ET AL.: "Anomaly detection by deep learning technology named ''sense learning", SEI TECHNICAL REVIEW, 31 July 2018 (2018-07-31), pages 12 - 15, Retrieved from the Internet <URL:https://sei.co.jp/technology/tr/bn193/pdf/193-03.pdf> [retrieved on 20190129] *
SHINDO, TOMONORI: "Automatically detect defective products with unsupervised deep learning", SEXY TECHNOLOGY , AUTOENCODER, NIKKEI ROBOTICS, 10 April 2018 (2018-04-10), pages 3 - 8 *
WANG, S. Q. ET AL.: "Subjective and objective quality assessment of compressed screen content images", IEEE JOURNAL ON EMERGING AND SELECTED TOPICS IN CIRCUITS AND SYSTEMS, vol. 6, no. 4, 31 December 2016 (2016-12-31), pages 532 - 543, XP011636926, DOI: 10.1109/JETCAS.2016.2598756 *

Also Published As

Publication number Publication date
JP7008843B2 (en) 2022-01-25
KR20210084576A (en) 2021-07-07
US11776114B2 (en) 2023-10-03
TW202020802A (en) 2020-06-01
TWI735967B (en) 2021-08-11
KR102647255B1 (en) 2024-03-12
CN113016023A (en) 2021-06-22
WO2020110629A1 (en) 2020-06-04
US20220020135A1 (en) 2022-01-20
CN113016023B (en) 2023-06-27
JPWO2020110629A1 (en) 2021-10-21

Similar Documents

Publication Publication Date Title
KR102256181B1 (en) Method of inspecting and evaluating coating state of steel structure and system for the same
US20200292462A1 (en) Surface defect detection system and method thereof
US10674651B2 (en) Printed circuit board inspecting apparatus, method for determining fault type of screen printer and computer readable recording medium
KR102166458B1 (en) Defect inspection method and apparatus using image segmentation based on artificial neural network
JP4871144B2 (en) Image processing apparatus, method, and program
US20190147283A1 (en) Deep convolutional neural networks for crack detection from image data
US10824906B2 (en) Image processing device, non-transitory computer readable storage medium, and image processing system
US20200005070A1 (en) Optical inspection method, optical inspection device and optical inspection system
KR100532635B1 (en) Image processing method for appearance inspection
JP4725298B2 (en) Visual inspection method using images
US11631230B2 (en) Method, device, system and computer-program product for setting lighting condition and storage medium
WO2018179559A1 (en) Defect detection system for aircraft component and defect detection method for aircraft component
WO2020110629A1 (en) Information processing method and computer program
WO2020189189A1 (en) Inspection device and method
CN109060838B (en) Product surface scratch detection method based on machine vision
US20220076404A1 (en) Defect management apparatus, method and non-transitory computer readable medium
JP6791362B2 (en) Image processing equipment, image processing methods, and programs
TWI694250B (en) Surface defect detection system and method thereof
CN115861259A (en) Lead frame surface defect detection method and device based on template matching
WO2021221030A1 (en) Quality determination system, quality determination method, server, and program
WO2021079727A1 (en) Appearance inspection device, appearance inspection method, and appearance inspection program
KR20200125131A (en) Methdo and system for measuring image thickness based on artificial intelligence
JP2021174194A (en) Learning data processing device, learning device, learning data processing method, and program
JP4036696B2 (en) Pattern inspection apparatus, image display apparatus, pattern inspection method, and program
JP6015606B2 (en) Inspection method and inspection apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941592

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18941592

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP