JP7110349B2

JP7110349B2 - 機械学習モデルの生成装置、方法、プログラム、検査装置及び検査方法、並びに印刷装置

Info

Publication number: JP7110349B2
Application number: JP2020532262A
Authority: JP
Inventors: 正之浮島
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2018-07-25
Filing date: 2019-07-04
Publication date: 2022-08-01
Anticipated expiration: 2039-07-04
Also published as: EP3828819B1; WO2020022024A1; JPWO2020022024A1; EP3828819A1; US20210114368A1; EP3828819A4; US11820132B2

Description

本発明は機械学習モデルの生成装置、方法、プログラム、検査装置及び検査方法、並びに印刷装置に係り、特に印刷物から欠陥を検出する技術に関する。

印刷物は、印刷の際にインク抜け、インク垂れ、キズ、スジ等の欠陥が発生する場合がある。このため、印刷物の欠陥を検出する自動検査が行われている。

特許文献１には、入力データを元に印刷された印刷画像を読み取って生成された印刷画像データの特徴量と、入力データを元にする参照画像の特徴量とパラメータとを用いた演算によって印刷画像の画質の良否を判定する検査装置が記載されている。

特開２０１４－１８６４４２号公報

特許文献１に記載の装置は、印刷画像と入力データとで画像の生成元が異なるため画像の構造が大きく異なり、高い判定精度を有する特徴量を規定することが難しいという問題点があった。

本発明はこのような事情に鑑みてなされたもので、高精度に印刷物の欠陥を検査する機械学習モデルの生成装置、方法、プログラム、検査装置及び検査方法、並びに印刷装置を提供することを目的とする。

上記目的を達成するために機械学習モデルの生成方法の一の態様は、印刷物が撮像された撮像画像を元に取得された検査データと、印刷デジタルデータを元に取得された基準データとを、機械学習モデルで比較して印刷物の欠陥を検出するための機械学習モデルの生成方法であって、学習用印刷デジタルデータを元に印刷された検査対象の印刷物が撮像された撮像画像を元にする学習用検査データと、学習用印刷デジタルデータを元に印刷された基準となる印刷物が撮像された撮像画像を元にする第１の学習用基準データと学習用検査データとを比較処理することで推定された学習用検査データの学習用欠陥情報と、学習用印刷デジタルデータを元にする第２の学習用基準データと、を取得する取得工程と、学習用検査データと第２の学習用基準データとを学習用入力情報として少なくとも使用し、学習用欠陥情報を学習用出力情報として少なくとも使用することで機械学習モデルを生成する生成工程と、を備えた機械学習モデルの生成方法である。

本態様によれば、印刷デジタルデータを使用する検査の機械学習モデルを生成することができ、高精度に印刷物の欠陥を検査することができる。機械学習モデルの生成方法は、機械学習モデルの製造方法に相当する。

学習用欠陥情報は離散値を含み、生成工程は、分類を行う機械学習モデルを生成することが好ましい。これにより、高精度に印刷物の欠陥を検査することができる。

離散値は、印刷物の欠陥の有無を示す２値の離散値であることが好ましい。これにより、高精度に印刷物の欠陥を検査することができる。

離散値は、印刷物の欠陥の強度を示す３値以上の離散値であることが好ましい。これにより、高精度に印刷物の欠陥を検査することができる。

学習用欠陥情報は連続値を含み、生成工程は、回帰を行う機械学習モデルを生成することが好ましい。これにより、高精度に印刷物の欠陥を検査することができる。

学習用欠陥情報は、印刷物の欠陥の位置情報を含むことが好ましい。これにより、高精度に印刷物の欠陥を検査することができる。

生成工程は、機械学習モデルを深層学習により生成することが好ましい。これにより、機械学習モデルを適切に生成することができる。

生成工程は、第１の学習用基準データと第２の学習用基準データを学習用入力情報として少なくとも使用し、欠陥が非存在であることを示す学習用欠陥情報を学習用出力情報として少なくとも使用することで機械学習モデルを生成することが好ましい。これにより、欠陥が非存在である場合を学習させることができる。

取得工程は、学習用印刷デジタルデータの少なくとも一部が加工されることで欠陥が表現された加工済印刷デジタルデータを元に印刷された印刷物を撮像した学習用検査データを少なくとも取得することが好ましい。これにより、多数の学習データを収集することができる。

取得工程は、第１の学習用基準データを取得し、学習用検査データと第１の学習用基準データとを比較処理を行うことで学習用検査データの学習用欠陥情報を推定する比較処理工程を備えることが好ましい。これにより、学習用欠陥情報を適切に取得することができる。

比較処理工程は、比較処理用機械学習モデルによって比較処理を行うことが好ましい。これにより、学習用欠陥情報を適切に推定することができる。

学習用印刷デジタルデータを元に印刷された基準となる第１印刷物と学習用印刷デジタルデータを元に印刷された比較対象の第２印刷物とを比較した官能評価値を入力する官能評価値入力工程と、第１印刷物を撮像した比較処理学習用基準データと第２印刷物を撮像した比較処理学習用検査データとを学習用入力情報として使用し、官能評価値を学習用出力情報として使用することで、比較処理用機械学習モデルを生成する比較処理用モデル生成工程と、を備えることが好ましい。これにより、学習用欠陥情報を適切に取得することができる。

上記目的を達成するために検査方法の一の態様は、印刷デジタルデータを元に印刷された検査対象の印刷物が撮像された撮像画像を元にする検査データと、印刷デジタルデータを元にする基準データとを取得し、上記の機械学習モデルで比較して検査対象の印刷物の欠陥を検出する欠陥検査工程を備えた検査方法である。

本態様によれば、高精度に印刷物の欠陥を検査することができる。

上記目的を達成するために機械学習モデルの生成装置の一の態様は、印刷物が撮像された撮像画像を元に取得された検査データと、印刷デジタルデータを元に取得された基準データとを、機械学習モデルで比較して印刷物の欠陥を検出するための機械学習モデルの生成装置であって、学習用印刷デジタルデータを元に印刷された検査対象の印刷物が撮像された撮像画像を元にする学習用検査データと、学習用印刷デジタルデータを元に印刷された基準となる印刷物が撮像された撮像画像を元にする第１の学習用基準データと学習用検査データとを比較処理することで推定された学習用検査データの学習用欠陥情報と、学習用印刷デジタルデータを元にする第２の学習用基準データと、を取得する取得部と、学習用検査データと第２の学習用基準データとを学習用入力情報として少なくとも使用し、学習用欠陥情報を学習用出力情報として少なくとも使用することで機械学習モデルを生成する生成部と、を備えた機械学習モデルの生成装置である。

本態様によれば、印刷デジタルデータを使用する検査の機械学習モデルを生成することができ、高精度に印刷物の欠陥を検査することができる。

上記目的を達成するために検査装置の一の態様は、上記に記載の機械学習モデルの生成装置と、印刷デジタルデータを元に印刷された検査対象の印刷物が撮像された撮像画像を元にする検査データと、印刷デジタルデータを元にする基準データとを取得し、機械学習モデルで比較して検査対象の印刷物の欠陥を検出する欠陥検査部を備えた検査装置である。

上記目的を達成するために印刷装置の一の態様は、上記の検査装置と、印刷デジタルデータを元に印刷を行い、印刷物を生成する印刷部と、印刷物を撮像するカメラと、印刷物の欠陥の検出結果を出力する出力部と、を備えた印刷装置である。本態様によれば、生成した印刷物の欠陥を高精度に検査することができる。

学習用印刷デジタルデータの少なくとも一部を加工して欠陥を表現した加工済印刷デジタルデータを生成する加工部を備え、印刷部は、加工済印刷デジタルデータを元に印刷を行い、欠陥印刷物を生成し、カメラは、欠陥印刷物を撮像し、取得部は、欠陥印刷物が撮像された撮像画像を元にするデータを学習用検査データとして少なくとも取得することが好ましい。これにより、多数の学習用検査データを収集することができる。

生成部は、カメラによって印刷物が撮像された撮像画像を元にする学習用検査データを用いて印刷装置に適した機械学習モデルに調整された調整機械学習モデルを生成することが好ましい。これにより、印刷装置の顧客の印刷条件に応じた検査を行うことができる。

印刷部は、インクジェットヘッドを用いて印刷することが好ましい。本態様は、インクジェットヘッドを用いた印刷物の検査を行うことができる。

上記目的を達成するためにコンピュータに実行させるためのプログラムの一の態様は、上記の機械学習モデルの生成方法をコンピュータに実行させるためのプログラムである。

本態様によれば、印刷デジタルデータと比較する検査の機械学習モデルを生成することができ、高精度に印刷物の欠陥を検査することができる。

本発明によれば、高精度に印刷物の欠陥を検査することができる。

図１は、機械学習モデルの生成システムの構成を示すブロック図である。図２は、機械学習モデルの生成過程を示すフロー図である。図３は、印刷物検査装置の構成を示すブロック図である。図４は、機械学習モデルの使用過程を示すフロー図である。図５は、機械学習モデルの生成システムの構成を示すブロック図である。図６は、機械学習モデルの生成過程を示すフロー図である。図７は、機械学習モデルの生成システムの構成を示すブロック図である。図８は、比較処理用機械学習モデルの生成過程を示すフロー図である。図９は、学習用情報生成装置を有する印刷装置の構成を示すブロック図である。図１０は、学習用欠陥情報の収集を示すフロー図である。図１１は、機械学習モデルの生成及び更新を行う印刷装置の構成を示すブロック図である。図１２は、機械学習モデルの生成及び更新を示すフロー図である。図１３は、機械学習モデルの生成及び更新を行う印刷装置の構成を示すブロック図である。図１４は、インクジェット印刷装置の内部構成を示すブロック図である。図１５は、インクジェット印刷装置によって印刷される印刷物の一例を示す図である。

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

＜正解データ比較方式と元データ比較方式＞
印刷物の検査は、検査対象の印刷物を撮像装置で読み取って検査データを取得し、検査データを検査の基準となる基準データと比較して行う。本明細書では、この比較の処理を正解データ比較方式と元データ比較方式とに分類する。

正解データ比較方式は、印刷物から生成した基準データと比較する。基準データは、欠陥のない印刷物を撮像装置で撮像した撮像画像を元に取得する。基準データの撮像条件を検査データの撮像条件と同じ撮像条件にすることで、異なる生成元のデータ間を比較する場合と比較して、相対的に検査難易度を下げることができる。

しかしながら、欠陥のない印刷物を撮像装置で撮像する必要があるため、１ページだけのジョブ、及び各台の印刷ページ数が１ページであるバリアブル印刷では、正解データ比較方式を用いることができないという問題点がある。また、基準データをどのように取得するかを、通常印刷、丁合い印刷、及び裏面印刷等の印刷種別毎に定義する必要があり、条件が複雑化するという問題点がある。

さらに、基準データに欠陥が存在した場合に、検査データで欠陥のある箇所を欠陥と判断できない未検知、又は欠陥のない箇所を欠陥と判断する誤検知が発生する場合がある。

これらに対応するためには、元データ比較方式を採用する必要がある。元データ比較方式は、印刷行為を行うことなく取得した基準データと比較する。基準データは、印刷装置に入力されるデジタル画像データそのもの、或いはデジタル画像データに解像度変換、色変換、階調変換、スクリーニング処理、及び統計処理等の各種前処理を施して取得する。

元データ比較方式では、正解データ比較方式では実現できなかった１ページだけのジョブ及びバリアブル印刷での検査が可能となる。また、印刷種別毎の対応が容易である。

しかしながら、検査データと基準データとのデータ生成元が異なりデータ特性が大きく異なるため、正解データ比較方式に比べて相対的に検査難易度が高くなるという問題点がある。

＜機械学習技術の利用と学習データの確保＞
近年では機械学習の技術が大きく進歩しており、良質で膨大な学習データが存在する条件下では、人間が設計した特徴量を用いたパターン認識に比べ、深層学習等の最新の機械学習によるパターン認識の方が優れた性能を得られることがわかっている。

深層学習等で欠陥検査の高い性能を出すためには、良質で膨大な学習データが必要となる。一方、欠陥の度合いを人間の官能評価によって取得することは、官能評価の実施工数が大きいため、膨大な学習データを取得することが難しいという問題が生じる。また、官能評価は評価値がバラつきやすいため、良質な学習データを取得することが難しいという問題が生じる。

そこで、正解データ比較方式による欠陥検査を実施することで、良質で膨大な学習データを比較的容易に取得する。正解データ比較方式は自動評価のため実施工数が小さく、膨大な学習データを取得しやすいという利点がある。また、正解データ比較方式は客観評価のため結果のバラつきが小さく、良質な学習データを取得しやすいという利点がある。

＜第１の実施形態＞
第１の実施形態に係る機械学習モデルの生成システムは、印刷物が撮像された撮像画像を元に取得された検査データと、印刷デジタルデータを元に取得された基準データとを、機械学習モデルで比較して印刷物の欠陥を検出するための機械学習モデルを生成する。

なお、本明細書において「欠陥」とは、インク抜け、インク垂れ、オイル垂れ、ゴミ付着、その他ポツ状の欠陥、ムラ、色変動、文字欠け、キズ、光沢性の変化、シワ、インクジェットノズルのノズル不良によるスジ状の欠陥、不良ノズルの補正失敗によるスジ状の欠陥、シワ等の用紙変形、といった、本来印刷されるべき状態に対して意図しない変化のある状態で印刷されたもの全てを含む概念である。

〔機械学習モデルの生成システムの構成及び機械学習モデルの生成過程〕
図１は、機械学習モデルの生成システムの構成を示すブロック図である。また、図２は、機械学習モデルの生成過程を示すフロー図である。

生成システム１０は、学習用情報生成装置２０及びモデル生成装置４０を備えている。

学習用情報生成装置２０は、第１の学習用基準データ記憶部２２、学習用検査データ記憶部２４、比較処理部２６、学習用欠陥情報記憶部２８、及び第２の学習用基準データ記憶部３０を備えている。

第１の学習用基準データ記憶部２２は、第１の学習用基準データＤ１を記憶するメモリである。第１の学習用基準データＤ１は、欠陥のない印刷物（欠陥が非存在の印刷物）を不図示の撮像装置で撮像した撮像画像を元にするデータである。

学習用検査データ記憶部２４は、学習用検査データＤ２を記憶するメモリである。学習用検査データＤ２は、欠陥のある印刷物を不図示の撮像装置で撮像した撮像画像を元にするデータ、及び欠陥のない印刷物を不図示の撮像装置で撮像した撮像画像を元にするデータである。

第１の学習用基準データＤ１及び学習用検査データＤ２は、撮像画像そのものであってもよいし、何らかの前処理を行ったものでも構わない。撮像画像に対する前処理として、色変換、階調変換、解像度変換、フィルタリング等の各種画像処理を施したものを使用してもよいし、画像を縦方向及び横方向等に平均値、中央値、最大値、又は最小値等の統計量を計算して生成されたプロファイルデータを使用してもよい。さらに、周波数解析、又は統計解析等で抽出された特徴量を利用してもよい。

この前処理は、学習用情報生成装置２０において撮像画像に対して施してもよいし、前処理後の第１の学習用基準データＤ１及び学習用検査データＤ２を外部の装置から不図示のインターフェースを通じて取得してもよい。

第１の学習用基準データＤ１及び学習用検査データＤ２には、それぞれ同じ学習用印刷デジタルデータを元にした、対となる第１の学習用基準データＤ１及び学習用検査データＤ２が存在する。即ち、同じ学習用印刷デジタルデータを元に印刷された印刷物のうち、欠陥のない印刷物の撮像画像から取得された第１の学習用基準データＤ１と欠陥のある印刷物又は欠陥のない印刷物の撮像画像から取得された学習用検査データＤ２とが、対を構成する。ここでいう学習用印刷デジタルデータとは、印刷デジタルデータのうち学習に用いたものを指す。したがって、学習用に特別に生成した印刷デジタルデータに限られず、印刷物の検査に用いた印刷デジタルデータであってもよい。

尚、第１の学習用基準データＤ１及び学習用検査データＤ２の取得に使用される撮像装置は、任意である。例えば、ラインスキャンカメラを用いてもよいし、２次元配列された光学素子を用いたカメラを用いてもよい。カラー情報のないモノクロのカメラを用いてもよいし、ＲＧＢ（Red Green Blue）、又は分光情報等のカラー情報を取得できるカメラを用いてもよい。検出したい欠陥に合わせて最適なものを選択すればよい。

複数の学習用検査データＤ２と、それらと対になる第１の学習用基準データＤ１とは、同一の撮像装置（同一のシリアルナンバーの装置）を元に取得することが好ましい。これにより、後述する比較処理Ｐ１の難易度が下がり、良質な後述する学習用欠陥情報Ｄ３を得やすくなる。

尚、複数の学習用検査データＤ２と、それらと対になる第１の学習用基準データＤ１との全てを同一の撮像装置を元に取得することは、必ずしも必要ではない。対となる第１の学習用基準データＤ１及び学習用検査データＤ２は、撮像特性がほぼ同等な異なる撮像装置を元に取得してもよい。例えば、光学素子の特性、照明の特性、及びそれらの幾何学的条件がほぼ同等であり、撮像特性がほぼ同等である撮像装置を複数用意して並行作業を行えば、学習用検査データＤ２と対になる複数の第１の学習用基準データＤ１を短時間で大量に取得することができる。

また、画像を大量に取得するのであれば、撮像特性が異なる撮像装置を使用してもよい。この場合に生成される機械学習モデルは、撮像特性にロバストな特性を有し機械学習に使用される。したがって、機械学習モデルの使用過程において、様々な撮像特性を有する撮像装置を使用して検査データを取得することができる。但し、検査性能を優先する場合は、撮像特性がほぼ同等の撮像装置を用いることが望ましい。

同様に、第１の学習用基準データＤ１及び学習用検査データＤ２の取得に使用される印刷装置は、任意である。また、複数の学習用検査データＤ２と、それらと対になる第１の学習用基準データＤ１とは、同一の印刷装置を元に取得することが好ましいが、異なっていてもよい。

比較処理部２６は、印刷物の欠陥検査として比較処理Ｐ１を実施する演算部である。比較処理Ｐ１は、対となる第１の学習用基準データＤ１及び学習用検査データＤ２を比較することで、学習用欠陥情報Ｄ３を推定する処理である。

第１の学習用基準データＤ１及び学習用検査データＤ２は、いずれも撮像装置で撮像された撮像画像を元にしている。したがって、比較処理Ｐ１は、正解データ比較方式の簡易な比較処理を用いた場合であっても、未検知及び誤検知の少ない、比較的精度の良い欠陥検査が可能である。また、比較処理Ｐ１は自動検査であるため、画像さえ用意すれば容易に大量の学習用欠陥情報Ｄ３を取得することができる。

例えば、第１の学習用基準データＤ１が撮像画像そのものであり、学習用検査データＤ２が撮像画像そのものである場合の比較処理Ｐ１の具体例としては、次の処理が考えられる。即ち、比較処理Ｐ１は、第１の学習用基準データＤ１と学習用検査データＤ２との差分画像を計算し、計算された差分画像に対して閾値処理を行うことで、印刷物の欠陥部を抽出する。また、比較処理Ｐ１は、抽出された欠陥部から学習用欠陥情報Ｄ３を出力する。比較処理Ｐ１は、差分処理と閾値処理を用いる処理に限定はされず、学習用欠陥情報Ｄ３を計算する処理を適宜適用することができる。

学習用欠陥情報Ｄ３としては、例えば下記の（１）～（７）の情報を適用することができる。

（１）欠陥の有無の２値情報
印刷物の欠陥の有無を示す２値の離散値とする。例えば、欠陥がない場合（欠陥が非存在の場合）を０、欠陥がある場合を１と定義し、機械学習で分類させるデータとして用いる。

（２）欠陥の種類情報
欠陥の種類情報を示す３値の離散値とする。例えば、欠陥がない場合を０、スジ状の欠陥がある場合を１、ポツ状（点状、斑点状、ドット状ともいう）の欠陥がある場合を２と定義する。欠陥の種類をさらに増やしてもよい。

（３）欠陥の強度情報
欠陥の強度を連続値で定義し、欠陥がない場合を０、欠陥がある場合は欠陥強度が大きいほど、即ち欠陥が視認しやすいほど大きい数とする。例えば０～１０の連続値で定義する。この場合、機械学習モデルは回帰を行う。

又は、印刷物の欠陥の強度を分類した３値以上の離散値とする。例えば、欠陥の強度を離散化したカテゴリ値である０、１、２の３値で定義し、欠陥がない場合を０、弱い欠陥がある場合を１、強い欠陥がある場合を２とする。この場合、機械学習モデルは分類を行う。カテゴリ値は、３値以上の離散値であってもよい。

（４）欠陥の位置情報
印刷物の欠陥の位置情報を含む情報とする。例えば、位置座標を数値化したデータで定義する。又は、非欠陥位置を０、欠陥位置を１とした画像情報として定義する。

（５）欠陥の強度情報と位置情報との双方を含む画像情報
例えば、非欠陥位置を０、欠陥位置には連続値又は離散値の欠陥の強度値を設定した画像情報として定義する。

（６）欠陥の種類情報と位置情報との双方を含む画像情報
例えば、非欠陥位置を０、欠陥位置に欠陥の種類情報を設定した画像情報として定義する。

（７）欠陥の強度情報、種類情報、及び位置情報の全てを含む多チャネル画像情報
例えば、第１チャネルにスジ状の欠陥の強度情報及び位置情報を設定した画像を定義し、第２チャネルにポツ状の欠陥の強度情報及び位置情報を設定した画像を定義する。

学習用欠陥情報Ｄ３は、欠陥の特性を示す情報であれば、上記の（１）～（７）の情報に限定されない。また、学習用欠陥情報Ｄ３は、複数種類であってもよい。例えば、上記例の（１）欠陥の有無の２値情報と（４）欠陥の位置情報とであってもよいし、（１）欠陥の有無の２値情報と（３）欠陥の強度情報と（４）欠陥の位置情報とであってもよい。

学習用欠陥情報記憶部２８は、比較処理部２６が取得した学習用欠陥情報Ｄ３を記憶するメモリである。

第２の学習用基準データ記憶部３０は、第２の学習用基準データＤ４を記憶するメモリである。第２の学習用基準データＤ４は、第１の学習用基準データＤ１及び学習用検査データＤ２の印刷物を印刷する際に使用された学習用印刷デジタルデータを元にするデータである。

第２の学習用基準データＤ４は、印刷物を撮像した撮像画像に由来するものではなく、学習用印刷デジタルデータそのもの、又は何らかの前処理を行ったものである。学習用印刷デジタルデータに対する前処理として、色変換、階調変換、解像度変換、フィルタリング等の各種画像処理を施したものを使用してもよいし、画像を縦方向及び横方向等に平均値、中央値、最大値、又は最小値等の統計量を計算して生成されたプロファイルデータを使用してもよい。さらに、周波数解析、又は統計解析等で抽出された特徴量を利用してもよい。

この前処理は、学習用情報生成装置２０において学習用印刷デジタルデータに対して施してもよいし、前処理後の第２の学習用基準データＤ４を外部の装置から不図示のインターフェースを通じて取得してもよい。

また、モデル生成装置４０は、情報取得部４２、モデル生成部４４、及びモデル記憶部４６を備えている。

情報取得部４２は、学習用情報生成装置２０から学習用検査データＤ２、学習用欠陥情報Ｄ３、及び第２の学習用基準データＤ４を取得する入力インターフェースである。情報取得部４２は、学習用検査データＤ２及び第２の学習用基準データＤ４を学習用入力情報として、学習用欠陥情報Ｄ３を学習用出力情報として取得する。ここで、学習用入力情報は説明変数に相当し、学習用出力情報は目的変数に相当する。

モデル生成部４４は、モデル生成処理Ｐ２を実施する演算部である。モデル生成処理Ｐ２は、学習用入力情報である学習用検査データＤ２及び第２の学習用基準データＤ４と、学習用出力情報である学習用欠陥情報Ｄ３とから、元データ比較方式の機械学習モデルＤ５を生成する処理である。尚、モデル生成処理Ｐ２は、学習用検査データＤ２を元にする情報及び第２の学習用基準データＤ４を元にする情報を学習用入力情報として少なくとも使用し、学習用欠陥情報Ｄ３を元にする情報を学習用出力情報として少なくとも使用すればよい。

機械学習には、重回帰分析、サポートベクターマシン、部分最小自乗法、深層学習等の任意の手法を用いることができる。深層学習では、パターン認識に使用する特徴量の抽出も自動で実施される。学習用情報生成装置２０において取得された良質で膨大な学習用欠陥情報Ｄ３を用いることで、検査性能の高い機械学習モデルを生成することができる。ここでは、モデル生成処理Ｐ２は機械学習モデルＤ５を深層学習により生成する。

尚、学習用検査データＤ２は、学習用情報生成装置２０における比較処理Ｐ１、及びモデル生成装置４０におけるモデル生成処理Ｐ２の双方に使用されるが、比較処理Ｐ１に使用される学習用検査データＤ２とモデル生成処理Ｐ２に使用される学習用検査データＤ２とは、必ずしも同一の前処理が施されている必要はない。即ち、比較処理Ｐ１に使用される学習用検査データＤ２とモデル生成処理Ｐ２に使用される学習用検査データＤ２とは、欠陥のない印刷物を撮像装置で撮像した撮像画像に対して、それぞれ異なる前処理を施したデータであってもよい。本実施形態の最も大きな利点は、学習用欠陥情報Ｄ３を比較処理Ｐ１によって精度よく大量に生成することであるため、それぞれ異なる前処理を施しても問題はない。

また、比較処理Ｐ１で生成される学習用欠陥情報Ｄ３とモデル生成処理Ｐ２で使用される学習用欠陥情報Ｄ３とは、必ずしも同一である必要はなく、モデル生成処理Ｐ２で使用される学習用出力情報が学習用欠陥情報Ｄ３を元にして生成されていればよい。比較処理Ｐ１とモデル生成処理Ｐ２とは異なる処理であるため、それぞれの処理に合った形式で定義されていてもよい。

また、モデル生成処理Ｐ２は、学習用欠陥情報Ｄ３を元にして生成された学習用出力情報を、少なくとも使用していればよい。例えば、官能評価を元に作成された学習用出力情報と併用して使用してもよい。

尚、前述したように、学習用欠陥情報Ｄ３は欠陥の有無と欠陥の位置等の複数種類であってもよいが、この場合、学習用出力情報も複数種類定義されることになる。学習用出力情報が複数種類になった場合の利用方法を、深層学習を例に説明する。

深層学習では、学習用入力情報に基づいた入力層、学習用出力情報に基づいた出力層を定義することができる。深層学習では、入力層と出力層との間に畳み込み層及びプーリング層等の中間層を定義して、出力層における誤差からバックプロパゲーションという技術で中間層における各種パラメータを更新し、出力層における誤差が小さくなるような学習が行われる。また、深層学習では、層を途中で分離したり結合したりすることが可能である。そこで、層を途中で分離することで出力層を複数定義することができる。例えば、出力層を２つ定義して、１つ目の出力層では欠陥の有無に関する誤差を計算させ、２つ目の出力層では欠陥の位置に関する誤差を計算させることができる。更に、両者の誤差の和を最終的な誤差量と定義した上でバックプロパゲーションを行うことで、欠陥の有無に関する誤差と欠陥の位置に関する誤差との双方が小さくなるようなパラメータ更新が行われる。このようにして、複数種類の学習用出力情報を用いたモデル生成処理Ｐ２が可能となる。

モデル記憶部４６は、モデル生成部４４が生成した機械学習モデルＤ５を記憶するメモリである。

このように構成された生成システム１０は、以下のように機械学習モデルＤ５を生成する（機械学習モデルの生成方法の一例）。即ち、情報取得部４２において、第１の学習用基準データＤ１と、学習用検査データＤ２と、第２の学習用基準データＤ４と、を取得する（取得工程の一例）。また、対となる第１の学習用基準データＤ１と学習用検査データＤ２とについて比較処理Ｐ１を実施し、学習用欠陥情報Ｄ３を取得する（比較処理工程の一例）。さらに、モデル生成部４４において、学習用検査データＤ２を元にする情報と第２の学習用基準データＤ４を元にする情報とを学習用入力情報として少なくとも使用し、学習用欠陥情報Ｄ３を元にする情報を学習用出力情報として少なくとも使用して機械学習モデルＤ５を生成するモデル生成処理Ｐ２を実施する（生成工程の一例）。これにより、元データ比較方式での欠陥検査を高精度に実施できる機械学習モデルを少ない労力で生成することができる。

第１の学習用基準データＤ１は、全ての撮像画像で検知対象の欠陥がない撮像画像を元に取得することが望ましい。第１の学習用基準データＤ１に検知対象の欠陥が紛れていると、正解データ比較方式の比較処理において欠陥箇所で未検知及び誤検知が発生し得る。これにより、学習用欠陥情報Ｄ３に不正な情報が紛れ、モデル生成処理Ｐ２で生成される機械学習モデルＤ５の性能に悪影響を与えてしまう。

学習用欠陥情報Ｄ３において、不正な情報の割合が正常な情報の割合に対して十分に小さければ、悪影響も小さくなり実用上問題にならないこともあるが、基本的にはこのような過程で生まれる不正な情報はできる限り排除すべきである。第１の学習用基準データＤ１に欠陥があるか否かは、印刷物を目視で確認する、或いは、撮像画像をディスプレイに表示して目視で確認する方法等がある。目視での確認は、第１の学習用基準データＤ１の印刷物に対してのみ実施すればよく、学習用検査データＤ２の印刷物に対して行う必要がないため、目視チェックの負担を大幅に削減することができる。

〔印刷物検査装置の構成及び機械学習モデルの使用過程〕
図３は、印刷物検査装置の構成を示すブロック図である。また、図４は、機械学習モデルの使用過程を示すフロー図である。

印刷物検査装置５０は、機械学習モデルＤ５を用いて印刷物の検査を行う装置である。印刷物検査装置５０は、検査データ記憶部５２、基準データ記憶部５４、モデル記憶部５６、欠陥検査部５８、及び検査結果記憶部６０を備えている。

検査データ記憶部５２は、検査データＤ６を記憶するメモリである。検査データＤ６は、検査対象の印刷物を撮像装置で撮像した撮像画像を元にするデータである。

検査データＤ６は、第１の学習用基準データＤ１及び学習用検査データＤ２と同様に、撮像画像そのものであってもよいし、何らかの前処理を行ったものでも構わない。検査データＤ６は、印刷物検査装置５０において撮像画像から生成してもよいし、外部の装置から不図示のインターフェースを通じて取得してもよい。

また、検査データＤ６は、撮像装置を元に取得されるが、第１の学習用基準データＤ１及び学習用検査データＤ２の取得に用いられる撮像装置と同一の撮像装置を使う必要は必ずしもない。機械学習モデルＤ５の生成過程で使用した撮像装置と撮像特性がほぼ同等な撮像装置を用いれば、十分な性能を有する欠陥検査を実施し得る。

また、機械学習モデルＤ５の生成過程で様々な撮像特性を有する撮像装置を用いて、大量の学習データから撮像特性にロバストなモデルが生成できていれば、撮像特性が異なる撮像装置をモデル使用過程で利用した場合であっても、十分な性能を有する欠陥検査を実施することができる。

基準データ記憶部５４は、基準データＤ７を記憶するメモリである。基準データＤ７は、検査データＤ６の印刷物を印刷する際に使用された印刷デジタルデータを元にするデータである。基準データＤ７は、印刷デジタルデータそのものであってもよいし、何らかの前処理を行ったものでも構わない。印刷デジタルデータに対する前処理として、色変換、階調変換、解像度変換、フィルタリング等の各種画像処理を施したものを使用してもよいし、画像を縦方向及び横方向等に平均値、中央値、最大値、又は最小値等の統計量を計算して生成されたプロファイルデータを使用してもよい。さらに、周波数解析、又は統計解析等で抽出された特徴量を利用してもよい。

この前処理は、印刷物検査装置５０において印刷デジタルデータに対して施してもよいし、前処理後の基準データＤ７を外部の装置から不図示のインターフェースを通じて取得してもよい。

モデル記憶部５６は、機械学習モデルＤ５を記憶するメモリである。印刷物検査装置５０は、モデル生成装置４０のモデル記憶部４６に記憶された機械学習モデルＤ５を取得し、モデル記憶部５６に記憶させる。

欠陥検査部５８は、欠陥検査処理Ｐ３を実施する演算部である。欠陥検査処理Ｐ３は、入力された検査データＤ６及び基準データＤ７に対して機械学習モデルＤ５を適用して印刷物の欠陥検査を実施し、検査結果Ｄ８を取得する処理である。

検査結果記憶部６０は、検査結果Ｄ８を記憶するメモリである。

このように構成された印刷物検査装置５０は、以下のように欠陥検査を行う（検査方法の一例）。即ち、欠陥検査部５８は、入力された検査データＤ６及び基準データＤ７に対して機械学習モデルＤ５を適用して欠陥検査処理Ｐ３を実施し、検査結果Ｄ８を生成する（欠陥検査工程の一例）。

印刷物の欠陥検査は、印刷物の印刷時にオンラインの撮像装置を用いて検査データＤ６を取得して直ちに実施してもよいし、印刷時に検査データＤ６を撮り溜めておいて、印刷後に実施してもよい。或いは、印刷後にオフラインの撮像装置で検査データＤ６の取得を行った上で実施してもよい。

このように、モデル生成装置４０において生成した機械学習モデルＤ５を印刷物検査装置５０に搭載することで、元データ比較方式による欠陥検査が可能となり、バリアブル印刷等の１ページものの印刷物に対しても欠陥検査を実施することができる。

印刷では多くの場合「紙」を印刷媒体に用いるが、本実施形態の印刷媒体は紙に限定されない。例えば、透明媒体シート上に印刷された印刷物に対して適用してもよいし、その他のいかなる媒体に印刷された印刷物に適用してもよい。

＜第２の実施形態＞
第１の実施形態では、欠陥のない学習用検査データＤ２として、欠陥のない印刷物を不図示の撮像装置で撮像した撮像画像を元にするデータを使用したが、第１の学習用基準データＤ１を流用してもよい。これは、第１の学習用基準データＤ１が欠陥のない印刷物の撮像に基づいて生成されたものであるからである。

〔機械学習モデルの生成システムの構成及び機械学習モデルの生成過程〕
図５は、機械学習モデルの生成システムの構成を示すブロック図である。また、図６は、機械学習モデルの生成過程を示すフロー図である。尚、図１及び図２と共通する部分には同一の符号を付し、その詳細な説明は省略する。

生成システム６２は、欠陥のない学習用検査データＤ２として、第１の学習用基準データＤ１を流用する。生成システム６２は、学習用情報生成装置２０の第１の学習用基準データ記憶部２２とモデル生成装置４０の情報取得部４２とが接続されている。情報取得部４２は、学習用入力情報として、第１の学習用基準データＤ１を取得する。

欠陥のない学習用検査データＤ２と対になる学習用欠陥情報Ｄ３は、比較処理Ｐ１を実施して生成してもよいし、比較処理Ｐ１を介さずに生成してもよい。比較処理Ｐ１を介さずに生成する場合は、欠陥のない学習用欠陥情報Ｄ３Ｎが生成され、情報取得部４２に入力される。欠陥のない学習用欠陥情報Ｄ３Ｎが比較処理Ｐ１を介さずに生成できる理由は、欠陥が非存在であるからである。

例えば、学習用欠陥情報Ｄ３が「欠陥の強度情報」である場合、欠陥が存在する場合はその強度を求めるために比較処理Ｐ１が必要となるが、欠陥が非存在であれば強度＝ゼロの強度情報を生成するだけでよいため、比較処理Ｐ１は必ずしも必要ない。また、例えば、学習用欠陥情報が「欠陥の位置情報」である場合、欠陥が存在する場合はその欠陥位置を求めるために比較処理Ｐ１が必要となるが、欠陥が非存在であればすべての位置に欠陥がない旨を示す情報を生成するだけでよいため、比較処理Ｐ１は必ずしも必要ない。

モデル生成部４４は、第１の実施形態と同様に、学習用入力情報である学習用検査データＤ２及び第２の学習用基準データＤ４と、学習用出力情報である学習用欠陥情報Ｄ３とから、モデル生成処理Ｐ２を行う。欠陥のない学習用検査データＤ２として第１の学習用基準データＤ１を流用し、かつ比較処理Ｐ１を実施しない場合は、欠陥のない学習用欠陥情報Ｄ３Ｎを使用する。

このようにモデル生成処理Ｐ２を行うことで、どのようなデータでは欠陥があり、どのようなデータでは欠陥がないのかを学習させた機械学習モデルＤ５を生成することができる。

本実施形態では、第１の学習用基準データＤ１が比較処理Ｐ１及びモデル生成処理Ｐ２の双方に使用される場合があるが、比較処理Ｐ１に使用される第１の学習用基準データＤ１とモデル生成処理Ｐ２に使用される第１の学習用基準データＤ１とは、必ずしも同一の前処理が施されている必要はない。即ち、比較処理Ｐ１に使用される第１の学習用基準データＤ１とモデル生成処理Ｐ２に使用される第１の学習用基準データＤ１とは、欠陥のない印刷物を撮像装置で撮像した撮像画像に対して、それぞれ異なる前処理を施したデータであってもよい。

＜第３の実施形態＞
〔比較処理（正解データ比較方式）における官能値の利用〕
印刷における欠陥は必ずしも物理量としての欠陥の有無だけでは規定できない。例えば、シングルパス方式のインクジェット印刷装置では、各ノズルの吐出曲がりにより印刷物にスジ状の欠陥が発生することがあるが、吐出曲がりの曲がり量に応じてスジの視認性が変化する。曲がり量が小さければ、微視的にはスジがあったとしても人間の目視ではスジは視認できない。一方、曲がり量が大きい場合は、人間の目視でも鋭くスジと認識される。吐出曲がりの曲がり量が皆無のノズルというものはほぼ存在しないため、視認性の度合いで欠陥かどうかを判断することが重要である。

また、人間の視覚系の特性と撮像装置の特性の間には極めて非線型な関係があり、前述した差分に基づく単純な比較処理では、正解データ比較方式であったとしても人間の視認性によく相関した欠陥情報を取得することは困難である。

そこで、比較処理（正解データ比較方式）にも機械学習を利用し、学習用出力情報として人間の官能評価値を使用することで、人間の視認性によく相関した欠陥情報を取得することができるようになる。

図７は、機械学習モデルの生成システムの構成を示すブロック図である。図１と共通する部分には同一の符号を付し、その詳細な説明は省略する。図８は、比較処理用機械学習モデルの生成過程を示すフロー図である。

生成システム６４は、比較処理Ｐ１において比較処理用機械学習モデルＤ１２を使用する。生成システム６４は、比較処理用モデル生成装置６６を備えている。比較処理用モデル生成装置６６は、比較処理学習用基準データ記憶部６８、比較処理学習用検査データ記憶部７０、官能評価値入力部７２、比較処理用モデル生成部７４、及び比較処理用モデル記憶部７６を備えている。

比較処理学習用基準データ記憶部６８は、比較処理学習用基準データＤ９を記憶するメモリである。比較処理学習用基準データＤ９は、基準となる第１印刷物を不図示の撮像装置で撮像した撮像画像を元にするデータである。

比較処理学習用検査データ記憶部７０は、比較処理学習用検査データＤ１０を記憶するメモリである。比較処理学習用検査データＤ１０は、比較対象の第２印刷物を不図示の撮像装置で撮像した撮像画像を元にするデータである。

比較処理学習用基準データＤ９及び比較処理学習用検査データＤ１０には、それぞれ同じ印刷デジタルデータを元にした、対となる比較処理学習用基準データＤ９及び比較処理学習用検査データＤ１０が存在する。即ち、同じ印刷デジタルデータから印刷された印刷物のうち、欠陥のない基準となる第１印刷物の撮像画像から取得された比較処理学習用基準データＤ９と比較対象の欠陥のある第２印刷物又は欠陥のない第２印刷物の撮像画像から取得された比較処理学習用検査データＤ１０とが、対を構成する。

官能評価値入力部７２は、対となる第１印刷物と第２印刷物とを比較したユーザの官能評価値Ｄ１１をユーザが入力する入力インターフェースである。

比較処理用モデル生成部７４は、比較処理モデル生成処理Ｐ４を実施する演算部である。比較処理モデル生成処理Ｐ４は、学習用入力情報である比較処理学習用基準データＤ９及び比較処理学習用検査データＤ１０と、学習用出力情報である官能評価値Ｄ１１とから、比較処理用機械学習モデルＤ１２を生成する処理である。即ち、比較処理用機械学習モデルＤ１２は、元データ比較方式のモデルである。

比較処理用モデル記憶部７６は、比較処理用モデル生成部７４が生成した比較処理用機械学習モデルＤ１２を記憶するメモリである。

このように構成された生成システム６４は、以下のように比較処理用機械学習モデルＤ１２を生成する。即ち、ユーザは、対となる第１印刷物及び第２印刷物の官能評価値Ｄ１１を官能評価値入力部７２から入力する（官能評価値入力工程の一例）。比較処理用モデル生成部７４は、学習用入力情報である比較処理学習用基準データＤ９及び比較処理学習用検査データＤ１０と、学習用出力情報である官能評価値Ｄ１１とから、比較処理用機械学習モデルＤ１２を生成する比較処理モデル生成処理Ｐ４を実施する（比較処理用モデル生成工程の一例）。

比較処理モデル生成処理Ｐ４は、正解データ比較方式に基づいて行われるため、検査の精度を確保しやすく、深層学習のように大量のデータが必要となる機械学習手法を用いることなく比較処理用機械学習モデルＤ１２を生成することができる。

比較処理モデル生成処理Ｐ４としては、例えば、重回帰分析、サポートベクターマシン、及び部分最小自乗法等を用いることができる。深層学習と比較して１桁或いは２桁オーダで必要となるデータ数が少ないため、官能評価によるデータ収集もしやすい。一方で、仮に深層学習を用いたとしても、元データ比較方式に比べれば検出難易度が下がるため、データ量を少なくすることができる。

比較処理部２６が、比較処理用機械学習モデルＤ１２を用いて比較処理Ｐ１を実施することで、モデル生成部４４は、官能評価値によく相関する元データ比較方式の機械学習モデルＤ５を生成することができる。

＜第４の実施形態＞
〔学習用欠陥情報の効率的な収集方法〕
第１の学習用基準データＤ１及び学習用検査データＤ２は、共に第２の学習用基準データＤ４の取得元である学習用印刷デジタルデータを印刷装置に入力し、出力された印刷物を撮像装置で撮像した撮像画像を元に生成される。しかしながら、この場合、学習用検査データＤ２に欠陥が発生するか否かにランダム性が伴うため、データ収集効率が極めて悪い。

例えば、シングルパス方式のインクジェット印刷装置において発生するスジ状の欠陥は、多くの場合、ノズルからの吐出曲がりが原因で発生する。しかしながら、意図的に吐出曲がりを引き起こすのは困難であるため、吐出曲がりが発生するまで何度も印刷を行う必要が生じてしまう。そこで、学習用検査データＤ２を取得するための印刷を行う際には、学習用印刷デジタルデータの一部の画像情報を意図的に加工することで、疑似的な欠陥を生じさせることが好ましい。

〔印刷装置の構成及び学習用欠陥情報の収集〕
図９は、学習用情報生成装置を有する印刷装置の構成を示すブロック図である。図１と共通する部分には同一の符号を付し、その詳細な説明は省略する。図１０は、学習用欠陥情報の収集を示すフロー図である。

印刷装置８０は、学習用情報生成装置２０の他、未加工印刷デジタルデータ記憶部８２、印刷デジタルデータ加工部８４、加工済印刷デジタルデータ記憶部８６、印刷部８８、及び撮像部９０を備えている。

未加工印刷デジタルデータ記憶部８２は、未加工の印刷デジタルデータＤ１３を記憶するメモリである。尚、未加工とは、疑似的な欠陥に関する加工がされていないという意味である。

印刷デジタルデータ加工部８４は、未加工の印刷デジタルデータＤ１３の少なくとも一部の画像情報を意図的に加工し、疑似的な欠陥を生じさせる画像処理部である。生じさせる疑似的な欠陥の位置、種類、及び強度は、ユーザが決めてもよいし、不図示のメモリに記憶しておいてもよい。印刷デジタルデータ加工部８４は、未加工印刷デジタルデータ記憶部８２から未加工の印刷デジタルデータＤ１３を読み出し、所望の加工を行い、加工した印刷デジタルデータＤ１４を生成する。

加工済印刷デジタルデータ記憶部８６は、加工した印刷デジタルデータＤ１４を記憶するメモリである。印刷装置８０は、加工した印刷デジタルデータＤ１４を外部の装置から不図示のインターフェースを通じて取得してもよい。

印刷部８８は、入力された印刷デジタルデータを元に記録媒体に画像を印刷する画像記録部である。印刷部８８は、未加工の印刷デジタルデータＤ１３の印刷、及び加工した印刷デジタルデータＤ１４の印刷を行う。撮像部９０は、印刷部８８において印刷された印刷物を撮像する撮像装置である。

印刷部８８及び撮像部９０は、印刷撮像処理Ｐ５を実施する。印刷撮像処理Ｐ５は、印刷部８８において未加工の印刷デジタルデータＤ１３の印刷を行い、撮像部９０においてこの印刷物の撮像を行うことで、第１の学習用基準データＤ１を生成する処理である。印刷装置８０は、この第１の学習用基準データＤ１を第１の学習用基準データ記憶部２２に記憶させる。

同様に、印刷部８８及び撮像部９０は、印刷撮像処理Ｐ６を実施する。印刷撮像処理Ｐ６は、印刷部８８において加工した印刷デジタルデータＤ１４の印刷を行い、撮像部９０においてこの印刷物（欠陥印刷物の一例）の撮像を行うことで、欠陥のある学習用検査データＤ２を生成する処理である。印刷装置８０は、この学習用検査データＤ２を学習用検査データ記憶部２４に記憶させる。

このように取得した第１の学習用基準データＤ１と学習用検査データＤ２とを用いて、比較処理部２６において比較処理Ｐ１を行うことで、欠陥のある学習用欠陥情報Ｄ３を容易に収集することができる。

〔印刷デジタルデータの加工方法〕
例えば、印刷部８８がシアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、及びブラック（Ｋ）のインクを吐出して印刷を行うものであり、印刷デジタルデータがＣＭＹＫの４チャネルの多値のデジタル画像であり、各チャネルの画素値がその色のインクの吐出量を表す信号である場合を例に説明する。

ブラックのインクの吐出不良によるスジ状の欠陥をある位置に表現した印刷デジタルデータＤ１４を生成する場合は、印刷デジタルデータ加工部８４は、その位置におけるＫチャネルのデジタル画像の画素値を線状に弱めることで、欠陥が無い場合に比べて明るいスジ状の欠陥を表現することができる。或いは、画素値を強めることで、欠陥が無い場合に比べて暗いスジ状の欠陥を表現することができる。画素値の強弱の程度及び発生範囲を変更することで、欠陥の強度及び長さを表現することも可能である。もちろん、ブラックのインクの代わりに、シアン、マゼンタ、イエローのインクのチャネルの画像を加工して所望の欠陥を表現しても構わない。

或いは、不吐出補正の補正量や不吐出ノズルの密集度合いを変更することでスジ状の欠陥を表現してもよい。インクジェット印刷には不良ノズルを不吐出とした上で近傍ノズルの吐出量を制御（多くの場合は近傍ノズルの吐出量を増加させる）して不吐出位置の描画を補償する機能が搭載されていることがあるが、近傍ノズルの補正量が最適化されていない場合、補正不足や過補正となりスジ状の欠陥となる。このことを利用し、任意のノズルを不吐出化して最適でない不吐出補正を実施することでスジ状の欠陥を表現することができる。また、不吐出ノズルが密集していると近傍ノズルで補正しきれなくなり、結果スジ状の欠陥となる。このことを利用し任意のノズルとその周辺ノズルを不吐出化して密集させることでスジ状の欠陥を表現することができる。尚、不吐出補正の補正量や不吐出ノズルの密集度合いを変更することは、結局のところ印刷機で使用される画像データ（中間画像データ）を制御していると言えるため、加工した印刷デジタルデータＤ１４の一例に含まれる。

シアンのインクのインク垂れによるポツ状の欠陥をある位置に表現した印刷デジタルデータＤ１４を生成する場合は、印刷デジタルデータ加工部８４は、その位置におけるＣチャネルのデジタル画像の画素値を円状に強めることで、シアンのインク垂れを表現することができる。画素値の強弱の程度及び発生範囲を変更することで、欠陥の強度及び大きさを表現することも可能である。もちろん、ブラックのインクの代わりに、シアン、マゼンタ、イエローのインクのチャネルの画像を加工して所望の欠陥を表現しても構わない。

尚、未加工の印刷デジタルデータＤ１３がハーフトーン処理後の０又は１の値を持つ２値のデジタル画像である場合には、画素値を強めたり弱めたりする代わりに、表現したい位置で０の値、或いは１の値の出現割合を増減させることで、欠陥を表現することができる。

このように加工した印刷デジタルデータＤ１４について印刷撮像処理Ｐ６を実施することで、欠陥のある学習用検査データＤ２を生成することができる。一方、学習用検査データＤ２と対となる第１の学習用基準データＤ１を取得するには、これまでと同様に、未加工の印刷デジタルデータＤ１３について印刷撮像処理Ｐ５を実施すればよい。

＜第５の実施形態＞
〔機械学習モデルを生成する印刷装置〕
印刷装置では、記録媒体として様々な用紙銘柄が使用される。また、用紙銘柄によって印字される印刷画像の特性が変化する。例えば、インクジェット印刷装置の場合、用紙によってインクの浸透性が異なり再現濃度が変化したり、紙面のインクドットサイズが変化し、画像構造に影響を及ぼしたりする。

機械学習はモデルの学習時に使用された条件に近い状態でモデルを利用したほうが良い推定精度が得られる。例えば、グロス紙Ａを使用して生成されたモデルをマット紙Ｂに適用するよりも、マット紙Ｂを使用して生成されたモデルをマット紙Ｂに適用する、或いは、グロス紙Ａとマット紙Ｂの双方を使用して生成されたモデルをマット紙Ｂに適用する方が、良い推定精度が得られる。

しかしながら、印刷機の顧客が使用するすべての用紙を使って予めモデルを生成することは困難である。したがって、顧客の現場において、使用条件に応じたモデルを生成することが好ましいインクジェット印刷装置、及び、電子写真等の所謂デジタル印刷機では、版が不要で、登録された印刷デジタルデータを即座に印刷可能であるため、予め様々な印刷デジタルデータとその一部を加工して欠陥を表現した印刷デジタルデータを印刷機に登録しておくことで、現場で容易にモデルを生成することができる。

〔印刷装置の構成及び機械学習モデルの生成〕
図１１は、機械学習モデルの生成を行う印刷装置の構成を示すブロック図である。また、図１２は、機械学習モデルの生成を示すフロー図である。

印刷装置９２は、学習用情報生成装置２０、モデル生成装置４０、印刷物検査装置５０、未加工印刷デジタルデータ記憶部８２、印刷デジタルデータ加工部８４、加工済印刷デジタルデータ記憶部８６、印刷部８８、及び撮像部９０を備えている。

印刷装置９２は、未加工印刷デジタルデータ記憶部８２に未加工の印刷デジタルデータＤ１３を記憶している。印刷部８８及び撮像部９０は、未加工の印刷デジタルデータＤ１３に対して印刷撮像処理Ｐ５を実施し、第１の学習用基準データＤ１を生成する。第１の学習用基準データＤ１は、第１の学習用基準データ記憶部２２に記憶される。

また、印刷デジタルデータ加工部８４は、未加工の印刷デジタルデータＤ１３を未加工印刷デジタルデータ記憶部８２から読み出し、所望の加工を行い、加工した印刷デジタルデータＤ１４を生成する。加工した印刷デジタルデータＤ１４は、加工済印刷デジタルデータ記憶部８６に記憶される。

印刷部８８及び撮像部９０は、加工した印刷デジタルデータＤ１４に対して印刷撮像処理Ｐ６を実施し、学習用検査データＤ２を生成する。学習用検査データＤ２は、学習用検査データ記憶部２４に記憶される。

比較処理部２６は、第１の学習用基準データＤ１及び学習用検査データＤ２について比較処理Ｐ１を実施することで、欠陥のある学習用欠陥情報Ｄ３Ｄを取得する。欠陥のある学習用欠陥情報Ｄ３Ｄは、学習用欠陥情報記憶部２８に記憶される。

印刷デジタルデータ加工部８４において、様々な疑似的な欠陥を生じさせた印刷デジタルデータＤ１４を生成し、同様の処理を繰り返すことで、欠陥のある学習用欠陥情報Ｄ３Ｄを多数収集することができる。

また、第２の学習用基準データ記憶部３０は、未加工の印刷デジタルデータＤ１３と同じ第２の学習用基準データＤ４を記憶している。第２の学習用基準データ記憶部３０と未加工印刷デジタルデータ記憶部８２とは、共通化してもよい。

情報取得部４２は、学習用検査データＤ２及び第２の学習用基準データＤ４を学習用入力情報として取得し、欠陥のある学習用欠陥情報Ｄ３Ｄを学習用出力情報として取得する。

また、印刷部８８及び撮像部９０により、未加工の印刷デジタルデータＤ１３に対して印刷撮像処理Ｐ６を実施して学習用検査データＤ２を生成し、学習用検査データＤ２を学習用検査データ記憶部２４に記憶させ、比較処理部２６において第１の学習用基準データＤ１及び学習用検査データＤ２について比較処理Ｐ１を実施することで、欠陥のない学習用欠陥情報Ｄ３Ｎを取得する。尚、印刷時に偶発的に欠陥が生じた場合には、比較処理Ｐ１にて、欠陥のある学習用欠陥情報Ｄ３Ｄが取得されることになることに注意する。或いは、情報取得部４２において、未加工の印刷デジタルデータＤ１３を元にする第１の学習用基準データＤ１を欠陥のない学習用入力情報として取得し、欠陥のない学習用欠陥情報Ｄ３Ｎを欠陥のない学習用出力情報として取得する。学習用欠陥情報Ｄ３Ｎの取得方法は上記どちらの方法を用いてもよいし、併用してもよい。

モデル生成部４４は、学習用入力情報である学習用検査データＤ２（欠陥のない学習用検査データＤ２は第１の学習用基準データＤ１を流用してもよい）及び第２の学習用基準データＤ４と、学習用出力情報である欠陥のある学習用欠陥情報Ｄ３Ｄとから、元データ比較方式の調整機械学習モデルＤ１５を生成する調整モデル生成処理Ｐ７を実施する。調整機械学習モデルＤ１５はモデル記憶部４６に記憶される。尚、「調整」とは、特定の顧客向けに調整していることを示す。

尚、調整モデル生成処理Ｐ７は、現場で取得或いは生成した学習用入力情報と学習用出力情報のみを使用して実施してもよい（調整モデル生成方法Ａ）し、既存の機械学習モデルＤ５を作成した際に使用した学習用入力情報と学習用出力情報と現場で取得或いは生成した学習用入力情報と学習用出力情報と合算したものを使用して実施してもよい（調整モデル生成方法Ｂ）。或いは、現場で取得或いは生成した学習用入力情報と学習用出力情報を用いてミニバッチ学習やオンライン学習などの技術を使って既存の機械学習モデルを更新してもよい（調整モデル生成方法Ｃ）。このようにして、調整機械学習モデルＤ１５が生成される。

調整モデル生成方法Ａを使用する場合は、顧客の使用条件に特化したモデルを生成することができるという利点がある。また、調整モデル生成方法Ｂ、或いは調整モデル生成方法Ｃを使用する場合は、学習データ量が多くなるため生成される機械学習モデルＤ５の性能が安定しやすいという利点がある。

第５の実施形態の特徴は、正解データ比較方式（比較処理Ｐ１）を用いて、特定の顧客向けに調整された元データ比較方式用の機械学習モデルを生成することである。正解データ比較方式では同じ銘柄の用紙に印字された印刷画像を元に欠陥の検査が行われるため、どのような用紙銘柄が用いられても良好な検査ができるのに対し、元データ比較方式では印刷デジタルデータとの比較になるため、機械学習モデルを顧客向けに調整しない場合に検査精度が低下しやすい。よって、本実施形態のように正解データ比較方式を用いて、顧客の使用する用紙銘柄に調整された元データ比較方式用の機械学習モデルを生成することで、検査精度を大きく向上させることができる。

第５の実施形態は、顧客が使用する用紙に焦点を当てた説明がなされているが、仮に用紙が元々の機械学習モデル生成時に使用されたものと同じであっても、本実施形態の「機械学習モデルの調整」は有用である。例えば、顧客が独自に印字に関わるコンフィグ（インク種、インク吐出条件、乾燥条件）を変更したりする場合にも有効であるし、コンフィグを変更しない場合にも、印刷機そのものが有する各種ばらつき（号機差）に応じた「調整」を行うことができる。

〔印刷物の欠陥検査〕
印刷装置９２は、出荷する印刷物のための印刷デジタルデータが未加工の印刷デジタルデータＤ１３として未加工印刷デジタルデータ記憶部８２に記憶されている。印刷部８８は、未加工の印刷デジタルデータＤ１３の印刷を行う。また、撮像部９０は、この印刷物の撮像を行い、検査データＤ６として検査データ記憶部５２に記憶させる。

また、基準データ記憶部５４には、未加工の印刷デジタルデータＤ１３と同じ出荷する印刷物のための印刷デジタルデータが基準データＤ７として記憶されている。基準データ記憶部５４と未加工印刷デジタルデータ記憶部８２とは、共通化してもよい。

欠陥検査部５８は、入力された検査データＤ６及び基準データＤ７に対して機械学習モデルＤ５を適用して印刷物の欠陥検査を実施し、検査結果Ｄ８を取得する欠陥検査処理Ｐ３を実施する。取得された検査結果Ｄ８は、検査結果記憶部６０に記憶される。

ここで、機械学習モデルＤ５が調整機械学習モデルＤ１５によって更新されているため、顧客の使用条件に応じた欠陥検査を行うことができる。例えば、顧客で使用する用紙銘柄に印刷を行って調整機械学習モデルＤ１５を生成し、機械学習モデルＤ５を更新することで、用紙銘柄に適した欠陥検査を行うことができる。

このように、印刷装置９２に、正解データ比較方式の検査機能を有する学習用情報生成装置２０と、元データ比較方式の検査機能を有する印刷物検査装置５０の双方を搭載し、顧客が現場において正解データ比較方式で検査を行い、その結果を元に、元データ比較方式の機械学習モデルを生成又は更新する機能を用意することで、顧客の使用条件に適した元データ比較方式の調整機械学習モデルＤ１５を現場において取得することができる。

本実施形態では、調整モデル生成処理Ｐ７の演算を印刷装置９２において行ったが、印刷装置９２に接続されたコンピュータで実施してもよいし、ネットワークに接続されたクラウド環境で実施してもよい。

＜第６の実施形態＞
印刷装置９２を適用したインクジェット印刷装置について説明する。

〔インクジェット印刷装置の構成〕
図１３は、インクジェット印刷装置１００の全体の概略構成を示す全体構成図である。図１３に示すように、インクジェット印刷装置１００は、印刷媒体である枚葉の用紙Ｐにシアン（Ｃ）、マゼンタ（Ｍ）、イエロー（Ｙ）、及びブラック（Ｋ）の４色のインクを吐出してカラー画像を印刷する印刷機である。

用紙Ｐには汎用の印刷用紙が使用される。汎用の印刷用紙とは、いわゆるインクジェット専用紙ではなく、一般のオフセット印刷等に用いられる塗工紙等のセルロースを主体とした用紙をいう。また、インクには水性インクが使用される。水性インクとは、水及び水に可溶な溶媒に染料、顔料等の色材を溶解又は分散させたインクをいう。

図１３に示すように、インクジェット印刷装置１００は、搬送部１１０、印刷部１２０、撮像部１３０、乾燥部１４０、選別部１５０、及び排紙部１６０を備えて構成される。

〔搬送部〕
搬送部１１０は、不図示の給紙部から給紙された用紙Ｐを搬送方向（Ｙ方向）に搬送する。搬送部１１０は、上流側プーリ１１２、下流側プーリ１１４、及び搬送ベルト１１６を備えている。

上流側プーリ１１２は、水平方向に延びる不図示の回転軸を有し、回転軸が回転自在に軸支されている。下流側プーリ１１４は、上流側プーリ１１２の回転軸と平行な不図示の回転軸を有し、回転軸が回転自在に軸支されている。

搬送ベルト１１６は、ステンレス製の無端状のベルトである。搬送ベルト１１６は、上流側プーリ１１２及び下流側プーリ１１４に架け渡されている。ステンレス製の搬送ベルト１１６を使用することで、用紙Ｐの平坦性を良好に保つことができる。

下流側プーリ１１４は、駆動手段として不図示のモータを有している。モータが駆動すると、下流側プーリ１１４が図１３において左回りに回転する。上流側プーリ１１２は、下流側プーリ１１４の回転に従動して図１３において左回りに回転する。上流側プーリ１１２及び下流側プーリ１１４の回転により、搬送ベルト１１６は上流側プーリ１１２及び下流側プーリ１１４の間を走行経路に沿って走行する。

搬送ベルト１１６の搬送面には、不図示の給紙部から供給された用紙Ｐが載置される。搬送部１１０は、搬送ベルト１１６に載置された用紙Ｐを上流側プーリ１１２から下流側プーリ１１４に向かう搬送経路に沿って搬送し、排紙部１６０に受け渡す。この搬送経路の、印刷部１２０、撮像部１３０、乾燥部１４０、及び選別部１５０に対向する位置において、用紙Ｐは印刷面を水平に保持されて搬送される。

搬送ベルト１１６に不図示の複数の吸着孔を設け、不図示のポンプにより搬送ベルト１１６の吸着孔を吸引することで、搬送ベルト１１６の搬送面に載置された用紙Ｐを搬送面に吸着保持してもよい。

〔印刷部〕
印刷部１２０は、用紙Ｐに画像を形成（印刷）する。印刷部１２０は、インクジェットヘッド１２２Ｃ、１２２Ｍ、１２２Ｙ、及び１２２Ｋを備えている。インクジェットヘッド１２２Ｃは、シアンのインク滴をインクジェット方式で吐出する。同様に、インクジェットヘッド１２２Ｍ、１２２Ｙ、及び１２２Ｋは、それぞれマゼンタ、イエロー、及びブラックのインク滴をインクジェット方式で吐出する。

インクジェットヘッド１２２Ｃ、１２２Ｍ、１２２Ｙ及び１２２Ｋは、搬送ベルト１１６による用紙Ｐの搬送経路に沿って一定の間隔をもって配置される。インクジェットヘッド１２２Ｃ、１２２Ｍ、１２２Ｙ及び１２２Ｋは、それぞれラインヘッドで構成され、最大の用紙幅に対応する長さで形成される。インクジェットヘッド１２２Ｃ、１２２Ｍ、１２２Ｙ及び１２２Ｋは、ノズル面（ノズルが配列される面）が搬送ベルト１１６に対向するように配置される。

インクジェットヘッド１２２Ｃ、１２２Ｍ、１２２Ｙ及び１２２Ｋは、ノズル面に形成されたノズルから、搬送ベルト１１６によって搬送される用紙Ｐに向けてインク滴を吐出することにより、用紙Ｐの印刷面に画像を形成する。

このように、印刷部１２０は、搬送ベルト１１６によって搬送される用紙Ｐに対して１回の走査によって、いわゆるシングルパス方式によって印刷物を生成する。印刷部１２０は、印刷部８８と共通であってもよい。

〔撮像部〕
撮像部１３０は、撮像部９０と共通であってもよい。撮像部１３０は、用紙Ｐの印刷面の画像を取得する。撮像部１３０は、用紙Ｐの搬送方向に対して印刷部１２０の下流側に配置される。撮像部１３０は、スキャナ１３２を備えている。

スキャナ１３２は、インクジェットヘッド１２２Ｃ、１２２Ｍ、１２２Ｙ及び１２２Ｋを用いて用紙Ｐに形成された画像を光学的に読み取り、その読取画像を示す画像データを生成する装置である。スキャナ１３２は、用紙Ｐ上に印刷された画像を撮像して電気信号に変換する撮像デバイスを含む。撮像デバイスとしてカラーＣＣＤ（charge coupled device）リニアイメージセンサを用いることができる。尚、カラーＣＣＤリニアイメージセンサに代えて、カラーＣＭＯＳ（complementary metal oxide semiconductor）リニアイメージセンサを用いることもできる。

スキャナ１３２は、撮像デバイスの他、読み取り対象を照明する照明光学系及び撮像デバイスから得られる信号を処理してデジタル画像データを生成する信号処理回路を含んでもよい。

〔乾燥部〕
乾燥部１４０は、用紙Ｐのインクを乾燥させる。乾燥部１４０は、用紙Ｐの搬送方向に対して撮像部１３０の下流側に配置される。

乾燥部１４０は、ヒータ１４２を備えている。ヒータ１４２としては、例えば、ハロゲンヒータ及び赤外線ヒータのうち少なくとも一方が使用される。ヒータ１４２は、用紙Ｐの印刷面を加熱して、用紙Ｐのインクを乾燥させる。乾燥部１４０は、ファン又はブロア等の送風手段を含んでいてもよい。

〔選別部〕
選別部１５０は、搬送ベルト１１６によって搬送される用紙Ｐに関する良否判定に応じて、印刷物を選別する。選別部１５０は、用紙Ｐの搬送方向に対して乾燥部１４０の下流側に配置される。選別部１５０は、スタンパ１５２を備えている。

スタンパ１５２は、搬送ベルト１１６によって搬送される用紙Ｐに関する良否判定に応じて、不良品印刷物と判定された用紙Ｐの先端エッジにインクを付着させるスタンプ処理を行う。

〔排紙部〕
排紙部１６０は、画像が形成され、乾燥された用紙Ｐ（印刷物）を回収する。排紙部１６０は、用紙Ｐの搬送方向に対して選別部１５０の下流側であって、搬送部１１０の搬送経路の終点に配置される。排紙部１６０は、排紙台１６２を備えている。

排紙台１６２は、搬送ベルト１１６によって搬送された用紙Ｐを積み重ねて回収する。排紙台１６２には、不図示の前用紙当て、後用紙当て、横用紙当てが備えられており、用紙Ｐを整然と積み重ねる。

また、排紙台１６２は、不図示の昇降装置によって昇降可能に設けられる。昇降装置は、排紙台１６２に積み重ねられる用紙Ｐの増減に連動して駆動が制御される。これにより、排紙台１６２に積み重ねられた用紙Ｐのうち最上位に位置する用紙Ｐが常に一定の高さとなる。

〔インクジェット印刷装置の制御系〕
図１４は、インクジェット印刷装置１００の内部構成を示すブロック図である。インクジェット印刷装置１００は、前述の学習用情報生成装置２０、モデル生成装置４０、印刷物検査装置５０、搬送部１１０、印刷部１２０、撮像部１３０、乾燥部１４０、選別部１５０、及び排紙部１６０の他、ユーザインターフェース１７０、記憶部１７２、統括制御部１７４、搬送制御部１７６、印刷制御部１７８、撮像制御部１８０、乾燥制御部１８２、選別制御部１８４、及び排紙制御部１８６を備えている。

ユーザインターフェース１７０は、ユーザがインクジェット印刷装置１００を操作するための不図示の入力部及び不図示の表示部を備えている。入力部は、例えばユーザからの入力を受け付ける操作パネルである。表示部は、例えば画像データ及び各種の情報を表示するディスプレイである。ユーザは、ユーザインターフェース１７０を操作することで、インクジェット印刷装置１００に所望の画像を印刷させることができる。

記憶部１７２は、インクジェット印刷装置１００を制御するためのプログラム及びプログラムの実行に必要な情報を記憶する。記憶部１７２は、不図示のハードディスク、又は各種半導体メモリ等の非一時的記録媒体により構成される。第１の学習用基準データＤ１、学習用検査データＤ２、学習用欠陥情報Ｄ３、第２の学習用基準データＤ４、機械学習モデルＤ５等を一時的に記憶する不図示のＲＡＭ（Random Access Memory）等の揮発性のメモリを備えていてもよい。また、記憶部１７２は、未加工印刷デジタルデータ記憶部８２、及び加工済印刷デジタルデータ記憶部８６を兼ねる。

統括制御部１７４は、記憶部１７２に記憶されたプログラムに従って各種の処理を行い、インクジェット印刷装置１００の全体の動作を統括制御する。学習用情報生成装置２０、モデル生成装置４０、印刷物検査装置５０についても、統括制御部１７４により統括制御される。また、統括制御部１７４は、印刷デジタルデータ加工部８４を兼ねる。

搬送制御部１７６は、搬送部１１０の不図示のモータを制御することで、搬送部１１０によって用紙Ｐを搬送方向に搬送させる。これにより、不図示の給紙部から供給された用紙Ｐは、印刷部１２０、撮像部１３０、乾燥部１４０、及び選別部１５０と対向する位置を通過し、最後に排紙部１６０に排紙される。

印刷制御部１７８は、インクジェットヘッド１２２Ｃ、１２２Ｍ、１２２Ｙ、及び１２２Ｋによるインクの吐出を制御する。印刷制御部１７８は、インクジェットヘッド１２２Ｃ、１２２Ｍ、１２２Ｙ、及び１２２Ｋによって、それぞれのノズル面と対向する位置を用紙Ｐが通過するタイミングにおいて、シアン、マゼンタ、イエロー、及びブラックのインク滴を用紙Ｐに向けて吐出させる。これにより、用紙Ｐの印刷面にカラー画像が形成され、用紙Ｐは「印刷物」となる。

撮像制御部１８０は、スキャナ１３２による撮像を制御することで、撮像部１３０によって用紙Ｐ（印刷物）の画像を読み取らせる。撮像制御部１８０は、スキャナ１３２によって、スキャナ１３２と対向する位置を用紙Ｐが通過するタイミングにおいて、用紙Ｐに形成された画像を読み取らせる。これにより、検査画像を取得する。

乾燥制御部１８２は、ヒータ１４２による加熱を制御することで、乾燥部１４０によって用紙Ｐを乾燥させる。乾燥制御部１８２は、ヒータ１４２によって、ヒータ１４２と対向する位置を用紙Ｐが通過する際に用紙Ｐを加熱させる。

選別制御部１８４は、スタンパ１５２によるスタンプ処理を制御することで、選別部１５０によって用紙Ｐを選別させる。選別制御部１８４（印刷物の欠陥の検出結果を出力する出力部の一例）は、検出された欠陥に応じて印刷物を良品印刷物と不良品印刷物とに分類する。選別制御部１８４は、スタンパ１５２と対向する位置を通過する用紙Ｐが不良品印刷物と判定された用紙Ｐである場合は、スタンパ１５２によってスタンプ処理を行う。

排紙制御部１８６は、排紙台１６２による用紙Ｐの積載を制御する。用紙Ｐは、排紙台１６２に排紙され、積み重ねられる。不良品印刷物の用紙Ｐには先端エッジにインクが付着している。このため、ユーザは、排紙台１６２に積載された用紙Ｐの中から不良品印刷物を特定することができる。

図１５は、インクジェット印刷装置１００によって印刷される印刷物の一例を示す図である。図１５に示すように、印刷物である用紙Ｐには、不良ノズル検知パターンＰＴ及び画像Ｇが印刷される。

不良ノズル検知パターンＰＴは、Ｘ方向に一定の間隔を開けたＹ方向に沿ったラインから構成される。ラインを形成するノズルを１ノズルずつずらして複数の不良ノズル検知パターンＰＴを印刷することで、全てのノズルの不良を検知することができる。

画像Ｇは、印刷デジタルデータを元に印刷された印刷結果である。印刷物検査装置５０は、画像Ｇにおける欠陥を検出する。図１５に示す画像Ｇは、Ｙ方向に延びるスジ状の欠陥ＤＦを有している。スジ状の欠陥には、連続的なスジの欠陥の他、断続的なスジの欠陥も含まれる。欠陥ＤＦは、欠陥ＤＦの位置にインクを吐出するノズルが、吐出不良であるために発生する。吐出不良のノズルは、不良ノズル検知パターンＰＴを用いて検知することも可能である。インクジェット印刷装置１００では、印刷物検査装置５０によって検出された欠陥に応じて印刷物を良品印刷物と不良品印刷物とに分類する。

＜その他＞
上記の機械学習モデルの生成方法及び検査方法は、各工程をコンピュータに実現させるためのプログラムとして構成し、このプログラムを記憶したＣＤ－ＲＯＭ（Compact Disk-Read Only Memory）等の非一時的な記録媒体を構成することも可能である。

ここまで説明した実施形態において、例えば、学習用情報生成装置２０、モデル生成装置４０、及び印刷物検査装置５０の各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、或いはＣＰＵとＦＰＧＡの組み合わせ、又はＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、サーバ及びクライアント等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

１０…生成システム
２０…学習用情報生成装置
２２…第１の学習用基準データ記憶部
２４…学習用検査データ記憶部
２６…比較処理部
２８…学習用欠陥情報記憶部
３０…第２の学習用基準データ記憶部
４０…モデル生成装置
４２…情報取得部
４４…モデル生成部
４６…モデル記憶部
５０…印刷物検査装置
５２…検査データ記憶部
５４…基準データ記憶部
５６…モデル記憶部
５８…欠陥検査部
６０…検査結果記憶部
６２…生成システム
６４…生成システム
６６…比較処理用モデル生成装置
６８…比較処理学習用基準データ記憶部
７０…比較処理学習用検査データ記憶部
７２…官能評価値入力部
７４…比較処理用モデル生成部
７６…比較処理用モデル記憶部
８０…印刷装置
８２…未加工印刷デジタルデータ記憶部
８４…印刷デジタルデータ加工部
８６…加工済印刷デジタルデータ記憶部
８８…印刷部
９０…撮像部
９２…印刷装置
１００…インクジェット印刷装置
１１０…搬送部
１１２…上流側プーリ
１１４…下流側プーリ
１１６…搬送ベルト
１２０…印刷部
１２２Ｃ…インクジェットヘッド
１２２Ｋ…インクジェットヘッド
１２２Ｍ…インクジェットヘッド
１２２Ｙ…インクジェットヘッド
１３０…撮像部
１３２…スキャナ
１４０…乾燥部
１４２…ヒータ
１５０…選別部
１５２…スタンパ
１６０…排紙部
１６２…排紙台
１７０…ユーザインターフェース
１７２…記憶部
１７４…統括制御部
１７６…搬送制御部
１７８…印刷制御部
１８０…撮像制御部
１８２…乾燥制御部
１８４…選別制御部
１８６…排紙制御部
Ｄ１…第１の学習用基準データ
Ｄ２…学習用検査データ
Ｄ３…学習用欠陥情報
Ｄ３Ｄ…欠陥のある学習用欠陥情報
Ｄ３Ｎ…欠陥のない学習用欠陥情報
Ｄ４…第２の学習用基準データ
Ｄ５…機械学習モデル
Ｄ６…検査データ
Ｄ７…基準データ
Ｄ８…検査結果
Ｄ９…比較処理学習用基準データ
Ｄ１０…比較処理学習用検査データ
Ｄ１１…官能評価値
Ｄ１２…比較処理用機械学習モデル
Ｄ１３…未加工の印刷デジタルデータ
Ｄ１４…加工した印刷デジタルデータ
Ｄ１５…調整機械学習モデル
Ｐ…用紙
Ｐ１…比較処理
Ｐ２…モデル生成処理
Ｐ３…欠陥検査処理
Ｐ４…比較処理モデル生成処理
Ｐ５…印刷撮像処理
Ｐ６…印刷撮像処理
Ｐ７…調整モデル生成処理

Claims

印刷物が撮像された撮像画像を元に取得された検査データと、印刷デジタルデータを元に取得された基準データとを、機械学習モデルで比較して印刷物の欠陥を検出するための機械学習モデルの生成方法であって、
学習用印刷デジタルデータを元に印刷された検査対象の印刷物が撮像された撮像画像を元にする学習用検査データと、前記学習用印刷デジタルデータを元に印刷された基準となる印刷物が撮像された撮像画像を元にする第１の学習用基準データと前記学習用検査データとを比較処理することで推定された前記学習用検査データの学習用欠陥情報と、前記学習用印刷デジタルデータを元にする第２の学習用基準データであって、印刷物を撮像した撮像画像に由来するものではない第２の学習用基準データと、を取得する取得工程と、
前記学習用検査データと前記第２の学習用基準データとを学習用入力情報として少なくとも使用し、前記学習用欠陥情報を学習用出力情報として少なくとも使用することで前記機械学習モデルを生成する生成工程と
を備えた機械学習モデルの生成方法。
前記学習用欠陥情報は離散値を含み、
前記生成工程は、分類を行う前記機械学習モデルを生成する請求項１に記載の機械学習モデルの生成方法。
前記離散値は、印刷物の欠陥の有無を示す２値の離散値である請求項２に記載の機械学習モデルの生成方法。
前記離散値は、印刷物の欠陥の強度を示す３値以上の離散値である請求項２又は３に記載の機械学習モデルの生成方法。
前記学習用欠陥情報は連続値を含み、
前記生成工程は、回帰を行う前記機械学習モデルを生成する請求項１から４のいずれか１項に記載の機械学習モデルの生成方法。
前記学習用欠陥情報は、印刷物の欠陥の位置情報を含む請求項１から５のいずれか１項に記載の機械学習モデルの生成方法。
前記生成工程は、前記機械学習モデルを深層学習により生成する請求項１から６のいずれか１項に記載の機械学習モデルの生成方法。
前記生成工程は、前記第１の学習用基準データと前記第２の学習用基準データを学習用入力情報として少なくとも使用し、欠陥が非存在であることを示す前記学習用欠陥情報を学習用出力情報として少なくとも使用することで前記機械学習モデルを生成する請求項１から７のいずれか１項に記載の機械学習モデルの生成方法。
前記取得工程は、前記学習用印刷デジタルデータの少なくとも一部が加工されることで欠陥が表現された加工済印刷デジタルデータを元に印刷された印刷物を撮像した学習用検査データを少なくとも取得する請求項１から８のいずれか１項に記載の機械学習モデルの生成方法。
前記取得工程は、前記第１の学習用基準データを取得し、
前記学習用検査データと前記第１の学習用基準データとを比較処理を行うことで前記学習用検査データの学習用欠陥情報を推定する比較処理工程を備えた請求項１から９のいずれか１項に記載の機械学習モデルの生成方法。
前記比較処理工程は、比較処理用機械学習モデルによって比較処理を行う請求項１０に記載の機械学習モデルの生成方法。
学習用印刷デジタルデータを元に印刷された基準となる第１印刷物と前記学習用印刷デジタルデータを元に印刷された比較対象の第２印刷物とを比較した官能評価値を入力する官能評価値入力工程と、
前記第１印刷物を撮像した比較処理学習用基準データと前記第２印刷物を撮像した比較処理学習用検査データとを学習用入力情報として使用し、前記官能評価値を学習用出力情報として使用することで、前記比較処理用機械学習モデルを生成する比較処理用モデル生成工程と、
を備えた請求項１１に記載の機械学習モデルの生成方法。
印刷デジタルデータを元に印刷された検査対象の印刷物が撮像された撮像画像を元にする検査データと、前記印刷デジタルデータを元にする基準データとを取得し、請求項１から１２のいずれか１項に記載の機械学習モデルの生成方法により生成された機械学習モデルで比較して前記検査対象の印刷物の欠陥を検出する欠陥検査工程を備えた検査方法。
印刷物が撮像された撮像画像を元に取得された検査データと、印刷デジタルデータを元に取得された基準データとを、機械学習モデルで比較して印刷物の欠陥を検出するための機械学習モデルの生成装置であって、
学習用印刷デジタルデータを元に印刷された検査対象の印刷物が撮像された撮像画像を元にする学習用検査データと、前記学習用印刷デジタルデータを元に印刷された基準となる印刷物が撮像された撮像画像を元にする第１の学習用基準データと前記学習用検査データとを比較処理することで推定された前記学習用検査データの学習用欠陥情報と、前記学習用印刷デジタルデータを元にする第２の学習用基準データであって、印刷物を撮像した撮像画像に由来するものではない第２の学習用基準データと、を取得する取得部と、
前記学習用検査データと前記第２の学習用基準データとを学習用入力情報として少なくとも使用し、前記学習用欠陥情報を学習用出力情報として少なくとも使用することで前記機械学習モデルを生成する生成部と、
を備えた機械学習モデルの生成装置。
請求項１４に記載の機械学習モデルの生成装置と、
印刷デジタルデータを元に印刷された検査対象の印刷物が撮像された撮像画像を元にする検査データと、前記印刷デジタルデータを元にする基準データとを取得し、前記機械学習モデルの生成装置により生成された機械学習モデルで比較して前記検査対象の印刷物の欠陥を検出する欠陥検査部を備えた検査装置。
請求項１５に記載の検査装置と、
前記印刷デジタルデータを元に印刷を行い、印刷物を生成する印刷部と、
前記印刷物を撮像するカメラと、
前記印刷物の欠陥の検出結果を出力する出力部と、
を備えた印刷装置。
前記学習用印刷デジタルデータの少なくとも一部を加工して欠陥を表現した加工済印刷デジタルデータを生成する加工部を備え、
前記印刷部は、前記加工済印刷デジタルデータを元に印刷を行い、欠陥印刷物を生成し、
前記カメラは、前記欠陥印刷物を撮像し、
前記取得部は、前記欠陥印刷物が撮像された撮像画像を元にするデータを前記学習用検査データとして少なくとも取得する請求項１６に記載の印刷装置。
前記生成部は、前記カメラによって印刷物が撮像された撮像画像を元にする学習用検査データを用いて該印刷装置に適した機械学習モデルに調整された調整機械学習モデルを生成する請求項１６又は１７に記載の印刷装置。
前記印刷部は、インクジェットヘッドを用いて印刷する請求項１６から１８のいずれか１項に記載の印刷装置。
請求項１から１２のいずれか１項に記載の機械学習モデルの生成方法をコンピュータに実行させるためのプログラム。
非一時的かつコンピュータ読取可能な記録媒体であって、前記記録媒体に格納された指令がコンピュータによって読み取られた場合に請求項２０に記載のプログラムをコンピュータに実行させる記録媒体。