JP6954260B2 - 学習装置、印刷制御装置及び学習済モデル - Google Patents

学習装置、印刷制御装置及び学習済モデル Download PDF

Info

Publication number
JP6954260B2
JP6954260B2 JP2018236084A JP2018236084A JP6954260B2 JP 6954260 B2 JP6954260 B2 JP 6954260B2 JP 2018236084 A JP2018236084 A JP 2018236084A JP 2018236084 A JP2018236084 A JP 2018236084A JP 6954260 B2 JP6954260 B2 JP 6954260B2
Authority
JP
Japan
Prior art keywords
image
learning
correction information
correction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018236084A
Other languages
English (en)
Other versions
JP2020098453A (ja
Inventor
知己 松澤
知己 松澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2018236084A priority Critical patent/JP6954260B2/ja
Priority to US16/714,924 priority patent/US11048988B2/en
Publication of JP2020098453A publication Critical patent/JP2020098453A/ja
Application granted granted Critical
Publication of JP6954260B2 publication Critical patent/JP6954260B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/18—Conditioning data for presenting it to the physical printing elements
    • G06K15/1867—Post-processing of the composed and rasterized print image
    • G06K15/1872—Image enhancement
    • G06K15/1878—Adjusting colours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/18—Conditioning data for presenting it to the physical printing elements
    • G06K15/1867—Post-processing of the composed and rasterized print image
    • G06K15/1872—Image enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/002—Interacting with the operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K15/00—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers
    • G06K15/02—Arrangements for producing a permanent visual presentation of the output data, e.g. computer output printers using printers
    • G06K15/18—Conditioning data for presenting it to the physical printing elements
    • G06K15/1867—Post-processing of the composed and rasterized print image
    • G06K15/1882—Post-processing of the composed and rasterized print image involving operator action
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00007—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to particular apparatus or devices
    • H04N1/00015—Reproducing apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00007—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to particular apparatus or devices
    • H04N1/00023—Colour systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00031—Testing, i.e. determining the result of a trial
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00026—Methods therefor
    • H04N1/00045—Methods therefor using a reference pattern designed for the purpose, e.g. a test chart
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00071—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for characterised by the action taken
    • H04N1/00082—Adjusting or controlling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/0035—User-machine interface; Control console
    • H04N1/00405—Output means
    • H04N1/00408—Display of information to the user, e.g. menus
    • H04N1/0044—Display of information to the user, e.g. menus for image preview or review, e.g. to help the user position a sheet
    • H04N1/00442—Simultaneous viewing of a plurality of images, e.g. using a mosaic display arrangement of thumbnails
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • H04N1/6038—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis for controlling interaction among colorants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、学習装置、印刷制御装置及び学習済モデル等に関する。
従来、所与の画像データを印刷する際に、当該画像データに対して補正処理を行う手法が広く知られている。例えば特許文献１には、人物像を含む画像データを、証明写真に適するように自動補正する手法が開示されている。
特開２００１−１８６３２３号公報
従来手法においては、自動補正を適切に行うためのパラメーター設定にかかる工数が膨大になる。例えば特許文献１に開示された手法は、あらかじめ肌色補正の目標値を用意しておき、当該目標値に基づいて肌色補正値を算出する。特許文献１の手法においては、適切な色補正値を算出するための目標値等を設定する負担が非常に大きい。
本開示の一態様は、画像と、前記画像を印刷するために指定された補正情報を取得する取得部と、前記画像と前記補正情報とを対応付けたデータセットに基づいて、印刷対象画像に対する補正に推奨される推奨補正情報を機械学習する学習部と、を含む学習装置に関係する。
学習装置の構成例。 学習装置を含むシステムの構成例。 学習処理に用いるデータセットを取得するための提示画面の例。 学習処理に用いるデータセットを取得するための提示画面の例。 学習処理に用いるデータセットを取得するための提示画面の例。 学習処理に用いるデータセットを取得するための提示画面の例。 ニューラルネットワークの構成例。 誤差逆伝播法を説明する図。 印刷制御装置の構成例。 印刷制御装置を含むシステムの構成例。 推論処理における入力データと出力データの例を説明する図。 推論処理を説明するフローチャート。 学習装置の他の構成例。 初期学習モデルを選択するための提示画面の例。 初期学習モデルを選択するための提示画面の例。 初期学習モデルを選択するための提示画面の例。 推論処理結果を用いて追加学習を行う処理を説明するフローチャート。 推論処理結果を用いて追加学習を行う処理を説明するフローチャート。 推論処理結果を用いて追加学習を行う処理を説明するフローチャート。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された内容を不当に限定するものではない。また本実施形態で説明される構成の全てが必須構成要件であるとは限らない。
１．概要
従来、画像の印刷において、当該画像に対して補正情報を用いた補正処理が行われる。この補正処理は、例えばプリンタードライバーなどの印刷用アプリケーションによって行われる。ここでの補正情報は、所与の画像を、印刷に適した態様に補正するための情報である。補正情報は、具体的には画像の視認性の変化度合いを指定するパラメーターの集合である。例えば、補正情報は、色濃度を表す情報を含む。色濃度とは、印刷装置で使用されるインク又はトナーの色に対応する各色の濃度である。例えば、印刷装置がシアン、マゼンタ及びイエローの３色のインクを含む場合、色濃度を表す情報は、シアン、マゼンタ、イエローの各色濃度を表す数値データであって、色濃度そのものの値であってもよいし、色濃度を演算可能な情報であってもよい。補正情報に基づいて色濃度を調整することによって、印刷結果における色味を適切に調整することが可能になる。また、補正情報は色濃度に限定されず、明度を表す情報、コントラストを表す情報を含んでもよい。明度を表す情報についても、明度の値そのものであってもよいし、明度を演算するための情報であってもよい。コントラストを表す情報についても同様である。また、補正情報は画像の調整を行うための他の情報を含むことも妨げられず、例えば彩度を表す情報等を追加することが可能である。
従来手法において、補正情報の設定は、例えばユーザーが手動で行う必要がある。例えばユーザーは、シアン濃度、マゼンタ濃度、イエロー濃度、明度、コントラストのそれぞれを表す５つの数値を、補正情報として設定する。補正情報に基づく補正処理を行うことによって、印刷対象画像を所望の態様によって印刷することが可能になる。
ただし、補正情報をどのような値に設定すれば画像の色味や鮮やかさ等が所望の態様になるかを把握することは、ユーザーにとって容易でない。そのため、手動による補正情報の設定はユーザー負担が大きい。また画像には人物画像や風景画像等の種類の異なる画像が含まれる。風景画像も、自然物と人工物に大別可能であり、さらに、自然物の中でも山岳・渓流・夕景等の細分化が可能である。このような種々の画像に対して、それぞれ所望の補正処理を行うための補正情報を手動で設定する手法は、ユーザーの負担が非常に大きい。
また従来、人物モード、風景モード、夜景モード等、いくつかの補正モードをあらかじめ用意しておく手法が知られている。各補正モードには所与の値に設定された補正情報があらかじめ対応付けられている。そのため、ユーザーは具体的な値を設定せずとも、補正モードを選択することによって補正情報の調整が可能になる。
ただし補正モードを用いる従来手法においては、補正情報のパターンが補正モードの数に限定されてしまうため、柔軟な調整が難しい。また、補正モードの選択はユーザーが手動で行う必要がある。また、補正モードと補正情報との対応づけが固定されており、ユーザーごとの嗜好を反映させることが難しい。
よって本実施形態においては、印刷対象画像の印刷において推奨される補正情報の条件を機械学習する。以下、推奨される補正情報を推奨補正情報と表記する。学習処理においては、画像と補正情報を対応付けたデータセットが必要となるため、ある程度、ユーザーによる入力が必要となることが想定される。ただし学習結果が取得されれば、印刷対象画像の補正処理に適した補正情報を、学習結果に基づいて自動的に提示することが可能になる。また学習に用いるデータをユーザー固有のデータとすることによって、ユーザーごとの嗜好を反映した学習結果を取得することも可能である。
以下、本実施形態の学習処理、推論処理についてそれぞれ説明する。学習処理とは、訓練データに基づく機械学習を行うことによって、学習結果を取得する処理である。学習結果とは、具体的には学習済モデルである。推論処理とは、学習処理によって生成された学習済モデルを用いて、入力に基づく何らかの推論結果を出力する処理である。また、推論処理の結果に基づいて学習済モデルを更新する手法についても説明する。
２．学習処理
２．１ 学習装置の構成例
図１は、本実施形態の学習装置１００の構成例を示す図である。学習装置１００は、学習に用いられる訓練データを取得する取得部１１０と、当該訓練データに基づいて機械学習を行う学習部１２０と、種々の情報をユーザーに提示する提示部１３０を含む。
取得部１１０は、例えば訓練データを他の装置から取得する通信インターフェースである。或いは取得部１１０は、学習装置１００が保持する訓練データを取得してもよい。例えば、学習装置１００は不図示の記憶部を含み、取得部１１０は当該記憶部から訓練データを読み出すためのインターフェースである。本実施形態における学習は、例えば教師あり学習である。教師あり学習における訓練データは、入力データと正解ラベルとを対応付けたデータセットである。正解ラベルは、教師データと言い換えてもよい。
学習部１２０は、取得部１１０が取得した訓練データに基づく機械学習を行い、学習済モデルを生成する。なお、本実施形態の学習部１２０は、下記のハードウェアにより構成される。ハードウェアは、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むことができる。例えば、ハードウェアは、回路基板に実装された１又は複数の回路装置や、１又は複数の回路素子で構成することができる。１又は複数の回路装置は例えばＩＣ等である。１又は複数の回路素子は例えば抵抗、キャパシター等である。
また学習部１２０は、下記のプロセッサーにより実現されてもよい。本実施形態の学習装置１００は、情報を記憶するメモリーと、メモリーに記憶された情報に基づいて動作するプロセッサーと、を含む。情報は、例えばプログラムと各種のデータ等である。プロセッサーは、ハードウェアを含む。プロセッサーは、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）等、各種のプロセッサーを用いることが可能である。メモリーは、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）などの半導体メモリーであってもよいし、レジスターであってもよいし、ハードディスク装置等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリーはコンピューターにより読み取り可能な命令を格納しており、当該命令がプロセッサーにより実行されることで、学習装置１００の各部の機能が処理として実現されることになる。ここでの命令は、プログラムを構成する命令セットの命令でもよいし、プロセッサーのハードウェア回路に対して動作を指示する命令であってもよい。
提示部１３０は、各種情報をユーザーに提示する。例えば提示部１３０は、各種情報をユーザーに表示するディスプレイ等の表示部である。表示部は、例えばタッチパネルであり、ユーザーからの入力操作を受け付ける操作インターフェースを兼ねてもよい。ただし提示部１３０による提示は表示に限定されない。例えば提示部１３０はスピーカーであり、音を用いた提示を行ってもよい。或いは提示部１３０はＬＥＤ（light emitting diode）等の発光部であり、光の明滅等を用いた提示を行ってもよい。また提示部１３０は、複数の提示手法を組み合わせてもよい。
より具体的には、取得部１１０は、画像と、画像を印刷するために指定された補正情報を取得する。学習部１２０は、画像と補正情報とを対応付けたデータセットに基づいて、印刷対象画像に対する補正に推奨される推奨補正情報を機械学習する。このようにすれば、画像と、当該画像の印刷指示を行った際に指定された補正情報とを対応付けた学習を行うことによって、学習結果を取得することが可能になる。当該学習結果を用いることによって、過去の印刷における補正処理を考慮した適切な補正情報を設定することが可能になる。特に、所与のユーザーによる印刷履歴を上記データセットとして用いた場合、当該ユーザーの嗜好を反映した補正情報の設定を可能とするための学習処理を実現できる。具体的な学習処理の流れについては、図７及び図８を用いて後述する。
図２は、本実施形態の学習装置１００を含むシステムの構成例を示す図である。学習装置１００は、例えば印刷装置１０に接続される処理装置２０に含まれる。なおここでの印刷装置１０は、印刷機能を含む複数の機能を有する複合機（ＭＦＰ：Multifunction Peripheral）であってもよい。
印刷装置１０は、メインＣＰＵ、サブＣＰＵなどの複数のＣＰＵ、或いはＭＰＵ（Micro-processing unit）を含むことができる。メインＣＰＵは、印刷装置１０の各部の制御や全体的な制御を行う。サブＣＰＵは、例えば印刷についての各種の処理を行う。また印刷装置１０は、印刷エンジンを含む。印刷エンジンとは、印刷媒体への画像の印刷を実行する機械的構成である。印刷エンジンは、例えば搬送機構やインクジェット方式の吐出ヘッド、当該吐出ヘッドを含むキャリッジの駆動機構等を含む。印刷エンジンは、搬送機構により搬送される印刷媒体に対して、吐出ヘッドからインクを吐出することによって、印刷媒体に画像を印刷する。印刷媒体は、紙や布等、種々の媒体を利用できる。なお、印刷エンジンの具体的構成はここで例示したものに限られず、電子写真方式でトナーにより印刷するものや、熱転写方式により印刷するものでもよい。その他、印刷装置１０は通信部、記憶部、表示部、操作部等、印刷装置に広く用いられる種々の構成を含むことが可能である。
処理装置２０は、学習装置１００と、記憶部２１を含む。また処理装置２０は、印刷アプリケーションを含む。印刷アプリケーションは、印刷対象画像の選択、及び印刷指示をユーザーに実行させるためのソフトウェアである。印刷アプリケーションは、印刷対象画像に対して補正情報に基づく補正処理を行う。また印刷アプリケーションは、ユーザーの印刷指示に基づいて、印刷対象画像の印刷を印刷装置１０に実行させる処理を行う。
例えば、学習装置１００は、学習処理に加えて、印刷アプリケーションに従った処理を行う装置である。より具体的には、学習処理に関するアルゴリズムが記載された学習ソフトウェアに従ってプロセッサー等が動作することによって学習装置１００の各部の機能が実現される場合において、当該プロセッサーは印刷アプリケーションに従った動作を行う。このようにすれば、学習装置１００は、印刷対象画像の候補画像の表示処理、印刷指示ボタンの表示処理、ユーザー操作受付処理、印刷実行処理等を行うことが可能になる。なお、印刷アプリケーションは、印刷装置１０の制御を行うソフトウェアであるプリンタードライバーを含むソフトウェアであってもよい。或いは印刷アプリケーションは、プリンタードライバーとは異なるソフトウェアとして実現されてもよい。例えば、印刷アプリケーションであるプリンタードライバーは、プリンタードライバー自身によって、あるいは他の通信アプリケーションやオペレーティングシステムを介することにより印刷装置１０との通信を行う。
印刷対象画像の候補画像が記憶される記憶媒体は種々の態様が考えられる。例えば、候補画像は、処理装置２０の記憶部２１に記憶されてもよい。また候補画像は、サーバーシステム４０に含まれるＨＤＤ等の記憶部に記憶されてもよい。処理装置２０とサーバーシステム４０はネットワークを介して接続される。ここでのネットワークは有線、無線を問わない。例えば処理装置２０とサーバーシステム４０との通信は、Ｗｉ−Ｆｉ方式に従った無線通信である。Ｗｉ−Ｆｉ方式は、例えば、ＩＥＥＥの８０２．１１の規格、及び、それに準ずる規格に基づく無線通信方式である。
また印刷対象画像の候補画像は、携帯端末装置５０、撮像装置６０等の記憶部に記憶されてもよい。携帯端末装置５０とは例えばスマートフォンやタブレット端末である。撮像装置６０は、デジタルカメラである。携帯端末装置５０及び撮像装置６０の記憶部は、内蔵メモリーであってもよいし、メモリーカードスロットに装着されるメモリーカードであってもよい。処理装置２０と携帯端末装置５０は、Ｗｉ−ＦｉやBluetooth（登録商標）等の規格に従った無線通信を用いて接続されてもよいし、ＵＳＢ（Universal Serial Bus）等の規格に従った有線接続が用いられてもよい。処理装置２０と撮像装置６０の接続も同様である。
また印刷対象画像の候補画像は、クラウド３０に記憶されてもよい。具体的には、候補画像は、クラウドサービスとして実現される記憶媒体に記憶されてもよい。クラウドサービスにおいては、処理装置２０は記憶媒体を含む具体的な装置を意識することなく、ネットワーク上に記憶された候補画像を参照可能である。なおクラウドサービスに用いられるネットワークは、例えばインターネット等の公衆無線通信網である。
処理装置２０の印刷アプリケーションは、印刷対象画像の印刷指示を受け付けると、設定されている補正情報に基づく補正処理が行われた印刷対象画像を、印刷装置１０に出力する。学習装置１００が印刷アプリケーションの機能を備えることによって、印刷対象画像として選択された画像と、当該画像の印刷において実際に使用された補正情報とを、対応付けて取得可能である。
ただし、本実施形態の学習装置１００は以上で説明した構成に限定されない。例えば、印刷アプリケーションの機能を備えた学習装置１００は、携帯端末装置５０等の他の装置に含まれてもよい。広義には、学習装置１００は、印刷装置１０と直接接続されない装置に含まれてもよい。この場合、学習装置１００は、処理装置２０に含まれるプリンタードライバーを経由することによって、印刷装置１０へ印刷指示を送信する。例えば、学習装置１００は、図２のサーバーシステム４０に含まれてもよいし、他のサーバーシステムに含まれてもよい。この場合の学習装置１００は、例えばＷｅｂアプリケーションである。或いは学習装置１００は、図２に記載の他の装置に含まれてもよいし、図２には不図示の装置に含まれてもよい。
以上のように、訓練データの円滑な取得という観点からすれば、本実施形態の学習装置１００は、印刷アプリケーションの機能を備えることが望ましい。ただし本実施形態の手法はこれに限定されない。具体的には、印刷アプリケーションは、学習装置１００の各部の機能を実現するプロセッサーとは異なるプロセッサーにおいて動作するプログラムであってもよい。この場合、補正情報の管理は、学習装置１００の外部に設けられる印刷アプリケーションにおいて実行される。学習装置１００の取得部１１０は、当該印刷アプリケーションから、画像及び補正情報を含む訓練データを取得する処理を行う。
２．２ 学習処理に用いるデータセットの詳細
以上で説明したとおり、本実施形態の学習処理において用いられる訓練データは、少なくとも画像と、当該画像の印刷指示が行われた際に設定されていた補正情報を対応付けたデータセットである。このようなデータセットを用いた学習処理を行うことによって、ユーザーの好む補正処理を実現可能な補正情報を、推奨補正情報として出力することが可能になる。
画像と補正情報を対応付けたデータセットを取得する手法は種々考えられる。例えば、学習段階においては、従来手法と同様に、画像に対する補正情報の設定をユーザーが手動で行ってもよい。具体的には、取得部１１０は、実際の印刷処理を繰り返す中で、印刷が行われた画像と、当該画像に対して適用された補正情報とを対応付けて取得してもよい。この場合、学習処理が完了するまでは従来手法と同様に手動での補正処理が行われ、学習処理の完了後は、学習済モデルを用いた自動的な補正処理が行われる。
或いは学習装置１００は、訓練データを取得するための提示処理及びユーザー操作の受付処理を行うことによって、画像と補正情報を対応付けたデータセットを取得してもよい。
図３は、訓練データを取得するための表示画面の例である。学習装置１００は、人物画像であるオリジナルサンプル画像に対して異なる補正情報に基づく補正が行われた複数のサンプル画像を、ユーザーに提示する提示部１３０を含む。ここでのオリジナルサンプル画像は、訓練データ取得用にあらかじめ保持されている画像である。また、補正サンプル画像１〜４は、オリジナルサンプル画像に対して、それぞれ異なる補正情報である補正情報１〜４を適用することによって生成された画像である。なお、補正サンプル画像は、学習装置１００がその都度生成してもよいし、あらかじめ生成されていてもよい。また補正サンプル画像の枚数は４枚に限定されない。
学習部１２０は、複数のサンプル画像から選択されたサンプル画像に対応する補正情報と、オリジナルサンプル画像とを対応付けたデータセットに基づいて機械学習を行う。例えば、ユーザーによって補正サンプル画像ｉ（ｉは１〜４のいずれかの整数）が選択された場合、取得部１１０は、補正処理前の画像であるオリジナルサンプル画像と、補正サンプル画像ｉの生成に用いられた補正情報ｉを対応付けたデータセットを取得する。このようにすれば、所与の画像と、当該画像に対してユーザーの嗜好に沿った補正処理を実行するための補正情報とを対応付けたデータセットを取得することが可能になる。学習部１２０が当該データセットに基づく学習を行うことによって、ユーザーの嗜好を反映した学習処理が可能になる。
学習処理の精度、即ち、学習結果に基づいて出力される推奨補正情報の精度を考慮すれば、学習に用いる訓練データの数は多いことが望ましい。また、画像の種類についても人物画像だけではなく風景画像等の他の種類の画像を、学習対象に含めることが望ましい。よって提示部１３０は、第１のオリジナルサンプル画像に対して、異なる補正情報に基づく補正が行われた複数のサンプル画像を提示する。且つ、提示部１３０は、第１のオリジナルサンプル画像とは種類の異なる第２のオリジナルサンプル画像に対して、異なる補正情報に基づく補正が行われた複数のサンプル画像を提示する。このようにすれば、複数の種類の画像を対象とした学習処理が行われるため、学習精度の向上が可能になる。なお種類の違いとは、画像内に含まれる被写体の違いである。
図４は、訓練データを取得するための表示画面の例である。提示部１３０は、風景画像であるオリジナルサンプル画像に対して異なる補正情報に基づく補正が行われた複数のサンプル画像を、ユーザーに提示する。取得部１１０及び学習部１２０における処理は、図３の場合と同様である。取得部１１０は、オリジナルサンプル画像と、選択されたサンプル画像に対応する補正情報を取得する。学習部１２０は、取得部１１０が取得した情報を対応付けたデータセットに基づく学習処理を行う。
なお、提示部１３０によって提示されるオリジナルサンプル画像の種類は２つに限定されず、３つ以上であってもよい。また提示部１３０は、同じ種類の複数のオリジナルサンプル画像を提示してもよい。例えば提示部１３０は、特徴の異なる複数の人物画像をオリジナルサンプル画像として、図３と同様の提示を行う。ユーザーは、提示される各画面において、１つの補正サンプル画像の選択操作と「次へ」ボタンの押下操作を繰り返し実行する。このように、オリジナルサンプル画像の種類及び数を増やすことによって、学習精度のさらなる向上が可能になる。
学習部１２０は、複数のサンプル画像から選択されたサンプル画像の補正情報と、オリジナルサンプル画像とを対応付けたデータセットに基づいて機械学習を行うことによって、学習部１２０が学習するパラメーターを設定する。ここでのパラメーターは、学習処理によって決定されるパラメーター且つ推論処理において入力データから出力データを演算するためのパラメーターであって、例えば後述するニューラルネットワークにおける重み付け係数である。なお学習部１２０は、図３及び図４の画面に基づく機械学習によってパラメーターの初期値を設定してもよい。パラメーターの初期値を設定することによって、初期学習済モデルが生成される。
本実施形態の学習処理は、初期学習済モデルを生成する初期学習と、学習済モデルを更新する追加学習と、を含み、初期学習は図３及び図４に示す画面を用いて行われてもよい。追加学習は、図１７〜図１９を用いて後述するように、推論処理と平行して行われる。追加学習が前提である場合、当該追加学習によって学習済モデルをユーザー嗜好に合わせて更新していくことが可能であるため、初期学習に要求される学習精度は極端に高くない。そのため、例えばオリジナルサンプル画像の数を極端に多くする必要がなく、初期学習におけるユーザー負担の軽減が可能になる。
ただし本実施形態の手法は追加学習が必須とならない。即ち、図３及び図４等の画面に基づいて学習された学習済モデルが、固定的に用いられてもよい。この場合も、補正サンプル画像の選択はユーザーによって行われるため、ユーザーの嗜好が反映された学習処理が可能である。なお、精度を考慮すれば、追加学習を行わない場合のオリジナルサンプル画像の数及び種類は、追加学習を行う場合に比べて多いことが望ましい。
図５は、訓練データを取得するための他の表示画面の例である。提示部１３０は、オリジナルサンプル画像をユーザーに提示する。また提示部１３０は、補正情報をユーザーが入力するための画面を提示する。図５の例では、表示画面は、人物画像であるオリジナルサンプル画像、及び現在の補正情報に基づく補正処理が行われた後のサンプル画像のプレビュー領域Ａ１を含む。また表示画面は、補正情報に含まれる５つの補正値を入力するための入力領域Ａ２を含む。５つの補正値は、シアン色濃度、マゼンタ色濃度、イエロー色濃度、明度、コントラストであり、入力はスライダーによって行われる。なお、補正値を入力するための構成はスライダーに限定されず、例えばボックスに数値を入力する等、種々の変形実施が可能である。
初期状態において、プレビュー領域Ａ１にオリジナルサンプル画像が表示され、入力領域Ａ２の各補正値は所与の初期値に設定される。ユーザーは図５の画面において、スライダーを調整することによって補正情報の値を変更する。補正情報が変更された場合、学習装置１００は変更後の補正情報に基づいてオリジナルサンプル画像に対する補正処理を行い、補正処理結果をプレビュー領域Ａ１の領域に表示する。
取得部１１０は、提示されたオリジナルサンプル画像に基づいて、ユーザーが入力した補正情報を取得する。より具体的には、取得部１１０は、ユーザーによって「次へ」ボタンの押下操作が行われた際の補正情報を、オリジナルサンプル画像に対応付けて取得する。学習部１２０は、オリジナルサンプル画像と補正情報を対応付けたデータセットに基づいて機械学習を行う。このようにすれば、所与の画像と、当該画像に対してユーザーの嗜好に沿った補正処理を実行するための補正情報とを対応付けたデータセットを取得することが可能になる。図３の手法と比較した場合、ユーザー負担は増えるものの、よりユーザーの嗜好を反映した補正情報を取得することが可能になる。
なお、学習に用いる訓練データの数及び種類が多いことが望ましい点は、図３及び図４に示した画面を用いる場合と同様である。図６は、訓練データを取得するための表示画面の他の例である。提示部１３０は、風景画像であるオリジナルサンプル画像を表示する表示領域Ｂ１と、補正情報を入力するための入力領域Ｂ２を含む画面を、ユーザーに提示する。図５に加えて図６に示した画面を提示することによって、学習精度の向上が可能になる。また提示部１３０によって提示されるオリジナルサンプル画像の種類が３つ以上であってもよい点、同じ種類の複数のオリジナルサンプル画像を提示してもよい点についても、図３及び図４に示した画面を用いる場合と同様である。
学習部１２０は、オリジナルサンプル画像と、図５及び図６の画面に基づいて入力された補正情報とを対応付けたデータセットに基づいて機械学習を行うことによって、学習部１２０が学習するパラメーター設定する。なお学習部１２０は、図５及び図６の画面に基づく機械学習によってパラメーターの初期値を設定してもよい。即ち、本実施形態の学習処理は、図５及び図６に示す画面を用いた初期学習と追加学習とを含んでもよい。或いは追加学習が行われずに、図５及び図６等の画面に基づいて学習された学習済モデルが、固定的に用いられてもよい。
以上では、画像と補正情報とを対応付けたデータセットについて説明した。しかしユーザーの嗜好をより反映させた精度の高い学習を行うために、画像と補正情報以外の情報をデータセットに追加することも妨げられない。
例えば取得部１１０は、画像と補正情報に加え、当該画像の印刷出力先を表す印刷出力先情報を取得する。印刷出力先情報とは、印刷に用いられる印刷装置１０を特定する情報である。印刷装置１０を特定する情報は、シリアル番号であってもよいし、ＭＡＣアドレスであってもよいし、他の識別情報であってもよい。学習部１２０は、画像と、補正情報と、印刷出力先情報とを対応付けたデータセットに基づいて、推奨補正情報を機械学習する。
例えば学習部１２０は、画像と印刷出力先情報を入力とし、補正情報を当該入力に対する正解ラベルとするデータセットに基づいて、推奨補正情報を学習する。この場合、学習結果である学習済モデルは、画像と、現在設定されている印刷出力先を表す印刷出力先情報を受け付け、当該画像を当該印刷出力先において印刷する際に推奨される推奨補正情報を推定する処理を行う。
同じ画像であっても、印刷装置１０に応じて印刷結果が異なる場合がある。印刷装置１０に応じて、インクの原料、インク色の数及び種類、使用する印刷媒体等が異なるためである。そのため、第１印刷装置において所望の印刷結果を取得するための第１補正情報と、第２印刷装置において上記所望の印刷結果を取得するための第２補正情報とが異なる場合がある。学習に印刷出力先情報を加えることによって、印刷装置１０による差異を吸収し、いずれの印刷装置であっても望ましい印刷結果を取得可能とする学習処理を実現できる。
なお、印刷出力先情報を含む学習処理を行う場合、具体的な印刷結果に基づくフィードバックが行われることが望ましい。例えば学習装置１００は、所与の補正情報に基づく補正処理が行われた画像を実際に印刷装置１０において印刷した後、ユーザーに印刷結果についての入力を求める。ユーザーは、所望の印刷結果でなかった場合、補正情報を変更し、変更後の補正情報に基づく補正処理が行われた画像の印刷を指示し、再度結果を確認する。取得部１１０は、ユーザーから所望の印刷結果であるという入力を受け付けた際の、画像と、補正情報と、印刷出力先情報とを取得し、学習部１２０はそれらを対応付けたデータセットを用いて機械学習を行う。
或いは、図３及び図４の例において、提示部１３０は、オリジナルサンプル画像をディスプレイに表示する代わりに、或いはオリジナルサンプル画像をディスプレイに表示するとともに、複数の補正サンプル画像を印刷装置１０に印刷させることによって提示してもよい。この場合、印刷結果に基づいて、ユーザーによる補正サンプル画像の選択が行われる。具体的な印刷結果を反映した補正情報がデータセットに含まれるため、印刷出力先を対応付けた学習による効果が高い。また、図５及び図６の例においては、プレビュー画像の表示の代わりに、或いはプレビュー画像の表示とともに、補正処理結果の印刷が行われてもよい。ただし図５及び図６の例においては、過剰な印刷を抑制することを考慮すれば、印刷処理を行うタイミングを決定する必要がある。例えば、印刷タイミングをユーザーに指定させることが望ましい。
なお、ユーザーが印刷結果を確認可能な環境であれば、ユーザーは印刷を繰り返す中で印刷装置１０ごとの特徴を把握し、印刷装置１０に合わせた補正情報を入力するようになると期待される。そのため、印刷結果の出力後、すぐにフィードバックを行う構成は必須ではない。多くの訓練データを用いて学習処理を繰り返すことによって、徐々に印刷出力先に応じた出力を行うように学習済モデルを更新していってもよい。
２．３ 学習の具体例
データセットに基づく学習処理について詳細に説明する。ここでは、ニューラルネットワークを用いた機械学習について説明する。
図７は、ニューラルネットワークの基本的な構造例である。ニューラルネットワークは、脳機能を計算機上でシミュレーションする数学モデルである。図７の１つの円をノード又はニューロンと呼ぶ。図７の例では、ニューラルネットワークは、入力層と、２つの中間層と、出力層を有する。入力層がＩであり、中間層がＨ１及びＨ２であり、出力層がＯである。また図７の例においては、入力層のニューロン数が３、中間層のニューロン数がそれぞれ４、出力層のニューロン数が１である。ただし、中間層の層数や、各層に含まれるニューロンの数は種々の変形実施が可能である。入力層に含まれるニューロンは、それぞれ第１中間層であるＨ１のニューロンと結合される。第１中間層に含まれるニューロンはそれぞれ第２中間層であるＨ２のニューロンと結合され、第２中間層に含まれるニューロンはそれぞれ出力層のニューロンと結合される。なお中間層は隠れ層と言い換えてもよい。
入力層は、それぞれ入力値を出力するニューロンである。図７の例では、ニューラルネットワークはｘ１，ｘ２，ｘ３を入力として受け付け、入力層の各ニューロンは、それぞれｘ１，ｘ２，ｘ３を出力する。なお、入力値に対して何らかの前処理を行い、入力層の各ニューロンは、前処理後の値を出力してもよい。
中間層以降の各ニューロンでは、脳の中で電気信号として情報が伝達される様子を模した演算が行われる。脳では、シナプスの結合強度に応じて情報の伝わりやすさが変わるため、ニューラルネットワークでは当該結合強度を重みＷで表現する。
図７のＷ１は、入力層と第１中間層の間の重みである。Ｗ１は入力層に含まれる所与のニューロンと、第１中間層に含まれる所与のニューロンとの間の重みの集合を表す。入力層のｐ番目のニューロン数と、第１中間層のｑ番目のニューロンの間の重みをｗ１ ｐｑと表現した場合、図７のＷ１は、ｗ１ １１〜ｗ１ ３４の１２個の重みを含む情報である。より広義には、重みＷ１は、入力層のニューロン数と第１中間層のニューロン数の積だけの個数の重みからなる情報である。
第１中間層のうち、１番目のニューロンでは、下式（１）に示した演算が行われる。１つのニューロンでは、当該ニューロンに接続される１つ前の層の各ニューロンの出力を積和し、さらにバイアスを加算する演算を行う。下式（１）におけるバイアスはｂ１である。
Figure 0006954260
また、上式（１）に示したように、１つのニューロンでの演算では、非線形関数である活性化関数ｆが用いられる。活性化関数ｆは、例えば下式（２）に示すＲｅＬＵ関数が用いられる。ＲｅＬＵ関数は、変数が０以下であれば０であり、０より大きければ変数自体の値となる関数である。ただし、活性化関数ｆは種々の関数を利用可能であることが知られており、シグモイド関数を用いてもよいし、ＲｅＬＵ関数を改良した関数を用いてもよい。上式（１）では、ｈ１についての演算式を例示したが、１つめの中間層の他のニューロンでも同様の演算を行えばよい。
Figure 0006954260
また、これ以降の層についても同様である。例えば、第１中間層と第２中間層の間の重みをＷ２とした場合、第２中間層のニューロンでは、第１中間層の出力と重みＷ２を用いた積和演算を行い、バイアスを加算し、活性化関数を適用する演算を行う。
出力層のニューロンでは、その１つ前の層の出力を重み付け加算し、バイアスを加算する演算を行う。図７の例であれば、出力層の１つ前の層とは、第２中間層である。ニューラルネットワークは、出力層での演算結果を、当該ニューラルネットワークの出力とする。或いは、出力層の演算結果に対して、何らかの後処理を行った結果を出力してもよい。
以上の説明からわかるように、入力から所望の出力を得るためには、適切な重みとバイアスを設定する必要がある。なお、以下では重みを重み付け係数とも表記する。また重み付け係数にはバイアスが含まれてもよいものとする。学習では、所与の入力ｘと、当該入力での正しい出力ｔとを対応付けたデータセットを用意しておく。正しい出力ｔは教師データである。ニューラルネットワークの学習処理とは、当該データセットに基づいて、最も確からしい重み付け係数を求める処理と考えることが可能である。ニューラルネットワークの学習処理では、誤差逆伝播法（Backpropagation）が広く知られている。
図８は、誤差逆伝播法を説明する図である。なお図８では、説明を簡略化するために、第１中間層、第２中間層、出力層のそれぞれについて、１つのニューロンに着目した処理を図示している。また、ニューラルネットワークの学習処理は誤差逆伝播法を用いるものに限定されない。
誤差逆伝播法では、フォワードパスとバックワードパスを繰り返すことで、パラメーターを更新していく。ここでのパラメーターとは、上述した重み付け係数である。まず入力ｘと、その時点の重み付け係数を用いて、出力ｙを演算する。なお、重み付け係数の初期値は種々の設定が可能である。図８の例においては、下式（３）〜（５）の演算が行われ、ｘｋからｙが演算される。下式（３）〜（５）におけるｕは第１中間層の出力を表し、ｖは第２中間層の出力を表す。
Figure 0006954260
Figure 0006954260
Figure 0006954260
そして、求められた出力ｙと、入力ｘに対応する教師データｔとに基づいて損失関数Ｅを求める。損失関数Ｅは、例えば下式（６）であるが、単純な差分（ｙ−ｔ）であってもよいし、他の損失関数を用いてもよい。損失関数Ｅを求めるまでの処理をフォワードパスと呼ぶ。
Figure 0006954260
フォワードパスにより損失関数Ｅが求めた後、下式（７）〜（１２）に示すように、損失関数Ｅの偏微分を用いて各パラメーターを更新する。下式（７）〜（１２）において、“＋１”の添え字が付された値は、更新処理後の値を表す。例えばｂ＋１とは、更新処理後のｂの値を表す。またηは学習率を表す。学習率は一定ではなく、学習の状況に応じて変更することが望ましい。
Figure 0006954260
Figure 0006954260
Figure 0006954260
Figure 0006954260
Figure 0006954260
Figure 0006954260
この際、出力層から入力層に向かって、各パラメーターに関する損失関数Ｅの偏微分を、連鎖率を使って計算する。具体的には、上式（７）〜（１２）に示した各偏微分は、下式（１３）〜（１８）を順次計算することで容易に求めることが可能である。また、活性化関数ｆとして上式（２）のＲｅＬＵ関数を用いた場合、微分値が０又は１となるため、偏微分の演算が容易である。式（７）〜（１８）を用いた一連の処理をバックワードパスと呼ぶ。
Figure 0006954260
Figure 0006954260
Figure 0006954260
Figure 0006954260
Figure 0006954260
Figure 0006954260
本実施形態の学習処理において、ニューラルネットワークの入力であるｘは、訓練データに含まれる画像の画素値である。例えば、学習部１２０は、訓練データに含まれる画像をあらかじめ縦ｖ画素、横ｈ画素にリサイズし、ｖ×ｈ個の画素値をニューラルネットワークの入力として利用する。具体的には、入力層の１つのニューロンに、１つの画素値が入力される。ただし学習部１２０は、訓練データに含まれる画像に基づいて特徴量の抽出処理等の何らかの画像処理を行い、当該画像処理の結果をニューラルネットワークの入力とすることも妨げられない。また上述したように、印刷出力先情報等の他の情報がニューラルネットワークの入力となってもよい。また、教師データｔは、訓練データに含まれる補正情報である。補正情報は、上述した色濃度を表す情報等であり、色濃度の値そのものであってもよいし、所与の数値範囲に収まるように正規化処理が行われた情報であってもよい。学習結果である学習済モデルは、印刷対象画像を入力として受け付け、出力として、推奨補正情報を出力する。推奨補正情報は、色濃度の推奨値を含む。なお印刷対象画像は、縦ｖ画素、横ｈ画素にリサイズする処理や、特徴量の抽出処理等、学習処理における前処理と同様の処理が行われた後、ニューラルネットワークに入力される。
なお、図７においては、所与の層のニューロンが、隣り合う層の全てのニューロンと接続される態様のニューラルネットワークについて説明した。ただしニューラルネットワークの構成はこれに限定されない。例えば本実施形態の機械学習には畳み込みニューラルネットワーク（ＣＮＮ：Convolutional neural network）を用いてもよい。ＣＮＮは、畳み込み層及びプーリング層を有する。畳み込み層は、畳み込み演算を行う。ここでの畳み込み演算とは、具体的にはフィルター処理である。プーリング層は、データの縦横のサイズを縮小する処理を行う。ＣＮＮは、例えば画像データが入力される場合において、所与の画素と、その周辺の画素との関係を考慮した処理が可能である。ＣＮＮにおいては、機械学習によって、畳み込み演算に用いられるフィルターの特性が学習される。即ち、ニューラルネットワークにおける重み付け係数には、ＣＮＮにおけるフィルター特性が含まれる。
以上のように、学習部１２０は、機械学習によって学習済モデルを生成する。例えば、学習済モデルは、学習によって重み付け係数が設定されたニューラルネットワークである。学習済モデルは、図７に示すように、入力層と中間層と出力層とを有する。そして学習済モデルは、画像と、画像を印刷するために指定された補正情報とを対応付けたデータセットに基づき、入力層と中間層との間の重み付け係数、及び、中間層と出力層の間の重み付け係数が設定されている。上述したように、中間層は２以上であってもよく、その場合、所与の中間層と次の中間層との間の重み付け係数もデータセットに基づく学習によって設定されている。換言すれば、本実施形態における重み付け係数は、少なくとも入力層と中間層との間の第１重み付け係数、及び、中間層と出力層の間の第２重み付け係数を含み、機械学習によって当該重み付け係数が設定されている。学習済モデルは、印刷対象画像のデータを入力層に入力し、設定された重み付け係数に基づく演算を行い、出力層から、推奨補正情報を示すデータを出力するよう、コンピューターを機能させる。推奨補正情報を示すデータとは、補正情報に含まれる各情報の推奨値を表すデータである。
また本実施形態の手法は、学習済モデルに適用されてもよい。学習済モデルは、入力された印刷対象画像に基づいて、印刷対象画像の補正設定を決定するための学習済モデルである。学習済モデルは、入力層と中間層と出力層とを有し、画像と、画像を印刷するために指定された補正情報とを対応付けたデータセットに基づき、入力層と中間層との間および中間層と出力層の間の重み付け係数が設定されている。学習済モデルは、入力された印刷対象画像のデータを入力層に入力し、設定された重み付け係数に基づく演算を行い、出力層から、印刷対象画像に対する補正に推奨される推奨補正情報を示すデータを出力するよう、コンピューターを機能させる。
なお、以上では学習済モデルがニューラルネットワークを用いたモデルである例について説明した。しかし本実施形態における機械学習はニューラルネットワークを用いる手法に限定されない。例えば本実施形態の手法は、ＳＶＭ（support vector machine）等、広く知られた種々の方式、或いはそれらの方式を発展させた方式の機械学習を適用することが可能である。
３．推論処理
３．１ 推論装置の構成例
図９は、本実施形態の推論装置の構成例を示す図である。推論装置は、印刷装置１０の印刷を制御する印刷制御装置２００である。印刷制御装置２００は、受付部２１０と、処理部２２０と、記憶部２３０を含む。
記憶部２３０は、画像と、画像を印刷するために指定された補正情報とを対応付けたデータセットに基づき、印刷対象画像に対する補正に推奨される推奨補正情報を機械学習した学習済モデルを記憶する。受付部２１０は、印刷対象画像の入力を受け付ける。処理部２２０は、学習済モデルに基づいて、入力された印刷対象画像に対応する推奨補正情報を決定する。具体的には、処理部２２０は、推奨補正情報として、色濃度を表す情報、明度を表す情報、コントラストを表す情報を出力する。
学習済モデルは、人工知能ソフトウェアの一部であるプログラムモジュールとして利用される。処理部２２０は、記憶部２３０に記憶された学習済モデルからの指令に従って、入力である印刷対象画像の印刷における推奨補正情報を示すデータを出力する。
印刷制御装置２００の処理部２２０は、学習装置１００の学習部１２０と同様に、デジタル信号を処理する回路及びアナログ信号を処理する回路の少なくとも一方を含むハードウェアにより構成される。また処理部２２０は、下記のプロセッサーにより実現されてもよい。本実施形態の印刷制御装置２００は、情報を記憶するメモリーと、メモリーに記憶された情報に基づいて動作するプロセッサーと、を含む。プロセッサーは、ＣＰＵ、ＧＰＵ、ＤＳＰ等、各種のプロセッサーを用いることが可能である。メモリーは、半導体メモリーであってもよいし、レジスターであってもよいし、磁気記憶装置であってもよいし、光学式記憶装置であってもよい。
なお、学習済モデルに従った処理部２２０おける演算、即ち、入力データに基づいて出力データを出力するための演算は、ソフトウェアによって実行されてもよいし、ハードウェアにより実行されてもよい。換言すれば、上式（１）等の積和演算、或いは、ＣＮＮにおけるフィルター演算は、ソフトウェア的に実行されてもよい。或いは上記演算は、ＦＰＧＡ（field-programmable gate array）等の回路装置によって実行されてもよい。また、上記演算は、ソフトウェアとハードウェアの組み合わせによって実行されてもよい。このように、記憶部２３０に記憶された学習済モデルからの指令に従った処理部２２０の動作は、種々の態様によって実現可能である。
また、印刷制御装置２００は、１つの装置であってもよいし、複数の装置を含んでもよい。例えば、ＰＣ等の端末装置と、サーバーシステムとが連携して動作することによって、印刷制御装置２００が実現されてもよい。また、図１７〜図１９を用いて後述するとおり、本実施形態の学習済モデルは、推論処理の結果を用いて更新されてもよい。学習済モデルを更新することによって、ユーザーの嗜好を適切に反映できる。ただし、事前に学習済モデルが作成され、当該学習済モデルが固定的に用いられてもよい。
図１０は、印刷制御装置２００を含むシステムの構成例である。印刷制御装置２００は、例えば印刷装置１０に接続される処理装置２０に含まれる。図１０に示すシステムの構成は、図２と同様である。印刷制御装置２００の受付部２１０は、クラウド３０、サーバーシステム４０、携帯端末装置５０、撮像装置６０等、種々の記憶媒体に記憶された画像のいずれかの画像を、印刷対象画像として受け付ける。処理部２２０は、当該印刷対象画像に推奨される補正情報を決定する処理を行う。例えば印刷制御装置２００は印刷アプリケーションを含み、当該印刷アプリケーションは、推奨補正情報に基づく補正処理、補正処理後の印刷対象画像の表示処理を行う。印刷アプリケーションは、当該表示処理の後、ユーザーからの印刷指示操作を受け付けた場合に、印刷対象画像の印刷処理を行う。このようにすれば、推奨補正情報に基づく補正処理結果の提示処理及び印刷処理を円滑に実行することが可能になる。また、印刷アプリケーションは、補正処理後の印刷対象画像の表示処理に加えて、ユーザーによる補正情報の修正入力の受付処理を行ってもよい。このようにすれば、推奨補正情報がユーザーの嗜好に合わない場合に、適切な修正を受け付けることが可能になる。なお、印刷制御装置２００は、処理装置２０に含まれるものに限定されず、他の装置に含まれてもよい。ただし、印刷装置１０の制御を円滑に行うことを考慮すれば、印刷制御装置２００は印刷装置１０に直接接続される機器に含まれることが望ましい。
３．２ 推論処理の具体例
図１１は、本実施形態の推論処理における入力と出力の関係を示す図である。なお、図１１においては、ニューラルネットワーク演算を行う例を説明する。推論処理における入力は、印刷対象画像である。ここでの印刷対象画像とは、具体的にはユーザーによって印刷対象として選択する操作が行われた画像である。また、推論処理における入力は、印刷出力先として設定されている印刷装置１０を特定する印刷出力先情報を含んでもよい。印刷出力先情報は、プリンタードライバーから取得される。ただし、学習処理において上述したように、印刷出力先の情報は必須ではなく、省略が可能である。
処理部２２０は、入力に基づいて、ニューラルネットワーク演算を行う。そして処理部２２０は、出力として、印刷対象画像の印刷において推奨される補正情報である推奨補正情報を出力する。ニューラルネットワークの出力層のニューロン数は、補正情報として出力される情報の種類に応じた数に設定される。例えば補正情報が、シアンの色濃度値、マゼンタの色濃度値、イエローの色濃度値、明度値、コントラスト値の５つの値である場合、出力層は５つのニューロンを有し、５つの値を推奨補正情報として出力する。各ニューロンの出力値は、上述したように、色濃度値等そのものの値であってもよいし、色濃度値等を特定可能な他の情報であってもよい。なお、複数のニューロンの出力値から１つの補正情報を求めてもよく、具体的なニューラルネットワークの構成や、ニューラルネットワークの出力に基づく補正情報の特定処理には種々の変形実施が考えられる。
図１２は、印刷制御装置２００における推論処理を説明するフローチャートである。この処理が開始されると、まず処理部２２０は、ユーザーによる印刷対象画像の選択入力を受け付ける（Ｓ１０１）。図１０を用いて上述したように、印刷制御装置２００が印刷アプリケーションを含む場合、印刷制御装置２００の受付部２１０は、ユーザーによる選択入力を直接受け付けることによって、印刷対象画像の受付を行う。ただし、受付部２１０は、外部の印刷アプリケーションから、ユーザーにより選択された印刷対象画像を受け付ける処理を行ってもよい。
次に処理部２２０は、受け付けた印刷対象画像を入力としたニューラルネットワーク演算を行うことによって、少なくとも色濃度を含む推奨補正情報を推定する（Ｓ１０２）。処理部２２０は、推奨補正情報が適用された印刷対象画像を提示部１３０に提示させる処理を行う（Ｓ１０３）。具体的には、提示部１３０は表示部であって、印刷対象画像に対して推奨補正情報に基づく補正処理を行った結果を表示する。その後、処理部２２０は、印刷対象画像を印刷装置１０に印刷させる処理を行う（Ｓ１０４）。これにより、推奨補正情報に基づく印刷対象画像の補正処理、及び印刷処理が可能になる。
なおＳ１０３における表示は、印刷のプレビュー画面に相当する。当該プレビュー画面において、ユーザーは印刷実行を指示する入力、印刷処理を停止する入力、補正情報を自分の好みに合うように修正する入力、等を行ってもよい。印刷実行を指示する入力が行われた場合、処理部２２０はＳ１０４の処理を実行する。印刷処理を停止する入力が行われた場合、処理部２２０はＳ１０４の印刷処理を行わずに処理を終了する。補正情報を修正する入力が行われた場合、処理部２２０は修正後の補正情報に基づく補正処理を行い、再度Ｓ１０３に戻り、修正後の印刷対象画像のプレビュー画面を表示する。
４．推論結果に基づく再学習
以上では、学習処理を行う学習装置１００と、推論処理を行う印刷制御装置２００についてそれぞれ説明した。ただし、いずれか一方の装置が、学習処理と推論処理の両方の処理を行うことも妨げられない。
例えば学習装置１００は、学習部１２０が学習した学習済モデルに基づいて、印刷対象画像に対応する推奨補正情報を出力し、推奨補正情報に基づく補正処理を行う処理部を含む。ここでの処理部は、具体的には図９に示した印刷制御装置２００の処理部２２０と同様の構成である。このようにすれば、学習装置１００は、学習処理だけでなく、学習結果に基づく推論処理を実行することが可能になる。なお、補正情報は色濃度等の情報であるため、補正情報を直接的に表示したとしても、ユーザーが補正処理の内容を理解することが容易でない。その点、処理部２２０が推奨補正情報に基づいて印刷対象画像の補正処理を行うことによって、補正処理による印刷対象画像の変化をユーザーにわかりやすく提示することが可能になる。
また、以上の説明においては、主として学習処理と推論処理が個別に行われる例について説明した。例えば、学習段階において、あらかじめ訓練データを蓄積しておき、蓄積された訓練データに基づいて学習処理が行われる。また、推論段階においては、生成された学習済モデルを継続的に使用することによって、推論処理を行う。この場合、一度生成された学習済モデルは固定であり、更新が想定されない。
ただし本実施形態の手法はこれに限定されず、推論段階での処理結果が学習処理にフィードバックされてもよい。具体的には、学習装置１００の学習部１２０は、機械学習の結果に基づいて推奨された推奨補正情報と、当該推奨補正情報がユーザーに採用されたか修正されたかを表す情報に基づいて、推奨補正情報の条件を機械学習する。このようにすれば、学習済モデルがユーザーの実際の指示に基づいて更新されていくため、よりユーザーの嗜好に沿った推奨補正情報の出力が可能になる。
図１３は、追加学習を行う場合の学習装置１００の構成例を示す図である。学習装置１００は、取得部１１０、学習部１２０、提示部１３０に加えて、学習部１２０が機械学習によって生成した学習済モデルを記憶する記憶部２３０と、学習済モデルに基づいて、印刷対象画像の補正に用いる推奨補正情報を出力する処理部２２０を含む。また、学習装置１００は、印刷対象画像を受け付ける受付部２１０を含んでもよい。即ち、図１３における学習装置１００は、図１に示した構成に加えて、図９に示した印刷制御装置２００と同様の構成を含み、印刷制御装置２００として動作可能な学習装置である。
学習処理が初期学習と追加学習を含む場合、初期学習は図３及び図４に示した手法によって行われてもよいし、図５及び図６に示した手法によって行われてもよい。或いは、ある程度の期間において、ユーザーに補正情報を手動で入力させる手法を用いて印刷処理を繰り返し、当該期間において印刷された画像と、手動入力された補正情報とに基づいて初期学習が行われてもよい。
また追加学習においてユーザーの嗜好を学習可能であることに鑑みれば、初期学習において高い精度は要求されない。そのため、汎用的に学習された学習済モデルを初期学習結果として用いてもよい。例えば、学習装置１００はあらかじめ汎用的な学習済モデルを１つ生成しておく。学習部１２０は、当該学習済モデルを初期学習結果として追加学習を行ってもよい。
或いは、学習装置１００はあらかじめ汎用的な学習済モデルを複数作成しておき、そのうちのいずれか１つをユーザー入力に基づいて決定してもよい。学習部１２０は、選択された学習済モデルを初期学習結果として追加学習を行う。
図１４は、複数の学習済モデルのうちの１つを選択する手法を説明する図である。例えば学習装置１００の提示部１３０は、複数の学習装置の特徴をユーザーに提示する。具体的には提示部１３０は、各学習済モデルについて、当該学習済モデルに基づいて出力される推奨補正情報を用いて補正処理を行った結果が、どのような特徴を有するかをテキスト等で表示する。このようにすればユーザーは学習済モデルを容易に選択することが可能になる。
図１５及び図１６は、複数の学習済モデルのうちの１つを選択する他の手法を説明する図である。例えば学習装置１００の提示部１３０は、所与のオリジナルサンプル画像に対して、各学習済モデルに基づいて出力される推奨補正情報に基づく補正処理を行った結果である補正サンプル画像を提示する。図１５の例であれば、補正サンプル画像１〜６は、１つのオリジナルサンプル画像に対して、６つの学習済モデルのそれぞれに基づく補正処理が行われた結果である。図１６についても同様であり、補正サンプル画像７〜１２は、異なるオリジナルサンプル画像に対して、６つの学習済モデルのそれぞれに基づく補正処理が行われた結果である。ただし、ここでは複数の学習済モデルから、ユーザーの嗜好に比較的近い学習済モデルが選択可能であればよく、１つの表示画面においてオリジナルサンプル画像を統一する必要はない。その他、表示される補正サンプル画像の具体例については種々の変形実施が可能である。ユーザーが各画面において自分の嗜好に近い画像を選択することによって、適切な学習済モデルが、初期学習結果として選択される。
図１７は、追加学習を行う場合の学習装置１００の処理を説明するフローチャートである。図１７のＳ２０１〜Ｓ２０４については、図１２のＳ１０１〜Ｓ１０４と同様である。Ｓ２０３の処理において、学習装置１００の提示部１３０は、処理部２２０によって推奨補正情報に基づく補正処理が行われた後の印刷対象画像を提示する。具体的には、プレビュー画面を表示し、当該プレビュー画面においてユーザーの修正入力を受け付ける。Ｓ２０４の印刷処理後、学習装置１００は、プレビュー画面において、ユーザーが補正情報を修正したか否かを判定する（Ｓ２０５）。ユーザーが補正情報を修正した場合（Ｓ２０５でＹｅｓ）、学習部１２０は追加学習を行うことによって学習済モデルを更新する。
具体的には、学習部１２０は、提示部１３０が提示した印刷対象画像に基づいて、推奨補正情報が修正され、当該推奨補正情報とは異なる補正情報を選択する指示が行われた場合に（Ｓ２０５でＹｅｓ）、補正処理前の印刷対象画像と、修正後の補正情報を対応付けたデータセットに基づいて機械学習を行う。このようにすれば、既存の学習済モデルが出力した推奨補正情報がユーザーの嗜好に沿わない場合に、ユーザーによる修正結果を用いた追加学習が行われるため、学習済モデルをユーザーの嗜好に合わせて修正することが可能になる。なお、図１７における学習器とは、学習装置１００に対応する。Ｓ２０５における判定結果に基づいて、学習器にフィードバックが行われることによって学習済モデルが更新される。学習済モデルが更新されることによって、次回以降のＳ２０２の処理において決定される推奨補正情報の値が変化する。
なお、ユーザーが補正情報を修正していない場合（Ｓ２０５でＮｏ）、学習済モデルが出力した推奨補正情報が適切であったと考えられる。よってこの場合、学習部１２０は追加学習を行わずに処理を終了する。
追加学習を行う処理は、図１７に示したフローチャートに従った処理に限定されない。図１８は、追加学習を行う場合の学習装置１００の処理を説明する他のフローチャートである。図１８のＳ３０１〜Ｓ３０４については、図１２のＳ１０１〜Ｓ１０４と同様である。Ｓ３０４の印刷処理後、学習装置１００の提示部１３０は、「今の補正情報を学習器に学習させますか？」というテキストを表示する処理を行う（Ｓ３０５）。また、提示部１３０による提示は、音声等の他の態様によって行われてもよい。
ユーザーは、例えば実際の印刷結果を考慮して学習するか否かに関する入力を行う。学習装置１００は、ユーザーによる入力を受け付けることによって、ユーザーが「学習させる」という選択を行ったか否かを判定する（Ｓ３０６）。Ｓ３０６でＹｅｓの場合、学習部１２０は追加学習を行うことによって学習済モデルを更新する。Ｓ３０６でＮｏの場合、学習部１２０は追加学習を行わずに処理を終了する。
図１７に示した処理においては、推奨補正情報の修正が行われたか否かに基づいて、学習装置１００が追加学習を行うか否かを決定していた。図１８に示した処理においては、ユーザーによる補正情報の修正が可能である点は同様であるが、追加学習を行うか否かについて、ユーザーによる判断が可能になる。例えば、ディスプレイにおける印刷対象画像の色味と、印刷結果の色味とが異なる場合がある。この場合、プレビュー画面においては補正情報による補正結果が自身の嗜好に沿っていたが、実際の印刷結果は嗜好に沿わないものであった、とユーザーが判断を翻す可能性がある。その点、図１８に示したように、追加学習するか否かをユーザーが決定することによって、印刷結果を考慮した学習処理が可能になる。
図１９は、追加学習を行う場合の学習装置１００の処理を説明する他のフローチャートである。図１９のＳ４０１〜Ｓ４０４については、図１２のＳ１０１〜Ｓ１０４と同様である。Ｓ４０４の印刷処理後、学習装置１００は、図１７のＳ２０５と同様に、プレビュー画面においてユーザーが補正情報を修正したか否かを判定する（Ｓ４０５）。ユーザーが補正情報を修正していない場合（Ｓ４０５でＮｏ）、学習部１２０は追加学習を行わずに処理を終了する。
ユーザーが補正情報を修正した場合（Ｓ４０５でＹｅｓ）、学習装置１００は、図１８のＳ３０５及びＳ３０６と同様に、「今の補正情報を学習器に学習させますか？」というテキストを表示した後（Ｓ４０６）、ユーザーが「学習させる」という選択を行ったか否かを判定する（Ｓ４０７）。Ｓ４０７でＹｅｓの場合、学習部１２０は追加学習を行うことによって学習済モデルを更新する。Ｓ４０７でＮｏの場合、学習部１２０は追加学習を行わずに処理を終了する。
図１９に示す処理において、提示部１３０は、推奨補正情報が修正され推奨補正情報とは異なる補正情報を選択する指示が行われ、且つ、修正後の補正情報によって補正された印刷対象画像が印刷された場合に（Ｓ４０５でＹｅｓ）、推奨補正情報に対する修正の適否に関するユーザー入力を受け付ける画面を表示する（Ｓ４０６）。そして学習部１２０は、提示部１３０による画面の表示に基づいて、推奨補正情報に対する修正が不適切である旨のユーザー入力が行われた場合に（Ｓ４０７でＮｏ）、印刷対象画像と修正後の補正情報を対応付けたデータセットに基づく機械学習をスキップする。
図１７に示す処理は、追加学習を行うか否かを学習装置１００が自動的に決定可能であるため、ユーザー負担を軽減可能であるという利点がある。図１８に示す処理は、追加学習を行うか否かの判定をユーザーが行うため、印刷結果に対するユーザーの嗜好を反映した学習が可能であるという利点がある。これに対して図１９に示す処理は、図１７と図１８を組み合わせることによって、バランスのとれた処理が可能になる。即ち、ユーザーが補正情報を修正しておらず、追加学習の必要性が相対的に低い場面では、自動的に追加学習をスキップすることによってユーザー負担を軽減する。また、ユーザーが補正情報を修正しており、追加学習の必要性が相対的に高い場面では、ユーザーに判断を委ねることによって追加学習の可否を適切に判定することが可能になる。例えば、ユーザーが推奨補正情報に対する修正を行ったものの、実際の印刷結果に基づいて当該修正が不適切であったと気づくケースが考えられる。その場合、図１９に示した処理を行うことによって、修正後の補正情報を追加学習の対象から除外することが可能になる。
以上のように、本実施形態の学習装置は、画像と、画像を印刷するために指定された補正情報を取得する取得部と、画像と補正情報とを対応付けたデータセットに基づいて、印刷対象画像に対する補正に推奨される推奨補正情報を機械学習する学習部と、を含む。
本実施形態の手法によれば、画像と、当該画像の印刷において指定された補正情報を用いた機械学習が行われることによって、所与の画像を印刷する際に推奨される補正情報の条件を適切に学習することが可能になる。学習結果に基づく処理を行うことによって、画像に適した補正情報を自動的に設定できるため、ユーザー負担の軽減が可能になる。
また本実施形態の学習装置は、学習部が機械学習によって生成した学習済モデルに基づいて、印刷対象画像に対応する推奨補正情報を出力し、推奨補正情報に基づく補正処理を行う処理部を含んでもよい。
このようにすれば、学習結果に基づく推奨補正情報の出力処理、及び、当該推奨補正情報に基づく補正処理を、学習装置において実行することが可能になる。
また本実施形態の学習装置は、所与のオリジナルサンプル画像に対して異なる補正情報に基づく補正が行われた複数のサンプル画像を、ユーザーに提示する提示部を含んでもよい。学習部は、複数のサンプル画像から選択されたサンプル画像に対応する補正情報と、オリジナルサンプル画像とを対応付けたデータセットに基づいて機械学習を行うことによって、学習部が学習するパラメーターを設定する。
このようにすれば、学習に用いるデータセットの取得に適したユーザーインターフェースを提供することが可能になる。
また本実施形態の提示部は、第１のオリジナルサンプル画像に対して、異なる補正情報に基づく補正が行われた複数のサンプル画像を提示し、且つ、第１のオリジナルサンプル画像とは種類の異なる第２のオリジナルサンプル画像に対して、異なる補正情報に基づく補正が行われた複数のサンプル画像を提示してもよい。
このようにすれば、多様なデータセットの取得に適したユーザーインターフェースを提供することが可能になる。
また本実施形態の学習装置は、オリジナルサンプル画像をユーザーに提示する提示部を含んでもよい。取得部は、提示されたオリジナルサンプル画像に基づいて、ユーザーが入力した補正情報を取得する。学習部は、オリジナルサンプル画像と補正情報を対応付けたデータセットに基づいて機械学習を行うことによって、学習部が学習するパラメーターを設定する。
このようにすれば、学習に用いるデータセットの取得に適したユーザーインターフェースを提供することが可能になる。
また本実施形態の学習装置は、処理部によって推奨補正情報に基づく補正処理が行われた後の印刷対象画像を提示する提示部を含んでもよい。学習部は、提示部が提示した印刷対象画像に基づいて、推奨補正情報が修正され推奨補正情報とは異なる補正情報を選択する指示が行われた場合に、補正処理前の印刷対象画像と、修正後の補正情報を対応付けたデータセットに基づいて機械学習を行う。
このようにすれば、既存の学習結果に基づいて提示された推奨補正情報が適切でなかった場合に、追加の学習処理を実行することが可能になる。
また本実施形態の提示部は、推奨補正情報が修正され推奨補正情報とは異なる補正情報を選択する指示が行われ、且つ、修正後の補正情報によって補正された印刷対象画像が印刷された場合に、推奨補正情報に対する修正の適否に関するユーザー入力を受け付ける画面を表示してもよい。学習部は、提示部による画面の表示に基づいて、推奨補正情報に対する修正が不適切である旨のユーザー入力が行われた場合に、印刷対象画像と修正後の補正情報を対応付けたデータセットに基づく機械学習をスキップする。
このようにすれば、追加の学習処理を実行するか否かを、適切に判定することが可能になる。
また本実施形態の学習部は、画像と、補正情報と、印刷出力先を表す印刷出力先情報とを対応付けたデータセットに基づいて、推奨補正情報を機械学習してもよい。
このようにすれば、画像と補正情報に加えて、印刷出力先に関する学習を行うことが可能になる。
また本実施形態の補正情報は、色濃度を含んでもよい。
このようにすれば、印刷における色補正を適切に行うことが可能になる。
また本実施形態の学習部は、機械学習によって学習済モデルを生成してもよい。学習済モデルは、入力層と中間層と出力層とを有し、画像と、画像を印刷するために指定された補正情報とを対応付けたデータセットに基づき、入力層と中間層との間及び中間層と出力層との間の重み付け係数が設定されている。学習済モデルは、印刷対象画像のデータを入力層に入力し、設定された重み付け係数に基づく演算を行い、出力層から、推奨補正情報を示すデータを出力するよう、コンピューターを機能させる。
このようにすれば、学習処理によって重み付け係数を学習することによって、適切な補正情報を出力する学習済モデルを生成することが可能になる。
本実施形態の印刷制御装置は、印刷装置の印刷を制御する印刷制御装置であって、記憶部と、受付部と、処理部を含む。記憶部は、画像と、画像を印刷するために指定された補正情報とを対応付けたデータセットに基づき、印刷対象画像に対する補正に推奨される推奨補正情報を機械学習した学習済モデルを記憶する。受付部は、印刷対象画像の入力を受け付ける。処理部は、学習済モデルに基づいて、入力された印刷対象画像に対応する推奨補正情報を決定する。
このようにすれば、機械学習の結果である学習済モデルに基づいて、所与の印刷対象画像を印刷するための推奨補正情報を適切に決定することが可能になる。また、印刷制御装置が上記推奨補正情報を決定することによって、印刷対象画像に対する補正処理、及び印刷指示が行われた場合の印刷処理を円滑に実行可能である。
本実施形態の学習済モデルは、入力された印刷対象画像に基づいて、印刷対象画像の補正設定を決定するための学習済モデルである。学習済モデルは、入力層と中間層と出力層とを有し、画像と、画像を印刷するために指定された補正情報とを対応付けたデータセットに基づき、入力層と中間層との間及び中間層と出力層との間の重み付け係数が設定されている。また学習済モデルは、入力された印刷対象画像のデータを入力層に入力し、設定された重み付け係数に基づく演算を行い、出力層から、印刷対象画像に対する補正に推奨される推奨補正情報を示すデータを出力するよう、コンピューターを機能させる。
なお、上記のように本実施形態について詳細に説明したが、本実施形態の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本開示の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また本実施形態及び変形例の全ての組み合わせも、本開示の範囲に含まれる。また学習装置、印刷制御装置、及びそれらの装置を含むシステムの構成及び動作等も、本実施形態で説明したものに限定されず、種々の変形実施が可能である。
１０…印刷装置、２０…処理装置、２１…記憶部、３０…クラウド、４０…サーバーシステム、５０…携帯端末装置、６０…撮像装置、１００…学習装置、１１０…取得部、１２０…学習部、１３０…提示部、２００…印刷制御装置、２１０…受付部、２２０…処理部、２３０…記憶部

Claims (11)

  1. 画像と、前記画像を印刷するために指定された補正情報を取得する取得部と、
    前記画像と前記補正情報と前記画像の印刷出力先の印刷装置を示す印刷出力先情報とを
    対応付けたデータセットに基づいて、印刷出力先として設定されている印刷装置により印
    刷する印刷対象画像に対する補正に推奨される推奨補正情報を機械学習する学習部と、
    を含むことを特徴とする学習装置。
  2. 請求項１に記載の学習装置において、
    前記学習部が前記機械学習によって生成した学習済モデルに基づいて、前記印刷対象画
    像に対応する前記推奨補正情報を出力し、前記推奨補正情報に基づく補正処理を行う処理
    部を含むことを特徴とする学習装置。
  3. 請求項１又は２に記載の学習装置において、
    所与のオリジナルサンプル画像に対して異なる前記補正情報に基づく補正が行われた複
    数のサンプル画像を、ユーザーに提示する提示部を含み、
    前記学習部は、
    複数の前記サンプル画像から選択された前記サンプル画像に対応する前記補正情報と、
    前記オリジナルサンプル画像とを対応付けたデータセットに基づいて機械学習を行うこと
    によって、前記学習部が学習するパラメーターを設定することを特徴とする学習装置。
  4. 請求項３に記載の学習装置において、
    前記提示部は、
    第１のオリジナルサンプル画像に対して、異なる前記補正情報に基づく補正が行われた
    複数の前記サンプル画像を提示し、且つ、前記第１のオリジナルサンプル画像とは種類の
    異なる第２のオリジナルサンプル画像に対して、異なる前記補正情報に基づく補正が行わ
    れた複数の前記サンプル画像を提示することを特徴とする学習装置。
  5. 請求項１又は２に記載の学習装置において、
    オリジナルサンプル画像をユーザーに提示する提示部を含み、
    前記取得部は、
    提示された前記オリジナルサンプル画像に基づいて、前記ユーザーが入力した前記補正
    情報を取得し、
    前記学習部は、
    前記オリジナルサンプル画像と前記ユーザーが入力した前記補正情報を対応付けたデー
    タセットに基づいて機械学習を行うことによって、前記学習部が学習するパラメーターを
    設定することを特徴とする学習装置。
  6. 請求項２に記載の学習装置において、
    前記処理部によって前記推奨補正情報に基づく補正処理が行われた後の前記印刷対象画
    像を提示する提示部を含み、
    前記学習部は、
    前記提示部が提示した前記印刷対象画像に基づいて、前記推奨補正情報が修正され前記
    推奨補正情報とは異なる前記補正情報を選択する指示が行われた場合に、前記補正処理前
    の前記印刷対象画像と、修正後の前記補正情報を対応付けたデータセットに基づいて機械
    学習を行うことを特徴とする学習装置。
  7. 請求項６に記載の学習装置において、
    前記提示部は、
    前記推奨補正情報が修正され前記推奨補正情報とは異なる前記補正情報を選択する指示
    が行われ、且つ、修正後の前記補正情報によって補正された前記印刷対象画像が印刷され
    た場合に、前記推奨補正情報に対する修正の適否に関するユーザー入力を受け付ける画面
    を表示し、
    前記学習部は、
    前記提示部による前記画面の表示に基づいて、前記推奨補正情報に対する修正が不適切
    である旨のユーザー入力が行われた場合に、前記印刷対象画像と修正後の前記補正情報を
    対応付けたデータセットに基づく機械学習をスキップすることを特徴とする学習装置。
  8. 請求項１乃至７のいずれか一項に記載の学習装置において、
    前記補正情報は、色濃度を含むことを特徴とする学習装置。
  9. 請求項１乃至８のいずれか一項に記載の学習装置において、
    前記学習部は、前記機械学習によって学習済モデルを生成し、
    前記学習済モデルは、
    入力層と中間層と出力層とを有し、
    前記画像と、前記画像を印刷するために指定された前記補正情報とを対応付けたデータ
    セットに基づき、前記入力層と前記中間層との間及び前記中間層と前記出力層との間の重
    み付け係数が設定されており、
    前記印刷対象画像のデータを前記入力層に入力し、設定された前記重み付け係数に基づ
    く演算を行い、前記出力層から、前記推奨補正情報を示すデータを出力するよう、コンピ
    ューターを機能させることを特徴とする学習装置。
  10. 印刷装置の印刷を制御する印刷制御装置であって、
    画像と、前記画像を印刷するために指定された補正情報と、前記画像の印刷出力先の印
    刷装置を示す印刷出力先情報とを対応付けたデータセットに基づき、印刷出力先として設
    定されている印刷装置により印刷する印刷対象画像に対する補正に推奨される推奨補正情
    報を機械学習した学習済モデルを記憶する記憶部と、
    前記印刷対象画像の入力を受け付ける受付部と、
    前記学習済モデルに基づいて、入力された前記印刷対象画像および印刷出力先の前記印
    刷装置に対応する前記推奨補正情報を決定する処理部と、
    を含むことを特徴とする印刷制御装置。
  11. 入力された印刷対象画像に基づいて、前記印刷対象画像の補正設定を決定するようコン
    ピューターを機能させるための学習済モデルであって、
    入力層と中間層と出力層とを含むニューラルネットワークを有し、
    画像と、前記画像を印刷するために指定された補正情報と、前記画像の印刷出力先の印
    刷装置を示す印刷出力先情報とを対応付けたデータセットに基づき、前記入力層と前記中
    間層との間及び前記中間層と前記出力層との間の重み付け係数が設定されており、
    入力された前記印刷対象画像のデータおよび印刷出力先に設定された印刷装置を示すデ
    ータを前記入力層に入力し、設定された前記重み付け係数に基づく演算を行い、前記出力
    層から、前記印刷対象画像および印刷出力先の前記印刷装置に対応する補正に推奨される
    推奨補正情報を示すデータを出力するよう、コンピューターを機能させることを特徴とす
    る学習済モデル。
JP2018236084A 2018-12-18 2018-12-18 学習装置、印刷制御装置及び学習済モデル Active JP6954260B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018236084A JP6954260B2 (ja) 2018-12-18 2018-12-18 学習装置、印刷制御装置及び学習済モデル
US16/714,924 US11048988B2 (en) 2018-12-18 2019-12-16 Learning device, print control device, and learned model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018236084A JP6954260B2 (ja) 2018-12-18 2018-12-18 学習装置、印刷制御装置及び学習済モデル

Publications (2)

Publication Number Publication Date
JP2020098453A JP2020098453A (ja) 2020-06-25
JP6954260B2 true JP6954260B2 (ja) 2021-10-27

Family

ID=71072673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018236084A Active JP6954260B2 (ja) 2018-12-18 2018-12-18 学習装置、印刷制御装置及び学習済モデル

Country Status (2)

Country Link
US (1) US11048988B2 (ja)
JP (1) JP6954260B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020098444A (ja) * 2018-12-18 2020-06-25 セイコーエプソン株式会社 学習装置、印刷制御装置及び学習済モデル
JP7385449B2 (ja) * 2019-12-05 2023-11-22 キヤノン株式会社 システムおよびその制御方法、並びにプログラム
EP3896953B1 (de) * 2020-04-17 2024-05-01 Felix Schoeller GmbH & Co. KG Verfahren zur steuerung eines dekor-druckprozesses
US11829885B2 (en) * 2020-06-17 2023-11-28 Canon Kabushiki Kaisha Image processing apparatus that performs machine learning of learning model, method of controlling image processing apparatus, and storage medium
CN112149804B (zh) * 2020-09-22 2021-10-19 太原福莱瑞达物流设备科技有限公司 一种新型卷积神经网络模型及应用
US11704518B1 (en) * 2022-05-17 2023-07-18 Amazon Technologies, Inc. Per-image print setting optimization

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2521843B2 (ja) * 1990-10-04 1996-08-07 大日本スクリーン製造株式会社 セットアップパラメ―タ決定特性を修正する方法及び自動セットアップ装置
US5386496A (en) * 1991-02-15 1995-01-31 Toyo Ink Mfg. Co., Ltd. Method and device for nonlinear transformation of colour information by neural network
IL98622A (en) * 1991-06-25 1996-10-31 Scitex Corp Ltd Method and device for using neural networks in figure work
EP0667594A3 (en) * 1994-02-14 1995-08-23 International Business Machines Corporation Image quality analysis method and apparatus
JPH09163382A (ja) * 1995-12-07 1997-06-20 Toyo Ink Mfg Co Ltd 色ずれ修正方法及び装置
US5748329A (en) * 1996-03-08 1998-05-05 Industrial Technology Research Institute Method and apparatus for adaptive color scanning/printing data correction employing neural networks
US6480299B1 (en) * 1997-11-25 2002-11-12 University Technology Corporation Color printer characterization using optimization theory and neural networks
JP2001186323A (ja) 1999-12-24 2001-07-06 Fuji Photo Film Co Ltd 証明写真システム及び画像処理方法
US8218865B2 (en) * 2007-02-27 2012-07-10 Canon Kabushiki Kaisha Constructing a color transform using a neural network for colors outside the spectrum locus
US9361666B2 (en) * 2013-10-07 2016-06-07 Adobe Systems Incorporated Learning user preferences for photo adjustments
US11062479B2 (en) * 2017-12-06 2021-07-13 Axalta Coating Systems Ip Co., Llc Systems and methods for matching color and appearance of target coatings
JP7242185B2 (ja) * 2018-01-10 2023-03-20 キヤノン株式会社 画像処理方法、画像処理装置、画像処理プログラム、および、記憶媒体
US10379801B1 (en) * 2018-02-27 2019-08-13 Ricoh Company, Ltd. Printer model recommendation mechanism
US10679328B2 (en) * 2018-05-23 2020-06-09 Adobe Inc. Machine learning techniques for increasing color consistency across videos
JP2020098444A (ja) * 2018-12-18 2020-06-25 セイコーエプソン株式会社 学習装置、印刷制御装置及び学習済モデル
US11070717B2 (en) * 2019-04-23 2021-07-20 Adobe Inc. Context-aware image filtering

Also Published As

Publication number Publication date
JP2020098453A (ja) 2020-06-25
US20200193249A1 (en) 2020-06-18
US11048988B2 (en) 2021-06-29

Similar Documents

Publication Publication Date Title
JP6954260B2 (ja) 学習装置、印刷制御装置及び学習済モデル
Park et al. Distort-and-recover: Color enhancement using deep reinforcement learning
US11436775B2 (en) Predicting patch displacement maps using a neural network
US11055032B2 (en) Learning device, print control device, and learned model
WO2019022136A1 (ja) 学習方法、学習プログラム、学習装置及び学習システム
CN107241527B (zh) 图像处理装置及图像处理方法
KR20200143450A (ko) 화상 처리 방법, 장치, 전자 장치 및 저장 매체
US11930303B2 (en) Automated digital parameter adjustment for digital images
JP7363770B2 (ja) 演算装置、演算方法およびプログラム
JP2006031440A (ja) 画像処理方法、画像処理装置、画像処理プログラム及び画像処理システム
JP6206018B2 (ja) 画像処理装置、画像処理システム及び画像処理方法
JP7443030B2 (ja) 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法
JP6954322B2 (ja) 情報処理装置、及び学習装置
US20210149605A1 (en) Print system, server, and print method
JP2022036131A (ja) 学習装置、推論装置、学習方法、推論方法、コンピュータシステムおよびプログラム
JP3994280B2 (ja) 赤目修正装置、赤目修正方法および赤目修正プログラム
GB2567722A (en) Predicting patch displacement maps using a neural network
JP4492643B2 (ja) 赤目修正装置、赤目修正方法および赤目修正プログラム
JP4492642B2 (ja) 赤目修正装置、赤目修正方法および赤目修正プログラム
JP7005040B2 (ja) 学習装置、推論装置、学習方法、プログラムおよび推論方法
US20240004593A1 (en) Image processing device, and non-transitory computer-readable recording medium therefor
JP2016224922A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP4775289B2 (ja) 画像処理装置及び画像処理方法
JP2020086626A (ja) 学習装置、学習方法、プログラムおよび記録媒体
JP2007221836A (ja) 赤目修正装置、赤目修正方法および赤目修正プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200609

RD07 Notification of extinguishment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7427

Effective date: 20200810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210629

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210913

R150 Certificate of patent or registration of utility model

Ref document number: 6954260

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150