JP7375403B2 - 機械学習装置、機械学習方法及び機械学習プログラム - Google Patents

機械学習装置、機械学習方法及び機械学習プログラム Download PDF

Info

Publication number
JP7375403B2
JP7375403B2 JP2019170259A JP2019170259A JP7375403B2 JP 7375403 B2 JP7375403 B2 JP 7375403B2 JP 2019170259 A JP2019170259 A JP 2019170259A JP 2019170259 A JP2019170259 A JP 2019170259A JP 7375403 B2 JP7375403 B2 JP 7375403B2
Authority
JP
Japan
Prior art keywords
machine learning
image
unit
image forming
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019170259A
Other languages
English (en)
Other versions
JP2021047676A (ja
Inventor
駿 菅井
浩一 斎藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2019170259A priority Critical patent/JP7375403B2/ja
Priority to US16/991,088 priority patent/US20210088985A1/en
Publication of JP2021047676A publication Critical patent/JP2021047676A/ja
Application granted granted Critical
Publication of JP7375403B2 publication Critical patent/JP7375403B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/55—Self-diagnostics; Malfunction or lifetime display
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/50—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5029—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control by measuring the copy material characteristics, e.g. weight, thickness
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/50—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5033—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control by measuring the photoconductor characteristics, e.g. temperature, or the characteristics of an image on the photoconductor
    • G03G15/5037—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control by measuring the photoconductor characteristics, e.g. temperature, or the characteristics of an image on the photoconductor the characteristics being an electrical parameter, e.g. voltage
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/50—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5033—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control by measuring the photoconductor characteristics, e.g. temperature, or the characteristics of an image on the photoconductor
    • G03G15/5041—Detecting a toner image, e.g. density, toner coverage, using a test patch
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/50—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5033—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control by measuring the photoconductor characteristics, e.g. temperature, or the characteristics of an image on the photoconductor
    • G03G15/5045—Detecting the temperature
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/50—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control
    • G03G15/5062—Machine control of apparatus for electrographic processes using a charge pattern, e.g. regulating differents parts of the machine, multimode copiers, microprocessor control by measuring the characteristics of an image on the copy material
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/02—Apparatus for electrographic processes using a charge pattern for laying down a uniform charge, e.g. for sensitising; Corona discharge devices
    • G03G15/0266—Arrangements for controlling the amount of charge
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/04—Apparatus for electrographic processes using a charge pattern for exposing, i.e. imagewise exposure by optically projecting the original image on a photoconductive recording material
    • G03G15/043—Apparatus for electrographic processes using a charge pattern for exposing, i.e. imagewise exposure by optically projecting the original image on a photoconductive recording material with means for controlling illumination or exposure
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/06—Apparatus for electrographic processes using a charge pattern for developing
    • G03G15/065—Arrangements for controlling the potential of the developing electrode
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/55—Self-diagnostics; Malfunction or lifetime display
    • G03G15/553—Monitoring or warning means for exhaustion or lifetime end of consumables, e.g. indication of insufficient copy sheet quantity for a job
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03G—ELECTROGRAPHY; ELECTROPHOTOGRAPHY; MAGNETOGRAPHY
    • G03G15/00—Apparatus for electrographic processes using a charge pattern
    • G03G15/55—Self-diagnostics; Malfunction or lifetime display
    • G03G15/553—Monitoring or warning means for exhaustion or lifetime end of consumables, e.g. indication of insufficient copy sheet quantity for a job
    • G03G15/556—Monitoring or warning means for exhaustion or lifetime end of consumables, e.g. indication of insufficient copy sheet quantity for a job for toner consumption, e.g. pixel counting, toner coverage detection or toner density measurement

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Probability & Statistics with Applications (AREA)
  • Accessory Devices And Overall Control Thereof (AREA)
  • Control Or Security For Electrophotography (AREA)
  • Image Analysis (AREA)

Description

本発明は、機械学習装置、機械学習方法及び機械学習プログラムに関し、特に、画像形成装置における画像形成の制御パラメータを生成する機械学習装置、機械学習方法及び機械学習プログラムに関する。
ＭＦＰ（Multi-Functional Peripherals）などの画像形成装置では、ユーザのニーズに合った出力物の提供が求められている。ユーザのニーズの１つとして、画像品質が挙げられる。しかしながら、画像形成装置における画像形成を制御するパラメータ（以下、制御パラメータと呼ぶ。）は、開発段階で想定されたマシンの状態に合わせて設計されるため、市場におけるマシンの全ての状態を網羅することができない。その結果、想定されていないマシンの状態ではユーザが求める画像品質が得られない場合がある。
このような制御パラメータに関して、例えば、下記特許文献１には、静電潜像を担持して回転する像担持体と、現像剤を担持して前記像担持体に対し一定の周速比で回転し、前記静電潜像を現像する現像剤担持体と、表面に発泡層を備え、前記現像剤担持体に接触して配置され、前記現像剤担持体に対し一定の周速比で前記現像剤担持体の回転方向とは逆方向に回転し、前記現像剤担持体に現像剤を供給する現像剤供給部材と、前記現像剤担持体に電圧Ｖｄｒを印加する第一の電圧印加手段と、前記現像剤供給部材に電圧Ｖｒｓを印加する第二の電圧印加手段と、前記第一の電圧印加手段と前記第二の電圧印加手段とを制御する制御手段と、を有する画像形成装置において、前記像担持体の周速と前記現像剤担持体の周速との速度差の絶対値をＳとすると、前記制御手段は、Ｓが小さいほどＶｒｓとＶｄｒとの差Ｖｄｉｆ（＝Ｖｒｓ－Ｖｄｒ）を現像剤の正規帯電極性と逆極性方向にシフトさせる構成が開示されている。
特開２０１７－０３４８４４号公報
ユーザが求める画像品質が得られるようにするためには、常に画像形成装置がどのような状態であるかを監視し、その状態に応じてマシンを個別に制御する（制御パラメータを生成する）ソフトウェアを作る必要がある。このようなソフトウェアを実現する手段として、強化学習が挙げられる。強化学習は、あるマシン状態において実施した制御（行動）が良かったか、悪かったかを判断して報酬を与え、報酬に基づいて状態と行動のセットで学習を行う教師なし学習の一種である。
しかしながら、市場にある様々な画像形成装置で実施した制御を評価してソフトウェアを設計することは難しい。例えば、開発段階においてトナー濃度や位置ずれ、画質などが基準値内であればその制御パラメータは良いと判断することは可能であるが、このような制御パラメータを市場のマシンが評価することは困難である。
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、画像形成における制御パラメータを適切に生成することができる機械学習装置、機械学習方法及び機械学習プログラムを提供することにある。
本発明の一側面は、用紙に画像を形成する画像形成部と、前記用紙に形成された画像を読み取る画像読取部と、を備える画像形成装置における画像形成の制御パラメータを生成する機械学習装置であって、機械学習に基づいて、前記制御パラメータを生成する第１機械学習部と、前記制御パラメータに従って前記画像形成部により形成され、前記画像読取部により読み取られた読取画像を含む画像が入力され、機械学習に基づいて、前記読取画像に関する判断を行う第２機械学習部と、前記第２機械学習部による判断結果に基づいて、前記第１機械学習部及び／又は前記第２機械学習部を学習させる学習制御部と、を備え、前記学習制御部は、前記読取画像と予め用意した比較画像のいずれか一方をランダムに前記第２機械学習部に入力し、前記第２機械学習部は、入力画像が、前記読取画像と前記比較画像のいずれであるかを機械学習に基づいて判断することを特徴とする。
本発明の一側面は、用紙に画像を形成する画像形成部と、前記用紙に形成された画像を読み取る画像読取部と、を備える画像形成装置における画像形成の制御パラメータを生成する機械学習方法であって、前記画像形成装置、又は当該画像形成装置を制御する制御装置、又は、クラウドサーバ上で、機械学習に基づいて、前記制御パラメータを生成する第１機械学習処理と、前記制御パラメータに従って前記画像形成部により形成され、前記画像読取部により読み取られた読取画像を含む画像を第２機械学習部に入力し、機械学習に基づいて、前記読取画像に関する判断を行う第２機械学習処理と、前記第２機械学習処理の判断結果に基づいて、前記第１機械学習処理及び／又は前記第２機械学習処理を学習する学習制御処理と、を実行し、前記学習制御処理においては、前記読取画像と予め用意した比較画像のいずれか一方をランダムに前記第２機械学習部に入力し、前記第２機械学習部は、入力画像が、前記読取画像と前記比較画像のいずれであるかを機械学習に基づいて判断する、ことを特徴とする。
本発明の一側面は、用紙に画像を形成する画像形成部と、前記用紙に形成された画像を読み取る画像読取部と、を備える画像形成装置における画像形成制御パラメータを生成する機械学習プログラムであって、前記画像形成装置、又は当該画像形成装置を制御する制御装置、又は、クラウドサーバの制御部に、機械学習に基づいて、前記制御パラメータを生成する第１機械学習処理、前記制御パラメータに従って前記画像形成部により形成され、前記画像読取部により読み取られた読取画像を含む画像を第２機械学習部に入力し、機械学習に基づいて、前記読取画像に関する判断を行う第２機械学習処理、前記第２機械学習処理の判断結果に基づいて、前記第１機械学習処理及び／又は前記第２機械学習処理を学習する学習制御処理、を実行させ、前記学習制御処理においては、前記読取画像と予め用意した比較画像のいずれか一方をランダムに前記第２機械学習部に入力し、前記第２機械学習部は、入力画像が、前記読取画像と前記比較画像のいずれであるかを機械学習に基づいて判断する、ることを特徴とする。
本発明の機械学習装置、機械学習方法及び機械学習プログラムによれば、画像形成における制御パラメータを適切に生成することができる。
その理由は、用紙に画像を形成する画像形成部と、用紙に形成された画像を読み取る画像読取部と、を備える画像形成装置における画像形成の制御パラメータを生成する機械学習装置に、機械学習に基づいて、制御パラメータを生成する第１機械学習部と、制御パラメータに従って画像形成部により形成され、画像読取部により読み取られた読取画像を含む画像が入力され、機械学習に基づいて、読取画像に関する判断を行う第２機械学習部と、第２機械学習部による判断結果に基づいて、第１機械学習部及び／又は第２機械学習部を学習させる学習制御部と、を設けるからである。
本発明の一実施例に係る制御システムの構成を示す模式図である。 本発明の一実施例に係る制御システムの他の構成を示す模式図である。 本発明の一実施例に係る機械学習装置の構成を示すブロック図である。 本発明の一実施例に係る画像形成装置の構成を示すブロック図である。 本発明の一実施例に係る制御システムの処理の流れを示す模式図である。 本発明の一実施例に係る機械学習装置における学習の流れを示すフローチャート図である。 本発明の一実施例に係る機械学習装置における学習方法を説明するテーブルである。 本発明の一実施例に係る機械学習装置の生成器における学習の概要を示す模式図である。 本発明の一実施例に係る画像形成装置の画像形成部の概要を示す模式図である。 本発明の一実施例に係る機械学習装置の生成器の処理を示すフローチャート図である。 画像形成における画像濃度と電位差又はサブホッパートナー残量との関係を示す図である。 本発明の一実施例に係る機械学習装置の生成器の処理（サブホッパートナー残量を入力した場合）を示すフローチャート図である。 本発明の一実施例に係る制御システムの処理の流れを示す模式図である。 本発明の一実施例に係る制御システムの動作を示すフローチャート図である。 本発明の一実施例に係る制御システムの動作（第１の学習制御）を示すフローチャート図である。 本発明の一実施例に係る制御システムの動作（第２の学習制御）を示すフローチャート図である。 本発明の一実施例に係る制御システムの動作（第３の学習制御）を示すフローチャート図である。 本発明の一実施例に係る制御システムの動作（第４の学習制御）を示すフローチャート図である。
背景技術で示したように、画像形成装置における画像形成を制御する制御パラメータは、開発段階で想定されたマシンの状態に合わせて設計されるため、市場におけるマシンの全ての状態を網羅することができず、想定されていないマシンの状態ではユーザが求める画像品質が得られない場合がある。ユーザが求める画像品質が得られるようにするためには、常に画像形成装置がどのような状態かを監視し、その状態に応じてマシンを個別に制御するソフトウェアを作る必要があり、その手段として、強化学習が挙げられる。
しかしながら、市場にある様々な画像形成装置で実施した制御を評価してソフトウェアを設計することは難しい。例えば、開発段階においてトナー濃度や位置ずれ、画質などが基準値内であればその画像形成制御パラメータは良いと判断することは可能であるが、このような画像形成制御パラメータを市場のマシンで評価することは困難である。
そこで、本発明の一実施の形態では、ＡＩ（artificial intelligence）の機械学習（特に強化学習）を利用し、用紙に形成された画像を読み取ることができるＩＣＣＵ（Image Calibration Control Unit）などの画像読取部を用いて、ある制御パラメータに従って形成されて読み取られた画像（読取画像と呼ぶ。）を含む画像を入力し、機械学習に基づいて、読取画像に関する判断を行い、その判断結果に基づいて学習を行う（例えば、入力された画像が、読取画像と予め用意した画像（比較画像と呼ぶ。）のいずれであるかを判断し、その判断結果に基づいて学習を行う）ことにより、制御パラメータの強化学習を実現する。その際、制御パラメータを生成する生成部と、読取画像と比較画像とが一致しているか否かを判断する識別器と、を敵対的に学習させていくことにより、学習精度を上げる。
このように、画像形成の制御パラメータの生成に強化学習を適用することにより、市場の各々のマシンに応じた制御パラメータを生成することが可能となり、各々のマシンを使用するユーザの要求（ユーザが求める画像品質など）を満足することができる。
上記した本発明の一実施の形態についてさらに詳細に説明すべく、本発明の一実施例に係る機械学習装置、機械学習方法及び機械学習プログラムについて、図１乃至図１８を参照して説明する。図１及び図２は、本実施例の制御システムの構成を示す模式図であり、図３及び図４は、各々、本実施例の機械学習装置、画像形成装置の構成を示すブロック図である。また、図５は、本実施例の制御システムの処理の流れを示す模式図であり、図６は、本実施例の機械学習装置における学習の流れを示すフローチャート図である。また、図７は、本実施例の機械学習装置における学習方法を説明するテーブルであり、図８は、本実施例の機械学習装置の生成器における学習の概要を示す模式図である。また、図９は、本実施例の画像形成装置の画像形成部の概要を示す模式図であり、図１０は、本実施例の機械学習装置の生成器の動作を示すフローチャート図である。また、図１１は、画像形成における画像濃度と電位差又はサブホッパートナー残量との関係を示す図であり、図１２は、本実施例の機械学習装置の生成器の動作を示すフローチャート図である。また、図１３は、本実施例の制御システムの処理の流れを示す模式図であり、図１４乃至図１８は、本実施例の制御システムの動作を示すフローチャート図である。
まず、本実施例の制御システムの構成及び制御について概説する。図１に示すように、本実施例の制御システム１０は、クラウドサーバとして画像形成の制御パラメータを生成するクラウドサービス（図の枠内参照）を実行する機械学習装置２０と、生成された制御パラメータに従って画像形成を行う画像形成装置３０と、で構成され、これらはイーサネット（登録商標）、トークンリング、ＦＤＤＩ（Fiber-Distributed Data Interface）等の規格により定められるＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等の通信ネットワークを介して接続されている。
図１の制御システム１０において、ユーザの画像形成装置３０（エッジ側）で学習が必要と判断されたとき、画像形成装置３０のマシン状態を機械学習装置２０（クラウド側）に通知し、現状のマシン状態でユーザの要求を満たす画像品質が得られる制御パラメータを生成するための学習を開始する。クラウド側では、エッジ側から通知されたマシン状態に基づいてマシンをシミュレートし、シミュレータにより学習することにより学習速度を速めることが可能である。そして、シミュレータが学習を完了した後に、学習モデルをマシンに適用させるための制御パラメータをエッジ側に戻すことにより、ユーザの画像形成装置３０でも、更新された学習モデル（適切な制御パラメータ）で印刷することが可能となる。
なお、図１では、クラウド側（機械学習装置２０内）で機械学習を行う場合を示したが、図２に示すようにエッジ側（画像形成装置３０内や画像形成装置３０を制御する制御装置内）でクラウドサーバのクラウドサービスと同等のサービス（図の枠内参照）を実行することもできる。その場合、機械学習を行う間は画像形成装置３０にてプリント等が実施できないというダウンタイムが発生するが、シミュレータの精度が十分でない（エッジ側の画像形成装置３０のマシン状態が正確にシミュレートできない）場合は、より精度の高い機械学習が可能となる。以下、図１のシステム構成を前提にして、各装置について詳細に説明する。
［機械学習装置］
機械学習装置２０は、画像形成の制御パラメータを生成するコンピュータ装置であり、図３（ａ）に示すように、制御部２１と、記憶部２５と、ネットワークＩ／Ｆ部２６と、必要に応じて表示部２７及び操作部２８などで構成される。
制御部２１は、ＣＰＵ（Central Processing Unit）２２とＲＯＭ（Read Only Memory）２３やＲＡＭ（Random Access Memory）２４などのメモリとで構成され、ＣＰＵ２２は、ＲＯＭ２３や記憶部２５に記憶した制御プログラムをＲＡＭ２４に展開して実行することにより、機械学習装置２０全体の動作を制御する。上記制御部２１は、図３（ｂ）に示すように、情報入力部２１ａ、第１機械学習部２１ｂ、第２機械学習部２１ｃ、学習制御部２１ｄ、情報出力部２１ｅなどとして機能する。
情報入力部２１ａは、画像形成装置３０からマシン状態や比較画像のデータを取得する。また、情報入力部２１ａは、画像形成装置３０から制御パラメータに従って形成した画像を読み取った画像（読取画像）のデータを取得する。上記マシン状態は、例えば、転写ベルトの表面状態、感光体の膜厚、現像部の劣化具合、二次転写部の汚れ具合、トナー残量、サブホッパートナー残量、機内温度、機内湿度、用紙の坪量、用紙の表面荒さなどである。また、比較画像は、任意の印刷物に形成された画像や任意の印刷物を読み取った画像などであり、必要に応じて、画像形成装置３０が制御パラメータに従って画像形成する際に使用される。
第１機械学習部２１ｂ（生成器と呼ぶ。）は、上記マシン状態や比較画像を入力し、機械学習に基づいて画像形成の制御パラメータを生成して出力する。その際、第１機械学習部２１ｂは、比較画像を入力する場合は、ニューラルネットワークを用いた強化学習により、制御パラメータを生成し、マシン状態を入力する場合は、畳み込みニューラルネットワークを用いた強化学習により、制御パラメータを生成することができる。上記制御パラメータは、例えば、現像電圧、帯電電圧、露光光量、トナーボトルモータの回転数などである。
第２機械学習部２１ｃ（識別器と呼ぶ。）は、上記読取画像を含む画像を入力し、機械学習に基づいて、読取画像に関する判断を行う。例えば、ディープラーニングを用いた画像識別により、入力画像が、制御パラメータに従って用紙に形成された画像を読み取った読取画像かどうか（読取画像と比較画像のいずれであるか）を判断する。
学習制御部２１ｄは、第２機械学習部２１ｃによる判断結果に基づいて、第１機械学習部２１ｂ及び／又は第２機械学習部２１ｃを学習させる。例えば、学習制御部２１ｄは、読取画像及び比較画像のいずれか一方をランダムに第２機械学習部２１ｃに入力し、第２機械学習部２１ｃが入力画像を識別できたか否かに基づいて、第１機械学習部２１ｂに報酬を与えたり第２機械学習部２１ｃを学習させたりする。
具体的には、第２機械学習部２１ｃに読取画像が入力された場合において、第２機械学習部２１ｃが入力画像を読取画像と判断した場合は、第１機械学習部２１ｂに負の報酬を与えると共に第２機械学習部２１ｃを正解として学習させる（正の報酬を与える）。また、第２機械学習部２１ｃに読取画像が入力された場合において、第２機械学習部２１ｃが入力画像を比較画像と判断した場合は、第１機械学習部２１ｂに正の報酬を与えると共に第２機械学習部２１ｃを不正解として学習させる（負の報酬を与える）。また、第２機械学習部２１ｃに比較画像が入力された場合において、第２機械学習部２１ｃが入力画像を比較画像と判断した場合は、第１機械学習部２１ｂに報酬は与えずに、第２機械学習部２１ｃを正解として学習させる（正の報酬を与える）。また、第２機械学習部２１ｃに比較画像が入力された場合において、第２機械学習部２１ｃが入力画像を読取画像と判断した場合は、第１機械学習部２１ｂに報酬は与えずに、第２機械学習部２１ｃを不正解として学習させる（負の報酬を与える）。
上記第１機械学習部２１ｂ及び／又は第２機械学習部２１ｃの学習は、所定の枚数の用紙に印刷した後、又は、画像形成装置３０のマシン状態が所定値以上変化したときに実施することができ、第２機械学習部２１ｃに読取画像が入力された場合において、第２機械学習部２１ｃが入力画像を比較画像と判断した（誤認識した）回数が所定回数以上になったときに、終了することができる。
情報出力部２１ｅは、第１機械学習部２１ｂが生成した制御パラメータを画像形成装置３０に出力する。また、情報出力部２１ｅは、学習結果に基づいて画像形成装置３０のファームウェアを更新する更新情報を作成して画像形成装置３０に出力する。
上記情報入力部２１ａ、第１機械学習部２１ｂ、第２機械学習部２１ｃ、学習制御部２１ｄ、情報出力部２１ｅはハードウェアとして構成してもよいし、制御部２１を情報入力部２１ａ、第１機械学習部２１ｂ、第２機械学習部２１ｃ、学習制御部２１ｄ、情報出力部２１ｅ（特に、第１機械学習部２１ｂ、第２機械学習部２１ｃ、学習制御部２１ｄ）として機能させる機械学習プログラムとして構成し、当該機械学習プログラムをＣＰＵ２２に実行させるようにしてもよい。
記憶部２５は、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などで構成され、ＣＰＵ２２が各部を制御するためのプログラム、画像形成装置３０から取得したマシン状態や比較画像、読取画像、第１機械学習部２１ｂが生成した制御パラメータなどを記憶する。
ネットワークＩ／Ｆ部２６は、ＮＩＣ（Network Interface Card）やモデムなどで構成され、機械学習装置２０を通信ネットワークに接続し、画像形成装置３０との接続を確立する。
表示部２７は、液晶表示装置（ＬＣＤ：Liquid Crystal Display）や有機ＥＬ（electroluminescence）表示装置などで構成され、各種画面を表示する。
操作部２８は、マウスやキーボードなどで構成され、必要に応じて設けられ、各種操作を可能にする。
［画像形成装置］
画像形成装置３０は、画像形成の制御パラメータに従って画像を形成するＭＦＰなどであり、図４（ａ）に示すように、制御部３１と、記憶部３５と、ネットワークＩ／Ｆ部３６と、表示操作部３７と、画像処理部３８と、スキャナ３９と、画像形成部４０と、画像読取部４１などで構成される。
制御部３１は、ＣＰＵ３２とＲＯＭ３３やＲＡＭ３４などのメモリとで構成され、ＣＰＵ３２は、ＲＯＭ３３や記憶部３５に記憶した制御プログラムをＲＡＭ３４に展開して実行することにより、画像形成装置３０全体の動作を制御する。上記制御部３１は、図４（ｂ）に示すように、情報通知部３１ａ、更新処理部３１ｂなどとして機能する。
情報通知部３１ａは、画像形成部４０の各部から取得した情報に基づいて、マシンの状態（転写ベルトの表面状態、感光体の膜厚、現像部の劣化具合、二次転写部の汚れ具合、トナー残量、サブホッパートナー残量、機内温度、機内湿度、用紙の坪量、用紙の表面荒さなど）を取得し、取得したマシンの状態を機械学習装置２０に通知する。また、情報通知部３１ａは、任意の印刷物をスキャナ３９で読み取った比較画像や、機械学習装置２０から受け取った制御パラメータに従って画像形成部４０が画像形成し、画像読取部４１が読み取った読取画像を機械学習装置２０に通知する。
更新処理部３１ｂは、機械学習装置２０から、学習モデルに従ってファームウェアを更新するための更新情報を取得し、その更新情報に基づいて、画像形成部４０の各部を制御する（画像形成の制御パラメータを生成する）ファームウェアを更新する。その際、機械学習装置２０から更新情報を取得するたびにファームウェアを更新してもよいし、複数の更新情報を取得した後にまとめてファームウェアを更新してもよい。
記憶部３５は、ＨＤＤやＳＳＤなどで構成され、ＣＰＵ３２が各部を制御するためのプログラム、自装置の処理機能に関する情報、マシンの状態、比較画像、読取画像、機械学習装置２０から取得した制御パラメータや更新情報などを記憶する。
ネットワークＩ／Ｆ部３６は、ＮＩＣやモデムなどで構成され、画像形成装置３０を通信ネットワークに接続し、機械学習装置２０などとの通信を確立する。
表示操作部（操作パネル）３７は、表示部上に透明電極が格子状に配置された感圧式や静電容量式の操作部（タッチセンサ）を設けたタッチパネルなどであり、印刷処理に関する各種画面を表示し、印刷処理に関する各種操作を可能にする。
画像処理部３８は、ＲＩＰ部（Raster Image Processor）として機能し、印刷ジョブを翻訳して中間データを生成し、レンダリングを行ってビットマップ形式の画像データを生成する。また、画像処理部３８は、必要に応じて、画像データに対して、スクリーン処理、階調補正、濃度バランス調整、細線化、網点処理などを行う。そして、画像処理部３８は、生成した画像データを画像形成部４０に出力する。
スキャナ３９は、原稿台上に載置された原稿から画像データを光学的に読み取る部分であり、原稿を走査する光源と、原稿で反射された光を電気信号に変換するＣＣＤ（Charge Coupled Devices）等のイメージセンサと、電気信号をＡ／Ｄ変換するＡ／Ｄ変換器等により構成される。
画像形成部４０は、画像処理部３８から取得した画像データに基づいて印刷処理を実行する。この画像形成部４０は、例えば、感光体が形成された感光体ドラムと、感光体ドラムの表面を帯電させる帯電部と、帯電された感光体ドラムの表面に画像データに基づく静電潜像を形成する露光部と、トナーを感光体ドラムの表面に搬送して当該感光体ドラムに担持された静電潜像をトナーにより顕像化する現像部と、感光体ドラムに形成されたトナー像を転写ベルトに一次転写する一次転写部と、転写ベルトに一次転写されたトナー像を用紙に二次転写する二次転写部と、用紙に転写されたトナー像を定着させる定着部と、トナーが定着された用紙を排紙する排紙部と、用紙を搬送する搬送部などで構成される。なお、現像部は、トナーを収容するトナーボトルとトナーを一定量貯蔵可能なサブホッパーとを備えており、トナーボトルからサブホッパーにトナーが運搬され、サブホッパーから現像ローラを介して感光体ドラムの表面にトナーが搬送される。そして、サブホッパー内のトナー残量が少なくなると、トナーボトルからサブホッパーにトナーが供給される。
画像読取部（ＩＣＣＵ）４１は、画像形成部４０によって形成された画像の検査や校正などを行う部分であり、画像を読み取るセンサ（例えば、上記画像形成部４０の定着部と排紙部との間の用紙搬送経路などに設けられたインラインスキャナ）を含む。このインラインスキャナは、例えば、Ｒ（Red）、Ｇ（Green）、Ｂ（Blue）の３種類のセンサで構成され、用紙で反射された光の光量に応じたＲＧＢ値を検出して読取画像を取得する。
なお、図１乃至図４は、本実施例の制御システム１０の一例であり、各装置の構成や制御は適宜変更可能である。例えば、図１では、制御システム１０を、機械学習装置２０と画像形成装置３０とで構成したが、制御システム１０に開発部門や販社のコンピュータ装置を含めてもよく、その場合は、画像形成装置３０を使用するユーザの個別要求を上記コンピュータ装置が受け付けて機械学習装置２０に通知し、機械学習装置２０はその個別要求に従って製品仕様を変更するようにしてもよい。
次に、図５及び図６を参照して、本実施例の機械学習装置２０における学習の概要について説明する。本実施例の学習では、制御を決定する第１機械学習部２１ｂ（生成器）と制御した結果を評価する第２機械学習部２１ｃ（識別器）とを敵対的に学習させることにより、画像形成装置３０における画像形成の制御パラメータを最適化する。
具体的には、生成器は、マシン状態や比較画像を入力として、機械学習により、画像形成の制御パラメータを生成し、生成した制御パラメータを画像形成装置３０に出力する（Ｓ１０１）。画像形成装置３０の画像形成部４０は、生成器から受け取った制御パラメータに従って印刷を開始する（Ｓ１０２）。このとき、画像形成の制御パラメータ以外は従来のプリント動作と同等の動作をする。例えば、搬送制御においては従来通りのタイミングで用紙を給紙して搬送する。用紙に印刷された画像は、画像形成部４０の下流側にある画像読取部４１により、再度画像データとして読み取られる（Ｓ１０３）。そして、印刷された画像を読み取った読取画像と印刷の際に使用された比較画像のどちらか一方をランダムで識別器に入力し（Ｓ１０４）、識別器は読取画像と比較画像のどちらかが入力されたかを判断する（Ｓ１０５）。判断した結果に基づき、図７のテーブルに従って生成器及び／又は識別器を学習させる（Ｓ１０６）。
図７（ａ）は、生成器に対する学習（報酬）を規定するテーブルであり、図７（ｂ）は、識別器に対する学習を規定するテーブルである。例えば、識別器に読取画像を入力した場合に、識別器の判断結果が合っている（読取画像と判断した）場合は、生成器は読取画像を比較画像に似せることができなかったために報酬として－１を与え、識別器は正解として学習させる。また、識別器に読取画像を入力した場合に、識別器の判断結果が間違っている（比較画像と判断した）場合は、生成器は読取画像を比較画像に似せることができたために報酬として＋１を与え、識別器は不正解として学習させる。また、識別器に比較画像を入力した場合に、識別器の判断結果が合っている（比較画像と判断した）場合は、生成器は比較画像の作成に関与していないため何もせず（報酬を与えず）、識別器は正解として学習させる。また、識別器に比較画像を入力した場合に、識別器の判断結果が間違っている（読取画像と判断した）場合は、生成器は比較画像の作成に関与していないため何もせず（報酬を与えず）、識別器は不正解として学習させる。すなわち、上記の処理は、読取画像が比較画像と区別できなくなるまで似せるように生成器を学習させることを意味する。
なお、識別器が予め教師付きで（比較画像と読取画像のセットを用いて）学習済みであれば学習効率を良くすることができる。そのために、比較画像は予め開発段階で用いられているテスト用画像を用いることができる。
また、生成器には強化学習を用いる。この強化学習には様々な形式があり、例えば、図８に示すようなニューラルネットワーク（ＮＮ）を用いる強化学習であるＤＱＮ（Deep Q-Network）を利用する場合について説明する。ＤＱＮでは、ＮＮの入力層をマシン状態（例えば、転写ベルトの劣化状態など）、出力層を画像形成の制御パラメータ（例えば、現像電圧など）として学習を行う。ＮＮで決定された制御パラメータに従って本体を動作させた結果を識別器で評価し、報酬を決定する。決定された報酬から誤差（図内の数式参照）を計算し、その誤差をバックプロパゲーション（誤差逆伝播法）でＮＮに反映させることでＮＮの各層の重み付けを更新していく。
次に、実際に強化学習により画像形成の制御パラメータを生成する例を示す。図９は、画像形成部４０の概要を示している。トナーボトル（ＴＢ）に入れられたトナーは、トナーボトルモータによってトナーボトルが回転することにより、現像部内のサブホッパーに運搬される。そして、サブホッパーのスクリューを回転させることにより、現像ローラにトナーが塗布される。感光体は帯電部によって帯電させられており（下図の－６００Ｖ）、露光部により露光することによって、トナーを付着させたい箇所（図の露光部）の電位の絶対値を落としている（下図の－７００Ｖから－５０Ｖ）。現像ローラに付着されたトナーは、現像電圧によって帯電されており、感光体の露光部との電位差により、トナーが感光体に付着することとなる。このとき、画像の濃淡はこの電位差によって制御することが可能である。
そこで、画像の濃度を制御する制御パラメータとして、生成器からの出力を現像電圧とすることができる。また、生成器への入力を比較画像とすることにより、必要な画像濃度から必要な現像電圧を出力する生成器とすることが可能である。その場合、生成器は、図１０に示すように、比較画像を解析して必要な画像濃度を検出し（Ｓ２０１）、図１１（ａ）に示す画像濃度と電位差との関係に基づいて必要な現像電圧を特定して出力する（Ｓ２０２）。
この画像濃度は電位差により制御可能であるが、他のパラメータにも影響する。例えば、図１１（ｂ）に示すように、サブホッパー内にあるトナー残量が少なくなれば、電位差を大きくしても、現像ローラに付着するトナーを増やすことができないため、画像は薄くなってしまう。この場合は、生成器からの出力を現像電圧及びトナーボトルモータ出力（回転数）とし、生成器への入力を比較画像及びサブホッパートナー残量とする。その場合、生成器は、図１２に示すように、サブホッパートナー残量が所定値未満かを判断し（Ｓ３０１）、所定値未満であれば（Ｓ３０１のＹｅｓ）、トナーボトルモータを回転させる（Ｓ３０２）。そして、サブホッパーにトナーが十分に格納された状態になったら（Ｓ３０１のＮｏ）、比較画像を解析して必要な画像濃度を検出し（Ｓ３０３）、図１１（ａ）に示す画像濃度と電位差の関係に基づいて必要な現像電圧を特定して出力する（Ｓ３０４）。
このように、画像品質に影響を与える可能性があるパラメータの全てを入力として、画像形成の制御パラメータの全てを出力とすることにより、あらゆる事象に対応した制御を学習することが可能となる。例えば、図１３に示すように、画像品質に影響を与える可能性があるパラメータとして、転写ベルトの表面状態、感光体の膜厚、現像部の劣化具合、二次転写部の汚れ具合、トナー残量、サブホッパートナー残量、機内温度、機内湿度、用紙の坪量、用紙の表面荒さなどを入力し、画像形成の制御パラメータとして、現像電圧、帯電電圧、露光光量、トナーボトルモータなどを出力して学習することができる。
以下、本実施例の機械学習装置２０における機械学習方法について説明する。機械学習装置２０の制御部２１のＣＰＵ２２は、ＲＯＭ２３又は記憶部２５に記憶した機械学習プログラムをＲＡＭ２４に展開して実行することにより、図１４乃至図１８のフローチャート図に示す各ステップの処理を実行する。なお、生成器及び識別器の学習は、所定の枚数の用紙に印刷した後、又は、画像形成装置３０のマシン状態が所定値以上変化したときに実施することが好ましい。
図１４に示すように、生成器にマシン状態や比較画像を入力すると（Ｓ４０１）、生成器は画像形成の制御パラメータを出力する（Ｓ４０２）。次に、画像形成部４０は、生成器が生成した制御パラメータに基づいて印刷を制御する（Ｓ４０３）。画像形成部４０で印刷を行った結果、ジャムが発生した場合（Ｓ４０４のＹｅｓ）、生成器に報酬－１を与え（Ｓ４０５）、Ｓ４０１に戻る。
一方、ジャムが発生しなかった場合は（Ｓ４０４のＮｏ）、画像読取部４１は印刷物を読み取り（Ｓ４０６）、識別器にＳ４０６で読み取った読取画像又はＳ４０１で入力した比較画像の一方をランダムで入力する（Ｓ４０７）。
入力した画像が読取画像の場合は、識別器が誤認識したかを判断し（Ｓ４０９）、誤認識した（比較画像と判断した）場合は（Ｓ４０９のＹｅｓ）、第１の学習制御を行う（Ｓ４１０）。具体的には、図１５に示すように、識別器を不正解として学習させ（Ｓ４１０ａ）、生成器に正の報酬（例えば、報酬１）を与える（Ｓ４１０ｂ）。また、誤認識しなかった（読取画像と判断した）場合は（Ｓ４０９のＮｏ）、第２の学習制御を行う（Ｓ４１１）。具体的には、図１６に示すように、識別器を正解として学習させ（Ｓ４１１ａ）、生成器に負の報酬（例えば、報酬－１）を与える（Ｓ４１１ｂ）。
また、入力した画像が比較画像の場合は、識別器が誤認識したかを判断し（Ｓ４１２）、誤認識した（読取画像と判断した）場合は（Ｓ４１２のＹｅｓ）、第３の学習制御を行う（Ｓ４１３）。具体的には、図１７に示すように、識別器を不正解として学習させる（Ｓ４１３ａ）。また、誤認識しなかった（比較画像と判断した）場合は（Ｓ４１２のＮｏ）、第４の学習制御を行う（Ｓ４１４）。具体的には、図１８に示すように、識別器を正解として学習させる（Ｓ４１４ａ）。
その後、識別器が誤認識した回数（特に、識別器に読取画像が入力され、識別器が入力画像を比較画像と誤認識した回数）が所定回数以上となったかを判断し（Ｓ４１５）、誤認識した回数が所定回数以上でなければ（Ｓ４１５のＮｏ）、Ｓ４０１に戻って学習を続ける。一方、誤認識した回数が所定回数以上になった場合は（Ｓ４１５のＹｅｓ）、この学習方法では生成器を適切に学習させることができないため、処理を終了し、識別器を学習させる。
以上説明したように、画像形成の制御パラメータの生成に強化学習を適用することにより、市場の各々のマシンに応じた制御パラメータを生成することが可能となり、各々のマシンを使用するユーザの要求を満足することができる。
なお、本発明は上記実施例に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。
例えば、上記実施例では、画像形成装置に対して、本発明の機械学習方法を適用する場合について記載したが、制御パラメータに従って制御を行う任意の装置に対して、本発明の機械学習方法を同様に適用することができる。
本発明は、画像形成装置における画像形成制御パラメータを生成する機械学習装置、機械学習方法、機械学習プログラム及び当該機械学習プログラムを記録した記録媒体に利用可能である。
１０ 制御システム
２０ 機械学習装置
２１ 制御部
２１ａ 情報入力部
２１ｂ 第１機械学習部
２１ｃ 第２機械学習部
２１ｄ 学習制御部
２１ｅ 情報出力部
２２ ＣＰＵ
２３ ＲＯＭ
２４ ＲＡＭ
２５ 記憶部
２６ ネットワークＩ／Ｆ部
２７ 表示部
２８ 操作部
３０ 画像形成装置
３１ 制御部
３１ａ 情報通知部
３１ｂ 更新処理部
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
３５ 記憶部
３６ ネットワークＩ／Ｆ部
３７ 表示操作部
３８ 画像処理部
３９ スキャナ
４０ 画像形成部
４１ 画像読取部

Claims (16)

  1. 用紙に画像を形成する画像形成部と、前記用紙に形成された画像を読み取る画像読取部と、を備える画像形成装置における画像形成の制御パラメータを生成する機械学習装置であって、
    機械学習に基づいて、前記制御パラメータを生成する第１機械学習部と、
    前記制御パラメータに従って前記画像形成部により形成され、前記画像読取部により読み取られた読取画像を含む画像が入力され、機械学習に基づいて、前記読取画像に関する判断を行う第２機械学習部と、
    前記第２機械学習部による判断結果に基づいて、前記第１機械学習部及び／又は前記第２機械学習部を学習させる学習制御部と、を備え、
    前記学習制御部は、前記読取画像と予め用意した比較画像のいずれか一方をランダムに前記第２機械学習部に入力し、
    前記第２機械学習部は、入力画像が、前記読取画像と前記比較画像のいずれであるかを機械学習に基づいて判断する、
    ことを特徴とする機械学習装置。
  2. 前記第２機械学習部に前記読取画像が入力されたとき、
    前記学習制御部は、前記第２機械学習部が入力画像を前記読取画像と判断した場合は、前記第１機械学習部に負の報酬を与えると共に前記第２機械学習部を正解として学習させる、
    ことを特報とする請求項１に記載の機械学習装置。
  3. 前記第２機械学習部に前記読取画像が入力されたとき、
    前記学習制御部は、前記第２機械学習部が入力画像を前記比較画像と判断した場合は、前記第１機械学習部に正の報酬を与えると共に前記第２機械学習部を不正解として学習させる、
    ことを特報とする請求項１又は２に記載の機械学習装置。
  4. 前記第２機械学習部に前記比較画像が入力されたとき、
    前記学習制御部は、前記第２機械学習部が入力画像を前記比較画像と判断した場合は、前記第１機械学習部に報酬は与えず、前記第２機械学習部を正解として学習させる、
    ことを特報とする請求項１乃至３のいずれか一に記載の機械学習装置。
  5. 前記第２機械学習部に前記比較画像が入力されたとき、
    前記学習制御部は、前記第２機械学習部が入力画像を前記読取画像と判断した場合は、前記第１機械学習部に報酬は与えず、前記第２機械学習部を不正解として学習させる、
    ことを特報とする請求項１乃至４のいずれか一に記載の機械学習装置。
  6. 前記学習制御部は、所定の枚数の用紙に印刷した後、又は、前記画像形成装置のマシン状態が所定値以上変化したときに、前記第１機械学習部及び／又は前記第２機械学習部の学習を実施する、
    ことを特報とする請求項１乃至５のいずれか一に記載の機械学習装置。
  7. 前記学習制御部は、前記第２機械学習部に前記読取画像が入力された場合において、前記第２機械学習部が入力画像を前記比較画像と判断した回数が所定回数以上になったときに、前記第１機械学習部及び／又は前記第２機械学習部の学習を終了する、
    ことを特報とする請求項１乃至６のいずれか一に記載の機械学習装置。
  8. 前記第１機械学習部は、前記画像形成装置のマシン状態及び／又は前記比較画像を入力する、
    ことを特報とする請求項１乃至７のいずれか一に記載の機械学習装置。
  9. 前記第１機械学習部は、前記画像形成装置のマシン状態として、転写ベルトの表面状態、感光体の膜厚、現像部の劣化具合、二次転写部の汚れ具合、トナー残量、サブホッパートナー残量、機内温度、機内湿度、用紙の坪量、用紙の表面荒さの少なくとも１つを入力する、
    ことを特報とする請求項８に記載の機械学習装置。
  10. 前記第１機械学習部は、前記比較画像を入力する場合は、ニューラルネットワークを用いた強化学習により、前記制御パラメータを生成し、前記画像形成装置のマシン状態を入力する場合は、畳み込みニューラルネットワークを用いた強化学習により、前記制御パラメータを生成する、
    ことを特報とする請求項８又は９に記載の機械学習装置。
  11. 前記第１機械学習部は、前記制御パラメータとして、現像電圧、帯電電圧、露光光量、トナーボトルモータの回転数の少なくとも１つを出力する、
    ことを特報とする請求項１乃至１０のいずれか一に記載の機械学習装置。
  12. 前記第２機械学習部は、ディープラーニングを用いた画像識別を行う、
    ことを特報とする請求項１乃至１１のいずれか一に記載の機械学習装置。
  13. 前記機械学習装置は、クラウドサーバ上に存在する、
    ことを特報とする請求項１乃至１２のいずれか一に記載の機械学習装置。
  14. 前記機械学習装置は、前記画像形成装置又は当該画像形成装置を制御する制御装置に内蔵されている、
    ことを特報とする請求項１乃至１２のいずれか一に記載の機械学習装置。
  15. 用紙に画像を形成する画像形成部と、前記用紙に形成された画像を読み取る画像読取部と、を備える画像形成装置における画像形成の制御パラメータを生成する機械学習方法であって、
    前記画像形成装置、又は当該画像形成装置を制御する制御装置、又は、クラウドサーバ上で、
    機械学習に基づいて、前記制御パラメータを生成する第１機械学習処理と、
    前記制御パラメータに従って前記画像形成部により形成され、前記画像読取部により読み取られた読取画像を含む画像を第２機械学習部に入力し、機械学習に基づいて、前記読取画像に関する判断を行う第２機械学習処理と、
    前記第２機械学習処理の判断結果に基づいて、前記第１機械学習処理及び／又は前記第２機械学習処理を学習する学習制御処理と、を実行し、
    前記学習制御処理においては、前記読取画像と予め用意した比較画像のいずれか一方をランダムに前記第２機械学習部に入力し、
    前記第２機械学習部は、入力画像が、前記読取画像と前記比較画像のいずれであるかを機械学習に基づいて判断する、
    ことを特徴とする機械学習方法。
  16. 用紙に画像を形成する画像形成部と、前記用紙に形成された画像を読み取る画像読取部と、を備える画像形成装置における画像形成制御パラメータを生成する機械学習プログラムであって、
    前記画像形成装置、又は当該画像形成装置を制御する制御装置、又は、クラウドサーバの制御部に、
    機械学習に基づいて、前記制御パラメータを生成する第１機械学習処理、
    前記制御パラメータに従って前記画像形成部により形成され、前記画像読取部により読み取られた読取画像を含む画像を第２機械学習部に入力し、機械学習に基づいて、前記読取画像に関する判断を行う第２機械学習処理、
    前記第２機械学習処理の判断結果に基づいて、前記第１機械学習処理及び／又は前記第２機械学習処理を学習する学習制御処理、を実行させ、
    前記学習制御処理においては、前記読取画像と予め用意した比較画像のいずれか一方をランダムに前記第２機械学習部に入力し、
    前記第２機械学習部は、入力画像が、前記読取画像と前記比較画像のいずれであるかを機械学習に基づいて判断する、
    ことを特徴とする機械学習プログラム。
JP2019170259A 2019-09-19 2019-09-19 機械学習装置、機械学習方法及び機械学習プログラム Active JP7375403B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019170259A JP7375403B2 (ja) 2019-09-19 2019-09-19 機械学習装置、機械学習方法及び機械学習プログラム
US16/991,088 US20210088985A1 (en) 2019-09-19 2020-08-12 Machine learning device, machine learning method, and machine learning program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019170259A JP7375403B2 (ja) 2019-09-19 2019-09-19 機械学習装置、機械学習方法及び機械学習プログラム

Publications (2)

Publication Number Publication Date
JP2021047676A JP2021047676A (ja) 2021-03-25
JP7375403B2 true JP7375403B2 (ja) 2023-11-08

Family

ID=74876383

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019170259A Active JP7375403B2 (ja) 2019-09-19 2019-09-19 機械学習装置、機械学習方法及び機械学習プログラム

Country Status (2)

Country Link
US (1) US20210088985A1 (ja)
JP (1) JP7375403B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7215471B2 (ja) * 2020-12-04 2023-01-31 コニカミノルタ株式会社 パラメータ決定装置、画像形成装置、後処理装置、給紙装置、および決定モデルの作成方法
JP2023114275A (ja) * 2022-02-04 2023-08-17 キヤノン株式会社 情報処理装置、システム、情報処理装置の制御方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192264A (ja) 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置
WO2019073923A1 (ja) 2017-10-10 2019-04-18 国立大学法人岐阜大学 異常品判定方法
JP2020123097A (ja) 2019-01-30 2020-08-13 富士通株式会社 学習装置、学習方法および学習プログラム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05227338A (ja) * 1992-02-12 1993-09-03 Ricoh Co Ltd 学習機能を備えた画像形成装置
JP5173968B2 (ja) * 2008-09-25 2013-04-03 キヤノン株式会社 画像形成装置および画像形成方法
JP6521620B2 (ja) * 2014-12-09 2019-05-29 キヤノン株式会社 印刷装置、印刷装置の制御方法、プログラム、及び記憶媒体
JP2016173542A (ja) * 2015-03-18 2016-09-29 株式会社リコー 画像形成装置
JP6106226B2 (ja) * 2015-07-31 2017-03-29 ファナック株式会社 ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法
JP6672973B2 (ja) * 2016-04-12 2020-03-25 コニカミノルタ株式会社 画像形成システム、画像形成装置、画像形成方法及びプログラム
US10846555B2 (en) * 2017-06-26 2020-11-24 Verizon Patent And Licensing Inc. Object recognition based on hierarchical domain-based models
US20190286990A1 (en) * 2018-03-19 2019-09-19 AI Certain, Inc. Deep Learning Apparatus and Method for Predictive Analysis, Classification, and Feature Detection
US10825219B2 (en) * 2018-03-22 2020-11-03 Northeastern University Segmentation guided image generation with adversarial networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018192264A (ja) 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置
WO2019073923A1 (ja) 2017-10-10 2019-04-18 国立大学法人岐阜大学 異常品判定方法
JP2020123097A (ja) 2019-01-30 2020-08-13 富士通株式会社 学習装置、学習方法および学習プログラム

Also Published As

Publication number Publication date
JP2021047676A (ja) 2021-03-25
US20210088985A1 (en) 2021-03-25

Similar Documents

Publication Publication Date Title
JP6137615B2 (ja) 画像形成装置及び画像濃度制御方法
JP7375403B2 (ja) 機械学習装置、機械学習方法及び機械学習プログラム
JP4588796B2 (ja) 異常判定方法、並びにこれを用いる異常判定装置及び画像形成装置。
JP2016114923A (ja) 画像形成装置
CN114666450B (zh) 图像处理方法和图像处理装置
JP2010032958A (ja) 画像形成装置
JP2011043528A (ja) 画像形成装置
JP2001109219A (ja) カラー画像形成装置
JP2013205682A (ja) 画像形成装置及び画像形成方法
JP2006195246A (ja) 画像形成装置
JP4997150B2 (ja) カラー画像形成装置
JP2021018644A (ja) 機械学習装置、機械学習方法及び機械学習プログラム
JP2002214859A (ja) 画像形成装置および画像形成方法
US20200183315A1 (en) Image forming apparatus, deterioration state detection method and non-transitory computer-readable recording medium encoded with deterioration state detection program
JP2002244369A (ja) 画像形成装置
JP5381324B2 (ja) 画像形成制御装置、画像形成装置および画像形成制御方法
JP2017194518A (ja) 画像形成装置
JP2017044940A (ja) データ生成装置、画像形成装置及びデータ生成方法
JP4494098B2 (ja) 異常判定方法、並びにこれを用いる異常判定装置及び画像形成装置。
JP6537022B2 (ja) 画像形成装置、画像形成方法及び画像形成プログラム
JP2020149004A (ja) 画像形成装置
JP2020052166A (ja) 画像形成装置
JP7447439B2 (ja) 学習済モデルの生成方法及び画像形成装置
JP2013092696A (ja) 画像処理方法、画像処理装置及び画像形成装置
US11971676B2 (en) Image density measurement method and image forming apparatus

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191120

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20191122

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220819

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230911

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230926

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231009

R150 Certificate of patent or registration of utility model

Ref document number: 7375403

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150