JP2021086049A - 画像処理装置、画像処理システム及びプログラム - Google Patents

Abstract

【課題】特殊な構成を用いることなく表面と裏面の位置を調整する方法を提供する。【解決手段】画像処理装置は、第１面画像データ及び第２面画像データを取得する画像データ取得部と、第１面画像データに基づいて、記録媒体の第１面に形成する画像を示す第１描画画像データを生成する画像処理部と、第１描画画像データに基づいて記録媒体の第１面に形成された画像を読み取ることで得られた読取画像データを取得する読取画像データ取得部と、第１面画像データに基づいて特徴画素を抽出し、特徴画素の位置と、読取画像データに含まれる特徴画素に対応する画素の位置とに基づいて、第２面画像データを補正するための補正値を算出し、画像処理部は、画像データ取得部が取得した第２面画像データと、補正値とに基づいて、記録媒体の第２面に形成する第２描画画像データを生成することを特徴とする。【選択図】図１

Description

本発明は、画像処理装置、画像処理システム及びプログラムに関する。

従来、特殊な条件下で視認できるようになる特殊な色材を用いて、ユーザ画像中に基準点を印刷し、印刷されたユーザ画像に含まれる基準点を特殊なセンサを用いて検出し、検出した基準点に基づいて、裏面の画像を補正し、表面と裏面の画像の位置を調整する技術が知られている（例えば、特許文献１等を参照）。

しかし、従来技術では、特殊な色材又は特殊なセンサ等の構成を用いなければならない。

そこで、本発明では、特殊な構成を用いることなく、表面と裏面の位置を調整することを目的とする。

本発明の一実施形態による、画像処理装置は、第１面画像データ及び第２面画像データを取得する画像データ取得部と、
前記第１面画像データに基づいて、記録媒体の第１面に形成する画像を示す第１描画画像データを生成する画像処理部と、
前記第１描画画像データに基づいて前記記録媒体の前記第１面に形成された画像を読み取ることで得られた読取画像データを取得する読取画像データ取得部と、
前記第１面画像データに基づいて特徴画素を抽出する特徴画素抽出部と、
前記第１描画画像データに含まれる前記特徴画素に対応する画素の位置と、前記読取画像データに含まれる前記特徴画素に対応する画素の位置とに基づいて、前記第２面画像データを補正するための補正値を算出する補正部とを備え、
前記画像処理部は、前記画像データ取得部が取得した前記第２面画像データと、前記補正値とに基づいて、前記記録媒体の第２面に形成する画像を示す第２描画画像データを生成する
ことを特徴とする。

本発明の実施形態によって、特殊な構成を用いることなく、表面と裏面の位置を調整ができる。

画像処理システムの全体構成例を示す図である。 画像処理装置のハードウェア構成例を示す図である。 画像形成装置のハードウェア構成例を示す図である。 画像処理システムの機能構成例を示す図である。 第１処理例を示す図である。 第２処理例を示す図である。 射影変換を用いる補正の例を示す図である。 操作画面例を示す図である。 全体処理を示すフローチャートである。

以下、発明を実施するための最適な形態について、図面を参照して説明する。

＜全体構成例＞
図１は、画像処理システムの全体構成例を示す図である。例えば、画像処理システム１００は、ユーザ端末の例であるクライアントＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）（以下「クライアントＰＣ１０１」という。）、画像処理装置の例であるＤＦＥ（Ｄｅｇｉｔａｌ Ｆｒｏｎｔ Ｅｎｄ）（以下「ＤＦＥ１０２」という。）、画像形成装置１０３及び管理装置の例である管理サーバ１０４等を含む全体構成である。

クライアントＰＣ１０１は、ユーザが印刷したいジョブを作成し、ＤＦＥ１０２又は管理サーバ１０４へ印刷ジョブを送信する。例えば、クライアントＰＣ１０１は、液晶ディスプレイ等の表示部、及び、マウス並びにキーボード等の入力装置を備えるハードウェア構成である。なお、ハードウェア構成の詳細は、後述する。

ＤＦＥ１０２は、クライアントＰＣ１０１又は管理サーバ１０４等から、印刷ジョブを受け取る。そして、ＤＦＥ１０２は、受け取った印刷ジョブに基づいて、ＲＩＰ（Ｒａｓｔｅｒ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｏｒ）エンジン等によって、描画データを作成し、画像形成装置１０３へ描画データを送信する。なお、ハードウェア構成の詳細は、後述する。

画像形成装置１０３は、ＤＦＥ１０２から受け取った描画データに基づいて画像形成を行う。なお、ハードウェア構成の詳細は、後述する。

管理サーバ１０４は、クライアントＰＣ１０１から受け取った印刷ジョブを管理する。また、管理サーバ１０４は、ＤＦＥ１０２等の要求により、印刷ジョブをＤＦＥ１０２等へ送信する。なお、ハードウェア構成の詳細は、後述する。

ＤＦＥ１０２は、具体的には、画像形成装置１０３と通信を行い、画像形成装置１０３における画像形成等を制御する。また、ＤＦＥ１０２には、クライアントＰＣ１０１等が接続される。なお、接続はネットワークを介した接続でもよい。

クライアントＰＣ１０１は、あらかじめインストールされたアプリケーションにより、ＰＤＬ（Ｐａｇｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｌａｎｇｕａｇｅ）等の言語で記述された画像情報を作成する。そして、クライアントＰＣ１０１は、作成した画像情報をＤＦＥ１０２に送信する。次に、ＤＦＥ１０２は、ＰＤＬ等の言語で記述された画像データを画像形成装置１０３が印刷可能な形式の画像データに変換する。続いて、ＤＦＥ１０２は、画像データを画像形成装置１０３へ送信する。

画像形成装置１０３には、ＣＭＹＫの各インクが少なくとも搭載される。そして、画像形成装置１０３は、インク印字のためのヘッド、維持・供給機構を含む作像ユニット、及び、インク定着のための乾燥機構等が搭載される。

画像形成装置１０３は、ＤＦＥ１０２から送信された画像データに応じて、それぞれのヘッドでインクを用紙に吐出し、ヒーターによりインクを乾燥・定着させる。これにより、用紙に画像が形成されて、所望の印刷物が得られる。

また、画像処理システム１００には、管理サーバ１０４等があってもよい。そして、画像処理システム１００では、管理サーバ１０４等が、クライアントＰＣ１０１から受け取った印刷データを管理してもよい。また、管理サーバ１０４は、ＤＦＥ１０２からの要求により、印刷データをＤＦＥ１０２へ送信してもよい。なお、画像処理システム１００は、ＤＦＥのみの構成としてもよいし、画像形成装置のみの構成としてもよい。

また、画像形成装置は、インクジェットプリンタとインクを用いた構成に限らず、電子写真プリンタとトナーを用いた電子写真方式の構成等でもよい。ただし、印刷において、用紙が伸縮する構成の画像形成装置であるのが望ましい。すなわち、画像形成装置がインクジェットプリンタとインクを用いた構成において、より効果が得られる。

＜ハードウェア構成例＞
図２は、情報処理装置のハードウェア構成例を示す図である。例えば、クライアントＰＣ１０１、ＤＦＥ１０２及び管理サーバ１０４は、同じハードウェア構成である。以下、ＤＦＥ１０２を例に説明し、他の情報処理装置の説明を省略する。ただし、情報処理装置は、ＰＣ、サーバ及びスマートフォン等であればよく、異なるハードウェア構成でもよい。

図示するように、ＤＦＥ１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、以下「ＣＰＵ２０１」という。）、ＲＯＭ（Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ、以下「ＲＯＭ２０２」という。）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、以下「ＲＡＭ２０３」という。）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）／ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）（以下「ＨＤＤ／ＳＳＤ２０４」という。）及びＩ／Ｆ（ｉｎｔｅｒｆａｃｅ、以下「Ｉ／Ｆ２０５」という。）等を含むハードウェア構成である。

ＣＰＵ２０１は、ＲＡＭ２０３を作業領域として使用し、ＲＯＭ２０２に格納されるプログラムを実行する。このように、情報処理装置は、演算装置、制御装置及び記憶装置が協働してプログラムを実行する構成である。

ＨＤＤ／ＳＳＤ２０４は、記憶部として使用され、あらかじめ設定された設定値を格納している。なお、ＨＤＤ／ＳＳＤ２０４に格納されている情報は、ＣＰＵ２０１が読み出しプログラム実行時に使用することもある。このように、情報処理装置は、補助記憶装置を有するハードウェア構成でもよい。

Ｉ／Ｆ２０５は、ＤＦＥ１０２と、クライアントＰＣ１０１、画像形成装置１０３、管理サーバ１０４とを通信可能にするインタフェースである。このように、情報処理装置は、入力装置及び出力装置を有するハードウェア構成である。

なお、図示するハードウェア構成は一例であり、情報処理装置は、演算装置、制御装置、記憶装置、入力装置及び出力装置が更にあるハードウェア構成等でもよい。

図３は、画像形成装置のハードウェア構成例を示す図である。図示するように、画像形成装置１０３は、ＣＰＵ３０１、ＲＯＭ３０２、ＲＡＭ３０３、ＮＶＲＡＭ（Ｎｏｎ―Ｖｏｌａｔｉｌｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０４、外部機器接続Ｉ／Ｆ３０８、ネットワークＩ／Ｆ３０９及びバスライン３１０を備える。また、画像形成装置１０３は、紙搬送部３１１、副走査ドライバ３１２、主走査ドライバ３１３、キャリッジ３２０、及び、操作パネル３３０を備える。さらに、キャリッジ３２０は、液体吐出ヘッド３２１及び液体吐出ヘッドドライバ３２２を備える。

これらのうち、ＣＰＵ３０１は、画像形成装置１０３全体の動作を制御する。ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の駆動に用いられるプログラム等を記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＮＶＲＡＭ３０４は、プログラム等の各種データを記憶し、画像形成装置１０３の電源が遮断されている間も各種データを保持する。外部機器接続Ｉ／Ｆ３０８は、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル等によりＰＣに接続され、ＰＣとの間で、制御信号又は印刷されるデータの通信を行う。ネットワークＩ／Ｆ３０９は、インターネット等の通信ネットワークを利用してデータ通信をするためのインタフェースである。バスライン３１０は、ＣＰＵ３０１等の各構成要素を電気的に接続するためのアドレスバス又はデータバス等である。

紙搬送部３１１は、例えば、ローラ及びローラを駆動するモータであって、画像形成装置１０３内の搬送経路に沿って副走査方向へ印刷用紙を搬送する。副走査ドライバ３１２は、紙搬送部３１１の副走査方向への移動を制御する。主走査ドライバ３１３は、キャリッジ３２０の主走査方向への移動を制御する。

キャリッジ３２０の液体吐出ヘッド３２１は、インク等の液体を吐出するための複数のノズルを有しており、その吐出面（ノズル面）が、印刷用紙側を向くようにキャリッジ３２０に搭載されている。液体吐出ヘッド３２１は、主走査方向に移動しながら、副走査方向に間欠的に搬送される印刷用紙に液体を吐出することで、印刷用紙の所定位置に液体を吐出して画像を形成する。液体吐出ヘッドドライバ３２２は、液体吐出ヘッド３２１の駆動を制御するためのドライバである。

操作パネル３３０は、現在の入力値及び操作画面等を表示させ、ユーザからの操作を受け付けるタッチパネル、及び、アラームランプ等により構成される。

なお、液体吐出ヘッドドライバ３２２は、キャリッジ３２０に搭載されず、キャリッジ３２０外で、バスラインに接続されるように構成してもよい。また、主走査ドライバ３１３、副走査ドライバ３１２、及び、液体吐出ヘッドドライバ３２２は、それぞれプログラムに従ったＣＰＵ３０１の命令によって実現する機能であってもよい。

画像形成装置１０３は、表面インラインセンサ４０６aと、裏面インラインセンサ４０６ｂ（以下総じて「インラインセンサ４０６」という。）を備える。

インラインセンサ４０６は、用紙の両面を読み取り、用紙上に定着された画像を示す読取画像データを生成する。なお、インラインセンサ４０６は、表面インラインセンサ４０６a及び裏面インラインセンサ４０６ｂのうち、いずれか一方でもよい。例えば、センサが表面インラインセンサ４０６aのみの構成は、表面に画像形成が完了すると、表面インラインセンサ４０６aによって、画像の読み取りを行う。その後、他方の面に対して、画像形成が行われる。

＜機能構成例＞
図４は、画像処理システムの機能構成例を示す図である。

ＤＦＥ１０２は、画像データ取得部１１、画像処理部１２、読取画像データ取得部１３、特徴画素抽出部１４、及び、補正部１５を備える。また、ＤＦＥ１０２の各機能は、ＲＯＭ２０２や、ＨＤＤ／ＳＳＤ２０４に格納されたプログラムをＣＰＵ２０１で実行することで実現する。

画像形成装置１０３は、画像形成制御部２１、画像形成部２２、及び、読取部２３を備える。

画像データ取得部１１は、クライアントＰＣ、又は、管理サーバから受け取った印刷ジョブから画像データを取得する。そして、画像データ取得部１１は、取得した画像データを特徴画素抽出部１４及び画像処理部１２へ出力する。

ここで、記録媒体の第１面に形成する画像を示す画像データを第１面画像データ、記録媒体の第１面とは異なる第２面に形成する画像を示す画像データを第２面画像データ、第1面画像データと第２面画像データを含む画像データを原画像データとする。

画像処理部１２は、画像データ取得部１１から受け取った原画像データに基づいて、第１面画像データに対して色変換又はＲＩＰ処理を行い、例えば、ＲＩＰ画像データである第１描画画像データを生成する。そして、画像処理部１２は、生成した描画画像データを画像形成装置１０３へ出力する。この際に、画像処理部１２は、画像データに対して、記録媒体の表面と裏面に形成する画像の位置合わせ用のマーカ（以下「基準マーカ」という。）を示す画像データを付加し、新たな画像データを生成してもよい。

また、画像処理部１２は、第２面画像データ、又は、後述の補正部１５から受け取った補正値に基づいて、第２面画像データに対して色変換又はＲＩＰ処理を行い、例えば、ＲＩＰ画像データである第２描画画像データを生成する。

読取画像データ取得部１３は、画像形成装置１０３から取得する読取画像データを、特徴画素抽出部１４へ出力する。

特徴画素抽出部１４は、受け取った第１描画画像データに基づいて、第１描画画像データが示す画像から特徴画素（以下「印刷物マーカ」という場合がある。）を抽出する。なお、特徴画素は、記録媒体の表面に形成した画像と、裏面に形成する画像との位置を調整する際に使用される特徴的な画素である。さらに、特徴画素抽出部１４は、読取画像データからトンボマーク、Ｌ字マーク、又は、十字マーク等の基準マーカの位置を抽出してもよい。また、特徴画素抽出部１４は、抽出した特徴画素の位置や基準マーカの位置を補正部１５へ出力する。

補正部１５は、特徴画素抽出部１４から受け取った特徴画素又は基準マーカの位置に基づいて、原画像データのうち、記録媒体の裏面に形成する画像を示す第２面画像データを補正するための補正値を算出する。そして、補正部１５は、算出した補正値を、画像処理部１２へ出力する。

画像形成制御部２１は、ＤＦＥ１０２の画像処理部１２から第１描画画像データ又は第２描画画像データを受け取り、第１描画画像データ又は第２描画画像データに基づいて画像形成部２２を制御し、画像形成部２２に記録媒体上に画像形成を行わせる。

読取部２３は、記録媒体上に形成された画像をスキャナ又はラインセンサで読み取った結果から、読取画像データを生成する。そして、読取部２３は、生成した読取画像データをＤＦＥ１０２へ出力する。

＜第１処理例＞
図５は、第１処理例を示す図である。以下、図５（Ａ）に示すような画像を画像形成するように指示する第１面画像データが取得された例で説明する。具体的には、この例では、画像形成制御部２１は、第１面画像データに基づいて、第１面に図５（Ａ）に示すような第１対象物ＴＧ１及び第２対象物ＴＧ２等の画像を画像形成するように画像形成部２２を制御する。

このような画像形成が行われると、例えば、図５（Ｂ）に示すような画像が用紙ＰＡの第１面ＳＤ１に画像形成される。

図５（Ａ）に示す画像と比較すると、図５（Ｂ）に示す画像は、第１対象物ＴＧ１及び第２対象物ＴＧ２に加えて、第１マーカＭＫ１、第２マーカＭＫ２、第３マーカＭＫ３及び第４マーカＭＫ４が四隅に追加される点が異なる。

また、この例では、特徴画素抽出部１４は、特徴画素として、図示するようなエッジ部ＥＧ（図示するように、第２対象物ＴＧ２の左上部分であって、第１対象物ＴＧ１と境界となる箇所が特徴画素と認識され、抽出されるとする。）を抽出する。

なお、特徴画素は、第１面画像データ中から抽出した特徴的な画素であり、例えば、Ｌ字の直線部分等の連続する複数の画素であってもよいし、離散的な複数の画素であってもよい。

また、特徴画素抽出部１４は、ＲＩＰ画像データから特徴画素を抽出してもよいし、別の形式のデータから抽出してもよい。

例えば、特徴画素抽出部１４は、第１マーカＭＫ１、第２マーカＭＫ２、第３マーカＭＫ３、及び、第４マーカＭＫ４等の基準マーカ、並びに、エッジ部ＥＧ等を、図５（Ｃ）のような位置として記憶する。なお、図５（Ｃ）は、用紙ＰＡに収縮等がない理想的な状態において、基準マーカ及びエッジ部ＥＧが認識される位置を示す。

そして、画像形成部２２が、用紙ＰＡの第１面ＳＤ１に、基準マーカ及び第１面に形成する画像、すなわち、図５（Ｂ）に示すような画像を画像形成したとする。そして、画像形成部２２による画像形成の結果、図５（Ｄ）のように画像形成されたとする。

図５（Ｄ）は、読取部２３による読取結果の例である。すなわち、読取部２３は、第１面に画像形成された図５（Ｄ）に示すような画像を読み取る。次に、特徴画素抽出部１４が、第１マーカＭＫ１、第２マーカＭＫ２、第３マーカＭＫ３、及び、第４マーカＭＫ４等の基準マーカ、並びに、エッジ部ＥＧを抽出すると、例えば、図５（Ｅ）を示すような読取画像データが生成される。

具体的には、図５（Ｄ）に示す画像は、図５（Ｂ）に示す画像と比較すると、第２マーカＭＫ２及び第４マーカＭＫ４が用紙ＰＡの長手方向（図では、上下方向となる。）において、内側に移動している点が異なる。すなわち、図５（Ｄ）は、画像形成において、用紙ＰＡが、特に第２マーカＭＫ２及び第４マーカＭＫ４側（図では、右側となる。）で収縮した例である。このように、補正部１５は、例えば、図５（Ｃ）に示すような画像を示す第１描画画像データに含まれる特徴画素に対応する画素の位置と、図５（Ｅ）に示すような画像を示す読取画像データに含まれる特徴画素に対応する画素の位置とに基づいて補正値を算出する。

したがって、補正部１５は、図５（Ｃ）及び図５（Ｅ）を比較して補正値を算出する。このような補正値に基づいて、画像処理部１２は、補正値に基づいて、収縮等の影響を補正して第２面に、第１面画像とズレが少ない画像を形成できる。

図示するように、基準マーカは、元々のユーザ画像に含まれていないマーカであるため、記録媒体上でユーザ画像を形成する領域には形成できない場合が多い。そこで、エッジ部ＥＧのように、用紙ＰＡの印刷領域に形成されるような特徴画素があると、用紙ＰＡの収縮等を精度よく把握できるため、補正部１５は、精度よく補正をすることができる。

＜第２処理例＞
図６は、第２処理例を示す図である。第１処理例と比較すると、第２処理例は、特徴画素を人物の顔（以下単に「顔ＴＧ３」という。）の部位にする点が異なる。図示するように、部位は、例えば、目ＥＹ、鼻ＮＳ又は口ＭＳ等である。以下、特徴画素抽出部１４が鼻ＮＳを特徴画素として抽出する場合を例に説明する。なお、特徴画素は、目ＥＹ、鼻ＮＳ又は口ＭＳ等に限られず、顔全体又は耳等といった他の部位でもよい。

人物の顔ＴＧ３、目ＥＹ、鼻ＮＳ又は口ＭＳ等は、概ね形状又は色等が同じである場合が多い。したがって、認識処理等で抽出するのが容易な部位である。このように、容易に抽出できる部位が抽出部分に用いられるのが望ましい。

図６（Ａ）は、図示するように、顔ＴＧ３を含む画像の例である。

図６（Ｂ）は、第１処理例と同様に、四隅にマーカが加えられた例を示す。そして、図６（Ｂ）に示す画像に基づいて、例えば、第１処理例と同様に、特徴画素抽出部１４は、図６（Ｃ）のように、基準マーカの位置を抽出する。さらに、特徴画素抽出部１４は、例えば、図６（Ｃ）のように、鼻ＮＳの位置（以下「鼻位置ＰＯＳ」という。）を抽出する。

次に、第１処理例と同様に、第１面ＳＤ１に、第１対象物ＴＧ１及び顔ＴＧ３等を含む画像が画像形成された後、読取部２３によって、画像形成された第１面の画像が読み取られる。

そして、第１処理例と同様に、用紙ＰＡは、第１面に対する画像形成において収縮等があるとする。したがって、この例では、読取部２３による読取結果は、図６（Ｄ）のようになる。ゆえに、この例では、特に、鼻位置ＰＯＳ、第２マーカＭＫ２の位置及び第４マーカＭＫ４の位置等は、収縮等によって、理想状態（この例では、図６（Ｃ）の状態である。）と比較すると、ズレた位置となる。

第１処理例と同様に、補正部１５は、図６（Ｃ）及び図６（Ｅ）を比較して補正値を算出する。このような補正値に基づいて、画像処理部１２は、補正値に基づいて、収縮等の影響を補正して第２面に、第１面画像とズレが少ない画像を形成できる。

このように、鼻位置ＰＯＳ等の特徴画素を用いると、用紙ＰＡの中央部分等についても、補正部１５は、収縮を補正するための補正値を算出できる。

＜射影変換を用いる補正の例＞
基準マーカ及び特徴画素の位置は、例えば、以下のように用いられるのが望ましい。

図７は、射影変換を用いる補正の例を示す図である。

図７（Ａ）は、図５（Ｃ）及び図６（Ｃ）と同様に、理想状態等における基準マーカ及び特徴画素の位置を示す。具体的には、第１マーカＭＫ１は、この例では、左上となるＡ１（Ｘ＿Ａ１，Ｙ＿Ａ１）の座標に位置する。同様に、第２マーカＭＫ２は、この例では、右上となるＡ２（Ｘ＿Ａ２，Ｙ＿Ａ２）の座標に位置する。さらに、第３マーカＭＫ３は、この例では、左下となるＡ３（Ｘ＿Ａ３，Ｙ＿Ａ３）の座標に位置する。さらにまた、第４マーカＭＫ４は、この例では、右下となるＢ４（Ｘ＿Ｂ４，Ｙ＿Ｂ４）の座標に位置する。

そして、特徴画素ＳＰは、Ａ４（Ｘ＿Ａ４，Ｙ＿Ａ４）の座標に位置する。まず、このように、特徴画素抽出部１４が、４つの基準マーカ及び特徴画素ＳＰのそれぞれの位置が検出できたとする。

次に、基準マーカ及び特徴画素ＳＰの点を頂点とし、頂点を結んで複数の多角形を作る。以下、図示するように、４つの頂点を結び、四角形を作る場合を例に説明する。なお、多角形は、四角形に限られず、多角形の数、形状及び頂点の数は、図示する例に限られない。

具体的には、図７（Ａ）において、第１マーカＭＫ１の頂点、第２マーカＭＫ２の頂点、特徴画素ＳＰの頂点、及び、第３マーカＭＫ３の頂点を結ぶと、特徴画素抽出部１４は、概ね左上の位置に四角形（以下「第１四角形ＥＲ１」という。）を生成できる。

同様に、図７（Ａ）において、第４マーカＭＫ４の頂点、第２マーカＭＫ２の頂点、特徴画素ＳＰの頂点、及び、第３マーカＭＫ３の頂点を結ぶと、特徴画素抽出部１４は、概ね右下の位置に四角形（以下「第２四角形ＥＲ２」という。）を生成できる。

例えば、第１四角形ＥＲ１及び第２四角形ＥＲ２のように、四角形を複数作ると、画像データを複数の領域に分割できる。図示するように、多角形は、互いに重複しないように作られるのが望ましい。

第１四角形ＥＲ１は、図示するように、Ａ１、Ａ２、Ａ４及びＡ３の頂点で構成される。同様に、第２四角形ＥＲ２は、図示するように、Ｂ１、Ｂ２、Ｂ４及びＢ３の頂点で構成される。したがって、それぞれの四角形は、各頂点の座標位置情報を用いることで、それぞれの四角形を変形させたり、頂点の位置を移動させたりする射影変換が可能となる。このように、射影変換は、多角形を変形又は移動させる処理等である。

ただし、第１面と、第２面とでは、表裏の関係にあるため、補正部１５は、第１面で取得できる座標情報を第２面における座標情報に変えて、第２面に形成する画像に射影変換を行うようにして補正する。具体的には、第２面に形成する画像は、第１面に形成する画像に対して、上下又は左右に反転したような向き（向きは、ユーザ等によって入力される場合が多い。）に画像形成される場合が多い。したがって、第１面と、第２面とでは、座標情報は、上下又は左右に反転して射影変換に用いられるのが望ましい。

そして、多角形ごとに射影変換を行うと、例えば、図７（Ｂ）のように、第１四角形ＥＲ１及び第２四角形ＥＲ２を図７（Ａ）のような形状から図７（Ｂ）のような形状に変えることができる。したがって、補正部１５は、図示するように、多角形を射影変換することで、第１面に形成される画像と第２面に形成される画像とが形成される位置を合わせる補正値を算出できる。

また、図示するように、射影変換の補正が行われる場合には、多角形を構成する構成線を含む領域（以下「境界領域ＣＮ」という。）が、更に補正されるのが望ましい。

境界領域ＣＮは、図示するように、多角形同士の境界に位置する構成線で囲まれた領域等である。図示するように、それぞれの多角形は、互いに異なる射影変換が行われる場合がある。そのため、境界領域ＣＮには、いわゆる「スジ」になったり、構成線が異なる、すなわち、繋ぎ目がズレることで、段差が発生したりする場合がある。このような現象があると、画質を低下させる要因となる場合が多い。

そこで、画像処理部１２は、境界領域ＣＮに基づいて画像処理を行うのが望ましい。すなわち、画像処理部１２は、多角形同士の繋ぎ目が自然に繋がっているように見えるように、境界領域ＣＮを画像処理するのが望ましい。

例えば、画像処理部１２は、境界領域ＣＮ等をぼかす、境界領域ＣＮに隣接する画素の特徴に基づいて境界領域ＣＮ等を画像処理する、又は、多角形の端部にある画素の特徴に基づいて境界領域ＣＮ等を画像処理する等である。

このように、「スジ」及び周辺等をぼかす画像処理を行うと、「スジ」を目立たないようにすることができる。また、「スジ」に隣接又は多角形の端部にある画素等が「スジ」及び周辺等にコピーされると、「スジ」を目立たないようにすることができる。

なお、画像処理部１２は、境界領域ＣＮに、多角形の端部にある画素をコピーする画像処理を行うに限られない。例えば、まず、画像処理部１２は、複数の多角形から、それぞれの端部にある画素を検出する。この場合には、一方の画素から他方の画素の間に、境界領域ＣＮが位置する。そして、画像処理部１２は、一方の画素と、他方の画素との間では、線形に画素値が変化するように、画素を補間する等の処理を行う。すなわち、画像処理部１２は、境界領域ＣＮに隣接する画素又は多角形の端部にある画素を参考にして、その間に位置する境界領域ＣＮが自然な画素値となるように、画像処理を行ってもよい。

同様に、繋ぎ目等で段差が発生するような場合には、画像処理部１２は、多角形の端部にある画素等を検出し、それぞれの画素が繋がるように、多角形を変形させるように画像処理する等でもよい。

このように、画像処理部１２が、「スジ」又は段差等になる領域を画像処理すると、自然な画像にすることができる。

＜ＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）例＞
図８は、操作画面例を示す図である。例えば、特徴画素抽出部１４についての設定は、図示するような操作画面が受け付ける入力値に基づいて行われる。具体的には、図示する操作画面ＳＥＴは、ＵＩとして、「表裏自動位置合わせ」用となる第１メニューＰＬ１、「用紙中央部の位置合わせ」用となる第２メニューＰＬ２、「グラフィックスのエッジを位置合わせに使用」用となる第３メニューＰＬ３、「検出強度」用となる第４メニューＰＬ４、及び、「人物の顔を位置合わせに使用」用となる第５メニュー等を含む構成である。

第１メニューＰＬ１は、図示するように、表と裏の位置合わせ処理を行うか否かを「オン（ＯＮ）」又は「オフ（ＯＦＦ）」で切り替える操作を受け付けるＵＩである。

第２メニューＰＬ２は、図示するように、表と裏の位置合わせ処理において、中央部分となる位置でも表と裏の位置合わせ処理を行うか否かを「オン（ＯＮ）」又は「オフ（ＯＦＦ）」で切り替える操作を受け付けるＵＩである。

第３メニューＰＬ３は、エッジ部を特徴画素として抽出し、表と裏の位置合わせ処理を行うか否かを「オン（ＯＮ）」又は「オフ（ＯＦＦ）」で切り替える操作を受け付けるＵＩである。

第４メニューＰＬ４は、エッジ部の検出等において、強度を切り替える操作を受け付けるＵＩである。図示する例は、「弱」、「中」及び「強」の３段階で強度を切り替える例である。なお、強度は、３段階に限られず、より多段階でもよいし、数値等で入力できる形式等でもよい。

第５メニューＰＬ５は、人物の顔等を特徴画素として抽出し、表と裏の位置合わせ処理を行うか否かを「オン（ＯＮ）」又は「オフ（ＯＦＦ）」で切り替える操作を受け付けるＵＩである。なお、特徴画素は、人物の顔に限られず、他に指定できてもよい。

表裏の位置合わせでは、画像の端部にある線が表裏で重なるように見える等が重視される場合が多い。ゆえに、面付け等が行われたシートは、各面に画像形成された画像の端部にある線が、表裏で合っていることが望ましい。

このような場合には、第１メニューＰＬ１及び第３メニューＰＬ３で、ユーザは、それぞれの入力値が「オン（ＯＮ）」となるように操作する。このような操作を受け付けると、画像処理装置は、グラフィックスオブジェクトにおけるエッジ部を基準にして表裏の位置合わせを行い、画像の端部にある線等が表裏で重なるように見える画像形成を行うことができる。

一方で、用紙の収縮等によっては、無理に表と裏を位置合わせしようとすると、線が曲がって見える等の現象が起きる場合もある。このような場合には、ユーザは、第３メニューＰＬ３の入力値を「オフ（ＯＦＦ）」とする操作を行う。このような操作を受け付けると、画像処理装置は、エッジ部を抽出しないため、無理に表と裏を位置合わせしないようにでき、画質を向上させることができる場合がある。

一方で、用紙の収縮等によっては、無理に表と裏を位置合わせしようとすると、人物の顔が歪む等の現象が起きる場合もある。このような場合には、ユーザは、第５メニューＰＬ５の入力値を「オフ（ＯＦＦ）」とする操作を行う。このような操作を受け付けると、画像処理装置は、人物の顔を抽出しないため、歪みを防ぎ、画質を向上させることができる場合がある。

また、第４メニューＰＬ４によって、検出強度が調整できるのが望ましい。例えば、ユーザは、エッジ部を特徴画素として抽出するように、第４メニューＰＬ４の入力値を検出の閾値が高くなるように操作を行う。このような操作を受け付けると、画像処理装置は、抽出するエッジ部を少なくする。したがって、余分なエッジ部を拾う可能性を低くできる。すなわち、画像処理装置は、誤検出を少なくできる。

一方で、ユーザは、第４メニューＰＬ４の入力値を検出の閾値が低くなるように操作する。このような操作を受け付けると、画像処理装置は、抽出するエッジ部を多くする。したがって、画像処理装置は、多くの位置で細かく位置合わせが可能になる。

以上のように、第４メニューＰＬ４のようなＵＩがあると、位置合わせを行う位置の数等が調整できる。

＜全体処理例＞
図９は、全体処理を示すフローチャートである。

ステップＳ１では、画像データ取得部１１は、原画像データを取得する。

ステップＳ２では、画像処理部１２は、原画像データに基づいて第１描画画像データを生成する。

ステップＳ３では、画像形成部２２は、第１描画画像データに基づいて画像形成を行う。

ステップＳ４では、読取部２３は、読取画像データを生成する。

ステップＳ５では、特徴画素抽出部１４は、第１描画画像データから特徴画素を抽出できたか否かを判断する。

次に、特徴画素を抽出できた場合には（ステップＳ５でＹＥＳ）、画像処理装置は、ステップＳ７に進む。一方で、特徴画素を抽出できなかった場合には（ステップＳ５でＮＯ）、画像処理装置は、ステップＳ６に進む。

ステップＳ６では、補正部１５は、基準マーカに基づいて第２面に形成する画像を形成するのに用いられる第２面画像データを補正するための補正値を算出する。そして、画像処理部１２が補正値に基づいて第２描画画像データを生成する。

ステップＳ７では、補正部１５は、基準マーカ及び特徴画素に基づいて補正値を算出する。そして、画像処理部１２が補正値に基づいて第２描画画像データを生成する。

以上のように、基準マーカ及び特徴画素等を用いる構成であれば、特殊な色材や特殊なセンサを用いなくても、表面と裏面の画像の位置を調整するために、表面に印刷する画像の中から、表面と裏面の位置を調整する際に使用する基準点（エッジ部等の特徴的な画素（特徴画素）である。）を抽出して、抽出した基準点の位置を利用して裏面に印刷する画像の画像データを補正することで、特殊な構成を用いることなく表面と裏面の位置を調整ができる。

＜変形例＞
基準マーカ及び特徴画素の「ズレ」を判定するのに基準となる基準点は、基準となる印刷物等（以下「見本」という。）を読み取る等して入力されてもよい。すなわち、画像処理装置は、見本から特徴画素等を抽出して、基準点としてもよい。

具体的には、画像処理装置は、あらかじめ見本を読み取り、見本が示す基準マーカ及び特徴画素を基準とするように入力操作されてもよい。すなわち、画像処理装置は、見本と、対象となる第１面画像等とを比較して、補正の対象とする、ズレ量等を計算してもよい。

又は、基準点となる位置は、例えば、ユーザが指定できてもよい。例えば、まず、画像処理装置は、あらかじめ見本を読み取る。次に、画像処理装置は、ユーザに対して、見本を表示する。そして、ユーザは、表示された見本に対して、基準マーカ及び特徴画素の比較において基準となる点を指定する操作ができてもよい。

また、画像処理装置は、検査を行ってもよい。

例えば、画像処理装置は、見本と、画像形成された画像とを比較する。この比較の結果に基づいて、画像処理装置は、画像形成された画像に欠陥があるか否かを検査してもよい。

欠陥は、例えば、「スジ」がある、又は、印刷ミス等である。他にも、欠陥は、画像が傾いている、又は、画像が歪んでいる等である。さらに、欠陥は、表と裏で一定上、「ズレ」がある場合等である。

特に、Ａ４より大きい用紙等では、欠陥が目立つ場合が多い。

したがって、画像処理装置は、検査によって欠陥の有無を判定してもよい。そして、検査の結果に基づいて、画像処理装置は、欠陥があると、通知又はやり直し等を行う構成であるのが望ましい。

上記の実施形態及び変形例によれば、ユーザの印刷指示によって印刷される実際の画像に対応する原画像データから特徴画素を抽出し、当該特徴画素を用いて記録媒体の表面と裏面とに形成される画像の位置を調整する。したがって、特殊な色材や特殊なセンサ等を用いることなく画像の位置を調整することができる。

上述のように、上記の実施形態及び変形例においては、特徴画素に加えてトンボマーク等の基準マーカを記録媒体に形成してもよい。この場合、基準マーカは、ユーザの印刷指示によって印刷される画像を形成するために用いられるインク又はトナーによって形成することが好ましい。この場合、基準マーカを形成するための専用の色材（インクやトナー）を用いずに画像の位置を調整することができる。

画像形成装置１０３は、ＣＭＹＫの各色のインクに加えてクリアインクなどを用いて画像を形成するものであってもよい。

＜その他の実施形態＞
画像処理システムにおいて、上記の処理は、画像処理装置及び情報処理装置等に、分散、並列、冗長して行われてもよい。

各装置は、１つの装置でなくともよい。すなわち、各装置は、複数の装置の組み合わせであってもよい。なお、図示する以外の装置が更に含まれる構成であってもよい。

なお、画像処理装置は、通信機能を備えた装置であれば、画像形成装置等でもよい。画像処理装置は、例えば、ＰＪ（Ｐｒｏｊｅｃｔｏｒ：プロジェクタ）、ＩＷＢ（Ｉｎｔｅｒａｃｔｉｖｅ Ｗｈｉｔｅ Ｂｏａｒｄ：相互通信が可能な電子式の黒板機能を有する白板）、デジタルサイネージ等の出力装置、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）装置、産業機械、撮像装置、集音装置、医療機器、ネットワーク家電、自動車（Ｃｏｎｎｅｃｔｅｄ Ｃａｒ）、ノートＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、携帯電話、スマートフォン、タブレット端末、ゲーム機、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、デジタルカメラ、ウェアラブルＰＣ又はデスクトップＰＣ等であってもよい。

また、画像処理システム及び画像処理装置は、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）等を利用してもよい。例えば、画像処理システム及び画像処理装置は、基準マーカ及び顔等を認識する画像認識処理等において、機械学習等を行い、認識精度を向上させる構成等でもよい。

なお、本発明に係る各処理の全部又は一部は、コンピュータ言語で記述され、コンピュータに画像処理方法を実行させるためのプログラムによって実現されてもよい。すなわち、プログラムは、画像処理装置又は画像処理システム等のコンピュータに各処理を実行させるためのコンピュータプログラムである。

したがって、プログラムに基づいて画像処理方法が実行されると、コンピュータが有する演算装置及び制御装置は、各処理を実行するため、プログラムに基づいて演算及び制御を行う。また、コンピュータが有する記憶装置は、各処理を実行するため、プログラムに基づいて、処理に用いられるデータを記憶する。

また、プログラムは、コンピュータが読み取り可能な記憶媒体に記録されて頒布することができる。なお、記憶媒体は、磁気テープ、フラッシュメモリ、光ディスク、光磁気ディスク又は磁気ディスク等のメディアである。さらに、プログラムは、電気通信回線を通じて頒布することができる。

以上、実施形態における一例について説明したが、本発明は、上記実施形態に限定されない。すなわち、本発明の範囲内で種々の変形及び改良が可能である。

１００ 画像処理システム
１０１ クライアントＰＣ
１０２ ＤＦＥ
１０３ 画像形成装置
１０４ 管理サーバ
ＣＮ 境界領域
ＥＧ エッジ部
ＥＲ１ 第１四角形
ＥＲ２ 第２四角形
ＥＹ 目
１１ 画像データ取得部
１２ 画像処理部
１３ 読取画像データ取得部
１４ 特徴画素抽出部
１５ 補正部
２１ 画像形成制御部
２２ 画像形成部
２３ 読取部
ＭＫ１ 第１マーカ
ＭＫ２ 第２マーカ
ＭＫ３ 第３マーカ
ＭＫ４ 第４マーカ
ＭＳ 口
ＮＳ 鼻
ＰＡ 用紙
ＰＬ１ 第１メニュー
ＰＬ２ 第２メニュー
ＰＬ３ 第３メニュー
ＰＬ４ 第４メニュー
ＰＬ５ 第５メニュー
ＰＯＳ 鼻位置
ＳＤ１ 第１面
ＳＤ２ 第２面
ＳＰ 特徴画素
ＴＧ３ 顔

特許第３６３０９７９号公報

そこで、本発明では、特殊な構成を用いることなく、記録媒体の表面に形成される画像と裏面に形成される画像の位置を調整することを目的とする。

Claims (7)

1. 第１面画像データ及び第２面画像データを取得する画像データ取得部と、
   前記第１面画像データに基づいて、記録媒体の第１面に形成する画像を示す第１描画画像データを生成する画像処理部と、
   前記第１描画画像データに基づいて、前記記録媒体の前記第１面に形成された画像を読み取ることで得られた読取画像データを取得する読取画像データ取得部と、
   前記第１面画像データに基づいて、特徴画素の位置を抽出する特徴画素抽出部と、
   前記特徴画素に対応する画素の位置と、前記読取画像データに含まれる前記特徴画素に対応する画素の位置とに基づいて、前記第２面画像データを補正するための補正値を算出する補正部とを備え、
   前記画像処理部は、前記画像データ取得部が取得した前記第２面画像データと、前記補正値とに基づいて、前記記録媒体の第２面に形成する画像を示す第２描画画像データを生成する
   ことを特徴とする画像処理装置。
2. 前記特徴画素の位置は、前記第１面画像データに基づいて抽出したエッジ部の位置であることを特徴とする
   請求項１に記載の画像処理装置。
3. 前記特徴画素の位置は、前記第１面画像データに基づいて抽出した、連続した複数の画素のそれぞれの位置であることを特徴とする
   請求項１に記載の画像処理装置。
4. 前記特徴画素は、前記第１面画像データに基づいて抽出した、離散的な複数の画素のそれぞれの位置であることを特徴とする
   請求項１に記載の画像処理装置。
5. 前記特徴画素抽出部は、さらに、基準マーカの位置を抽出し、
   前記補正部は、前記特徴画素に対応する画素の位置と、前記読取画像データに含まれる前記特徴画素に対応する画素の位置と、前記基準マーカの位置と、に基づいて、前記第２面画像データを補正するための補正値を算出する
   ことを特徴とする
   請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 画像処理装置と、画像形成装置とを含む画像処理システムであって、
   前記画像処理装置は、
   第１面画像データ及び第２面画像データを取得する画像データ取得部と、
   前記第１面画像データに基づいて、記録媒体の第１面に形成する画像を示す第１描画画像データを生成する画像処理部と、
   前記第１描画画像データに基づいて前記記録媒体の前記第１面に形成された画像を読み取ることで得られた読取画像データを取得する読取画像データ取得部と、
   前記第１面画像データに基づいて特徴画素を抽出する特徴画素抽出部と、
   前記第１描画画像データに含まれる前記特徴画素に対応する画素の位置と、前記読取画像データに含まれる前記特徴画素に対応する画素の位置とに基づいて、前記第２面画像データを補正するための補正値を算出する補正部と、
   を備え、
   前記画像形成装置は、
   前記第１描画画像データに基づいて、前記記録媒体上に画像を形成する画像形成部と、
   前記画像形成部が、前記記録媒体上に形成した画像を読み取る読取部と、
   を備え、
   前記画像処理部は、前記画像データ取得部が取得した前記第２面画像データと、前記補正値とに基づいて、前記記録媒体の第２面に形成する画像を示す第２描画画像データを生成する
   ことを特徴とする画像処理システム。
7. 第１面画像データ及び第２面画像データを取得する画像データ取得部と、
   前記第１面画像データに基づいて、記録媒体の第１面に形成する画像を示す第１描画画像データを生成する画像処理部と、
   前記第１描画画像データに基づいて前記記録媒体の前記第１面に形成された画像を読み取ることで得られた読取画像データを取得する読取画像データ取得部と、
   前記第１面画像データに基づいて特徴画素を抽出する特徴画素抽出部と、
   前記第１描画画像データに含まれる前記特徴画素に対応する画素の位置と、前記読取画像データに含まれる前記特徴画素に対応する画素の位置とに基づいて、前記第２面画像データを補正するための補正値を算出する補正部と、
   を備え、
   前記画像処理部が、前記画像データ取得部が取得した前記第２面画像データと、前記補正値とに基づいて、前記記録媒体の第２面に形成する画像を示す第２描画画像データを生成する
   機能をコンピュータに実現させるプログラム。

Images