JP5004856B2 - 画像形成装置及び画像形成方法及び記憶媒体、プログラム - Google Patents

Description

本発明は、超解像度処理を行う画像形成装置における画像形成技術に関するものである。

位相が異なる複数の低解像度の画像データに対して、データ補間処理を施し、高解像度の画像データを生成する超解像度処理技術が知られている（例えば、下記非特許文献１参照）。

また、スキャナにオフセット値を付加することで位相を変えた低解像度の画像データを読み込み、超解像度処理技術により高解像度の画像データを生成するシステムが知られている（例えば、下記特許文献１参照）。
Ｒｉｃｏｈ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．２４，ＮＯＶ １９９８ 特開平８―９８００９号公報

しかしながら、上記超解像度処理では、複数の低解像度の画像データが必要となるため、処理を実行するには、当該低解像度の画像データを保持するだけのメモリ容量を有する画像形成装置を用いる必要がある。

一方で、超解像度処理に用いる低解像度の画像データの枚数を削減することで、メモリ容量の低減を図ることも考えられる。しかしながら、この場合、削減する低解像度画像データによっては、超解像度処理により生成される高解像度の画像データが、所望の画質を満たさないこともありえる。

本発明は上記課題に鑑みてなされたものであり、超解像度処理を実行するにあたり、必要なメモリ容量の低減と、所望の画質を有する高解像度の画像データの生成とを両立させるための画像形成技術を提供することを目的とする。

上記の目的を達成するために本発明に係る画像形成装置は以下のような構成を備える。即ち、
第１の解像度を有する複数の画像データを用いて、該第１の解像度よりも高い第２の解像度を有する画像データを生成する超解像度処理を実行する画像形成装置であって、
前記第１の解像度を有する複数の画像データを記憶する記憶手段と、
前記複数の画像データの空間周波数分布を算出し、該算出した空間周波数分布と、前記複数の画像データから選択された画像データの空間周波数分布との差分を算出し、該差分が閾値以上である場合、前記記憶手段により記憶された前記複数の画像データの中から、前記選択された画像データを削除する削除手段と、
前記記憶手段により記憶された前記複数の画像データのうち、前記削除手段により削除されなかった残りの画像データであり、該画像データのそれぞれが１画素未満の位相ずれを有する複数の画像データを用いて超解像度処理を実行し、前記第２の解像度を有する画像データを生成する生成手段とを備える。

本発明によれば、超解像度処理を実行するにあたり、必要なメモリ容量の低減と、所望の画質を有する高解像度の画像データの生成とを両立させることができるようになる。

以下、図面を参照しながら、本発明の好適な実施の形態について説明する。

［第１の実施形態］
＜１．印刷システムの構成＞
図１は、本実施形態にかかる画像形成装置を備える印刷システムの構成を示す図である。なお、図１では、１台のホストコンピュータ（ホストコンピュータ１０４）と３台の画像形成装置（画像形成装置１０１〜１０３）とがＬＡＮ１０５を介して接続される場合について説明するが、印刷システムの構成はこれに限定されるものではない。

また、図１では、各装置（１０１〜１０４）がＬＡＮ１０５を介して接続される場合について説明するが、接続方法はこれに限定されるものではない。例えば、ＷＡＮ（公衆回線）などの任意のネットワーク、ＵＳＢなどのシリアル伝送方式、セントロニクスやＳＣＳＩなどのパラレル伝送方式などを用いて接続されてもよい。

ホストコンピュータ（以下、ＰＣと称する）１０４はパーソナルコンピュータの機能を有する。ＰＣ１０４は、ＬＡＮ１０５を介して、ＦＴＰやＳＭＢプロトコルに基づいてファイルの送受信を行ったり、電子メールの送受信を行ったりすることができる。

また、ＰＣ１０４は、デジタルカメラやビデオカメラ等の撮像装置１０６から画像データを取り込み、画像形成装置１０１〜１０３に画像データを送信することできる。更に、ＰＣ１０４は、画像形成装置１０１〜１０３に対して、プリンタドライバを介して印字命令を出力することも可能である。

画像形成装置１０１と１０２は、ともにスキャナ部とプリンタ部とを有する画像形成装置である。一方、画像形成装置１０１は、プリンタ部を有するが、スキャナ部を有さない画像形成装置である。ただし、基本的な構成はいずれの画像形成装置も同じであるため、以下では、説明を簡略化すべく、画像形成装置１０１について、その構成を詳細に説明することとする。

画像形成装置１０１は、画像入力デバイスであるスキャナ部１１３と画像出力デバイスであるプリンタ部１１４を備える。更に、画像形成装置１０１全体の動作制御を司るコントローラ部１１１とユーザインタフェース（ＵＩ）である操作部１１２を備える。以下、画像形成装置１０１の各部の構成について説明する。

＜２．スキャナ部１１３及びプリンタ部１１４の詳細＞
図２は、画像形成装置１０１の外観構成を示す図である。図２を用いて、画像形成装置１０１のスキャナ部１１３とプリンタ部１１４の機能構成を説明する。

スキャナ部１１３は、原稿台上の原稿画像を露光走査して得られた反射光をＣＣＤに入力することで原稿画像の情報を電気信号に変換する。更に、電気信号をＲ、Ｇ、Ｂ各色からなる輝度信号に変換し、当該輝度信号を画像データとしてコントローラ部１１１に出力する。

なお、原稿は原稿フィーダ２０１のトレイ２０２にセットされる。ユーザが操作部１１２から読み取り開始の指示を入力すると、コントローラ部１１１からスキャナ部１１３に原稿読み取り指示が送信される。

スキャナ部１１３は、原稿読み取り指示を受信すると原稿フィーダ２０１のトレイ２０２から原稿を１枚ずつフィードして、原稿の読み取り動作を行う。なお、原稿の読み取り方法は原稿フィーダ２０１による自動送り方式に限定されるものではなく、原稿を不図示のガラス面上に載置し露光部を移動させることで原稿の走査を行う方式を用いてもよい。

プリンタ部１１４は、コントローラ部１１１から受け取った画像データに基づいて記録用紙上に画像を形成する画像形成デバイスである。また、プリンタ部１１４には、異なる用紙のサイズ又は異なる用紙の向きを選択可能にするための複数の用紙カセット２０３、２０４、２０５が設けられている。排紙トレイ２０６には画像が形成された用紙が排出される。

＜３．コントローラ部１１１の詳細＞
図３は、画像形成装置１０１のコントローラ部１１１の機能構成を示す図である。図３を用いてコントローラ部１１１の機能の詳細を説明する。

コントローラ部１１１はスキャナ部１１３及びプリンタ部１１４と電気的に接続されている。また、ＬＡＮ１０５を介してＰＣ１０４や他の画像処理装置等と通信可能に接続されている。これにより画像データやデバイス情報等の各種情報の入出力が可能となっている。

図３において、ＣＰＵ３０１は、ＲＯＭ３０３に記憶された制御プログラム等に基づいて各部とのアクセスを統括的に制御すると共に、コントローラ部１１１内部で行われる各種処理を統括的に制御する。

ＲＡＭ３０２は、ＣＰＵ３０１が動作するためのシステムワークメモリであり、かつ画像データを一時記憶するためのメモリである。ＲＡＭ３０２は、記憶した内容を電源ｏｆｆ後も保持しておくＳＲＡＭと電源ｏｆｆ後には記憶した内容が消去されるＤＲＡＭとにより構成されている。

ＲＯＭ３０３は画像形成装置１０１のブートプログラムなどを格納するメモリである。ＨＤＤ３０４はハードディスクドライブであり、システムソフトウェアや画像データを格納する。

操作部Ｉ／Ｆ３０５は、システムバス３１０と操作部１１２とを接続するためのインタフェース部である。操作部Ｉ／Ｆ３０５は、操作部１１２に表示するための画像データをシステムバス３１０から受け取り、操作部１１２に出力すると共に、操作部１１２から入力された情報をシステムバス３１０へと出力する。

ＮｅｔｗｏｒｋＩ／Ｆ３０６は、コントローラ部１１１をＬＡＮ１０５及びシステムバス３１０に接続し、画像データやデバイス情報等の各種情報の送受信を行うインタフェース部である。

送受信画像処理部３０７は、画像伸張部３０９と画像圧縮部３０８とを備える。画像伸張部３０９は、圧縮された画像データを受信し、伸張する。画像圧縮部３０８は、送信前の画像データをＬＡＮ１０５への送信に適したサイズに圧縮する。画像バス３３０は画像データをやり取りするための伝送路であり、ＰＣＩバス又はＩＥＥＥ１３９４で構成されている。

スキャナ画像処理部３１２は、スキャナ部１１３からスキャナＩ／Ｆ３１１を介して受け取った画像データに対して、補正、加工、及び編集等の処理を行う。また、スキャナ画像処理部３１２は、受け取った画像データが、カラー原稿か白黒原稿か、文字原稿か写真原稿かなどを判定する。そして、その判定結果を画像データに付加する。画像データに付加されたこのような付加情報を、属性データと称する。

圧縮部３１３は画像データを受け取り、圧縮する。伸張部３１６は、圧縮された画像データを伸張した後にラスタ展開して、プリンタ画像処理部３１５に送る。

プリンタ画像処理部３１５は、伸張部３１６から送られた画像データを受け取り、受け取った画像データに付加された属性データを参照しながら、当該画像データに対して画像処理を施す。画像処理後の画像データは、プリンタＩ／Ｆ３１４を介してプリンタ部１１４に出力される。なお、プリンタ画像処理部３１５で行われる処理の詳細については後述する。

画像変換部３１７は、画像データに対して予め定められた変換処理を施す。画像変換部３１７は以下の処理を行う処理部により構成される。

伸張部３１８は、受け取った画像データを伸張する。圧縮部３１９は、受け取った画像データを圧縮する。回転部３２０は、受け取った画像データを回転する。変倍部３２１は、受け取った画像データに対し、解像度変換処理（例えば６００ｄｐｉから２００ｄｐｉへの変換処理）を行う。

色空間変換部３２２は、受け取った画像データの色空間を変換する。色空間変換部３２２では、マトリクス又はテーブルを用いて公知の下地飛ばし処理を行ったり、公知のＬＯＧ変換処理（ＲＧＢ→ＣＭＹ）を行ったり、公知の出力色補正処理（ＣＭＹ→ＣＭＹＫ）を行ったりすることができる。

２値多値変換部３２３は、受け取った２階調の画像データを２５６階調の画像データに変換する。多値２値変換部３２４は、受け取った２５６階調の画像データを誤差拡散処理などの手法により２階調の画像データに変換する。

合成部３２７は、受け取った２つの画像データを合成し１枚の画像データを生成する。なお、２つの画像データを合成する際には、合成対象の画素同士が持つ輝度値の平均値を合成輝度値とする方法や、輝度レベルが明るい方の画素の輝度値を合成輝度値とする方法が用いられるものとする。あるいは、輝度レベルが暗い方の輝度値を合成輝度値とする方法が用いられるものとする。あるいは、合成対象の画素同士の論理和演算、論理積演算、排他的論理和演算などにより得られた値を、合成輝度値とする方法が用いられるものとする。これらの合成方法はいずれも周知の方法であるため、説明は省略する。

間引き部３２６は、受け取った画像データの画素を１／２、１／４、１／８等の間引き度で間引くことで解像度変換を行い、画像データを生成する。移動部３２５は、受け取った画像データに余白部分をつけたり、画像データから余白部分を削除したりする。

ＲＩＰ３２８は、ＰＣ１０４などから送信されたＰＤＬコードデータに基づいて生成された中間データを受け取り、ビットマップデータ（多値）を生成する。

超解像度処理部３３１は、スキャナ部１１３やＬＡＮ１０５等より受け取った、もしくはＨＤＤ３０４より読み出した複数の低解像度（第１の解像度）の画像データから高解像度の画像データを生成する。

画像データ削減処理部３３２は、超解像度処理に用いる低解像度の画像データを、条件に基づいて削除する。所定の超解像度処理部３３１及び画像データ削減処理部３３２の詳細については後述する。

＜４．プリンタ画像処理部３１５の詳細説明＞
図４は、プリンタ画像処理部３１５における処理内容を示す図である。図４を用いてプリンタ画像処理部３１５における処理の詳細について説明する。

下地飛ばし処理部４０１は、画像データの下地色を飛ばす（除去する）。モノクロ生成部４０２はカラーデータをモノクロデータに変換する。

Ｌｏｇ変換部４０３は輝度濃度変換を行う。例えば、ＲＧＢ入力された画像データを、ＣＭＹの画像データに変換する。

出力色補正部４０４は出力色補正を行う。例えば、ＣＭＹ入力された画像データを、テーブルやマトリックスを用いてＣＭＹＫの画像データに変換する。

出力側ガンマ補正部４０５は、この出力側ガンマ補正部４０５に入力される信号値と、印刷出力後の反射濃度値とが比例するように補正を行う。中間調補正部４０６は、出力するプリンタ部の階調数に合わせて中間調処理を行う。例えば、受け取った高階調の画像データに対し２値化や３２値化などを行う。

＜５．超解像度処理部３３１の詳細説明＞
超解像度処理部３３１における処理の詳細について図５〜図７を用いて説明する。図５は、超解像度処理部３３１における処理の流れを示すフローチャートである。

ステップＳ５０１では、超解像度処理に用いる低解像度の画像データ群を取得する。低解像度の画像データ群は、スキャナ部１１３やＬＡＮ１０５から取得する。あるいはＨＤＤ３０４に格納されている複数の低解像度の画像データを読み出すことにより取得する。

続いて、ステップＳ５０２では、各画像データの位相ずれ量を算出するための基準となる画像データ（基準画像データ）を決定する。

更に、ステップＳ５０３では、画像データ群を構成する各画像データと基準画像データとの位相ずれ量を算出する。ステップＳ５０４では、各画像データの同一画素における画素値及び位相ずれ量を用いて補間処理を行うことにより、隣接する画素間の画素値を算出し、高解像度（第２の解像度）の画像データを生成する。

図６は、低解像度の画像データの位相ずれ量を示す図である。図６において、画像データ０は基準画像データである。格子枠は位相のずれを表現するための補助線であり、１つの格子を１画素とする。

画像データ０は基準画像データであるため、位相ずれは、縦方向、横方向共に０となる。

画像データ群の各画像データの位相ずれ量は、１画素未満のずれ量であり、画像データ１、２、３、・・・ｎの位相ずれ量（横方向、縦方向）は、それぞれ以下のようになる。
（ΔＷ₁，ΔＨ₁）、（ΔＷ₂，ΔＨ₂）、（ΔＷ₃，ΔＨ₃）・・・（ΔＷ_n，ΔＨ_n）。

低解像度の画像データから高解像度の画像データを生成するには、低解像の画像データの各画素間に新しい画素を生成することが必要である。たとえば、解像度が２倍の画像データを生成するには、低解像度の２×２の画素を４×４の高解像度の画素にするため、１２の画素を生成する。

このとき新たに生成する画素の値は、画像データ０〜画像データｎの画素の値と、算出した位相ずれ量（ΔＷ₁，ΔＨ₁）、・・・（ΔＷ_n，ΔＨ_n）とを用いて補間処理により生成する。補間処理は、バイリニア等の公知の補間処理方法を用いる。

図７は、超解像度処理により、複数の低解像度の画像データから高解像度の画像データを生成した様子を示している。

＜６．画像データ削減処理部３３２の詳細説明＞
画像データ削減処理部３３２における処理の詳細について図８〜図１３を用いて説明する。

図８は、画像データ削減処理部３３２における画像データ削減処理の流れを示すフローチャートである。

ステップＳ８０１では、超解像度処理に用いる複数の低解像度の画像データ群を受け取り、ステップＳ８０２では、各画像データの空間周波数情報に基づいて画像データの削減を行う。

ステップＳ８０３では、各画像データの色情報に基づいて画像データの削減を行い、ステップＳ８０４では、各画像データの位相ずれ量の情報に基づいて画像データの削減を行う。

以下、ステップＳ８０２〜Ｓ８０４における画像データの削減処理について説明する。

＜６．１ 空間周波数情報に基づく画像データの削減処理＞
図９は、空間周波数情報に基づく画像データの削減処理の流れを示すフローチャートである。

ステップＳ９０１では、低解像度の画像データ群の各画像データの空間周波数分布を算出し、ステップＳ９０２では、画像データ群の平均的な空間周波数分布を算出する。

ステップＳ９０３では、画像データ群の中から対象となる１つの画像データを選択し、ステップＳ９０４では、対象となる画像データの空間周波数分布と、ステップＳ９０２で算出した平均的な空間周波数分布との差分を算出する。

ステップＳ９０５では、算出した空間周波数分布との差分が規定の閾値以上であるか否かを判断し、差分が閾値以上であると判断した（空間周波数特性が異なると判断した）場合には、ステップＳ９０６に進む。

ステップＳ９０６では、対象となる画像データが他の画像データと特性が異なる画像データであると判断し、画像データ群から対象となる画像データを削除する。

ステップＳ９０７では、画像データ群のすべての画像データについて処理を行ったか否かを判断し、処理を行っていない画像データがあると判断した場合には、ステップＳ９０３に戻り、次の画像データを対象としてステップＳ９０４〜Ｓ９０７の処理を行う。

一方、ステップＳ９０５で、空間周波数分布との差分が閾値未満であると判断した場合には、特性が近似している画像データであると判断し、該対象となる画像データを削除することなく、ステップＳ９０７に進む。

一方、ステップＳ９０７で、すべての画像データに対して処理が終了したと判断した場合には、空間周波数情報に基づく画像データ削減処理を終了する。

図１０は各画像データの空間周波数分布の特性の一例を示す図である。図１０（ａ）は、画像データ群及びその平均的な空間周波数分布を示したものである。

図１０（ｂ）は、画像データ群の各画像データ（０〜ｎ）及びその空間周波数分布を示したものである。超解像度処理における各画像データは１画素以下の位相ずれを有する画像データであるため、それぞれの画像データの空間周波数分布は、図１０（ａ）に示す平均的な空間周波数分布とほぼ同じ分布となる。

そして、図１０（ｂ）の画像データ０〜画像データｎのうち、画像データ２以外の画像データの空間周波数分布は、平均的な空間周波数分布とほぼ同じであるため、その画像データは超解像度処理に適した画像データである。一方、画像データ２の空間周波数分布は、平均的な空間周波数分布と比べ、高周波成分が少ない。これは、手振れやピントずれ等に起因して画像が不鮮明になっているためで、超解像度処理には不適切な画像データといえる。このため、画像データ２は画像データ群から削除される。

＜６．２ 色情報に基づく画像データの削減処理＞
図１１は、色情報に基づく画像データの削減処理の流れを示すフローチャートである。なお、本実施形態では、色情報として、明るさを表す輝度信号の値を用いるものとする。

ステップＳ１１０１では、低解像度の画像データ群の各画像データの輝度分布を算出し、ステップＳ１１０２では、画像データ群の平均的な輝度分布を算出する。

ステップＳ１１０３では、画像データ群の中から対象となる１つの画像データを選択し、ステップＳ１１０４では、対象となる画像データの輝度分布とステップＳ１１０２で算出した平均的な輝度分布との差分を算出する。

ステップＳ１１０５では、算出した輝度分布の差分が規定の閾値以上であるか否かを判断し、差分が閾値以上であると判断した（色特性が異なると判断した）場合には、ステップＳ１１０６に進む。ステップＳ１１０６では、対象となる画像データが他の画像データと特性が異なる画像データであると判断して画像データ群から対象となる画像データを削除する。

ステップＳ１１０７では、画像データ群のすべての画像データについて処理を行ったか否かを判断し、処理を行っていない画像データがあると判断した場合には、ステップＳ１１０３に戻り、次の画像データを対象となる画像データとして処理を行う。

一方、ステップＳ１１０５で、輝度分布の差分が閾値未満であると判断した場合には、特性が近似している画像データであると判断し、該対象となる画像データを削除することなく、ステップＳ１１０７に進む。

ステップＳ１１０７で、すべての画像データに対して処理を行ったと判断した場合には、色情報に基づく画像データ削減処理を終了する。

図１２は各画像データの輝度分布の特性の一例を示す図である。図１２（ａ）は、画像データ群及びその平均的な輝度分布を示したものである。

図１２（ｂ）は、画像データ群の各画像データ（０〜ｎ）及びその輝度分布を示したものである。超解像度処理における各画像データは１画素以下の位相ずれ量を有する画像データであるため、それぞれの画像データの輝度分布は、図１２（ａ）に示す平均的な輝度分布とほぼ同じ分布となる。

そして、図１２（ｂ）の画像データ０〜画像データｎのうち、画像データ１以外の画像データの輝度分布は、平均的な輝度分布とほぼ同じであるため、その画像データは超解像度処理に適した画像データである。一方、画像データ１の輝度分布は、平均的な輝度分布と比べ、明るい領域が少ない。

これは、カメラによる撮影時の照明不足や露出の調整ミス、あるいはスキャナによる読み込み時の光源の光量不足等に起因して画像が暗くなっているためで、超解像度処理には不適切な画像データといえる。このため、画像データ１は画像データ群から削除される。

＜６．３ 位相ずれ情報に基づく画像データの削減処理＞
図１３は、位相ずれ情報に基づく画像データの削減処理の流れを示すフローチャートである。超解像度処理では１画素未満の位相のずれ量から補間処理を行い高解像度の画像データの生成を行うため、位相が同一の画像データは冗長な画像データとなる。そこで、位相が同一の画像データは削除する。

ステップＳ１３０１では、低解像度の画像データ群の中から基準となる画像データを選択し、ステップＳ１３０２では、画像データ群の各画像データと基準画像データとの位相ずれ量を算出する。

ステップＳ１３０３では、画像データ群の中から対象となる１つの画像データを選択する。

ステップＳ１３０４では、画像データ群の中に位相ずれ量が同一の画像データがある否かを判断し、位相ずれ量が同一の画像データがあると判断した場合には、ステップＳ１３０５に進む。ステップＳ１３０５では、対象となる画像データが冗長な画像データであると判断して画像データ群から対象となる画像データを削除する。

ステップＳ１３０６では、画像データ群のすべての画像データについて処理を行ったか否かを判断し、処理が終了してない画像データがあると判断した場合には、ステップＳ１３０３に戻り、次の画像データを対象となる画像データとして処理を行う。

一方、ステップＳ１３０４で、位相ずれ量が異なると判断した場合には、該対象となる画像データを削除することなく、ステップＳ１３０６に進む。

ステップＳ１３０６で、すべての画像データに対して処理を行ったと判断した場合には、位相ずれ情報に基づく画像データ削減処理を終了する。

以上の説明から明らかなように、本実施形態にかかる画像形成装置では、画像データ削減処理により、超解像度処理に用いる低解像度画像データの中から、不適切な画像データを削除する構成とした。

このように、超解像度処理に不適切な低解像度の画像データを削除することにより、メモリ容量を削減しつつ、高品質で高解像度な画像データを生成することが可能となる。

［第２の実施形態］
上記第１の実施形態では、画像形成装置が有するメモリ容量とは無関係に、画像データ削減処理部における画像データ削減処理に従って、画像データを削減することとしたが、本発明はこれに限定されない。例えば、画像形成装置のメモリ容量を加味しながら、画像データ削減処理を実行するようにしてもよい。以下、本実施形態の詳細について図１４〜図１８を用いて説明する。

図１４は、本実施形態における画像データ削減処理の流れを示すフローチャートである。ステップＳ１４０１では、画像データ記録装置であるＨＤＤ３０４の画像データ記録可能メモリ残量を算出し、ステップＳ１４０２では、画像データを記録可能なメモリ残量が規定の閾値以下になっていないかを判断する。

ステップＳ１４０２においてメモリ残量が閾値以下になっていると判断した場合には、ステップＳ１４０３に進み、ＨＤＤ３０４に格納されている画像データのうち、超解像度処理に用いる低解像度の画像データ群を選択する。

ステップＳ１４０４では、選択した画像データ群のすべてを用いて超解像度処理を行い、目的の高解像度の画像データ１を生成する。図１５は、低解像度の画像データ群を全て用いて超解像度処理を行い、画像データ１を生成した様子を示している。

ステップＳ１４０５では、メモリ残量に基づいて削減すべきデータ量（削減データ量）を算出し、ステップＳ１４０６では、算出した削減データ量に応じて、選択した画像データ群の中から、削減候補となる削減候補画像データを選定する。

図１６の（ａ）は、選択した画像データ群の中から、削減候補となる削減候補データを選定した様子を示している（グレーで塗りつぶされた画像データが、削減候補データである）。

ステップＳ１４０７では、選択された画像データ群から削減候補画像データを除いた残りの画像データを用いて超解像度処理を行い、目的の高解像度の画像データ２を生成する。

図１６の（ｂ）は、選択された画像データ群から削減候補画像データを除いた残りの画像データを用いて超解像度処理を行うことにより生成された、高解像度の画像データ２を示している。

ステップＳ１４０８では、ステップＳ１４０５において生成した画像データ１とステップＳ１４０７で生成した画像データ２との画質の比較を行い、ステップＳ１４０９では、画像データ１と比べて画像データ２の画質劣化が閾値以下であるか否かを判断する。

ステップＳ１４０９において画像データ２の画質劣化が閾値以下であると判断した場合には、ステップＳ１４１０に進み、画像データ群から削除候補画像データを削除した後、ＨＤＤ３０４に格納することで画像データ群を更新し、ステップＳ１４１２に進む。

一方、ステップＳ１４０９において画像データ２の画質劣化が閾値を越えていると判断した場合には、削除候補画像データを削除することなくステップＳ１４１１に進む。

ステップＳ１４１１では、ＨＤＤ３０４の中に、ステップＳ１４０３において選択されていない、他の低解像度の画像データ群（他の超解像度処理に用いる低解像度の画像データ群）が残っているか否かを判断する。ステップＳ１４１１において、他の低解像度の画像データ群が残っていると判断した場合には、ステップＳ１４０３に戻る。

一方、ステップＳ１４１１において、他の低解像度の画像データ群が残っていないと判断した場合は、画像データの削減処理を終了する。

なお、ステップＳ１４０８における画像データ１と画像データ２の比較処理は、画像データ１の空間周波数分布（図１７）と画像データ２の空間周波数分布（図１８）とを比較することで行う。

図１７は、画像データ１の空間周波数分布の例であり、図１８は、画像データ２の空間周波数分布の例である。なお、図１８の（ａ）は、画質劣化が小さい場合の画像データ２の例を示しており、図１８の（ｂ）は、画質劣化が大きい場合の画像データ２の例を示している。

また、ステップＳ１４０９における画質劣化の判断は、画像データ２が図１８（ａ）に示す空間周波数分布を有していた場合には、画質劣化は小さいと判断する。画像データ１と画像データ２の空間周波数成分がほぼ同じあり、画像データ２は画像データ１と同等の高解像度の画像データが生成されていると判断できるからである。

一方、画像データ２が図１８（ｂ）に示す空間周波数分布を有していた場合には、画質劣化が大きいと判断する。画像データ２の空間周波数分布が画像データ１の空間周波数分布と比べ高周波成分が少ない特性を有しており、画像データ２は画像データ１よりも低い解像度の画像データが生成されていると判断できるからである。

以上の説明から明らかなように、本実施形態では、メモリ残量が閾値以下になった場合に、低解像度の画像データ群の中から、削減候補となった低解像度の画像データを削除する構成とした。これにより、画像形成装置では、常に所定量のメモリ残量を確保することが可能となる。

また、本実施形態では、削減候補となった低解像度の画像データを削除するにあたり、当該画像データを除いて超解像度処理を行った場合に得られる高解像度の画像データの画質の劣化具合を確認したうえで、当該画像データを削除する構成とした。

これにより、メモリ残量を確保するために低解像度の画像データを削除した場合であっても、所望の画質を有する高解像度の画像データを生成することができる。

なお、上記説明では、画像データ削減処理を実施するタイミングについて特に言及しなかったが、例えば、上記第１の実施形態において説明した画像データ削減処理を行った後に、ＨＤＤ３０４に格納されている低解像度の画像データ群に対して行っても良い。あるいは、上記第１の実施形態において説明した画像データ削減処理を行う前に、ＨＤＤ３０４に格納されている低解像度の画像データ群に対して行っても良い。

［第３の実施形態］
上記第２の実施形態では、ステップＳ１４０９において、画像データ２の画質劣化が閾値を超えていると判断した場合には、削除候補画像データを削除することなくステップＳ１４１１に進む構成としたが、本発明はこれに限定されない。

例えば、超解像度処理を実行し、高解像度の画像データを生成しておき、これをＨＤＤ３０４に保持する一方、当該高解像度の画像データを生成するために用いた低解像度の画像データ群を削除することにより、メモリ残量を確保するようにしてもよい。

図１９は、ステップＳ１４０９において、画像データ２の画質劣化が閾値を超えていると判断した場合に実行される処理の流れを示すフローチャートである。

ステップＳ１９０１では、図１４のステップＳ１４０３で選択された画像データ群をＨＤＤ３０４から削除する。ステップＳ１９０２では、図１４のステップＳ１４０４で生成した画像データ１をＨＤＤ３０４に格納する。

以上のように、本実施形態によれば、選択された画像データ群は削除されるため、メモリ容量を確実に確保することが可能となる。

［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読取可能な記憶媒体を、システムあるいは装置に供給するよう構成することによっても達成されることはいうまでもない。この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することにより、上記機能が実現されることとなる。なお、この場合、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、前述した実施形態の機能が実現される場合も含まれる。つまり、プログラムコードがメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。

画像形成装置を備える印刷システムの構成を示す図である。 画像形成装置１０１の外観構成を示す図である。 画像形成装置１０１のコントローラ部１１１の機能構成を示す図である。 プリンタ画像処理部３１５における処理内容を示す図である。 超解像度処理部３３１における処理の流れを示すフローチャートである。 低解像度の画像データの位相ずれ量を示す図である。 超解像度処理により、複数の低解像度の画像データから高解像度の画像データを生成した様子を示す図である。 画像データ削減処理部３３２における画像データ削減処理の流れを示すフローチャートである。 空間周波数情報に基づく画像データの削減処理の流れを示すフローチャートである。 各画像データの空間周波数分布の特性の一例を示す図である。 色情報に基づく画像データの削減処理の流れを示すフローチャートである。 各画像データの輝度分布の特性の一例を示す図である。 位相ずれ情報に基づく画像データの削減処理の流れを示すフローチャートである。 画像データ削減処理の流れを示すフローチャートである。 低解像度の画像データ群を全て用いて超解像度処理を行い、画像データ１を生成した様子を示す図である。 選択した画像データ群の中から、削減候補となる削減候補データを選定した様子、及び選択された画像データ群から削減候補画像データを除いた残りの画像データを用いて超解像度処理を行うことにより生成された、高解像度の画像データ２を示す図である。 画像データ１の空間周波数分布の例を示す図である。 画像データ２の空間周波数分布の例を示す図である。 図１４のステップＳ１４０９において、画像データ２の画質劣化が閾値を超えていると判断した場合に実行される処理の流れを示すフローチャートである。

Claims (11)

1. 第１の解像度を有する複数の画像データを用いて、該第１の解像度よりも高い第２の解像度を有する画像データを生成する超解像度処理を実行する画像形成装置であって、
   前記第１の解像度を有する複数の画像データを記憶する記憶手段と、
   前記複数の画像データの空間周波数分布を算出し、該算出した空間周波数分布と、前記複数の画像データから選択された画像データの空間周波数分布との差分を算出し、該差分が閾値以上である場合、前記記憶手段により記憶された前記複数の画像データの中から、前記選択された画像データを削除する削除手段と、
   前記記憶手段により記憶された前記複数の画像データのうち、前記削除手段により削除されなかった残りの画像データであり、該画像データのそれぞれが１画素未満の位相ずれを有する複数の画像データを用いて超解像度処理を実行し、前記第２の解像度を有する画像データを生成する生成手段と
   を備えることを特徴とする画像形成装置。
2. 第１の解像度を有する複数の画像データを用いて、該第１の解像度よりも高い第２の解像度を有する画像データを生成する超解像度処理を実行する画像形成装置であって、
   前記第１の解像度を有する複数の画像データを記憶する記憶手段と、
   前記複数の画像データの輝度分布を算出し、該算出した輝度分布と、前記複数の画像データから選択された画像データの輝度分布との差分を算出し、該差分が閾値以上である場合、前記記憶手段により記憶された前記複数の画像データの中から、前記選択された画像データを削除する削除手段と、
   前記記憶手段により記憶された前記複数の画像データのうち、前記削除手段により削除されなかった残りの画像データであり、該画像データのそれぞれが１画素未満の位相ずれを有する複数の画像データを用いて超解像度処理を実行し、前記第２の解像度を有する画像データを生成する生成手段と
   を備えることを特徴とする画像形成装置。
3. 第１の解像度を有する複数の画像データを用いて、該第１の解像度よりも高い第２の解像度を有する画像データを生成する超解像度処理を実行する画像形成装置であって、
   前記第１の解像度を有する複数の画像データを記憶する記憶手段と、
   前記複数の画像データから１つの画像データを選択し、前記複数の画像データのうち該選択された画像データと位相ずれ量が同じ画像データを削除する削除手段と、
   前記記憶手段により記憶された前記複数の画像データのうち、前記削除手段により削除されなかった残りの画像データであり、該画像データのそれぞれが１画素未満の位相ずれを有する複数の画像データを用いて超解像度処理を実行し、前記第２の解像度を有する画像データを生成する生成手段と
   を備えることを特徴とする画像形成装置。
4. 前記差分が閾値以下である場合、前記記憶手段に記憶された複数の画像データであり、該画像データのそれぞれが１画素未満の位相ずれを有する複数の画像データを用いて前記生成手段により超解像度処理を実行し、前記第２の解像度を有する画像データを生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像形成装置。
5. 前記差分が閾値以上である画像データを除く画像データであり、該画像データのそれぞれが１画素未満の位相ずれを有する複数の画像データを用いて前記超解像度処理を実行した場合に得られる画像データが、予め定められた画質を有するか否かを判断する判断手段を更に備え、
   前記削除手段は、前記判断手段において予め定められた画質を有すると判断された場合に、前記差分が閾値以上である画像データを削除することを特徴とする請求項１乃至３のいずれか１項に記載の画像形成装置。
6. 前記判断手段において予め定められた画質を有していないと判断された場合に、前記生成手段は、前記記憶手段により記憶された前記複数の画像データであり、該画像データのそれぞれが１画素未満の位相ずれを有する複数の画像データを用いて前記超解像度処理を実行し、前記第２の解像度を有する画像データを生成することを特徴とする請求項５に記載の画像形成装置。
7. 第１の解像度を有する複数の画像データを用いて、該第１の解像度よりも高い第２の解像度を有する画像データを生成する超解像度処理を実行する画像形成装置における画像形成方法であって、
   記憶手段が、前記第１の解像度を有する複数の画像データを記憶する記憶工程と、
   削除手段が、前記複数の画像データの空間周波数分布を算出し、該算出した空間周波数分布と、前記複数の画像データから選択された画像データの空間周波数分布との差分を算出し、該差分が閾値以上である場合、前記記憶工程において記憶された前記複数の画像データの中から、前記選択された画像データを削除する削除工程と、
   生成手段が、前記記憶工程において記憶された前記複数の画像データのうち、前記削除工程において削除されなかった残りの画像データであり、該画像データのそれぞれが１画素未満の位相ずれを有する複数の画像データを用いて超解像度処理を実行し、前記第２の解像度を有する画像データを生成する生成工程と
   を備えることを特徴とする画像形成方法。
8. 第１の解像度を有する複数の画像データを用いて、該第１の解像度よりも高い第２の解像度を有する画像データを生成する超解像度処理を実行する画像形成装置における画像形成方法であって、
   記憶手段が、前記第１の解像度を有する複数の画像データを記憶する記憶工程と、
   削除手段が、前記複数の画像データの輝度分布を算出し、該算出した輝度分布と、前記複数の画像データから選択された画像データの輝度分布との差分を算出し、該差分が閾値以上である場合、前記記憶工程により記憶された前記複数の画像データの中から、前記選択された画像データを削除する削除工程と、
   生成手段が、前記記憶工程により記憶された前記複数の画像データのうち、前記削除工程により削除されなかった残りの画像データであり、該画像データのそれぞれが１画素未満の位相ずれを有する複数の画像データを用いて超解像度処理を実行し、前記第２の解像度を有する画像データを生成する生成工程と
   を備えることを特徴とする画像形成方法。
9. 第１の解像度を有する複数の画像データを用いて、該第１の解像度よりも高い第２の解像度を有する画像データを生成する超解像度処理を実行する画像形成装置における画像形成方法であって、
   記憶手段が、前記第１の解像度を有する複数の画像データを記憶する記憶工程と、
   削除手段が、前記複数の画像データから１つの画像データを選択し、前記複数の画像データのうち該選択された画像データと位相ずれ量が同じ画像データを削除する削除工程と、
   生成手段が、前記記憶工程により記憶された前記複数の画像データのうち、前記削除工程により削除されなかった残りの画像データであり、該画像データのそれぞれが１画素未満の位相ずれを有する複数の画像データを用いて超解像度処理を実行し、前記第２の解像度を有する画像データを生成する生成工程と
   を備えることを特徴とする画像形成方法。
10. コンピュータを、請求項１乃至６のいずれか１項に記載の画像形成装置の各手段として機能させるためのプログラムを格納したコンピュータ読取可能な記憶媒体。
11. コンピュータを、請求項１乃至６のいずれか１項に記載の画像形成装置の各手段として機能させるためのプログラム。