JP6157234B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像データの低解像度化処理に関する。

スキャナ等の画像読み取り装置により取得した低解像度の画像データを高解像度で印刷する場合には、画像データの解像度を低解像度から高解像度に変換する必要がある。また、ネットワークを介して画像データを転送する際にネットワーク負荷を考慮して高解像度の画像データを低解像度化して転送した際には、ネットワーク先において高解像度に戻してから表示及びプリントする必要がある。

従来、入力される低解像度の画像を高解像度に変換する方法として多くの方法が提案されている。多階調の画像に対して解像度変換を行う場合に多く用いられる内挿法として、例えば、最近隣内挿法（Nearest Neighbor法）は、内挿を行いたい内挿点から最も近い格子点の信号値を内挿点の信号値としてそのまま決定する方法である。また、共一次内挿法（Bi-Linear法）では、内挿点の周囲２×２画素（４画素）の格子点の信号値を元に線形式により内挿点の信号値を決定する。更に、三次畳み込み内挿法（Bi-Cubic法）では、内挿点の周囲４×４画素（１６画素）から三次式により内挿点の信号値を決定する。

特開平６−２２７０４８号公報

上記の従来方法を用いて解像度変換を行った場合には次に示すような欠点がある。

まず、最近隣内挿法の場合は、アルゴリズムが簡単で高速に処理を行うことは可能であるが、拡大比率が高くなるにつれエッジ部においてはモザイク状の模様が、斜線部においてはジャギー等の画質劣化が見られる。

また、内挿点を複数個の周辺画素の信号値を元に決定する共一次内挿法や三次畳み込み内挿法の場合は、最近隣内挿法に比べジャギー等の画質劣化は低減されるが、複数点の信号値が平均化されることで、画像が平滑化されてしまう。よって、画像のエッジ部や文字などのシャープな画質が求められる部分においてはなまりが目立ってしまう。また、一度低解像度化した画像を高解像度化させる場合、小ポイントの文字といった詳細復元が必要な部分については細かく復元することはできない。

さらに、輪郭部に対してパターンマッチングを用いてスムージングする手法も提案されている（特許文献１参照）。この場合、ジャギーや平滑化等の問題に対しては使用するパターン作成もＭＴＦ（Modulation Transfer Function）特性を加味するなどの工夫により低減は可能である。しかしながら、特許文献１の手法の場合も、一度低解像度化した画像を高解像度化させる場合、小ポイントの文字といった詳細復元が必要な部分については細かく復元することはできない。

本発明に係る装置は、入力された画像の解像度を低解像度に変換する装置であって、前記入力された画像における注目画素及び当該注目画素から所定の画素数だけ位相がずれた位相ずれ画素の信号値の階調数を減らす階調数変換手段と、階調数が減った注目画素の信号値と階調数が減った位相ずれ画素の信号値を統合して、低解像度化後の画像における前記注目画素及び前記位相ずれ画素に対応する画素の信号値を決定する、信号値統合手段と、を備え、前記所定の画素数は、前記低解像度化の度合いに応じて決定されることを特徴とする。

本発明に係る低解像度化処理によれば、低解像度化された画像を後で高解像度の画像に戻す際に、詳細部分を正確に復元することができる。

実施例１に係る低解像度化処理を行う画像形成装置を含むシステム構成の一例を示す図である。 （ａ）はＭＦＰのハードウェア構成を示す図、（ｂ）はプリンタのハードウェア構成を示す図、（ｃ）はクラウドサーバのハードウェア構成を示す図である。 実施例１のシステム構成における、ＭＦＰでの画像データの取得から、プリンタでの画像データの印刷出力までの大まかな処理の流れを示すフローチャートである。 実施例１に係る解像度変換部の内部構成を示すブロック図である。 実施例１に係る低解像度化処理の流れを示すフローチャートである。 画像の解像度を横１／２倍、縦１／２倍の解像度に変換する場合における階調数変換処理の様子を説明する図である。 低解像度化後の画像における対応画素の信号値が決定される過程を説明する図である。 取得した信号値を、高解像度変換後の画像における新規注目画素及び新規位相ずれ画素の信号値として分割する様子を説明する図である。 、新規注目画素及び新規位相ずれ画素の分割された信号値がどのように対象座標に再配置されるのかを示す図である。 信号値勾配パターンマッチング部の詳細を示す図である。 パターンマッチング処理の様子を説明する図である。 実施例２に係る解像度変換部内の低解像度処理部の内部構成を示すブロック図である。 実施例２に係る低解像度処理部における低解像度化処理の流れを示すフローチャートである。 実施例２の概要を説明する図である。 実施例３に係る解像度変換部内の低解像度処理部の内部構成を示すブロック図である。 実施例３に係る低解像度処理部における低解像度化処理の流れを示すフローチャートである。 補助情報埋め込み判定処理の詳細を示すフローチャートである。 実施例３における低解像度化処理を説明する図であり、（ａ）は低解像度化処理前の画像、（ｂ）は低解像度化処理後の画像の一部をそれぞれ示す。

以下、図面を用いて本発明に係る実施形態を詳細に説明する。

図１は、本実施例に係る低解像度化処理を行う画像形成装置を含むシステム構成の一例を示す図である。図１に示したシステム１００は、スキャナ機能を有した画像形成装置（ＭＦＰ）１０１、画像処理モジュールを備えた情報処理装置（クラウドサーバ）１０２、スキャナ機能を有しない画像形成装置（プリンタ）１０３で構成され、ネットワーク１０４を介して相互に接続されている。図１の例では、ＭＦＰ１０１のスキャナで取得された画像データがクラウドサーバ１０２に送られ、クラウドサーバ１０２での色処理等の画像処理を経て転送された画像データがプリンタ１０３に送られて出力される様子を示している。

図２の（ａ）はＭＦＰ１０１のハードウェア構成を示す図、同（ｂ）はプリンタ１０３のハードウェア構成を示す図、同（ｃ）はクラウドサーバ１０２のハードウェア構成を示す図である。

図２の（ａ）において、ＣＰＵ２０１はＭＦＰ１０１を統括的に制御するプロセッサであって、内部バス２０９を介して接続された各部を制御するものである。表示部２０２は、タッチスクリーン機能を有する液晶パネルなどで構成され、種々の情報が表示される他、ユーザは、表示部２０２に表示される画面を介してスキャン指示などを行う。スキャナ部２０３は、原稿をスキャンして画像データを取得する機能を有する。プリンタ部２０４は、紙等の記録媒体上に画像を印字する機能を有する。メモリ２０５は、ＣＰＵ２０１がＭＦＰ１０１を制御するために実行する各種命令（アプリケーションプログラム含む）や各種データを記憶するＲＯＭとＣＰＵ２０１のワークエリアとして機能するＲＡＭで構成される。ＨＤＤ２０６には、スキャナ部２０３でスキャンされた画像データ等が一時保存される。ネットワークインタフェース２０７は、ＣＰＵ２０１に従いネットワーク１０４を介して画像データ等の送受信を行う。解像度変換部２０８は、各種画像の解像度を変換する処理を行う。解像度変換部２０８の詳細については後述する。

図２の（ｂ）において、ＣＰＵ２１１はプリンタ１０３を統括的に制御するプロセッサであって、内部バス２１８を介して接続された各部を制御するものである。表示部２１２は、液晶パネルなどで構成され、種々の情報が表示される。プリンタ部２１３は、紙等の記録媒体上に画像を印字する機能を有する。メモリ２１４は、ＣＰＵ２１１がプリンタ１０３を制御するために実行する各種命令（アプリケーションプログラム含む）や各種データを記憶するＲＯＭとＣＰＵ２１１のワークエリアとして機能するＲＡＭで構成される。ＨＤＤ２１５には、受信した画像データ等が一時保存される。ネットワークインタフェース２１６は、ＣＰＵ２１１に従いネットワーク１０４を介して画像データ等の送受信を行う。解像度変換部２１７は、各種画像の解像度を変換する処理を行う。解像度変換部２１７の詳細については後述する。

図２の（ｃ）において、ＣＰＵ２２１はクラウドサーバ１０２を統括的に制御するプロセッサであって、内部バス２２７を介して接続された各部を制御するものである。メモリ２２２は、ＣＰＵ２２１がクラウドサーバ１０２を制御するために実行する各種命令等を記憶するＲＯＭとＣＰＵ２２１のワークエリアとして機能するＲＡＭで構成される。キーボードコントローラ２２３は、キーボード２３０からのキー入力を制御する。ディスプレイコントローラ２２４は、ディスプレイ２４０の表示を制御する。ディスクコントローラ２２５は、各種データを記憶する外部メモリ２５０（ハードディスクドライブ（ＨＤＤ等）におけるデータアクセスを制御する。ネットワークインタフェース２２６は、ＣＰＵ２２１に従いネットワーク１０４を介して画像データ等の送受信を行う。

上記で示したＭＦＰ１０１、クラウドサーバ１０２及びプリンタ１０３のハードウェア構成は一例にすぎず、上記構成に限定されるものでないことは言うまでもない。

図３は、図１に示したシステム構成における、ＭＦＰ１０１での画像データの取得から、プリンタ１０３での画像データの印刷出力までの大まかな処理の流れを示すフローチャートである。

ステップ３０１において、ＭＦＰ１０１は、入力画像データを取得する。例えば、カメラで撮像された撮像画像データや、パソコン等で作成したラスタ画像データが、ＵＳＢメモリ等の可搬記録媒体やネットワーク１０４を介して取得される。

ステップ３０２において、ＭＦＰ１０１は、取得した入力画像データに対し、ネットワーク負荷やメモリ負荷等の低減を考慮した解像度変換処理を解像度変換部２０８にて行い、画像の解像度を下げた低解像度画像を生成する。この解像度変換処理（低解像度化処理）においては、低解像度画像を高解像度画像に戻す際に使用する補助情報の埋め込み処理も併せて行う。この低解像度化処理の詳細については後述する。

ステップ３０３において、ＭＦＰ１０１は、低解像度化処理によって生成された画像データ（以下、「低解像度画像データ」と呼ぶ。）を、ネットワークインタフェース２０７を介してクラウドサーバ１０２に送信する。

ステップ３０４において、クラウドサーバ１０２は、受け取った低解像度画像データに対し、各種画像処理を実施する。

ステップ３０５において、クラウドサーバ１０２は、所定の画像処理を施した低解像度画像データをプリンタ１０３に送信する。

ステップ３０６において、プリンタ１０３は、受け取った低解像度画像データに対し、上記補助情報を用いた解像度変換処理（高解像度化処理）を解像度変換部２１７にて行い、高解像度画像を生成する。

ステップ３０７において、プリンタ１０３は、高解像度化処理によって生成された画像データ（以下、「高解像度画像データ」と呼ぶ。）を印刷出力する。
図４は、本実施例に係る解像度変換部２０８／２１７の内部構成を示すブロック図である。解像度変換部２０８／２１７は、低解像度処理部４１０と高解像度処理部４２０とで構成される。

＜低解像度化処理＞
まず、低解像度処理部４１０について説明する。低解像度処理部４１０は、階調数変換部４１１と信号値統合部４１２とで構成され、入力された画像データのサイズを低減させるため、画像の解像度を下げる処理を行う。

階調数変換部４１１は、入力された画像データの階調数（ｂｉｔ数）を減らす階調数変換処理を行う。例えば、入力画像データにおける各画素が８ｂｉｔの信号値であった場合に、それを４ｂｉｔの信号値に変換する処理を行う。この階調数変換処理は、画像の全画素に対してではなく、注目画素と当該注目画素から所定の画素数だけ位相がずれた画素（以下、「位相ずれ画素」と呼ぶ。）に対してのみ行う。例えば、画像の解像度を横１／２倍、縦１／２倍の解像度に変換する場合には、注目画素と、当該注目画素から横方向と縦方向に各１画素ずつ位相をずらした位置にある画素に対して階調数変換処理がなされる。画像の解像度を横１／３倍、縦１／３倍の解像度に変換する場合であれば、注目画素と、当該注目画素から横方向と縦方向に各２画素ずつ位相をずらした位置にある画素に対して階調数変換処理がなされることになる。つまり、位相ずれ画素における注目画素からの位相のずれ量は、入力画像データの低解像度化の度合いに応じて決まる。

信号値統合部４１２は、各４ｂｉｔ化された注目画素及び位相ずれ画素の信号値を、低解像度化後の画像における対応する画素（以下、「対応画素」と呼ぶ。）内に統合して埋め込む処理を行う。

図５は、低解像度処理部４１０における低解像度化処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムを、ＭＦＰ１０１又はプリンタ１０３内のＨＤＤからメモリ上に読み込んだ後に、ＣＰＵによって該プログラムを実行することによって実施される。ここでは、ＭＦＰ１０１において、入力された画像の解像度を横１／２倍、縦１／２倍に変換する場合を例に説明するものとする。また、入力画像の階調数は８ｂｉｔとし、出力画像の階調数も同じ８ｂｉｔを維持するものとする。

ステップ５０１において、低解像度処理部４１０は、入力画像データ（高解像度画像データ）を取得する。取得した入力画像データは、階調数変換部４１１に送られる。

ステップ５０２において、階調数変換部４１１は、取得した入力画像データが示す画像における注目画素と位相ずれ画素を決定する。図６は、画像の解像度を横１／２倍、縦１／２倍の解像度に変換する場合における階調数変換処理の様子を説明する図であり、（ａ）は入力された画像（高解像度画像）内の文字「あ」の部分を拡大した図である。図６の（ａ）では、まず注目画素として画素６０１が決定され、この画素６０１に対しＸ軸方向及びＹ軸方向に各１画素ずつ位相がずれた位置にある画素６０２が位相ずれ画素として決定されている。

ステップ５０３において、階調数変換部４１１は、決定された注目画素及び位相ずれ画素の信号値を取得してその階調数（ビット数）を減らす処理を行う。具体的には、注目画素及び位相ずれ画素の信号値のビット数を、１／Ｎ（Ｎは２以上の自然数）に変換する。例えば、入力画像の階調数が２４ｂｉｔである場合において、出力画像の階調数が２４ｂｉｔ、１６ｂｉｔ、８ｂｉｔであったとする。このとき、Ｎの値はそれぞれ２、３、４となる。本実施例では入力画像と出力画像の階調数は同じ８ｂｉｔなので、Ｎ＝２となり、注目画素である画素６０１の信号値と位相ずれ画素である画素６０２の信号値の階調数はそれぞれ８ｂｉｔから４ｂｉｔへと変換される。図６の（ｂ）は、注目画素６０１の４ｂｉｔ化後の画素６０１’及び位相ずれ画素６０２の４ｂｉｔ化後の画素６０２’を示している。階調数が減らされた注目画素及び位相ずれ画素の信号値は信号値統合部４１２に送られる。

ステップ５０４において、信号値統合部４１２は、階調数の減った注目画素及び位相ずれ画素の信号値を用いて、低解像度化後の画像における対応する画素（以下、「対応画素」と呼ぶ。）の信号値を決定する。具体的には、階調数の減った（ここでは各４ｂｉｔ化された）注目画素及び位相ずれ画素の信号値を、対応画素における上位ビット及び下位ビットとして統合し埋め込む処理を行う。従来手法である最近隣内挿法の場合には、低解像度化後の画像における対応画素の信号値は最近隣の画素を元に決定される。そのため、図６に示す例では、注目画素６０１の８ｂｉｔの値がそのまま保持されことになる（図６の（ｃ）を参照）。これに対し、本実施例に係る手法では、４ｂｉｔ化した注目画素６０１’の信号値と４ｂｉｔ化した位相ずれ画素６０２’の信号値とを統合した８ｂｉｔの信号値が、対応画素（画素６０４））の信号値として保持される（図６の（ｄ）を参照）。この場合の、位相ずれ画素６０２’における下位４ｂｉｔの信号値が前述の補助情報となる。図７は、図６の（ｄ）で示される対応画素６０４の信号値が決定される過程を説明する図である。まず、入力される各８ｂｉｔの注目画素６０１とその位相ずれ画素６０２について、それぞれ上位４ｂｉｔの信号値（図７の例では、“1010”と“1101”）を取得する。次に、取得した上位各４ｂｉｔの信号値のうち、注目画素６０１の上位４ｂｉｔ“1010”を対応画素６０４の上位４ｂｉｔ側に、位相ずれ画素６０２の上位４ｂｉｔ“1110”を下位４ｂｉｔ側に入れる。こうして得られた８ｂｉｔの信号値“10101101”が、低解像度化後の画像の対応画素６０４における信号値として保持されることになる。

ステップ５０５において、低解像度処理部４１０は、入力画像データが示す画像において未処理の画素がないかを判定する。未処理の画素があればステップ５０２に戻り、次の注目画素と位相ずれ画素が決定される。未処理の画素がなければ本処理を終える。

以上のようにして、入力画像の解像度が、例えば横１／２倍、縦１／２倍の解像度に変換される。

上述のとおり、本手法による低解像度化処理によって生成される低解像度画像データにおける各対応画素の信号値の上位のｂｉｔ（本実施例では上位４ｂｉｔ）は、最近隣画素の信号値（図６では６０１’）で統一される。このため、最近隣内挿法で解像度変換を行った画像と同等の画像が得られることとなる。

なお、上記で述べた変換率（１／２倍）や入出力画像の階調数（８ｂｉｔ）はあくまで一例であり、これらに限定されるものでないことはいうまでもない。

また、本実施例では注目画素、及び位相ズレ画素の信号値をそのまま最近隣の値を使用したが、例えば周辺画素の重み付き平均等し縮小後に失われてしまう周辺画素を考慮することも可能である。図６の（ｅ）及び（ｆ）を参照して説明する。いま、画素ａを注目画素とし、画素ａ、画素ｃ、画素ｄの信号値が２５５で、画素ｂの信号値が３０であったとする。上述の手法では、画素ａ及び画素ｄの信号値のみを考慮され、画素ｂの信号値については考慮されることがない。そのため、元画像である高解像画像では存在していた画素ｂの信号値３０が完全に消失してしまう。そこで、注目画素及び位相ズレ画素の信号値として最近隣画素の値をそのまま使用するのではなく、周辺画素の重み付き平均を行う。例えば、以下の式を用いて、注目画素及び８近傍画素の移動平均を行って、注目画素の値を決める。
（ｘ’，ｙ’）＝（（ｘ−１，ｙ−１）＋（ｘ，ｙ−１）＋（ｘ＋１，ｙ−１）＋（ｘ−１，ｙ）＋（ｘ，ｙ）＋（ｘ＋１，ｙ）＋（ｘ−１，ｙ＋１）＋（ｘ，ｙ＋１）＋（ｘ＋１，ｙ＋１））／９

また、より単純に、以下の式を用いて、注目画素及び４近傍画素の移動平均を行って、注目画素の値を決めてもよい。
（ｘ’，ｙ’）＝（（ｘ，ｙ−１）＋（ｘ−１，ｙ）＋（ｘ，ｙ）＋（ｘ＋１，ｙ）＋（ｘ，ｙ＋１））／５

さらに、移動平均によって画像がぼやけてしまうことを考慮し、以下の式を用いて注目画素に重みを付けるようにしてもよい。
（ｘ’，ｙ’）＝（（ｘ，ｙ−１）＋（ｘ−１，ｙ）＋（ｘ，ｙ）＊２＋（ｘ＋１，ｙ）＋（ｘ， ｙ＋１））／６

このような重み付き平均を全画素に行った後で上述した低解像度化処理を行うことで、低解像度化処理によって消失してしまう画素の信号値を考慮することが可能になる。

＜高解像度化処理＞
次に、高解像度処理部４２０について説明する。

高解像度処理部４２０は、信号値取得部４２１、信号値分割部４２２、分割信号値再配置部４２３及び信号値勾配パターンマッチング部４２４で構成され、画像の解像度を上げる処理を行う。ここでは、上述の図６及び図７で説明した横１／２倍、縦１／２倍に変換された画像の解像度を、横２倍、縦２倍に変換する場合を例に説明するものとする。なお、低解像度処理部４１０と同様、ここで述べる変換率（２倍）や階調数（８ｂｉｔ）はあくまで一例であり、これらに限定されるものでないことはいうまでもない。

信号値取得部４２１は、入力された画像（低解像度画像）における注目画素の信号値（本実施例では８ｂｉｔ）を取得する。

信号値分割部４２２は、信号値取得部４１１で取得した注目画素の信号値を高解像度変換後の画像における新規注目画素Ｎ及び新規位相ずれ画素Ｓの信号値として分割する処理を行う。図８は、取得した８ｂｉｔの信号値を、高解像度変換後の画像における新規注目画素Ｎ及び新規位相ずれ画素Ｓの信号値として分割する様子を説明する図である。ここでは、図６の（ｄ）で示した画素６０４の８ｂｉｔの信号値“10101101”が信号値取得部４２１で取得された場合を想定している。この場合、取得した８ｂｉｔの信号値“10101101”のうち上位４ｂｉｔ“1010”は注目画素６０１’の信号値、下位４ｂｉｔ“1101”は位相ずれ画素６０２’の信号値である。その為、取得された８ｂｉｔの信号値のうち上位４ｂｉｔは新規注目画素Ｎの上位４ｂｉｔ、下位４ｂｉｔは新規位相ずれ画素Ｓの上位４ｂｉｔとして分割される。

分割信号値再配置部４２３は、信号値分割部４２２で分割した新規注目画素Ｎの上位４ｂｉｔ及び新規位相ずれ画素Ｓの上位４ｂｉｔを、解像度変換後（高解像度化後）の画像の対象座標に再配置する。図９は、新規注目画素Ｎ及び新規位相ずれ画素Ｓの分割された信号値（分割信号値）がどのように対象座標に再配置されるのかを示す図である。図９において、空白部分は信号値が未知の画素を示している。

信号値勾配パターンマッチング部４２４は、分割信号値再配置部４２３で再配置された新規注目画素Ｎ及び新規位相ずれ画素Ｓの分割信号値の勾配に基づいて、信号値が未知の画素の信号値を決定する処理を行う。図１０は、信号値勾配パターンマッチング部４２４の詳細を示す図である。信号値勾配パターンマッチング部４２４は、周辺画素信号値取得部１００１、パターンマッチング部１００２、低・高解像度対応信号値パターンテーブル１００３及び信号値置換部１００４で構成される。

周辺画素信号値取得部１００１は、分割信号値再配置部４２３で分割信号値が再配置された画像データを取得し、取得した画像内の所定の領域における各画素の信号値を、信号値パターンとして取得する。具体的には、低解像度画像から高解像度画像に変換した際に補間が必要な信号値が未知の画素（図９を参照）を囲む領域（例えば、３×３画素）の信号値を、低解像度信号値パターンとして取得する。取得した低解像度信号値パターンは、パターンマッチング部１００２に送られる。

パターンマッチング部１００２は、まず、受け取った低解像度信号値パターンと一致する又は最も近い信号値パターンを持つ信号値パターン（以下、「マッチングパターン」と呼ぶ。）を、予め用意された低像度信号値パターンリストから検索し取得する。そして、得られたマッチングパターンに対応付けられた多階調の信号値置換パターン（高解像度信号値パターン）を、高解像度信号値パターンリストから検索し取得する。図１１は、このようなパターンマッチング処理の様子を説明する図である。図１１において、１１０１は、新規注目画素Ｎの上位４ｂｉｔ、新規位相ずれ画素Ｓの上位４ｂｉｔの信号値を持つＡＢＣＤの４つの画素の他、５つの信号値が未知の画素を囲む３×３画素の低解像度信号値パターンである。この低解像度信号値パターン１１０１の中心にある未知画素ｉの信号値が、高解像度信号値パターンリストから得られた高解像度信号値パターン１１０２によって得られることになる。高解像度信号値パターンリストは、低解像度信号値パターンがＡ（Ｘ，Ｙ−１）、Ｂ（Ｘ−１，Ｙ）、Ｃ（Ｘ＋１，Ｙ）、Ｄ（Ｘ，Ｙ＋１）の場合には、その組合せに対応するＡ（Ｘ，Ｙ−１）、Ｂ（Ｘ−１，Ｙ）、Ｃ（Ｘ＋１，Ｙ）、Ｄ（Ｘ，Ｙ＋１）、Ｅ（Ｘ，Ｙ）の高解像度信号値パターンで構成される。図１１において、輝度信号値が、Ａ＝11110000（２４０）、Ｂ＝11010000（２０８）、Ｃ＝10000000（６４）、Ｄ＝11000000（４８）からなる低解像度信号値パターン１１０３が取得された場合の例を示している。この低解像度信号値パターン１１０３に一致するパターンが低解像度信号値パターンリストから取得され、それに対応する高解像度信号値パターンが高解像度信号値パターンリストから取得されることになる。その結果、低解像度信号値パターン１１０３は、未知画素ｉの信号値としてＥ＝10100000（８０）を有する高解像度信号値パターン１１０４に置き換えられることになる。

低・高解像度対応信号値パターンテーブルにおける低解像度信号値パターンリスト及び高解像度信号値パターンリスト内の各信号値パターンの数を増やすことでより精度よく、高階調数で復元させることが可能となる。なお、本実施例では十字状の形状（上下左右の４近傍）の信号値パターンから未知画素の信号値を求める場合について説明したが、これに限定されるものではなく、他の形状の信号値パターンを持ってもよい。取得した高解像度信号値パターンは、信号値置換部１００４に送られる。

信号値置換部１００４は、受け取った高解像度信号パターンを用いて、高解像度画像における未知画素ｉの信号値を置き換える処理（未知画素ｉに補間信号値を埋める処理）を行う。

以上の各処理を全補間座標において行うことで、低解像度画像が高解像度画像に変換される。

本実施例によれば、低解像度化処理の際に注目画素に対する位相ずれ画素の信号値が補助情報として組み込まれる。そして、高解像度の画像に戻すときに補助情報を使用することで、小ポイントの文字やエッジ部において詳細に復元することが可能となる。

実施例１では、入力画像の解像度を低解像度に変換する際に、画像全体に対して補助情報を埋め込んでいた。これにより、文字の詳細復元が可能となるが、一方で写真などの階調数を多く必要とする部分においては疑似輪郭が目立ってしまう可能性がある。次に、文字、写真、グラフィックといった複数の属性のオブジェクトが画像内に含まれる場合に、像域分離等の属性判定処理を行って、属性ごとに補助情報の埋め込み処理の有無を切り替える態様について、実施例２として説明する。なお、実施例１と共通する部分については、説明を簡略化ないしは省略し、差異点を中心に説明するものとする。

図１２は、本実施例に係る、解像度変換部２０８／２１７内の低解像度処理部１２００の内部構成を示すブロック図である。実施例１に係る低解像度処理部４１０と比較すると、像域分離／判定部１２０１と一般低解像度変換部１２０２が追加されている。

像域分離／判定部１２０１は、入力画像内のオブジェクトごとに、文字、写真、グラフィックなどの属性を判定し、補助情報（位相ずれ画素の信号値）を埋め込む処理を行うかどうかを判定する処理を行う。

一般低解像度変換部１２０２は、像域分離／判定部１２０１における判定の結果、補助情報の埋め込みを行わないと判定されたオブジェクトに対して、最近隣内挿法や共一次内挿法、三次畳み込み内挿法などの一般的な手法による低解像度化処理を行う。

図１３は、本実施例に係る低解像度処理部１２００における低解像度化処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムを、ＭＦＰ１０１又はプリンタ１０３内のＨＤＤからメモリ上に読み込んだ後に、ＣＰＵによって該プログラムを実行することによって実施される。

ステップ１３０１において、低解像度処理部１２００は、入力画像データを取得する。取得した入力画像データは、像域分離／判定部１２０１に送られる。

ステップ１３０２において、像域分離／判定部１２０１は、入力画像データに対し像域分離処理を行って、文字、写真、グラフィックなどの属性毎のオブジェクトに分離する。

ステップ１３０３において、像域分離／判定部１２０１は、分離された各オブジェクトのうち処理対象となるオブジェクトに対して、実施例１で述べた補助情報の埋め込みを行うかどうかを判定する。本実施例では、オブジェクトの属性が文字の場合のみ補助情報の埋め込みを行うものとしている。処理対象のオブジェクトの属性が文字であると判定された場合は、補助情報の埋め込みを行うべくステップ１３０３に進む。一方、写真やグラフィックなどの文字以外の属性のオブジェクトであると判定されれば、一般的な低解像度化処理を行うべくステップ１３０８に進む。本実施例では、オブジェクトの属性が文字の場合のみ補助情報の埋め込みを行うものとしたが、補助情報の埋め込みを行うオブジェクトの属性を何にするのかは任意に設定可能である。

ステップ１３０４〜ステップ１３０７の各処理は実施例１における図５のフローチャートのステップ５０２〜５０５と同じであるため、説明は省略する。

ステップ１３０８において、一般低解像度変換部１２０２は、写真やグラフィックといった文字以外の属性のオブジェクトに対し、最近隣内挿法や共一次内挿法、三次畳み込み内挿法などの一般的な手法によって低解像度化処理を行う。

ステップ１３０９において、低解像度処理部１２００は、未処理のオブジェクトがあるかどうかを判定する。未処理のオブジェクトがあれば、ステップ１３０３に戻り、次の処理対象のオブジェクトに対して補助情報の埋め込みを行うかどうかを判定する。一方、未処理のオブジェクトがなければ本処理を終える。

以上のようにして、入力画像に含まれるオブジェクトの属性に応じた低解像度化処理が実行される。

図１４は、本実施例の概要を説明する図である。

図１４の（ａ）は、低解像度化処理を施す前の入力画像を示している。図１４の（ｂ）は、（ａ）の入力画像に対し像域分離／属性判定処理を行った結果、写真と文字の２種類のオブジェクトに分離された状態を示している。図１４の（ｃ）は、写真オブジェクトに対しては入力画像における注目画素の信号値（８ｂｉｔ）がそのまま保持され、文字オブジェクトに対しては位相ずれ画素の４ｂｉｔ化された信号値が補助情報として埋め込まれた状態を示している。

なお、本実施例に係る手法によって低解像度化された画像を高解像度画像に戻す際には、低解像度化された画像内のオブジェクトの属性に応じた高解像度化処理を行うことになる。具体的には、低解像度化された画像に対して像域分離を行ってオブジェクト毎に分離し、補助情報が埋め込まれている文字属性のオブジェクトに対しては実施例１と同じ方法で高解像度化処理を行う。そして、補助情報が埋め込まれていない文字属性以外のオブジェクトについては、最近隣内挿法や共一次内挿法、三次畳み込み内挿法などの一般に用いられる手法によって高解像度化処理を行う。

本実施例によれば、文字等の詳細復元が必要なオブジェクトに対してのみ補助情報の埋め込みを行うので、写真等の高階調数を必要とし詳細復元が不必要なオブジェクトについては高階調数のまま復元することができる。

実施例２では低解像度化処理の際に像域分離／属性判定処理を行い、オブジェクトの属性に応じて補助情報の埋め込み処理の有無を切り替える態様について説明した。実施例２の手法の場合、像域分離後の１のオブジェクトに対してはすべて同じ処理となり、同一オブジェクト内において画素ごとに切り替えることはない。よって、例えば、写真部分のうち詳細復元が必要と考えられるエッジ部で詳細に復元を行いたいといったケースには対応できない。また、例えば、文字部部分のうち高階調数を必要とするグラデーション部や大ポイントのエッジ内で疑似輪郭が発生する可能性がある。

そこで、詳細復元が必要で階調数が重要視されないエッジ部等の画素に対しては補助情報の埋め込みを行う一方、詳細復元が不要で階調数が重要視される平坦部等の画素に対しては補助情報の埋め込みを行わない態様を、実施例３として説明する。なお、実施例１及び２と共通する部分については、説明を簡略化ないしは省略し、差異点を中心に説明するものとする。

図１５は、本実施例に係る、解像度変換部２０８／２１７内の低解像度処理部１５００の内部構成を示すブロック図である。実施例１に係る低解像度処理部４１０と比較すると、補助情報埋め込み判定部１５０１と一般低解像度変換部１５０２が追加されている。一般解像度変換部１５０２は、実施例２における一般低解像度変換部１２０２に対応する。

補助情報埋め込み判定部１５０１は、低解像度化処理の際に補助情報として位相ずれ画素の信号値を埋め込む処理を行うかどうかを画素単位で判定する処理を行う。

一般低解像度変換部１５０２は、補助情報埋め込み判定部１５０１における判定の結果、補助情報の埋め込みを行わないと判定された画素に対して、最近隣内挿法や共一次内挿法、三次畳み込み内挿法などの一般的な手法による低解像度化処理を行う。

図１６は、本実施例に係る低解像度処理部１５００における低解像度化処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムを、ＭＦＰ１０１又はプリンタ１０３内のＨＤＤからメモリ上に読み込んだ後に、ＣＰＵによって該プログラムを実行することによって実施される。

ステップ１６０１において、低解像度処理部１５００は、入力画像データを取得する。取得した入力画像データは、補助情報埋め込み判定部１５０１に送られる。

ステップ１６０２において、補助情報埋め込み判定部１５０１は、補助情報として位相ずれ画素の信号値を埋め込む処理を行うかどうかを所定の画素単位で判定する。ここで、所定の画素単位は、低解像度化後の画像における最小の画素の単位であり、例えば入力画像に対して横１／２倍、縦１／２倍の解像度に変換する場合であれば、入力画像における２×２画素の画素群が所定の画素単位となる。図１７は、補助情報埋め込み判定処理の詳細を示すフローチャートである。

ステップ１７０１において、補助情報埋め込み判定部１５０１は、所定の画素単位における注目画素に対応する処理対象画素の信号値とその周辺画素の信号値を取得する。図１８は、本実施例における低解像度化処理を説明する図であり、（ａ）は低解像度化処理前の画像、同（ｂ）は低解像度化処理後の画像の一部をそれぞれ示している。図１８の（ａ）の画像において、注目画素に対応する処理対象画素がＮ_１であった場合には、周辺画素としてＮ_２、Ｎ_３、Ｎ_４の３つの画素の信号値が取得されることになる。

ステップ１７０２において、補助情報埋め込み判定部１５０１は、取得した注目画素に対応する処理対象画素の信号値と各周辺画素の信号値との差分をそれぞれ算出する。図１８の場合であれば、Ｎ_１とＮ_２、Ｎ_１とＮ_３、Ｎ_１とＮ_４の間でそれぞれ信号値の差分が算出される。

ステップ１７０３において、補助情報埋め込み判定部１５０１は、算出された差分に基づいて補助情報の埋め込みを行うかどうかを判定する。例えば、算出された複数の差分のうちいずれかの差分が閾値より大きい場合には補助情報の埋め込みを行うといった具合に判定がなされる。なお、低解像度化後の画像では無くなってしまう画素（図１８の（ａ）における空白画素）の信号値を考慮する為に、事前に例えば３×３画素のフィルタをかけておくことも可能である。

図１６のフローチャートの説明に戻る。

ステップ１６０３において、低解像度処理部１５００は、補助情報埋め込み判定部１５０１における判定の結果に従い、注目画素が補助情報の埋め込みの対象の場合にはステップ１６０４に進み、そうでなければステップ１６０７に進む。

ステップ１６０４において、階調数変換部４１１は、処理対象画素を注目画素に決定し、その位相ずれ画素を決定する。図１８の（ａ）において、仮に処理対象画素がＮ_１であれば、当該Ｎ_１の画素が注目画素に決定され、そしてＳ_１の画素がその位相ずれ画素に決定されることになる。

ステップ１６０５及びステップ１６０６の各処理は実施例１における図５のフローチャートのステップ５０２〜５０４と同じであるため、説明は省略する。

ステップ１６０７において、一般低解像度変換部１５０２は、処理対象画素に対し、最近隣内挿法や共一次内挿法、三次畳み込み内挿法などの一般的な手法によって低解像度化処理を行う。

ステップ１６０８において、低解像度処理部１５００は、入力画像データが示す画像において未処理の画素がないかを判定する。未処理の画素があればステップ１６０２に戻り、次の注目画素について補助情報埋め込み判定処理がなされる。未処理の画素がなければ本処理を終える。

このような処理の結果、例えば、図１８の（ｂ）のような低解像度化された画像が得られる。図１８の（ｂ）における１８０１〜１８０３の各画素は補助情報の埋め込み処理を行うと判定された画素であり、補助情報として位相ずれ画素Ｓ_１、Ｓ_２、Ｓ_３の下位４ｂｉｔの信号値が埋め込まれている。これに対し１８０４の画素は、補助情報の埋め込み処理を行わないと判定された画素であり、Ｓ_４の下位４ｂｉｔの信号値が埋め込まれていない。

なお、本実施例に係る手法によって低解像度化された画像を高解像度画像に戻す際には、低解像度化された画像内の各画素に応じた高解像度化処理を行うことになる。具体的には、低解像度化画像のうち補助情報が埋め込まれている画素に対しては実施例１と同じ方法で高解像度化処理を行う。そして、補助情報が埋め込まれていない画素については、最近隣内挿法や共一次内挿法、三次畳み込み内挿法などの一般に用いられる手法によって高解像度化処理を行う。

本実施例によれば、詳細復元が必要な画素に対してのみ補助情報の埋め込みを行うので、グラデーションを代表とする階調数が必要で、さほど詳細復元が重要視されない平坦部などは、階調数を維持することが可能となる。これにより、グラデーション部や平坦部での低階調数に伴う疑似輪郭などを防いだ上で、小ポイント文字やエッジ部などの詳細部分の復元が可能となる。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (12)

1. 入力された画像の解像度を低解像度に変換する装置であって、
   前記入力された画像における注目画素及び当該注目画素から所定の画素数だけ位相がずれた位相ずれ画素の信号値の階調数を減らす階調数変換手段と、
   階調数が減った注目画素の信号値と階調数が減った位相ずれ画素の信号値を統合して、低解像度化後の画像における前記注目画素及び前記位相ずれ画素に対応する画素の信号値を決定する、信号値統合手段と、
   を備え、
   前記所定の画素数は、前記低解像度化の度合いに応じて決定される
   ことを特徴とする装置。
2. 入力された画像の解像度を低解像度に変換する装置であって、
   前記入力された画像における注目画素及び当該注目画素から所定の画素数だけ位相がずれた位相ずれ画素の信号値の階調数を減らす階調数変換手段と、
   階調数が減った注目画素の信号値と階調数が減った位相ずれ画素の信号値を統合して、低解像度化後の画像における前記注目画素及び前記位相ずれ画素に対応する画素の信号値を決定する、信号値統合手段と、
   を備え、
   前記階調数変換手段は、低解像度化後の画像の階調数に応じて、前記注目画素及び位相ずれ画素の信号値のビット数を１／Ｎ（Ｎは２以上の自然数）に減らす
   ことを特徴とする装置。
3. 入力された画像の解像度を低解像度に変換する装置であって、
   前記入力された画像における注目画素及び当該注目画素から所定の画素数だけ位相がずれた位相ずれ画素の信号値の階調数を減らす階調数変換手段と、
   階調数が減った注目画素の信号値と階調数が減った位相ずれ画素の信号値を統合して、低解像度化後の画像における前記注目画素及び前記位相ずれ画素に対応する画素の信号値を決定する、信号値統合手段と、
   を備え、
   前記信号値統合手段は、ビット数が１／Ｎになった前記注目画素の信号値を上位ビット、ビット数が１／Ｎになった前記位相ずれ画素の信号値を下位ビットとして統合した信号値を、前記対応する画素の信号値として決定する
   ことを特徴とする装置。
4. 入力された画像の解像度を低解像度に変換する装置であって、
   前記入力された画像における注目画素及び当該注目画素から所定の画素数だけ位相がずれた位相ずれ画素の信号値の階調数を減らす階調数変換手段と、
   階調数が減った注目画素の信号値と階調数が減った位相ずれ画素の信号値を統合して、低解像度化後の画像における前記注目画素及び前記位相ずれ画素に対応する画素の信号値を決定する、信号値統合手段と、
   を備え、
   前記対応する画素における上位のビットは、最近隣内挿法を用いて低解像度に変換した場合における最近隣画素の信号値である
   ことを特徴とする装置。
5. 入力された画像の解像度を低解像度に変換する装置であって、
   前記入力された画像における注目画素及び当該注目画素から所定の画素数だけ位相がずれた位相ずれ画素の信号値の階調数を減らす階調数変換手段と、
   階調数が減った注目画素の信号値と階調数が減った位相ずれ画素の信号値を統合して、低解像度化後の画像における前記注目画素及び前記位相ずれ画素に対応する画素の信号値を決定する、信号値統合手段と、
   前記入力された画像をオブジェクト毎に分離する手段と、
   を備え、
   前記入力された画像内の所定のオブジェクトに対してのみ、前記階調数変換手段及び前記信号値統合手段による処理を行う
   ことを特徴とする装置。
6. 入力された画像の解像度を低解像度に変換する装置であって、
   前記入力された画像における注目画素及び当該注目画素から所定の画素数だけ位相がずれた位相ずれ画素の信号値の階調数を減らす階調数変換手段と、
   階調数が減った注目画素の信号値と階調数が減った位相ずれ画素の信号値を統合して、低解像度化後の画像における前記注目画素及び前記位相ずれ画素に対応する画素の信号値を決定する、信号値統合手段と、
   前記入力された画像に対し、前記階調数変換手段及び前記信号値統合手段による処理を行うかどうかを所定の画素単位で判定する手段と、
   を備え、
   前記判定する手段で、前記階調数変換手段及び前記信号値統合手段による処理を行うと判定された前記所定の画素単位の画素に対してのみ、前記階調数変換手段及び前記信号値統合手段による処理を行う
   ことを特徴とする装置。
7. 前記所定のオブジェクトは、詳細な復元が必要なオブジェクトであることを特徴とする請求項５に記載の装置。
8. 前記詳細な復元が必要なオブジェクトは、その属性が文字のオブジェクトであることを特徴とする請求項７に記載の装置。
9. 前記判定する手段は、所定の画素単位における注目画素に対応する処理対象画素の信号値とその周辺画素の信号値を取得し、取得した注目画素に対応する処理対象画素の信号値と各周辺画素の信号値との差分をそれぞれ算出し、算出された差分に基づいて、前記階調数変換手段及び前記信号値統合手段による処理を行うかどうかを判定することを特徴とする請求項６に記載の装置。
10. 前記所定の画素単位は、低解像度化後の画像における最小の画素であることを特徴とする請求項６に記載の装置。
11. 入力された画像の解像度を低解像度に変換する方法であって、
    階調数変換手段が、前記入力された画像における注目画素及び当該注目画素から所定の画素数だけ位相がずれた位相ずれ画素の信号値の階調数を減らすステップと、
    階調数変換手段が、階調数が減った注目画素の信号値と階調数が減った位相ずれ画素の信号値を統合して、低解像度化後の画像における前記注目画素及び前記位相ずれ画素に対応する画素の信号値を決定するステップと、
    を含み、
    前記対応する画素における上位のビットは、最近隣内挿法を用いて低解像度に変換した場合における最近隣画素の信号値である
    ことを特徴とする方法。
12. コンピュータを、請求項１乃至１０のいずれか１項に記載の装置として機能させるためのプログラム。

Images