JP4517287B2 - 画像処理装置、画像処理方法及びそのプログラム - Google Patents
画像処理装置、画像処理方法及びそのプログラム Download PDFInfo
- Publication number
- JP4517287B2 JP4517287B2 JP2004366409A JP2004366409A JP4517287B2 JP 4517287 B2 JP4517287 B2 JP 4517287B2 JP 2004366409 A JP2004366409 A JP 2004366409A JP 2004366409 A JP2004366409 A JP 2004366409A JP 4517287 B2 JP4517287 B2 JP 4517287B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel value
- region
- area
- image
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title description 8
- 238000000034 method Methods 0.000 claims description 93
- 238000000605 extraction Methods 0.000 claims description 55
- 238000006243 chemical reaction Methods 0.000 claims description 44
- 238000009499 grossing Methods 0.000 claims description 38
- 230000002708 enhancing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 17
- 230000002093 peripheral effect Effects 0.000 description 17
- 238000013500 data storage Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000010187 selection method Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Facsimile Image Signal Circuits (AREA)
- Record Information Processing For Printing (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
Description
二値画像を拡大処理する既存の代表的な手法としては、最近傍法や線形補間法がある。最近傍法は、拡大後の画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使うという方法である。この方法は、演算量が少ないため高速に処理することができる。しかし、原画像の1画素がそのまま矩形形状に拡大されるため、二値画像においては斜線部やエッジ部のジャギーが目立ち、倍率が大きい場合には画質劣化の程度は非常に大きい。
これらの問題を解決する試みとして、例えば特許文献1、特許文献2などの新規方式が提案されている。
特許文献1に記載されている技術では、着目画素を中心とする所定領域毎に予め用意されたテンプレートとマッチングをとり、マッチングパターンに対応するスムージング拡大パターンにより拡大し、前記拡大パターンを拡大率に応じて1つ以上の画素に分割し、その各画素毎に平滑化処理を施して着目画素を拡大および多値化する。またパターンは予め複数のパターン群に分け、マッチングをとる優先順位を予め決めることによりパターンの誤検出を防止している。しかし、本技術は、基本的に、テンプレートマッチングと平滑化処理のみによる2値画像の拡大であり、非常に多くのテンプレートを必要とし、用意されないパターンのエッジに関してはスムージング拡大処理を行うことができない。
特許文献2に記載されている技術では、まず原画像を2値化し、その2値画像から原画像に含まれる斜め成分の方向を、方向毎に予め用意した2次元パターン(行列データ)と一致判定することにより求め、求められた方向の斜線と画素位置を格子点と見なした場合の交点とその交点における画素値を求める事により補間処理を行う。しかし、本技術は、求められた方向により補正がされてはいるが基本的には線形補間(内挿)法による補間処理であり、十分なジャギーの低減は行えない。
上記目的を達成するために、本発明にかかる画像処理装置は、入力画像の拡大処理を行う画像処理装置であって、入力画像に含まれる注目画素について、この注目画素を含む既定の大きさの画像領域の特徴を抽出する領域特徴抽出手段と、前記領域特徴抽出手段により抽出された特徴に基づいて、少なくともこの画像領域内の画素値を変換する画素値変換手段と、前記画素値変換手段により変換された画像領域の画素値に基づいて拡大画像領域を生成する1つの生成手段、及び、前記1つの生成手段とは異なる処理により拡大画像領域を生成する他の生成手段を含む拡大画像領域生成手段と、前記拡大画像領域生成手段により生成された拡大画像領域を配置する画像配置手段とを有し、前記拡大画像領域生成手段は、前記領域特徴抽出手段により抽出された特徴に応じた前記生成手段を適用する。
また、本発明にかかる画像処理方法は、入力画像の拡大処理を行う画像処理方法であって、入力画像に含まれる注目画素について、この注目画素を含む既定の大きさの画像領域の特徴を抽出し、抽出された特徴に応じて、少なくともこの画像領域内の画素値を変換し、抽出された特徴に基づいて、変換された画像領域の画素値に基づいて拡大画像領域を生成する1つの生成手法、又は、前記1つの生成手法とは異なる処理により拡大画像領域を生成する他の生成手法を選択し、選択された生成手法を適用して、拡大画像領域を生成し、生成された拡大画像領域を配置する。
また、本発明にかかるプログラムは、入力画像の拡大処理を行う画像処理装置において、入力画像に含まれる注目画素について、この注目画素を含む既定の大きさの画像領域の特徴を抽出するステップと、抽出された特徴に応じて、少なくともこの画像領域内の画素値を変換するステップと、抽出された特徴に基づいて、変換された画像領域の画素値に基づいて拡大画像領域を生成する1つの生成手法、又は、前記1つの生成手法とは異なる処理により拡大画像領域を生成する他の生成手法を選択するステップと、選択された生成手法を適用して、拡大画像領域を生成するステップと、生成された拡大画像領域を配置するステップとを前記画像処理装置に実行させる。
まず、本実施形態における画像処理装置2のハードウェア構成を説明する。
図1は、本発明にかかる画像処理方法が適応される画像処理装置2のハードウェア構成を、制御装置20を中心に例示する図である。
図1に例示するように、画像処理装置2は、CPU202及びメモリ204などを含む制御装置20、通信装置22、HDD・CD装置などの記録装置24、並びに、LCD表示装置あるいはCRT表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置(UI装置)26から構成される。
画像処理装置2は、例えば、画像拡大プログラム5(後述)がインストールされた汎用コンピュータであり、通信装置22又は記録装置24などを介して画像データを取得し、取得された画像データを出力解像度に応じて拡大する。例えば、画像処理装置2は、プリンタ装置10に対して画像データを出力する場合には、600dpi又は2400dpiなどの解像度に変換し、UI装置26に対して画像データを出力する場合には、75dpiなどの解像度に変換する。
図2は、制御装置20(図1)により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム5の機能構成を例示する図である。
図2に例示するように、画像拡大プログラム5は、拡大処理部500、画像データ格納部570、多値変換部580、及び二値変換部590を有する。また、拡大処理部500は、画像ブロック設定部510、画像ブロック特徴抽出部520、画素値変換部530、拡大画像ブロック生成部540、及び画像ブロック配置部560を有する。
なお、画像拡大プログラム5の全部又は一部をASICなどのハードウェアで実現してもよい。
なお、入力された2値画像データが予め8ビット表現の状態で画像データ格納部570に格納されている場合には、他と変換部580は、この画像データ(8ビット表現)をそのまま拡大処理部500に出力する。
また、画像ブロック特徴抽出部520は、さらに、抽出あるいは算出した画像特徴量に基づいて、注目領域の切り分けを行う。ここで、注目領域の切り分けとは、注目領域の属性に応じて注目領域を分類することであり、例えば、注目領域がエッジを含む領域(以下、エッジ領域)と、白(又は黒)のみの領域(以下、平坦領域)とを切り分けることである。
より具体的には、画素値変換部530は、平滑化部532及び強調部534を含み、この平滑化部532は、画像ブロック特徴抽出部520により算出された注目領域におけるエッジ方向に基づいて、画像ブロック内の画素値を平滑化する。また、強調部534は、平滑化部532によりエッジ方向に基づいて平滑化された画像ブロック内の画素値のコントラストを強調する。
拡大画像ブロック生成部540は、画像ブロック特徴抽出部520により抽出あるいは算出された画像特徴量に基づいて、複数の拡大手段(本例では、第1生成部542及び第2生成部544)を切り替えて注目領域に対応する拡大画像ブロックを生成する。
例えば、拡大画像ブロック生成部540は、注目領域に対して、画像ブロック特徴抽出部520により切り分けられたエッジ領域と平坦領域に応じて、第1生成部542あるいは第2生成部544のいずれかに切り替えて拡大画像ブロックを生成する。なお、本例では、エッジ領域であると判断された注目領域の場合には第1生成部543により拡大画像ブロックが生成され、平坦領域であると判断された注目領域の場合には第2生成部544により拡大画像ブロックが生成される場合を具体例とする。
第1生成部542及び第2生成部544における拡大手法は任意であるが、上述の例のようにエッジ領域であると判断された注目領域の場合に動作する第1生成部542は、第2生成部544と比較して、ジャギーの発生を抑えた、より画質を優先した拡大手法を適用することが望ましい。この場合に、第2生成部544は、第1生成部542よりも高速処理が可能な拡大手法を適用することが望ましく、これによって全体の処理時間を短縮することができる。
まず、画像ブロック特徴抽出部520の詳細について説明する。なお、注目領域が2×2画素サイズブロック(互いに直交する方向が2画素である正方領域)であり、注目領域を含む周辺領域が4×4画素サイズブロック(互いに直交する方向が4画素である正方領域)である場合を具体例として説明する。
図3に示すように、画像ブロック特徴抽出部520は、エッジパターン選択部522と、エッジ方向推定部524とを含む。
エッジパターン選択部522は、注目領域である2×2画像ブロックのエッジパターンを選択し、選択されたエッジパターンに基づき、注目領域がエッジ領域であるか、白(または黒)のみの平坦領域であるかを判断する。
また、エッジパターン選択部522は、注目領域がエッジ領域である場合に、そのエッジパターンに相当するエッジ角度を注目領域の初期エッジ角度として決定する。
図4に例示するように、各エッジパターンには、それぞれ相当するエッジ角度が設定されており、エッジパターン選択部522は、注目領域がどのエッジパターンであるかによって初期エッジ角度を決定する。
また、注目領域が平坦パターンである場合には、この注目領域は平坦領域として切り分けられる。
ただし、注目領域が図4の太枠で示されたエッジパターン(市松エッジパターン)である場合、注目領域のエッジパターンのみでは一意にその初期角度を決定できない。つまり初期エッジ角度を45°とするのか135°とするのかを決定できない。その理由は、図4に例示した太枠内の上方の市松エッジパターンaを例にとると、二値画像では、注目領域がこの市松エッジパターンaであったときには、45°方向に黒画素が続いている領域の一部分である場合と、135°方向に白画素が続いている領域の一部分である場合とのどちらの場合も考えられ、2×2画像ブロックの注目領域単体のみでは判断できないからである。
図6は、市松エッジパターンと一つ手前(スキャン方向の上流側)の2×2画像ブロック領域のエッジパターンとの考えられる全ての組み合わせと、その組み合わせによって決定される初期エッジ角度の1例を示した図である。
図6に示したように、注目領域が市松エッジパターンである場合に、エッジパターン選択部522は、一つ手前の画像ブロックのエッジパターンを参照して、45°又は135°のどちらの角度を初期エッジ角度とするのかを決定する。
なお、本例では、市松エッジパターンと一つ手前の画像ブロックのエッジパターンとの2つのブロックの組み合わせにより初期エッジ角度を決定したが、これに限定されるわけではない。例えば、エッジパターン選択部522は、注目領域のエッジパターンと、一つ先の画像ブロックのエッジパターンとの組み合わせで初期エッジ角度を決定してもよいし、また1つ手前と一つ先との3ブロックのエッジパターンの組み合わせなどで、市松エッジパターンにおける初期エッジ角度を決定してもよく、市松エッジパターンの初期エッジ角度決定のために組み合わせる画像ブロックの数や位置は要求される処理速度や画質に応じて可変である。
図7は、特定パターンの抽出の一例として、補正される特定パターンを含む画像の一部分を例示する。
図7に例示するように、図中の点線で囲まれた画像の凹凸パターンは、1画素だけ飛び出した(あるいは凹んだ)パターンで、例えば原稿をFAXやスキャナなどで電子文書として取り込む場合に解像度などに起因して生じるパターンであり、本来の画像を構成する意味のある特徴パターンではない。このような凹凸パターンは、拡大処理後のジャギーの原因となり画質に大きく影響する。
図8(A)に示すように、太枠の注目領域(図8(A)に示された第4の領域)とその一部分を含む複数の周辺領域(図8(A)に示された第1〜3の領域)のエッジパターンは、黒画素を1、白画素を0としてビットパターン化されると、第1の領域は「1110」、第2の領域は「1000」、第3の領域は「1011」、第4の領域(すなわち注目領域)は「0010」となる。したがって、エッジパターン選択部522は、図8(A)で示すように、第1〜4の各領域のエッジパターン列が「1110」、「1000」、「1011」、「0010」であると判断した場合に、凹凸パターン(本例では、右に凸のパターン)が存在すると判断し、この凹凸パターンを抽出する。
このように、エッジパターン選択部522は、注目領域および周辺領域のエッジパターンおよび初期エッジ角度を変更することにより、凹凸パターン(本例では、右に突出した凸パターン)を補正することが可能となる。
図11は、注目領域および周辺領域の具体例と注目領域のエッジ方向の一例の説明図である。図11(A)は、注目領域(図11中の太枠内領域)および周辺領域の一例を示している。図11に示す例を用いて、エッジ方向推定部524によるエッジ方向推定処理の流れについて説明する。
図12は、エッジ方向推定部22によるエッジ方向推定処理(S10)の一例を示すフローチャート図である。
また、エッジ方向推定部524は、エッジ角度の参照数をカウントするための変数としての角度参照数を「1」に初期化しておく。
図13は、エッジ方向の推定に用いる参照領域を例示する図である。図中の太線枠で示した2×2画素が参照領域である。図13(A)は、エッジパターン選択部522により設定された初期エッジ角度が「角度0°」である場合の参照領域を例示し、図13(B)は、初期エッジ角度が「角度90°」である場合の参照領域を例示し、図13(C)は、初期エッジ角度が「角度0°又は90°」以外の角度である場合の参照領域を例示している。なお、図13(A)及び(B)に示す角度0°及び角度90°の場合の参照領域の数は2であり、図13(C)に示す角度0°、90°以外の角度の場合の参照領域の数は4である。
図11に示した具体例では、注目領域の初期エッジ角度は「角度45°」であるため、図14(C)に例示した4つの参照領域が選択の候補となる。なお、参照領域の選択は、図13に示したものに限定されるわけではなく、例えば図13(C)の場合などは、参照領域数を8としたり、それぞれの角度に応じた参照領域を設定してもよい。
図11に示した具体例の場合では、注目領域に対する右隣の参照領域のエッジパターンは、図14(B)で示した第1のエッジパターンであるので、エッジ方向推定部524は、エッジ方向推定に適するエッジパターンであると判断する。
エッジ方向推定部524は、この判断の結果、本注目領域におけるエッジ方向推定に適した参照領域である場合には、S140の処理に移行し、これ以外である場合には、S150の処理に移行する。
さらに、エッジ方向推定部524は、求められた注目領域に対する推定エッジ角度Θを、22.5°ごとに区分された方向(8方向)の角度範囲(方向0〜7)に分類する。本例の場合、0°あるいは±180°を中心とした角度範囲を「方向0」、22.5°あるいは−157.5°を中心とした角度範囲を「方向1」、45°あるいは−135°を中心とした角度範囲を「方向2」、67.5°あるいは−112.5°を中心とした角度範囲を「方向3」、90°あるいは−90°を中心とした角度範囲を「方向4」、112.5°あるいは−67.5°を中心とした角度範囲を「方向5」、135°あるいは−45°を中心とした角度範囲を「方向6」、157.5°あるいは−22.5°を中心とした角度範囲を「方向7」とし、エッジ方向推定部524は、推定エッジ角度Θをいずれかの角度範囲(上記各中心角度から±11.25°の範囲)に分類する。上述の図11の具体例における推定エッジ角度Θ(=27°)は22.5°±11.25°の範囲内に含まれるので、エッジ方向推定部524は、図11に示した注目領域に対する最終的な推定エッジ方向を「方向1」であると判定する(図11(B)の矢印線分方向)。
なお、本例では推定エッジ角度Θを計算した後に8方向のいずれかに正規化(分類)したが、これに限定されるわけではなく、さらに精度の高いエッジ方向が必要であれば12方向(15.0°ごと)、16方向(12.25°ごと)など、さらに多数の方向に正規化してもよい。
画素値変換部530は、図2に例示するように、平滑化部532と強調部534とで構成される。
平滑化部532は、画像ブロック特徴抽出部520によって推定された注目領域の推定エッジ方向に応じた画素値平滑化処理を、注目領域と注目領域を含む周辺領域内の画素に対して施す。
図15は、推定エッジ方向に対応する平滑化カーネルを例示する図である。なお、図中に示された平滑化カーネル内の数字は、画素値に乗ずる重み付けの係数である。
例えば注目領域の推定エッジ方向が「方向3」である場合に、平滑化部532は、この「方向3」に応じて、図15中の第3の平滑化カーネルを用いて平滑化処理を行う。この場合、平滑化部532は、図16に示すように、例えば中心の画素Pの平滑化処理を行う場合には、画素a及び画素bを用いて、平滑化画素値P'を次の式(1)に従って計算する。
図17は、強調部534により適用される強調カーネルの具体例を表す図である。
図17に示す「1.60」の値は、図17(A)に示す強調カーネルの中心の画素値に対応する重み係数を表し、「0.15」の値は、中心画素の上下左右に配置された画素値に対応する重み係数を表している。
また、図17(B)は、図17(A)に示す強調カーネルで画素Pを強調する場合の説明図である。図17(B)に示すように、強調部534は、例えば、中心の参照画素Pの強調処理を行う場合に、その上下左右に存在する画素a、b、c、dを参照し、また重みとして中心の注目画素については「1.60」を、周辺の参照画素に対しては「0.15」をそれぞれ用いる。このように、強調部534は、画素Pの画素値P'を次の式(2)に従って計算する。
まず、拡大画像ブロック生成部540に含まれる第1生成部542について説明する。第1生成部542は、画像ブロック特徴抽出部520によってエッジ領域であると判断された注目領域に対して拡大画像ブロック生成処理を行う。より具体的には、第1生成部542は、画像ブロック特徴抽出部520により得られた注目領域のエッジパターン及び推定エッジ方向と、画素値変換部530により変換された注目領域及びその周辺領域の画素値とを用いて、注目領域に対する拡大画像ブロックを生成する。
まず、第1生成部542は、注目領域のエッジパターン及び推定エッジ方向に基づき、画素値変換部530により変換された画素値を用いて3×3画像ブロックに相当する画素値を算出する。
図18(A)には、図11(A)に例示した注目領域及び周辺領域が示されている。この注目領域に関しては、上記のように画像ブロック特徴抽出部520によって、エッジパターン「1110」、及び、推定エッジ方向「方向1」が求められている。
第1生成部542は、特徴量の組合せが(エッジパターン1110)及び(推定エッジ方向「方向1」)である場合、図18(B)に示すように、3×3画像ブロックに相当するそれぞれの画素をp0〜p8とすると、図18(A)に示した注目領域の画素値{a,b,c,d}をもとに、p0〜p8の画素値を次の式によって計算する。
p1=(a+b)/2
p2=b
p3=(a+c)/2
p4=(b+c)/2
p5=d
p6=c
p7=(p4+b)/2
p8=d
図19(A)は、エッジパターン「1000」と推定エッジ方向「方向1」との組合せに対応する計算式を例示する。
p0=a
p2=b
p3=a
p4=(b+c)/2
p5=(b+d)/2
p6=c
p7=(c+d)/2
p8=d
p1=(p4+c)/2
第1生成部542は、特徴量の組合せがエッジパターン「1000」及び推定エッジ方向「方向1」である場合に、上記の計算式を用いて3×3画像ブロック相当の画素値を計算する。
p0=a
p1=(a+b)/2
p2=b
p4=(a+d)/2
p6=c
p7=(c+d)/2
p8=d
p3=(p4+c)/2
p5=(p4+b)/2
第1生成部542は、特徴量の組合せがエッジパターン「1100」及び推定エッジ方向「方向5」である場合に、上記の計算式を用いて3×3画像ブロック相当の画素値を計算する。
p0=a
p1=a
p2=b
p3=a
p4=(b+c)/2
p5=(b+d)/2
p6=c
p7=(c+d)/2
p8=d
第1生成部542は、特徴量の組合せがエッジパターン「1100」及び推定エッジ方向「方向2」である場合に、上記の計算式を用いて3×3画像ブロック相当の画素値を計算する。
p0=a
p2=b
p3=(a+c)/2
p4=(a+d)/2
p5=(b+d)/2
p6=c
p8=d
p1=(p4+b)/2
p7=(p4+c)/2
第1生成部542は、特徴量の組合せがエッジパターン「0101」及び推定エッジ方向「方向7」である場合に、上記の計算式を用いて3×3画像ブロック相当の画素値を計算する。
第1生成部542は、注目領域の推定エッジ方向が方向1(22.5°)から方向3(67.5°)である場合に、図20(A)に太線枠で囲んだように、参照画素r0〜r5を左上から下へ3画素と右下から上へ3画素となるように選択する。
また、第1生成部542は、注目領域の推定エッジ方向が方向5(112.5°)から方向7(157.5°)である場合に、図20(B)に太線枠で示したように、参照画素r0〜r5を左下から上へ3画素と右上から下へ3画素となるように選択する。
また、第1生成部542は、参照画素r6〜r13として、推定エッジ方向に拠らず、図20(A)(B)に示すように、上下それぞれ4画素を選択する。
このように、第1生成部542は、注目領域における推定エッジ方向に基づいて、参照画素を選択する。なお、参照画素の選択は、図20に例示する2パターンからの選択に限定されるわけではなく、推定エッジ方向に従い、より多くの参照画素選択パターンを用意してもよい。また、選択する参照画素についても、推定エッジ方向によって変更してもよい。
図21に示すように、第1生成部542は、計算された3×3画像ブロック相当の画素値p0〜p8と、注目領域における推定エッジ方向に基づいて選択された参照画素r0〜r13とを用いて、以下のような計算式に従って4×4画素の拡大画像ブロックに相当する画素値(s0〜s15)を計算し、4x4拡大画像ブロックを生成する。
s1=0.2×r7+0.32×p0+0.48×p1
s2=0.2×r8+0.48×p1+0.32×p2
s3=0.2×r9+0.64×p2+0.16×r1
s4=0.08×r0+0.32×p0+0.12×r2+0.48×p3
s5=0.16×p0+0.24×p1+0.24×p3+0.36×p4
s6=0.24×p1+0.16×p2+0.36×p4+0.24×p5
s7=0.32×p2+0.08×r1+0.48×p5+0.12×r3
s8=0.12×r2+0.48×p3+0.08×r4+0.32×p6
s9=0.24×p3+0.36×p4+0.16×p6+0.24×p7
s10=0.36×p4+0.24×p5+0.24×p7+0.16×p8
s11=0.48×p5+0.12×r3+0.32×p8+0.08×r5
s12=0.16×r4+0.64×p6+0.2×r10
s13=0.32×p6+0.48×p7+0.2×r11
s14=0.48×p7+0.32×p8+0.2×r12
s15=0.64×p8+0.16×r5+0.2×r13
画像ブロック配置部560は、拡大画像ブロック生成部540により生成された拡大画像ブロック(注目領域に対応する拡大画像ブロック)を既定の方法により順次配置する。
図22に示すように、拡大画像ブロック生成部540(第1生成部542又は第2生成部544)により順次生成された拡大画像ブロックbk0及び拡大画像ブロックbk1は、互いに重なり合うように配置される。画像ブロック配置部560は、オーバーラップする画素(重なり合う画素)について、各々前画素値との平均をとるようにして配置する。また、画像ブロック配置部560は、オーバーラップする画素の総和を計算し、画素値の総和をオーバーラップした数で割ることにより各画素値を算出するようにしてもよい。
この場合、画像ブロック配置部560は、注目画素を1画素ずつずらしながら選択し、拡大処理を行ってゆくことになる。
また、画像ブロック配置部560は、順次生成される拡大画像ブロックをオーバーラップさせずに並べてゆくこともできる。この場合、画像ブロック配置部560は、注目領域を重ならないように選択してゆけばよい。
なお、4×4画素の拡大画像ブロックは、拡大画像ブロック生成部540中の第1生成部542又は第2生成部544のいずれかで生成されるため、拡大方式の違いによる画質劣化が懸念されるが、上述のように、画像ブロック配置部560が複数の拡大画像ブロックをオーバーラップさせて平均化することによって、そのような画質劣化の発生を抑えることができる。
図23は、拡大処理部500による画像拡大処理(S20)を説明するフローチャートである。
ステップ210(S210)において、画像ブロック設定部510は、画像ブロック特徴抽出部520及び拡大画像ブロック生成部540による処理で必要とされる所定の画像ブロックのサイズをそれぞれ設定し、設定されたブロックサイズの画像ブロックを順次(例えばラスタスキャン順に)切り出し、各ブロックサイズの画像ブロックを画像ブロック特徴抽出部520に出力する。
拡大処理部500は、注目領域がエッジ領域である場合に、画像ブロック特徴抽出部520に、注目領域のエッジパターンの設定、エッジパターンに相当するエッジ角度の初期エッジ角度としての設定、並びに、ある特定エッジパターンの抽出及び補正を行わせ、ジャギーを低減するような拡大画像ブロック生成処理を行うべく、S230の処理に移行する。
また、拡大処理部500は、注目領域が平坦領域である場合に、S260の処理に移行する。
さらに、画素値変換部530(強調部534)は、平滑化処理が施された注目領域及びその周辺領域内の画素に対して、コントラスト強調処理を施す。
このように、拡大画像ブロック生成部540は、S220においてエッジ領域であると判断された場合に、そのようなエッジ部分のジャギーを抑えるような拡大画像ブロックを第1生成部542に生成させる。これによって、エッジ部分などについてジャギーの少ない高画質の拡大画像ブロックの生成を行うことができる。
第2生成部544によりなされる拡大画像ブロック生成処理は、S230〜S250における拡大画像ブロックの生成処理(第1生成部542による処理)とは異なり、例えば最近傍補間などの処理負荷の小さい拡大処理でよい。すなわち、注目領域が平坦領域である場合には、上述のような複雑で処理時間を要する処理をする必要がなく、より処理負荷の小さい拡大画像ブロックの生成処理で十分である。
したがって、拡大画像ブロック生成部540は、注目領域が平坦領域である場合に、第2生成部544を選択して処理負荷の小さい拡大画像ブロックの生成処理を行い、全体としての処理時間の短縮を図っている。
このように、本画像処理装置2は、例えば、入力画像中のエッジ部分に関しては、エッジを滑らかにする拡大手法を適用し、入力画像中の平坦な部分(真白や真黒の画像部分)に関しては処理負荷の小さい拡大手法を適用することによって、エッジ部分のジャギーを抑制した高画質な拡大処理を行うとともに、処理負荷を抑えて高速に拡大処理を行うことができる。
5・・・画像拡大プログラム
500・・・拡大処理部
510・・・画像ブロック設定部
520・・・画像ブロック特徴抽出部
530・・・画素値変換部
532・・・平滑化部
534・・・強調部
540・・・拡大画像ブロック生成部
542・・・第1生成部
544・・・第2生成部
560・・・画像ブロック配置部
Claims (9)
- 入力画像の拡大処理を行う画像処理装置であって、
入力画像に含まれる注目画素について、この注目画素を含む既定の大きさの注目領域の画素値パターンに基づいて、当該注目領域がエッジ領域であるか否かを判断し、
当該エッジ領域の画素値パターンに基づいて、初期エッジ角度を算出すると共に、当該エッジ領域の画素値パターンのみでは一意に初期エッジ角度を算出できない場合に、当該エッジ領域のラスタスキャン順で一つ手前および/または一つ先の画像領域の画素値パターンを参照して初期エッジ角度を算出し、
当該初期エッジ角度に応じて、階調の変化方向を抽出するために参照すべき参照領域を設定し、
当該参照領域の画素値パターンと、当該注目領域の画素値パターンとに基づいて、階調の変化方向を、当該注目領域の特徴として抽出する領域特徴抽出手段と、
前記領域特徴抽出手段により抽出された階調の変化方向に基づいて、少なくともこの注目領域内の画素値を変換する画素値変換手段と、
前記画素値変換手段により変換された注目領域の画素値に基づいて拡大画像領域を生成する1つの生成手段、及び、前記1つの生成手段とは異なる処理により拡大画像領域を生成する他の生成手段を含む拡大画像領域生成手段と、
前記拡大画像領域生成手段により生成された拡大画像領域を配置する画像配置手段と
を有し、
前記拡大画像領域生成手段は、前記領域特徴抽出手段により抽出された階調の変化方向に応じた前記生成手段を適用する
画像処理装置。 - 前記画素値変換手段は、前記注目領域の画素値が既定の条件を満たしている場合にのみ、前記注目領域内の画素値と、この注目領域の近傍領域内の画素値とを変換する
請求項1に記載の画像処理装置。 - 前記領域特徴抽出手段は、抽出された画素値パターンが既定のパターンである場合に、この画素値パターンを補正する
請求項1又は2に記載の画像処理装置。 - 前記画素値変換手段は、前記領域特徴抽出手段により抽出された変化方向に応じた位置の画素群を参照して、平滑化処理を行う
請求項3に記載の画像処理装置。 - 前記画素値変換手段は、前記平滑化処理がなされた複数の画素値を用いて、階調変化を強調するエッジ強調処理を行う
請求項4に記載の画像処理装置。 - 前記画素値変換手段は、前記領域特徴抽出手段により抽出された階調の変化方向に基づいて、前記注目領域内の画素値と、この注目領域の近傍領域内の画素値とを変換し、
前記1つの生成手段は、前記領域特徴抽出手段により抽出された階調の変化方向が既定の条件を満たす注目領域の注目画素に対して、この注目領域の階調の変化方向、前記画素値変換手段により変換された注目領域の画素値、及び、前記画素値変換手段により変換された近傍領域の画素値に基づいて、注目画素に対応する拡大画像領域を生成する
請求項1に記載の画像処理装置。 - 前記画像配置手段は、前記拡大画像領域生成手段により生成される複数の拡大画像領域が拡大後の画像において互いに重なり合う場合に、これらの拡大画像領域に基づいて、この重複部分の画素値を決定する
請求項1に記載の画像処理装置。 - 前記画像配置手段は、前記拡大画像領域生成手段により生成される複数の拡大画像領域が拡大後の画像において互いに重なり合う場合に、これら拡大画像領域の重複部分について、同一画素に対応する複数の画素値の平均値を算出する
請求項7に記載の画像処理装置。 - 入力画像の拡大処理を行う画像処理装置において、
入力画像に含まれる注目画素について、この注目画素を含む既定の大きさの注目領域の画素値パターンに基づいて、当該注目領域がエッジ領域であるか否かを判断するステップと、
当該エッジ領域の画素値パターンに基づいて、初期エッジ角度を算出すると共に、当該エッジ領域の画素値パターンのみでは一意に初期エッジ角度を算出できない場合に、当該エッジ領域のラスタスキャン順で一つ手前および/または一つ先の画像領域の画素値パターンを参照して初期エッジ角度を算出するステップと、
当該初期エッジ角度に応じて、階調の変化方向を抽出するために参照すべき参照領域を設定するステップと、
当該参照領域の画素値パターンと、当該注目領域の画素値パターンとに基づいて、階調の変化方向を、当該注目領域の特徴として抽出するステップと、
前記抽出するステップにより抽出された階調の変化方向に基づいて、少なくともこの注目領域内の画素値を変換するステップと、
前記変換するステップにより変換された注目領域の画素値に基づいて拡大画像領域を生成する1つの生成ステップ、又は、前記1つの生成ステップとは異なる処理により拡大画像領域を生成する他の生成ステップを選択するステップと、
選択された生成手法を適用して、拡大画像領域を生成するステップと、
生成された拡大画像領域を配置するステップと
を前記画像処理装置に実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004366409A JP4517287B2 (ja) | 2004-12-17 | 2004-12-17 | 画像処理装置、画像処理方法及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004366409A JP4517287B2 (ja) | 2004-12-17 | 2004-12-17 | 画像処理装置、画像処理方法及びそのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006174276A JP2006174276A (ja) | 2006-06-29 |
JP4517287B2 true JP4517287B2 (ja) | 2010-08-04 |
Family
ID=36674522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004366409A Expired - Fee Related JP4517287B2 (ja) | 2004-12-17 | 2004-12-17 | 画像処理装置、画像処理方法及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4517287B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7074171B2 (ja) * | 2020-09-17 | 2022-05-24 | 株式会社リコー | 画像処理装置、画像投影装置、および画像処理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002133410A (ja) * | 2000-10-25 | 2002-05-10 | Fuji Photo Film Co Ltd | ノイズ抑制処理装置並びに記録媒体 |
JP2003115031A (ja) * | 2001-10-03 | 2003-04-18 | Ricoh Co Ltd | 画像処理装置および方法 |
JP2004180171A (ja) * | 2002-11-28 | 2004-06-24 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体 |
-
2004
- 2004-12-17 JP JP2004366409A patent/JP4517287B2/ja not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002133410A (ja) * | 2000-10-25 | 2002-05-10 | Fuji Photo Film Co Ltd | ノイズ抑制処理装置並びに記録媒体 |
JP2003115031A (ja) * | 2001-10-03 | 2003-04-18 | Ricoh Co Ltd | 画像処理装置および方法 |
JP2004180171A (ja) * | 2002-11-28 | 2004-06-24 | Fuji Xerox Co Ltd | 画像処理装置及び画像処理方法、画像処理プログラム、記憶媒体 |
Also Published As
Publication number | Publication date |
---|---|
JP2006174276A (ja) | 2006-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7149355B2 (en) | Image processing apparatus, image processing method, image processing program, and computer-readable record medium storing image processing program | |
JP4328926B2 (ja) | 画像データ補間方法、画像データ補間装置および画素補間プログラムを記録した媒体 | |
US7885486B2 (en) | Image processing system, method for processing image and computer readable medium | |
JP4111190B2 (ja) | 画像処理装置 | |
JP4716255B2 (ja) | 画像処理装置、画像処理方法、及びそのプログラム | |
JP5743187B2 (ja) | 像域分離方法、それを実行させるためのプログラム及び像域分離装置 | |
JP4517288B2 (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
JP4517287B2 (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
JP4857975B2 (ja) | 画像処理システムおよび画像処理プログラム | |
JP3888090B2 (ja) | 画像処理装置及び画像処理方法 | |
US9584699B2 (en) | Image processing apparatus, image processing method and computer-readable storage medium with improved character display | |
JP4730525B2 (ja) | 画像処理装置及びそのプログラム | |
JP2006050481A (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
JP3262425B2 (ja) | 画像処理装置 | |
JP3669081B2 (ja) | 画像処理装置 | |
JP3624153B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2006050480A (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
JP4872715B2 (ja) | 画像処理装置及びプログラム | |
JP2006252108A (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
JP2005190383A (ja) | 網点領域識別装置、および網点領域識別方法 | |
JP4311292B2 (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
JP2010191931A (ja) | 画像処理装置、画像形成装置、コンピュータプログラム、記録媒体及び画像処理方法 | |
JP5013243B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム及びこれを記録した記録媒体 | |
JP2006252107A (ja) | 画像処理装置、画像処理方法及びそのプログラム | |
JP4736121B2 (ja) | 画像解析装置、画像処理装置、画像解析方法、画像解析プログラム及びこれを記録した記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20071120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090416 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090612 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091013 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091211 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100422 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100505 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130528 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4517287 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140528 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |