JP2004318705A - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents
画像処理装置、画像処理方法および画像処理プログラム Download PDFInfo
- Publication number
- JP2004318705A JP2004318705A JP2003114423A JP2003114423A JP2004318705A JP 2004318705 A JP2004318705 A JP 2004318705A JP 2003114423 A JP2003114423 A JP 2003114423A JP 2003114423 A JP2003114423 A JP 2003114423A JP 2004318705 A JP2004318705 A JP 2004318705A
- Authority
- JP
- Japan
- Prior art keywords
- image
- image data
- artificial
- image processing
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012545 processing Methods 0.000 title claims abstract description 122
- 238000003672 processing method Methods 0.000 title description 4
- 238000000605 extraction Methods 0.000 claims abstract description 58
- 239000011159 matrix material Substances 0.000 claims abstract description 8
- 238000012937 correction Methods 0.000 claims description 61
- 238000000034 method Methods 0.000 claims description 34
- 239000000284 extract Substances 0.000 claims description 16
- 238000005282 brightening Methods 0.000 claims description 4
- 239000003086 colorant Substances 0.000 description 21
- 238000010586 diagram Methods 0.000 description 10
- 238000009826 distribution Methods 0.000 description 7
- 238000007639 printing Methods 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 210000003128 head Anatomy 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- 238000009751 slip forming Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/6072—Colour correction or control adapting to different types of images, e.g. characters, graphs, black and white image portions
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Of Color Television Signals (AREA)
- Facsimile Image Signal Circuits (AREA)
- Picture Signal Circuits (AREA)
Abstract
【解決手段】画像をドットマトリクス状の画素で表現した画像データを取得し、同取得した画像データが示す画像から人工的に作成された画像に特徴的な画像データとなっている部位を抽出し、上記取得した画像データから同人工画像抽出工程によって抽出された部位の画像データを除外して所定の画像処理を行う。これにより、人工的に作成された画像に影響されずに画像処理を実施することを可能にする。
【選択図】 図3
Description
【発明の属する技術分野】
本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。
【0002】
【従来の技術】
近年、インクジェットプリンタやディジタルカメラの性能向上に伴って、一般家庭で銀塩写真と同等の画質のプリントアウトが得られるようになった。ここでのプリント対象はディジタル画像であり、ディジタル画像はレタッチが容易なことから画質向上のためにフォトレタッチソフトウェアやプリンタドライバ等で種々の修正を行うのが通常である。しかし、このレタッチにはある程度の習熟が必要であることから、各種の自動レタッチが実現されている。すなわち、画像データから画像の特徴量を抽出し、当該特徴量を分析することによって画像の階調傾向を把握し、この傾向を変えるように画像データを補正するなどの画像処理を行っている。(例えば、特許文献1参照。)
【0003】
【特許文献1】
特開2000−36043号公報
【0004】
【発明が解決しようとする課題】
上述した従来の技術においては、自然画に対して人工的に作成した画像を加えた画像において補正対象である自然画の階調傾向を誤って把握し、不適切な画像処理を行ってしまうという問題があった。
すなわち、人工的に作成した文字や線,模様等の画像は単色の画素が複数個集まることによって構成されている場合が多い。従って、これらの画像を含めて画像全体の階調傾向、例えば輝度のヒストグラムを把握した場合には、特定の輝度分布が多いこと等の影響を受け、自然画の階調傾向と異なる階調傾向を把握してしまう。この結果、本来の補正対象である自然画にとっては好ましくない画像処理や補正の程度(補正の強弱等)が不適切な画像処理を行ってしまう。
本発明は、上記課題にかんがみてなされたもので、自然画に対して人工的に作成した画像を加えた画像において適切な画像処理を実行可能な画像処理装置、画像処理方法および画像処理プログラムの提供を目的とする。
【0005】
【課題を解決するための手段および発明の効果】
上記目的を達成するため、本発明では人工的に作成された画像に特徴的な画像データとなっている部位を抽出し、この部位を処理対象から除外して画像処理を行っている。従って、処理対象の画像を分析する際に処理対象外の部位から影響を受けず、不適切な画像処理を実行することがない。例えば、画像の階調傾向を把握し、階調傾向に応じた画像処理を実行するに際して階調傾向を誤って把握することがないし、画像処理の程度を誤って不適切な画像処理を実行することもない。
【0006】
人工画像抽出手段においては、画像内で人工的に作成された画像に相当する部位を抽出することができればよく、種々の構成が採用可能である。人工的に作成された画像の画像データにはある種の特徴が現れるので、この特徴を持つ画像データを抽出することにより、容易に人工的に作成された画像に相当する画像データを抽出することができ、その部位を特定することができる。
【0007】
人工的に作成された画像に特徴的な画像データを抽出するに当たり、着目する特徴としては種々の特徴を採用することができ、その一例として各画素が示す色を採用してもよい。この場合、上記人工画像抽出手段において、予め決められた特定色の画素が複数個連続する部位を抽出し、この部位を人工的に作成された画像であるとする。すなわち、人工的に作成した文字や線,模様等の画像を自然画に重ねる際には、通常、コンピュータにて実行可能なアプリケーションソフトウェアによってこれら文字等を作成し、自然画に重ね合わせる。
【0008】
コンピュータにて扱う画像データにおいては一般に非常に多数の色(例えば約1670万色)を表現できるが、アプリケーションソフトウェアによって作成される文字等の色は上記多数色の中のごく一部であることがほとんどである。そこで、多くのアプリケーションソフトウェアで利用される色を予め特定色としておく。また、人工的に作成された文字等は複数の画素が連続的に連なっていることがほとんどである。さらに、約1670万色等、多数色の表現が可能な構成において自然画の画像では人間の目に単色に見える部位が存在したとしても、複数の画素にわたって全く同じ色になることはまれである。
【0009】
そこで、画像データの中から上記特定色の画素であってその画素が複数個連続しているものを抽出すれば、人工的に作成した文字等を容易に抽出することができる。上記アプリケーションソフトウェアで多用される色としては、各色成分値に共通の特定値を組み合わせて形成される色が挙げられる。例えば、RGB各色について256階調の階調値域であって、各色成分値を組み合わせて約1670万色を表現するコンピュータにおいて、”0,64,128,192,255”という各値を組み合わせて表現される色を文字等の色として選択可能なアプリケーションソフトウェアが多い。そこで、”0,64,128,192,255”の各特定値を組み合わせて表現される(R,B,G)=(0,0,0)、(0,0,64)、、、(255,255,255)という色を特定色とすることができる。
【0010】
ここで、画素の色が特定色であるか否かを判別する際に、画素の色成分値が特定色に厳密に等しいか否かを判別すると、単純な処理によってこのような画素を検出することができて好ましいが、色成分値で”1”あるいは”2”程度の誤差は許容して特定色と見なす方が好ましい場合もある。例えば、JPEG圧縮画像においてはフーリエ変換を行って基底関数に展開するので、圧縮前の画像で全く同一の色成分値を有していた画素同士が圧縮後には異なる値を有することがある。そこで、この場合は誤差を許容する方が好ましい。むろん、誤差を許容するのは画像データがJPEG形式であるときのみにする構成を採用可能であるし、圧縮率に応じて許容誤差の大きさを変動させてもよい。
【0011】
また、上記特定色の画素が連続する個数としては種々の個数を採用することができるが、ドットマトリクス状の画素からなる画像において文字等を構成する画像が2個や3個の画素から構成されることはまれである。従って、文字や線として認識可能な大きさに相当する画素数が連続しているときにこれを抽出できればよい。また、画像全体の大きさ、すなわち、画素数と画像を表示する際の解像度との兼ね合いで文字や線として認識可能な大きさに相当する画素数が変動するので、画素数と解像度との組み合わせにより、抽出すべき画素の最低限の連続数を変動させてもよい。さらに、画素の連続は縦方向あるいは横方向のみでなく縦横双方に連続するとしてもよい。
【0012】
人工的に作成された画像に特徴的な画像データを抽出するために同色の画素が複数個連続している部位を抽出してもよい。すなわち、人工的に作成した文字や線,模様等は単色で構成される場合が圧倒的に多い。さらに、約1670万色等、多数色の表現が可能な構成において自然画の画像では人間の目に単色に見える部位が存在したとしても、複数の画素にわたって全く同じ色になることはまれである。従って、同色の画素が複数個連続している部位を抽出すれば、文字や線,模様等に相当する部位を容易に抽出することができる。
【0013】
ここで、同色の画素として画素間の色成分値が全く同じであるとして定義すると、単純な処理によってこのような画素を検出することができて好ましいが、同色といっても色成分値で”1”あるいは”2”程度の誤差は許容して同色と見なす方が好ましい場合もある。例えば、上述のJPEG圧縮画像が後者に相当する。この場合は誤差を許容する方が好ましい。誤差を許容するのは画像データがJPEG形式であるときのみにする構成を採用可能であるし、圧縮率に応じて許容誤差の大きさを変動させてもよい。
【0014】
人工的に作成された画像に特徴的な画像データを抽出するために、特定色の画素がまとまって形成する固まりが複数ある場合にこの固まりの境界同士が垂直方向あるいは水平方向にずれていないか否かを把握する構成を採用してもよい。この場合、上記人工画像抽出手段は、予め決められた特定色の画素が複数個連続する部位を候補として複数個抽出し各候補の境界の水平座標あるいは垂直座標が一致しているときにその候補を上記人工的に作成された画像に特徴的な画像データとなっている部位として抽出する。
【0015】
すなわち、すなわち、人工的に作成した文字や線,模様等の画像においては文字等の境界、例えば最も上あるいは下に位置する画素や最も右あるいは左に位置する画素が複数の文字同士で1画素もずれていないという状態になる。一方、自然画においては例え文字等が表記された看板の写真であったとしても文字等の境界が1画素もずれていないという状態はほとんど起こらない。そこで、特定色の画素が連続する部位を候補とし、水平座標あるいは垂直座標が一致しているか否かを判別すれば、境界が1画素もずれていない画像を発見することができる。従って、人工的に作成した文字等を容易に抽出することができる。尚、ここでの特定色としては、上記請求項2と同様に予め決められた色を採用してもよいし、画素間で同じ色が連続する場合にこの色を特定色としてもよい。
【0016】
以上のように、本発明においては人工的に作成された画像を抽出するので、当該人工的に作成された画像を除外することにより、画像処理対象となる自然画のみに基づいて自然画のみに対して画像処理を行うことが可能になる。当該画像処理として好適な構成例としては、画像データから画像の階調の傾向を把握し各画素の階調値を補正することによって画像の階調の傾向を補正する画像処理が挙げられる。
【0017】
すなわち、各画素の階調は各色成分毎に規定されており、この階調からは色成分毎の階調値の傾向を把握することができるし、全色成分から輝度成分を把握することができるなど、種々の階調傾向を把握することができる。階調傾向を把握することができれば、予め決められた所望の階調傾向に合致しているか否かを判断してこの階調傾向を補正すべきか否かを判断することができる。
【0018】
一方、人工的に作成した画像は、上述のように色が特定色のみで構成されていたり、ひとかたまりの複数の画素で単色のみが使用されているなどの状況になっており、自然画の階調傾向とは異なった傾向となっている。従って、人工的に作成した画像を含めて画像の階調の傾向を把握すると、人工的に作成された画像を除いた補正対象の画像の階調傾向を適正に把握できない。しかし、本発明では人工的に作成された画像を抽出し、これを除外して画像処理を実施するので、補正対象の画像の階調傾向を適正に把握することができ、補正を実施すべきか否かの判断を誤ることがない。
【0019】
また、各画素の階調値を補正すると、色成分の傾向が変わって画像の赤みを増減したり、輝度成分の傾向が変わって画像の明るさを増減したりすることができるので、元の画像の階調傾向を把握すると、元の画像の赤みが足りない場合に赤みを増やしたり、元の画像が暗い場合に明るくするなど、画像の所望の階調傾向に合致するように補正することができる。しかし、自然画の中に人工的に作成された画像が存在し、この画像を除外せずに階調傾向を把握してしまうと、人工的に作成された画像を除いた補正対象の画像についてどの程度階調傾向を変更させればよいのか適正に判断することができない。
【0020】
しかし、本発明では人工的に作成された画像を抽出し、画像処理に際して当該人工的に作成された画像を除外するので、人工的に作成された画像を除いた補正対象の画像について、所望の階調傾向にどの程度合致していないのかを適正に把握することができ、適正量の補正を実施することができる。尚、上記階調傾向としては、各色成分の値自体や色成分から算出される輝度等の他、これらのヒストグラムの様子等種々の傾向を採用可能であり、階調値の変化傾向である限りにおいて種々の傾向を採用することができる。
【0021】
さらに、この画像処理として特に好適な例としては、画像の低輝度の部位を明るくする逆光補正処理が挙げられる。すなわち、逆光補正処理は、通常、画像の輝度傾向を把握し、画像の主要部分(例えば、写真画像における主要な被写体)が低輝度である場合に低輝度部位を明るくする補正を実施する処理である。この逆光補正の際に、人工的に作成された画像を含めて輝度傾向を把握したとすれば、補正対象である画像の主要部分の輝度傾向を正しく把握できない。従って、逆光補正をすべき画像であるのか否かを適正に判定することができない。また、逆光補正をどの程度実施すればよいのか適正に判定することができない。
【0022】
しかし、本発明では人工的に作成された画像を除外しているので、輝度傾向を適正に把握することができ、逆光補正を実施すべき画像であるのか否かを適正に判定することができるし、逆光画像であると判定されたときにその補正の程度を適正に判定することができる。従って、適切な逆光補正を実施可能である。むろん、本発明においては、人工的に作成された画像を除外することによって画像の階調傾向を適切に把握することができるので、逆光補正以外の処理、例えば、画像の階調分布が階調値域の中央によっている場合に分布を広げてコントラストを補正する処理等に本発明を適用してもよい。
【0023】
また、逆光補正処理を行う前には補正対象の画像が逆光画像であるか否かを判定するのが通常であり、種々のアルゴリズムによって逆光画像であるか否かを判定可能である。すなわち、通常、画像内に低輝度の部位が存在し、その周りに高輝度の部位が存在するような画像での階調傾向に合致していると推定される場合には、その画像が逆光画像であると判定する。しかし、人工的に作成された画像は多くの場合一定の輝度の画素から形成される。従って、人工的に作成された画像が自然画に含まれていると、逆光補正を行う際に逆光画像であるか否かの判定を誤ることがあり、逆光画像でないのに逆光補正を行ってしまったり、逆光画像であるのに逆光補正を行わなかったり補正の程度が適切でなかったりする。
【0024】
そこで、逆光画像判定手段によって画像データ取得手段で取得した画像データについて逆光画像であるか否かを予め判定する構成に対して、さらに本発明を適用することも可能である。すなわち、当該逆光画像判定手段にて逆光画像であると判定された画像データに対して上記人工画像抽出手段および画像処理手段を適用すれば、逆光画像判定手段にて逆光画像ではない画像を逆光画像であると判定してしまったとき、さらに人工的に作成された画像を除外した画像に対して画像処理を行うことができる。
【0025】
この結果、たとえ逆光画像判定手段で判断を誤ったとしても、その後の画像処理によって再度逆光画像であるか否かを判断することができる。また、逆光補正を行うとしても逆光画像でない画像に対して適正な補正量で逆光補正を行うことが実質的に補正を実施しないことと等価になって、逆光画像判定手段での判断誤りの影響を受けないようにすることもできる。すなわち、逆光画像判定手段と本発明の組み合わせによって、逆光画像判定手段での判断誤りを補完する構成にすることができる。むろん、逆光画像判定を行う前に本発明による人工画像抽出を行い、その後の画像処理として逆光画像判定および逆光判定時の逆光補正を実施する構成としてもよい。
【0026】
また、本発明においては、人工的に作成された画像、すなわち、非自然画の画像を除外することによって適正な画像処理を行うようにしているので、画像処理対象は自然画である。そこで、画像データ取得手段で取得した画像データが示す画像が自然画であるか否かを自然画像判定手段によって判別し、自然画であると判定された画像データに対して上記人工画像抽出手段および画像処理手段を適用する構成を採用してもよい。かかる構成によれば、人工的に作成された画像を除外して画像処理を実施する必要のある自然画に対してのみ本発明を適用することが可能になり、文字や図表からなる画像のように本発明を適用する必要のない画像に対して不要な処理を実施することを防止することができる。
【0027】
以上のように、本発明においては人工的に作成された画像を抽出することができればよく、人工画像抽出手段においては人工的に作成された画像を抽出することができる限りにおいて種々の構成を採用可能である。例えば、画像データ取得手段によって取得した画像データにおいて画像の特徴を示す特徴量を算出し、予め決められた基準特徴量に類似した特徴量になっているか否かを算出する構成を採用可能である。かかる構成によれば、取得画像データでの特徴量と基準特徴量とでどの程度類似する場合に人工的に作成された画像として抽出するのかを調整することができ、容易に判定の精度を調整することができる。
【0028】
尚、特徴量としては、種々の量を採用可能である。例えば、上記請求項2のように予め決められた特定色の画素が複数個連続する部位を抽出するのであれば、連続する複数の画素において特定色と異なる色の画素数が多いほど特徴量が基準特徴量からずれる量が大きくなり、特定色と異なる色を示す画素の階調値が特定色を示す階調値からずれるほど特徴量が基準特徴量からずれる量が大きくなるような特徴量を採用すればよい。請求項3のように同色の画素が複数個連続する部位を抽出する場合も同様であり、例えば、連続する複数の画素の中で多数を占める色が存在するときに、当該多数を占める色以外の色を示す画素数が多いほど、また、多数を占める色と異なる色を示す画素の階調値が当該多数を占める色の階調値からずれるほど特徴量が基準特徴量からずれる量が大きくなるような特徴量を採用すればよい。
【0029】
請求項4のように、特定色の画素が複数個連続する部位を候補として複数個抽出し各候補の境界の水平座標あるいは垂直座標が一致しているときにその候補を上記人工的に作成された画像に特徴的な画像データとなっている部位として抽出する場合にも特徴量で評価することは可能である。例えば、複数の候補において水平座標あるいは垂直座標が一致しており、水平座標あるいは垂直座標が一致していない候補が存在する場合に、座標がずれるほど特徴量が基準特徴量からずれる量が大きくなるような特徴量を採用すればよい。むろん、上記請求項2〜請求項4を組み合わせた特徴量にしてもよい。
【0030】
このように人工的に作成された画像を除外して画像処理を実施する手法は必ずしも実体のある装置に限られるものではなく、請求項10に記載した発明のように方法の発明としても有効である。また、上述の画像処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもあるなど、発明の思想としては、各種の態様を含むものである。また、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。
【0031】
発明の思想の具現化例として画像処理装置のソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用される。むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。むろん、請求項11に記載した発明のようにプログラムの発明として特定することもできる。さらに、これらの画像処理方法,画像処理プログラムにおいて上記請求項2〜請求項9に対応した構成にすることも可能である。
【0032】
【発明の実施の形態】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
(1)本発明の構成:
(2)人工画像抽出モジュールの構成:
(3)印刷処理:
(3−1)人工画像抽出処理:
(4)他の実施形態:
【0033】
(1)本発明の構成:
図1は本発明にかかる画像処理装置となるコンピュータの概略構成を示すブロック図である。コンピュータ10は演算処理の中枢をなす図示しないCPUや記憶媒体としてのROMやRAM等を備えており、HDD15等の周辺機器を利用しながら所定のプログラムを実行することができる。コンピュータ10にはシリアル通信用I/O19aを介してキーボード31やマウス32等の操作用入力機器が接続されており、図示しないビデオボードを介して表示用のディスプレイ18も接続されている。さらに、プリンタ40とはパラレル通信用I/O19bを介して接続されている。
【0034】
尚、本コンピュータ10の構成は簡略化して説明しているが、パーソナルコンピュータとして一般的な構成を有するものを採用することができる。むろん、本発明が適用されるコンピュータはパーソナルコンピュータに限定されるものではない。この実施形態はいわゆるデスクトップ型コンピュータであるが、ノート型であるとか、モバイル対応のものであっても良い。また、コンピュータ10とプリンタ40の接続インタフェースも上述のものに限る必要はなくシリアルインタフェースやSCSI,USB接続,無線接続など種々の接続態様を採用可能であるし、今後開発されるいかなる接続態様であっても同様である。
【0035】
さらに、本実施形態においてはコンピュータ10によって画像処理装置を構成しているが、プリンタ40に搭載するプログラム実行環境によって画像処理を実施可能に構成し、プリンタ40に対して直接的に接続されるデジタルカメラから画像データを取得して画像処理を行ってもよい。むろん、同様の構成においてデジタルカメラにて画像処理を実施してもよいし、他にも分散処理によって本発明にかかる画像処理を実施するなど種々の構成を採用可能である。画像を取り込むスキャナと画像を印刷するプリンタとが一体となったいわゆる複合機において本発明にかかる画像処理を行ってもよい。
【0036】
本実施形態にかかるコンピュータ10では、プリンタドライバ(PRTDRV)21と入力機器ドライバ(DRV)22とディスプレイドライバ(DRV)23とがOS20に組み込まれている。ディスプレイDRV23はディスプレイ18における画像データ等の表示を制御するドライバであり、入力機器DRV22はシリアル通信用I/O19aを介して入力される上記キーボード31やマウス32からのコード信号を受信して所定の入力操作を受け付けるドライバである。
【0037】
APL25は、カラー画像のレタッチ等を実行可能なアプリケーションプログラムであり、利用者は当該APL25の実行下において上記操作用入力機器を操作して当該カラー画像をプリンタ40にて印刷させることができる。すなわち、APL25は利用者の指示によりHDD15に記録されたRGB画像データ15aをRAM14に読み出して、ディスプレイDRV23を介して当該RGB画像データ15aに基づく画像をディスプレイ18上に表示させる。利用者が上記入力機器を操作するとその操作内容が入力機器DRV22を介して取得されて内容が解釈されるようになっており、APL25はその操作内容に応じて印刷指示やレタッチなど種々の処理を行う。
【0038】
上記RGB画像データ15aはRGB(レッド,グリーン,ブルー)の各色成分を階調表現したドットマトリクス状のデータであり、本実施形態では各色256階調であり、各画素について約1670万色の色を表現することができる。本実施形態においてはこのRGB画像データ15aを例にして説明するが、むろん、JPEG規格に準拠したデータや、Exif2.2規格(Exifは社団法人電子情報技術産業協会の登録商標)に準拠したデータ、Print Image Matching(PIM:PIMはセイコーエプソン株式会社の登録商標)に対応したデータ等種々のデータについて本発明を適用することができる。
【0039】
APL25にて印刷指示がなされると上記PRTDRV21が駆動され、PRTDRV21はディスプレイDRV23にデータを送出して、印刷ページなど印刷に必要な情報を入力させるための図示しないUIを表示する。上記キーボード31やマウス32等を操作して利用者が当該UIにて印刷に必要な情報を入力すると、上記PRTDRV21の各モジュールが起動され、各モジュールによって上記RGB画像データ15aの各画素データに対する処理が実施され、印刷データが生成される。生成された印刷データはパラレル通信用I/O19bを介してプリンタ40に出力され、プリンタ40は当該印刷データに基づいて印刷を実行する。
【0040】
より具体的には、PRTDRV21は印刷を実行するために画像データ取得モジュール21aと逆光画像判定モジュール21bと人工画像抽出モジュール21cと画像処理モジュール21dと印刷データ生成モジュール21eとを備えている。画像データ取得モジュール21aは印刷実行対象のRGB画像データ15aからその画素データを取得し、逆光画像判定モジュール21bや人工画像抽出モジュール21cに受け渡す。逆光画像判定モジュール21bは、画像データが示す画像が逆光画像であるか否かをその画像の輝度に基づいて判定するモジュールである。
【0041】
本実施形態では、上記画像データ取得モジュール21aから受け渡されるRGB画像データ15aについて逆光画像であるか否かを判定可能である。また、後述する人工画像抽出モジュール21cによって作成される人工画像位置データ15cを参照し、RGB画像データ15aが示す画像から人工的に作成された画像(以下、人工画像と表現する。)を除外した画像について逆光画像であるか否かを判定可能である。人工画像抽出モジュール21cは、上記画像データ取得モジュール21aから受け渡されるRGB画像データ15aを参照し、その画像から上記人工画像を抽出する。人工画像が抽出されると、人工画像抽出モジュール21cは上記RGB画像データ15aが示す画像の中での当該人工画像の位置を示す人工画像位置データ15cを作成し、HDD15に記録する。
【0042】
画像処理モジュール21dは、ドットマトリクス状の各画素についてRGBの階調値を補正するなどして各種画像処理を実施するモジュールであり、本実施形態では逆光補正を実施するために明度補正部21d1を備えている。明度補正部21d1においては、人工画像抽出モジュール21cにて作成された人工画像位置データ15cを参照して上記RGB画像データ15aから上記人工画像抽出モジュール21cによって抽出された人工画像を除外し、残りの画像について明度補正を実施することにより逆光補正を行う。尚、本明細書では詳細を省略するが、逆光補正の前後に逆光補正以外の画像処理を実施してもよく、この場合、画像処理モジュール21dにおいて当該逆光補正以外の画像処理の実施可能に構成すればよい。
【0043】
印刷データ生成モジュール21eは、当該画像処理モジュール21dによる画像処理後の画像データをプリンタ40にて印刷を実行可能なデータに成形するモジュールであり、HDD15に保存されたLUT15dを参照して各画素のRGBデータをCMYKデータ等に変換する色変換処理や、各画素の階調値を変換してインク滴の記録密度で表現するためのハーフトーン処理や、画素データを使用される順に並べるラスタライズ処理等を行う。本実施形態においては、PRTDRV21が人工画像抽出モジュール21cおよび画像処理モジュール21dを備え、人工画像抽出モジュール21cによって人工画像を抽出することによって人工画像を除外した画像処理を実施可能に構成しており、以下当該人工画像抽出モジュール21cについて詳細に説明する。
【0044】
(2)人工画像抽出モジュールの構成:
図2は人工画像抽出モジュール21cの構成を示すブロック図であり、図3は人工画像抽出モジュール21cがRGB画像データ15aを取得して実行する処理を説明する説明図である。図3の左側にはRGB画像データ15aによって形成される画像の一例を示しており、同図に示す画像Aでは、中央に人物が位置しており破線で示す四隅に白い文字によってロゴマークが記されている。人工画像抽出モジュール21cは座標一致判定部24aと同色判定部24bとを備えており、座標一致判定部24aは上記逆光画像判定モジュール21bによって逆光画像であると判定された画像のRGB画像データ15aを受け取る。
【0045】
座標一致判定部24aは、画像A内で人間の目にひとまとまりの領域として視認される部位を候補として抽出し、その領域の境界が水平方向あるいは垂直方向に一致している部位を抽出する処理を行う。このために、座標一致判定部24aはエッジ抽出部24a1を備えており、エッジ抽出部24a1はRGB画像データ15aに対してエッジ抽出処理を実施する。エッジ抽出処理は、RGB画像データ15aから各画素の輝度を算出するとともに輝度の変化が大きな部位を抽出する処理であり、この処理によれば自然画に重ねられた人工画像、すなわち文字や線,模様等の画素を抽出することができる。
【0046】
本実施形態におけるエッジ抽出部24a1は、いわゆるエッジ抽出フィルタを各画素の輝度に適用するモジュールであり、このフィルタの適用によってエッジ部分の画素を”1”,他の画素を”0”としたエッジ画像データ15bを作成することができ、エッジ抽出部24a1はこのエッジ画像データ15bを上記HDD15に記録する。図3においては、このエッジ画像データ15bの一部(ロゴの下端部分)を拡大した拡大図を右上に示しており、エッジ部分を示す”1”の画素を白、非エッジ部分を示す”0”の画素をハッチで示している。
【0047】
座標一致判定部24aは、このエッジ画像データ15bを参照し、このエッジ画像データ15bにおける”1”(図における白画素)に囲まれる領域の境界に相当する画素の水平座標あるいは垂直座標を比較する。ここで、領域の境界は各領域において上端,下端,右端,左端に位置する画素によって形成され、人工的に作成された画像でなければこのような境界上の画素の座標が複数の領域に渡って厳密に一致し、あるいは多数の画素(例えば、5個以上)に渡って厳密に一致することはほとんどあり得ない。
【0048】
そこで、座標一致判定部24aは上記”1”に囲まれる複数の領域において上端あるいは下端の垂直座標が厳密に一致している場合、および上端あるいは下端の垂直座標が一致する画素が多数個連続している場合には、その領域を人工画像の候補であるとする。また、上記”1”に囲まれる複数の領域において右端あるいは左端の水平座標が厳密に一致している場合、および右端あるいは左端の水平座標が一致する画素が多数個連続している場合には、その領域を人工画像の候補であるとする。
【0049】
図3の右上に示す拡大図においては、同一の垂直座標について”1”をスキャンしたときに座標y1では複数の領域および多数の画素が連続して”1”であることが判明するが、この拡大図において座標y2では”1”の画素が一つも検出できない。従って、この領域は人工画像の候補であるとする。このような処理によって、同図左側に破線で示すように、複数の領域が人工画像の候補として検出される。
【0050】
本実施形態においては、さらにこの候補に対して同色判定部24bによる判定を行った上で人工画像を抽出する。同色判定部24bは、上記座標一致判定部24aが抽出した上述の候補において、人間の目にひとまとまりの領域として視認される部位の色が同色であるか否かを判定するモジュールであり、連続画素抽出部24b1を備えている。上記座標一致判定部24aが抽出した候補の位置を示す領域情報を同色判定部24bが取得すると、連続画素抽出部24b1は上記エッジ画像データ15bを参照し、この領域内で上記”1”となっている画素が隣接しつつ連続している部分および当該連続している部分に囲まれる領域を抽出する。
【0051】
図3の右下に示す拡大図はこのようにして抽出された画素を示しており、この抽出された画素は人間の目にひとまとまりの領域として視認される部位であって、実際に文字等の人工画像が存在するのであればこうして抽出された部位の中に当該文字等を構成する画素が含まれるはずである。一方、人工画像でなければこのように複数の画素に渡って色が一致することはほとんどあり得ない。そこで、同色判定部24bはこのひとまとまりの領域に相当する画素のRGBデータを上記RGB画像データ15aから抽出し、その階調値を比較することによってこれらの画素が同色であるか否かを判定する。
【0052】
この判定によって、これらの画素が同色であると判定されたときにはその領域の画像が人工画像であるとし、同色であると判定されないときにはその領域の画像は人工画像でないとする。人工画像であるとされた部位についてはその位置を示すデータが人工画像位置データ15cとして上記HDD15に記録される。このように人工画像の位置を示す人工画像位置データ15cを作成することによって、RGB画像データ15aから人工画像を抽出したことになる。
【0053】
本実施形態においては、上記画像処理モジュール21dによって逆光補正としての明度補正を実施するため、上記抽出した人工画像を元の画像から除外してこの画像が逆光画像であるか否かを再度判定する。すなわち、逆光画像判定モジュール21bは人工画像位置データ15cを参照して人工画像の位置を把握し、RGB画像データ15aの中からその人工画像に相当するRGBデータを除外した上で残りの画像が逆光画像であるか否かを判定する。逆光画像であると判定されたときにはその旨が明度補正部21d1に通知され、同明度補正部21d1は明度補正を実施する。
【0054】
当該逆光画像用の明度補正においては、画像内の低輝度部分の輝度を変更し、明るくする処理を行うことにより逆光画像をあたかも順光画像のように補正する。この明度補正におけるアルゴリズムは公知の種々のアルゴリズムを採用することが可能であり、例えば、γ補正等を採用可能である。このとき、理想とする順光画像の輝度平均値とRGB画像データ15aの画像の輝度平均値とを使用してパラメータγを算出することによって当該順光画像の輝度分布に近づけるように明度補正をすることも可能である。
【0055】
(3)印刷処理:
次に、上記APL25にてRGB画像データ15aの画像を印刷する際に、PRTDRV21が実行する一連の処理をフローチャートに沿って説明する。図4は、PRTDRV21が実行する処理を示すフローチャートである。APL25にてRGB画像データ15aの画像印刷が指示され、上記図示しないUIによるパラメータ入力がなされると、PRTDRV21の画像データ取得モジュール21aはステップS100でRGB画像データ15aから各画素のRGBデータを取得する。
【0056】
画像データ取得モジュール21aが画素データを取得すると、ステップS105にて逆光画像判定モジュール21bがステップS105の逆光画像判定処理を実行する。この逆光画像判定処理としては、種々のアルゴリズムを採用可能である。図5は逆光画像判定として採用可能な処理の例を示す図である。同図に示す例は逆光画像において通常、輝度ヒストグラムに逆光画像の特徴が現れ、また補正を必要とする逆光画像においてはほとんどの場合主要部分が中央よりでありその周りに主要部分より明るい部位が位置していることに鑑みて逆光画像判定を行っている。
【0057】
RGB画像データ15aにおいては各画素のRGB色成分が規定されているので、各色成分から輝度成分を計算(例えば、輝度Y=0.30R+0.59G+0.11B)することができる。輝度成分を計算することができれば同図中央上部に示すように輝度ヒストグラムを作成することができる。逆光画像においては主要部分の後方が必要以上に明るく主要部分が暗いので、輝度ヒストグラムにおいては高輝度の分布が多く、低輝度の分布も比較的多くなる。そこで、逆光画像に特徴的なヒストグラムを予め特定しておき、このヒストグラムと判定対象画像の輝度ヒストグラムとの類似度を判定する。類似度によって両者が類似していることが示されるときには判定対象画像を逆光画像の候補とする。
【0058】
そしてさらに、この候補の画像を周縁部の領域S1〜S4と中央部の領域S5〜S11に分割し、各領域の輝度平均を算出する。この結果、中央部の領域の方が周縁部の領域より輝度平均が小さければ中央が暗く周縁が明るいので、上記候補が逆光画像である可能性が高く、この画像を逆光画像と判定する。以上のように、逆光画像であると判定するアルゴリズムとしては種々のアルゴリズムを採用可能である。しかし、上記図5に示すアルゴリズムで逆光画像を判定した場合、非逆光画像であって輝度の高い文字が画像の周縁に配置されている画像について逆光画像であると判定してしまうことがある。
【0059】
すなわち、画像処理を実施するために種々の判定を行うに際して自然画内に埋め込まれた人工画像を自然画と区別なく処理すると、種々の判定において不適切な結論を出してしまう。そこで、本発明においては、各種アルゴリズムによって画像処理を行うに際して人工画像を含めて各種判定を行うことに起因する判定ミスを防止しており、本実施形態では逆光判定ミスを防止するためにステップS110で上記逆光画像判定処理での判定結果に基づいて処理を分岐している。
【0060】
すなわち、同ステップS110において上記取得したRGB画像データ15aの画像が逆光画像であると判定されると、ステップS115の人工画像抽出処理を実施する。この人工画像抽出処理では上記人工画像位置データ15cを作成する処理を行っており、詳しくは後述する。上記取得したRGB画像データ15aの画像が逆光画像であると判定されないときにはステップS115〜ステップS130をスキップする。
【0061】
ステップS115での処理によって人工画像位置データ15cを作成したら、上記逆光画像判定モジュール21bがこの人工画像位置データ15cに基づいてRGB画像データ15aから人工画像に相当するRGBデータを除外し、再度逆光画像判定処理を実行する(ステップS120)。ステップS125ではこの逆光画像判定処理での判定結果に基づいて処理を分岐しており、上記人工画像を除外した画像データの画像が逆光画像であると判定されるとステップS130の逆光補正処理を実施する。逆光画像であると判定されないときにはステップS130をスキップする。
【0062】
ステップS130の逆光補正処理は上記明度補正部21d1による逆光補正処理であり、この処理によって逆光に起因して画像内の主要部分に適度な明るさが与えられ、あたかも順光の画像であるかのような画像を作成することができる。さらに、ステップS135では他の画像処理を実行する。例えば、カラーバランス調整やホワイトバランス調整、コントラスト補正等種々の画像処理を行うことができる。むろん、このステップS135は本発明にかかる逆光画像判定,人工画像抽出,逆光補正の前に実行しても良いし、人工画像を除外した画像に対して画像処理を行ってもよい。
【0063】
ステップS135における画像処理が終了すると印刷データ生成モジュール21eが起動され、ステップS140にて色変換処理を行う。すなわち、上記HDD15に保存されたLUT15dはRGBデータとCMYKデータとを対応づけるテーブルであり、上記画像処理後のRGBデータをプリンタ40で使用するCMYKデータに変換する。ステップS145では、各画素のCMYK階調値による色を各色インク滴の記録密度に変換し、当該記録密度で印刷媒体にインクを付着させるためのヘッド駆動データを生成する。
【0064】
ステップS150では、当該ヘッド区駆動データをプリンタ40で使用される順番に並べ替えるラスタライズを行い、ステップS155では当該ラスタライズ後のデータに画像の解像度などの所定の情報を付加して印刷データを生成し、上記パラレル通信用I/O19bを介してプリンタ40に出力する。そして、ステップS160では、ステップS140〜S155の処理が上記画像処理後の画像を構成する総てのラスタについて終了したか否かを判別し、全ラスタについて処理が終了したと判別されるまでステップS140以降の処理を繰り返す。この結果、プリンタ40においては上記印刷データに基づいて上記画像処理後の画像を印刷する。すなわち、元の画像が逆光画像であったとしても人工画像の影響を排除して画像の主要部分が明るくなるように逆光補正された画像を印刷する。
【0065】
(3−1)人工画像抽出処理:
次に、上記ステップS115における人工画像抽出処理を図6に示すフローチャートに沿って一連の流れで説明する。人工画像抽出処理が開始されると座標一致判定部24aが上記RGB画像データ15aを取得し、ステップS200にてエッジ抽出部24a1がこのRGB画像データ15aに対してエッジ抽出フィルタを適用する。この結果、各画素について鮮鋭度の高いエッジ部分が”1”、非エッジ部分が”0”と表現されたエッジ画像データ15bが作成される。
【0066】
座標一致判定部24aは、ステップS205にてエッジ画像データ15bを参照し、同一の垂直座標および水平座標上で”1”となっているエッジ画素をスキャンする。そして、エッジとして検出された画素が一方の座標方向には複数個連続し、逆方向には全く連続していない部分を検出することによってエッジに囲まれる領域の境界を検出する。例えば、同一の垂直座標でエッジ画素の存在をスキャンしたとき、図3の右上に示す例では座標y1に複数のエッジ画素が検出され、座標y2ではエッジ画素が検出されない。
【0067】
また、座標yを減少させる方向(紙面上方向)にはエッジ画素が連続しているが座標yを増加させる方向(紙面下方向)にはエッジ画素が連続していない。これらの状況を把握することができれば、座標y1より上方向にエッジ画素がまとまって存在しエッジ画素に囲まれる領域が存在することが判明する。従って、上記エッジ画素のスキャンを行った画素についてエッジの連続方向を把握する処理を上下左右に対して行うことにより、エッジ画素に囲まれる領域を検出したことになる。むろん、エッジ画素をスキャンする手法は様々であり、RGB画像データ15aのラスタ一列をまとめてスキャンしてもよいし、ある程度の画素数を単位として(例えば図3の左に示す破線の領域を単位として)スキャンしてもよく種々の手法を採用可能である。
【0068】
以上のようにしてエッジ画素に囲まれた領域が検出されるとその端部に位置するエッジ画素が領域の境界に相当する画素であることが判明するので、座標一致判定部24aはステップS210においては当該境界の画素において垂直座標あるいは水平座標が一致しているか否かを判定し、人工画像の候補とすべきか否かを判定する。より具体的には、当該境界の画素の垂直座標あるいは水平座標が厳密に一致している場合および当該境界の画素の垂直座標あるいは水平座標が厳密に一致する画素が多数個連続している場合には、その画素が含まれる領域を人工画像の候補であるとする。尚、前者の場合は文字などある程度の画素間隔で複数の領域が連続しているような人工画像を想定しており、後者の場合は直線など複数の領域が連続してはいないが一つの領域で多数の画素が連続するような人工画像を想定している。
【0069】
このステップS210において境界の垂直座標あるいは水平座標が一致しているか否かを判別して人工画像の候補が抽出された場合には、ステップS215にてその候補の位置を示す領域情報を作成し同色判定部24bに受け渡す。ステップS210にて人工画像の候補が抽出されない場合にはステップS215をスキップする。ステップS220では、上記取得したRGB画像データ15aのすべてについて以上の人工画像候補抽出処理を行ったか否かを判別し、すべてについて以上の人工画像候補抽出処理を行ったと判別されるまでステップS205以降の処理を繰り返す。
【0070】
以上の用にして人工画像の候補を抽出したら、ステップS230以降で共通の領域内の画素が同色であるか否かを判定して人工画像を抽出する。このために、同色判定部24bの連続画素抽出部24b1はステップS230で連続するエッジ画素を抽出する。すなわち、連続するエッジにより上記人工画像の候補の境界部分を抽出し、当該境界部分とその内部の画素を把握する。当該境界部分とその内部は画像内でひとまとまりの領域を形成するので、ステップS235ではこれらの画素に相当する画素のRGBデータを上記RGB画像データ15aから抽出し、各画素の色が同色であるか否かを判定する。
【0071】
そして、当該ステップS235にて各画素の色が同色であると判定されたときには、ステップS240にてその画素の位置を示すデータを人工画像位置データ15cとしてHDD15に記録する。ステップS235にて各画素の色が同色であると判定されないときには、ステップS240をスキップする。ステップS245においては、上記人工画像の候補のすべてについて以上の同色判定処理を行ったか否かを判別し、すべてについて同色判定処理を行ったと判別されるまでステップS230以降の処理を繰り返す。以上の処理により、RGB画像データ15aから人工画像を抽出し、その位置を示す人工画像位置データ15cを作成することができる。
【0072】
(4)他の実施形態:
上記第1の実施形態においては、水平座標あるいは垂直座標が一致していることおよび共通の領域で同色が使用されていることを条件として人工画像を抽出していた。しかし、本発明においては自然画と人工画像とが混在する画像から人工画像を抽出し、これを除外して画像処理を実施することができればよく、他にも種々の構成を採用可能である。図7は第2の実施形態における人工画像抽出モジュール210cの構成を示すブロック図である。
【0073】
この第2の実施形態においては人工画像抽出モジュール210cの構成の一部が上記第1の実施形態と異なっており、他の構成、すなわち図1に示すPRTDRV21のモジュール構成や座標一致判定部24aの構成は上記第1の実施形態と同様である。上記人工画像抽出モジュール210cは上記同色判定部24bの替わりに特定色判定部240bを備えており、同特定色判定部240bでは画像の中で人間の目にひとまとまりの領域として視認される部位の色が予め決められた特定色であるか否かを判定する。
【0074】
このために、特定色判定部240bは連続画素抽出部240b1を備えており、同連続画素抽出部240b1は上記エッジ画像データ15bを参照し、この領域内で上記”1”となっている画素が隣接しつつ連続している部分および当該連続している部分に囲まれる領域を抽出する。すなわち、上記座標一致判定部24aが上記第1実施形態と同様の処理によってエッジ画像データ15bを作成するとともに人工画像の候補を抽出してその位置を示す領域情報を特定色判定部240bに受け渡すと、連続画素抽出部240b1はその候補においてひとかたまりの領域を抽出する。
【0075】
上記特定色判定部240bは連続画素抽出部240b1によって抽出された領域の色がいずれかの特定色であるか否かを判定し、この抽出された領域の色がいずれかの特定色に該当するときにはその領域が人工画像であるとし、その位置を示すデータを人工画像位置データ150cとしてHDD15に記録する。上述の特定色は予めHDD15に保存された特定色データ150eによって特定されており、特定色データ150eは特定色を示すRGB色成分の階調値である。
【0076】
すなわち、この実施形態においては、人工画像に多用される色を予め特定色として把握しておき、エッジに囲まれた領域の画素がこの特定色のみで構成されているときに人工画像であるとする。自然画であれば、人間の目に一色に見えるような部分でも画素レベルでは色が異なる(階調値が異なる)し、まして、ある領域が特定色のみで構成されているということはほとんど起こりえない。従って、上記連続画素抽出部240b1で抽出された領域が特定色のみで構成されていれば、この領域を人工画像であるとして抽出することができる。
【0077】
尚、文字や線等の人工画像は、通常、種々のアプリケーションソフトウェアによって作成されるが、多くのアプリケーションソフトウェアでは当該人工画像の配色として選択可能な色に数種類〜数十種類のデフォルト色がある。そこで、特定色の具体例としてはこれらのデフォルト色を採用する構成等を採用可能である。より具体的には、階調値域が0〜255のRGB色成分において、各色成分値が”0,64,128,192,255”のいずれかとなるような色、すなわち、(R,B,G)=(0,0,0)、(0,0,64)、、、(255,255,255)を採用可能である。図7に示す特定色データ150eはこのような色のデータ例である。
【0078】
むろん、特定色として、他の値を採用することも可能である。例えば、色成分値を”32”ピッチで変化させて”0,32,64,96,128,160,192,224,255”とし、これらの組み合わせによって表現される色を採用してもよいし、色成分値がすべて同一の色(無彩色)を特定色としてもよい。むろん、ユーザーが任意の色を特定色として選択してもよく、他にも種々の構成を採用可能である。
【0079】
特定色判定部240bが人工画像位置データ150cを作成すると、逆光画像判定モジュール21bがこの人工画像位置データ150cに基づいて人工画像を抽出するとともにRGB画像データ15aから除外して再度逆光画像であるか否かの判定を行う。そして、逆光画像であると判定された画像に対して明度補正部21d1によって逆光補正を実施する。従って、人工画像が含まれる画像であっても逆光判定の誤判定を防止し、適正な逆光補正を実施することができる。
【0080】
以上の実施形態においては、座標一致判定部24aでの判定と同色判定部24bあるいは特定色判定部240bでの判定を組み合わせていたが、むろん、これら3種の判定をすべて組み合わせてもよいし、一つのみの判定であってもよく、任意の組み合わせを採用可能である。尚、同色判定部24bあるいは特定色判定部240bでの判定のみを利用する構成においては、エッジ抽出部24a1等によってひとかたまりの領域を抽出する必要がある。
【0081】
さらに、エッジ抽出部においては、人間の目にひとまとまりの領域として視認される部位を抽出することができればよいので、上述のように輝度に関してエッジを算出するのではなく、各色成分の階調値に関してエッジを算出してもよい。むろん、人間の目にひとまとまりの領域として視認される部位を抽出可能な限りにおいて種々の構成を採用可能である。
【0082】
さらに、上記実施形態においては、水平座標あるいは垂直座標が厳密に一致することや領域内の色が厳密に一致することを要求していたが、このような厳密性を要求せず、判定にある程度の余裕を持たせてもよい。例えば、水平座標あるいは垂直座標のずれが大きくなるほど値の大きくなる関数や、領域内の色のずれが大きくなるほど値の大きくなる関数を規定し、この関数値がある閾値以下である場合に人工画像であるとする処理を採用可能である。むろん、所定の閾値を設け、座標や階調値の差分が当該閾値以下であるときに一致するとしてもよい。このように、判定に余裕を持たせれば人工画像抽出の精度を制御することができるし、JPEG画像のようにJPEG圧縮前の画像で色が厳密に一致している場合でもJPEG圧縮後に色が厳密に一致するとは限らないような形式に対しても本発明を適用することが可能になる。
【0083】
さらに、本発明においては、画像処理に際して人工画像を抽出することができればよく、他にも種々の手法によって人工画像を抽出可能である。例えば、Exif2.2規格に準拠したデータやPrint Image Matchingに対応したデータのヘッダ部分に人工画像の埋め込み位置を示すデータを記述しておき、このデータを参照することによって人工画像の存在やその位置を把握する構成を採用してもよい。かかる構成によれば、非常に簡易かつ高速な処理によって人工画像を抽出することができる。
【0084】
さらに、自然画から人工画像を抽出することができれば、各種画像処理においてこの人工画像を除外して適切な画像処理を実施可能になり、上記逆光補正以外にも種々の画像処理に対して本発明を適用可能である。例えば、画像の輝度が過度に狭い値域,広い値域に分布しているときに、輝度分布を広げたり狭めたりするコントラスト補正において本発明を適用すると、コントラスト補正を実施すべきか否かの判定、コントラストを補正する程度を誤ることがなくなる。他にも、各色成分の階調値が大きい値あるいは小さい値に過度に分布するような色かぶりが発生しているときに、色成分の階調値を補正する色かぶり補正に本発明を適用すると、色かぶり補正を実施すべきか否かの判定、色かぶりを補正する程度を誤ることがなくなる。
【0085】
さらに、本発明においては、自然画の中に人工画像が埋め込まれているときに人工画像によって画像処理が不適切な影響を受けないようにすることができればよく、このために画像データが自然画像であるか否かを予め判定してもよい。このためには、例えば画像の輝度ヒストグラムに広がりがあるか否かを判定し、ある程度の広がりがある時に自然画像であると判定してもよいし、画像データのヘッダに予め自然画か否かを示すデータ記述しておき、このデータによって判別してもよく、種々の構成を採用可能である。かかる構成によれば、本発明を適用する必要のない文書の画像や図表の画像に対して本発明を適用することを防止可能である。
【図面の簡単な説明】
【図1】画像処理装置の概略構成を示すブロック図である。
【図2】人工画像抽出モジュールの構成を示すブロック図である。
【図3】人工画像抽出モジュールの処理を説明する説明図である。
【図4】PRTDRVが実行する処理を示すフローチャートである。
【図5】逆光画像判定として採用可能な処理の例を示す図である。
【図6】人工画像抽出処理を示すフローチャートである。
【図7】人工画像抽出モジュールの構成を示すブロック図である。
【符号の説明】
10…コンピュータ、15…HDD、15a…RGB画像データ、15b…エッジ画像データ、15c…人工画像位置データ、21…プリンタドライバ、21a…画像データ取得モジュール、21b…逆光画像判定モジュール、21c…人工画像抽出モジュール、21d…画像処理モジュール、21d1…明度補正部、21e…印刷データ生成モジュール、22…入力機器ドライバ、23…ディスプレイドライバ、24a…座標一致判定部、24a1…エッジ抽出部、24b…同色判定部、24b1…連続画素抽出部、25…APL、31…キーボード、32…マウス、40…プリンタ
Claims (11)
- 画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得手段と、
同取得した画像データが示す画像から人工的に作成された画像に特徴的な画像データとなっている部位を抽出する人工画像抽出手段と、
上記取得した画像データから同人工画像抽出手段によって抽出された部位の画像データを除外して所定の画像処理を行う画像処理手段とを具備することを特徴とする画像処理装置。 - 上記人工画像抽出手段は、予め決められた特定色の画素が複数個連続する部位を抽出することを特徴とする上記請求項1に記載の画像処理装置。
- 上記人工画像抽出手段は、同色の画素が複数個連続する部位を抽出することを特徴とする上記請求項1または請求項2のいずれかに記載の画像処理装置。
- 上記人工画像抽出手段は、予め決められた特定色の画素が複数個連続する部位を候補として複数個抽出し各候補の境界の水平座標あるいは垂直座標が一致しているときにその候補を上記人工的に作成された画像に特徴的な画像データとなっている部位として抽出することを特徴とする上記請求項1〜請求項2のいずれかに記載の画像処理装置。
- 上記画像処理手段は、上記画像データから画像の階調の傾向を把握し、予め決められた所望の階調傾向に合致していないときに各画素の階調値を補正することによって画像の階調の傾向を補正する画像処理を行うことを特徴とする上記請求項1〜請求項4のいずれかに記載の画像処理装置。
- 上記画像処理手段は、画像の低輝度の部位を明るくする逆光補正処理を行うことを特徴とする上記請求項1〜請求項5のいずれかに記載の画像処理装置。
- 上記画像データ取得手段で取得した画像データについて所定のアルゴリズムによって逆光画像であるか否かを判定する逆光画像判定手段を備え、当該逆光画像判定手段にて逆光画像であると判定された画像データに対して上記人工画像抽出手段および画像処理手段を適用することを特徴とする上記請求項1〜請求項6のいずれかに記載の画像処理装置。
- 上記画像データ取得手段で取得した画像データが示す画像が自然画であるか否かを判別する自然画像判定手段を備え、当該自然画像判定手段にて自然画であると判定された画像データに対して上記人工画像抽出手段および画像処理手段を適用することを特徴とする上記請求項1〜請求項7のいずれかに記載の画像処理装置。
- 上記人工画像抽出手段は、上記取得した画像データにおいて人工的に作成された画像に特徴的な画像データからその特徴を示す特徴量を算出し、予め所定の記憶媒体に記憶された基準特徴量と類似しているときに当該画像データが示す画像を人工的に作成された画像として抽出することを特徴とする上記請求項1〜請求項8のいずれかに記載の画像処理装置。
- 画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得工程と、
同取得した画像データが示す画像から人工的に作成された画像に特徴的な画像データとなっている部位を抽出する人工画像抽出工程と、
上記取得した画像データから同人工画像抽出工程によって抽出された部位の画像データを除外して所定の画像処理を行う画像処理工程とを具備することを特徴とする画像処理方法。 - 画像をドットマトリクス状の画素で表現した画像データを所定の記憶媒体から取得し、当該画像データに対して画像処理を行う画像処理プログラムであって、
画像をドットマトリクス状の画素で表現した画像データを取得する画像データ取得機能と、
同取得した画像データが示す画像から人工的に作成された画像に特徴的な画像データとなっている部位を抽出する人工画像抽出機能と、
上記取得した画像データから同人工画像抽出機能によって抽出された部位の画像データを除外して所定の画像処理を行う画像処理機能とをコンピュータに実現させることを特徴とする画像処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003114423A JP4189654B2 (ja) | 2003-04-18 | 2003-04-18 | 画像処理装置 |
US10/825,892 US7457465B2 (en) | 2003-04-18 | 2004-04-16 | Method, apparatus, and computer-readable medium for processing an image while excluding a portion of the image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003114423A JP4189654B2 (ja) | 2003-04-18 | 2003-04-18 | 画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2004318705A true JP2004318705A (ja) | 2004-11-11 |
JP2004318705A5 JP2004318705A5 (ja) | 2005-09-15 |
JP4189654B2 JP4189654B2 (ja) | 2008-12-03 |
Family
ID=33474021
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003114423A Expired - Fee Related JP4189654B2 (ja) | 2003-04-18 | 2003-04-18 | 画像処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7457465B2 (ja) |
JP (1) | JP4189654B2 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009044417A (ja) * | 2007-08-08 | 2009-02-26 | Sony Corp | 画像判定装置、画像判定方法、およびプログラム |
JP2013527732A (ja) * | 2010-06-08 | 2013-06-27 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 階調および色再現域のマッピング方法および装置 |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4325552B2 (ja) * | 2004-12-24 | 2009-09-02 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP4727615B2 (ja) * | 2007-03-30 | 2011-07-20 | シャープ株式会社 | 画像処理装置、制御プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理装置の制御方法 |
WO2011068233A1 (en) * | 2009-12-03 | 2011-06-09 | Dainippon Sumitomo Pharma Co., Ltd. | Imidazoquinolines which act via toll - like receptors (tlr) |
JP4930583B2 (ja) * | 2009-12-29 | 2012-05-16 | ブラザー工業株式会社 | 画像記録装置及び画像記録装置の制御プログラム |
JP5983082B2 (ja) * | 2012-06-21 | 2016-08-31 | セイコーエプソン株式会社 | 表示制御回路、表示装置、及び、電子機器 |
Family Cites Families (41)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US2894247A (en) * | 1953-12-04 | 1959-07-07 | Burroughs Corp | Character recognition device |
US4251799A (en) * | 1979-03-30 | 1981-02-17 | International Business Machines Corporation | Optical character recognition using baseline information |
US4545070A (en) * | 1982-04-30 | 1985-10-01 | Fuji Electric Company, Ltd. | Pattern discriminator |
US4845764A (en) * | 1986-07-17 | 1989-07-04 | Matsushita Electric Industrial Co., Ltd. | Shape recognition apparatus |
JPH07120385B2 (ja) * | 1987-07-24 | 1995-12-20 | シャープ株式会社 | 光学的読取り方法 |
US5339163A (en) * | 1988-03-16 | 1994-08-16 | Canon Kabushiki Kaisha | Automatic exposure control device using plural image plane detection areas |
US5081685A (en) * | 1988-11-29 | 1992-01-14 | Westinghouse Electric Corp. | Apparatus and method for reading a license plate |
JP2995745B2 (ja) * | 1989-03-31 | 1999-12-27 | ソニー株式会社 | 動き情報抽出装置 |
US5668646A (en) * | 1990-02-06 | 1997-09-16 | Canon Kabushiki Kaisha | Apparatus and method for decoding differently encoded multi-level and binary image data, the later corresponding to a color in the original image |
DE69118939T2 (de) * | 1990-02-06 | 1996-11-14 | Canon Kk | Bildverarbeitungsgerät |
JP2554187B2 (ja) * | 1990-04-27 | 1996-11-13 | シャープ株式会社 | 基本ライン抽出方法 |
JPH0723997B2 (ja) * | 1990-08-24 | 1995-03-15 | 富士ゼロックス株式会社 | 文字・図形描画装置 |
KR930002349B1 (ko) * | 1990-12-29 | 1993-03-29 | 주식회사 금성사 | 압축영상의 문자열 분리방법 |
JP2856229B2 (ja) * | 1991-09-18 | 1999-02-10 | 財団法人ニューメディア開発協会 | 画像切り出し箇所検出方法 |
JP2651093B2 (ja) * | 1992-10-27 | 1997-09-10 | 松下電工株式会社 | 形状検出方法およびその装置 |
US5568571A (en) * | 1992-12-14 | 1996-10-22 | University Microfilms, Inc. | Image enhancement system |
US5588072A (en) * | 1993-12-22 | 1996-12-24 | Canon Kabushiki Kaisha | Method and apparatus for selecting blocks of image data from image data having both horizontally- and vertically-oriented blocks |
US6002797A (en) * | 1994-06-22 | 1999-12-14 | Hitachi, Ltd. | Apparatus for detecting position of featuring region of picture, such as subtitle or imageless part |
US5715377A (en) * | 1994-07-21 | 1998-02-03 | Matsushita Electric Industrial Co. Ltd. | Gray level correction apparatus |
JP3018914B2 (ja) * | 1994-08-23 | 2000-03-13 | 松下電器産業株式会社 | 階調補正装置 |
JPH08156329A (ja) * | 1994-12-12 | 1996-06-18 | Fuji Xerox Co Ltd | 画像形成装置 |
JP2730665B2 (ja) * | 1994-12-15 | 1998-03-25 | 北陸先端科学技術大学院大学長 | 文字認識装置および方法 |
JP3613493B2 (ja) * | 1995-09-20 | 2005-01-26 | 株式会社リコー | カラー画像形成装置及びカラー画像形成方法 |
US6351558B1 (en) * | 1996-11-13 | 2002-02-26 | Seiko Epson Corporation | Image processing system, image processing method, and medium having an image processing control program recorded thereon |
JP3737230B2 (ja) | 1997-01-29 | 2006-01-18 | 株式会社リコー | カラー画像処理装置 |
US6097834A (en) * | 1997-06-13 | 2000-08-01 | Paystation America Inc. | Financial transaction processing systems and methods |
WO1999053441A1 (fr) * | 1998-04-10 | 1999-10-21 | Seiko Epson Corporation | Dispositif et procede d'interpolation de donnees d'images, et support sur lequel le programme d'interpolation de donnees d'images est enregistre |
JP4057147B2 (ja) * | 1998-06-16 | 2008-03-05 | コニカミノルタビジネステクノロジーズ株式会社 | 逆光シーン判定方法、逆光シーン判定方法プログラムを記憶したコンピュータにより読み取り可能な記憶媒体及び逆光シーン判定機能を有する画像処理装置 |
US6694051B1 (en) | 1998-06-24 | 2004-02-17 | Canon Kabushiki Kaisha | Image processing method, image processing apparatus and recording medium |
JP2000134467A (ja) | 1998-10-26 | 2000-05-12 | Canon Inc | 画像処理方法、装置および記憶媒体 |
JP3976898B2 (ja) | 1998-07-21 | 2007-09-19 | キヤノン株式会社 | 画像処理方法、装置および記録媒体 |
JP3728744B2 (ja) * | 1998-09-18 | 2005-12-21 | 富士写真フイルム株式会社 | プリント方法及び装置 |
JP3545227B2 (ja) * | 1998-11-12 | 2004-07-21 | 株式会社エヌ・ティ・ティ・データ | 画像処理方法及び装置、光学式文字読取装置 |
JP2000222564A (ja) | 1999-02-04 | 2000-08-11 | Fuji Photo Film Co Ltd | 画像形成装置 |
US6473517B1 (en) * | 1999-09-15 | 2002-10-29 | Siemens Corporate Research, Inc. | Character segmentation method for vehicle license plate recognition |
JP2001144962A (ja) | 1999-11-11 | 2001-05-25 | Fuji Xerox Co Ltd | 画像処理装置 |
US6956569B1 (en) * | 2000-03-30 | 2005-10-18 | Nec Corporation | Method for matching a two dimensional image to one of a plurality of three dimensional candidate models contained in a database |
JP4095234B2 (ja) | 2000-06-12 | 2008-06-04 | キヤノン株式会社 | 画像処理方法、装置および記録媒体 |
JP4655335B2 (ja) * | 2000-06-20 | 2011-03-23 | コニカミノルタビジネステクノロジーズ株式会社 | 画像認識装置、画像認識方法および画像認識プログラムを記録したコンピュータ読取可能な記録媒体 |
JP4683253B2 (ja) * | 2000-07-14 | 2011-05-18 | ソニー株式会社 | Av信号処理装置および方法、プログラム、並びに記録媒体 |
JP3964646B2 (ja) * | 2001-10-25 | 2007-08-22 | 富士フイルム株式会社 | 画像処理方法、画像処理装置、および画像信号作成方法 |
-
2003
- 2003-04-18 JP JP2003114423A patent/JP4189654B2/ja not_active Expired - Fee Related
-
2004
- 2004-04-16 US US10/825,892 patent/US7457465B2/en not_active Expired - Fee Related
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009044417A (ja) * | 2007-08-08 | 2009-02-26 | Sony Corp | 画像判定装置、画像判定方法、およびプログラム |
JP2013527732A (ja) * | 2010-06-08 | 2013-06-27 | ドルビー ラボラトリーズ ライセンシング コーポレイション | 階調および色再現域のマッピング方法および装置 |
Also Published As
Publication number | Publication date |
---|---|
US7457465B2 (en) | 2008-11-25 |
US20040264801A1 (en) | 2004-12-30 |
JP4189654B2 (ja) | 2008-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4926568B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
EP2670125B1 (en) | Image processing device correcting color of border region between object and background in image | |
US7903872B2 (en) | Image-processing apparatus and method, computer program, and storage medium | |
US10373030B2 (en) | Image processing apparatus that executes halftone process on target image data including edge pixel | |
JP2005310068A (ja) | 白目補正方法及びこの方法を実施する装置 | |
JP2010231648A (ja) | 画像処理装置、画像形成装置、画像処理方法、プログラムおよびその記録媒体 | |
US9253368B2 (en) | Image processing device setting binary value without using dither matrix when prescribed condition is satisfied | |
JP3928704B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体および画像処理プログラム | |
US8929663B2 (en) | Image processing device identifying region in image as one of uniform region and nonuniform region | |
JP4285127B2 (ja) | 減色処理装置及び減色処理方法 | |
US20060279802A1 (en) | Methods of identifying the type of a document to be scanned | |
JP4189654B2 (ja) | 画像処理装置 | |
JP3667181B2 (ja) | 画像処理方法および画像処理装置 | |
JPH11146219A (ja) | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 | |
JP2005064650A (ja) | 撮影場面の判定および撮影場面に応じた画像処理 | |
US7817303B2 (en) | Image processing and image forming with modification of a particular class of colors | |
JP2003069843A (ja) | 画像処理装置、画像処理方法ならびに画像処理プログラムおよびこれを記録したコンピュータ読み取り可能な記録媒体 | |
JP5689090B2 (ja) | 画像形成方法及び画像形成装置 | |
JP2009081631A (ja) | 画像処理装置、方法、および、プログラム | |
JP6781398B2 (ja) | 画像処理装置、および、コンピュータプログラム | |
JP6794901B2 (ja) | 画像処理装置、および、コンピュータプログラム | |
JP2017135613A (ja) | 画像処理装置およびコンピュータプログラム | |
JP2008124693A (ja) | 画像処理装置、複写機およびホワイトボード用画像処理プログラム | |
JP2004295410A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
JP2009038580A (ja) | 画像処理装置および画像処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050328 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050328 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080725 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080820 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080902 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110926 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |