JP3705250B2 - 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 - Google Patents
画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 Download PDFInfo
- Publication number
- JP3705250B2 JP3705250B2 JP2002207937A JP2002207937A JP3705250B2 JP 3705250 B2 JP3705250 B2 JP 3705250B2 JP 2002207937 A JP2002207937 A JP 2002207937A JP 2002207937 A JP2002207937 A JP 2002207937A JP 3705250 B2 JP3705250 B2 JP 3705250B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- image data
- pixel
- sampling
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000012545 processing Methods 0.000 title claims description 206
- 238000003672 processing method Methods 0.000 title claims description 11
- 238000000034 method Methods 0.000 claims description 93
- 238000005070 sampling Methods 0.000 claims description 80
- 238000009826 distribution Methods 0.000 claims description 52
- 238000011156 evaluation Methods 0.000 claims description 52
- 238000012937 correction Methods 0.000 claims description 38
- 235000019557 luminance Nutrition 0.000 description 75
- 238000006243 chemical reaction Methods 0.000 description 35
- 238000010586 diagram Methods 0.000 description 21
- 230000014509 gene expression Effects 0.000 description 18
- 230000008859 change Effects 0.000 description 16
- 239000011159 matrix material Substances 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 239000000203 mixture Substances 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 206010001854 Altered state of consciousness Diseases 0.000 description 1
- 240000006829 Ficus sundaica Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 241000519995 Stachys sylvatica Species 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
【発明の属する技術分野】
本発明は、デジタル写真画像のような実写の画像データに対して最適な画像処理を自動的に実行する画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体に関する。
【0002】
【従来の技術】
ディジタル写真画像のような実写の画像データに対して各種の画像処理が行われている。例えば、コントラストを拡大するとか、色調を補正するとか、明るさを補正するといった画像処理である。これらの画像処理は、通常、マイクロコンピュータで実行可能となっており、操作者がモニタ上で画像を確認して必要な画像処理を選択したり、画像処理のパラメータなどを決定している。すなわち、画像の特徴を操作者が判定して各種の操作を選択したり実行している。
【0003】
【発明が解決しようとする課題】
近年、画像処理の技法については各種のものが提案され、実際に効果を発揮している。しかしながら、どの技法でどの程度の処理を行うかとなると、依然、人間が関与しなければならない。これは、画像処理の対象となるディジタル画像データにおいて、どこが重要であるのかを判断することができなかったためである。
【0004】
例えば、明るさを補正する画像処理を考えた場合、画面全体の平均が暗ければ明るく補正し、逆に平均が明るければ暗く補正するという自動処理を考えたとする。ここで、夜間撮影した人物像の実写の画像データがあるとする。背景は殆ど真っ暗に近いものの、人物自体は良好に撮影できていたとする。この実写の画像データを自動補正すると、背景が真っ暗であるがために明るく補正しようとしてしまい、昼間の画像のようになってしまうことになる。
【0005】
この場合、人間が関与していれば人物像の部分だけに注目する。そして、人物像が暗ければ少し明るく補正するし、逆に、フラッシュなどの効果で明る過ぎれば暗くする補正を選択する。
【0006】
本出願人は、このような課題に鑑みて、以前に、画像の中での重要な部分を判断する発明を提案した。同発明においては、画像のシャープな部分に本来の被写体(オブジェクト)が存在しているはずであると考え、各画素での画像の変化度合いに着目して同変化度合いの大きな画素をオブジェクトと判断するとともに、同オブジェクトについて所定の評価基準に基づいて特徴量を得て、当該特徴量を使用して画像処理を行っている。
【0007】
しかしながら、オブジェクトの特徴量を使用して画像処理を行う方が好ましい場合もあれば、実写画像全体の平均的な特徴量を使用して画像処理を行う方が好ましい場合もある。例えば、ある人物像の実写画像を考えた場合、必ずしも人物が最も明るい(ハイライト)とは限らない。従って、背景にハイライト部分がある場合、人物のみに着目してコントラストを拡大補正すると、これに伴って同背景のハイライト部分が白く抜けてしまうことになりかねない。この場合、むしろ背景も含めた実写画像全体に着目して行う方が良好な結果が得られる。このように画像処理を行うにあたり、特徴量を適切に選択する必要性は依然として残ったままであった。
【0008】
本発明は、上記課題にかんがみてなされたもので、特徴量を適切に選択して画像処理を行うことが可能な画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体の提供を目的とする。
【0009】
【課題を解決するための手段およびその作用・効果】
上記目的を達成するため、本発明の画像処理装置は、
複数の画素からなる実写画像の画像データに対して所定の画像処理を行なう画像処理装置であって、
入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を得る評価手段と、
該評価手段にて得られた複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定する決定手段と、
該決定手段により決定された画像処理の程度に基づいて、上記実写画像の画像データに対して一度に上記複数の手法による画像処理を行なう画像処理手段と
を備えたことを要旨とする。
【0010】
上記のように構成した画像処理装置では、入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を得ている。こうして得られた複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定する。画像処理手段は、こうして決定された画像処理の程度に基づいて、実写画像の画像データに対して上記複数の手法による画像処理を一度に行なう。上記画像処理手段が一度に行なう複数の手法による画像処理に、明度補正とコントラスト補正とが含まれるように構成してもよい。
【0011】
例えば、明暗補正のようにオブジェクトに相当すると考えられる部位に着目した特徴量を使用して画像データを変換する方が好ましい画像処理もあれば、コントラスト拡大補正のように画像全体に着目した特徴量を使用して画像データを変換する方が好ましい画像処理もある。こうした複数の手法による画像処理の内容に応じて複数の特徴量を使い分けて各手法による画像処理の程度を決定し、決定された画像処理の程度に基づいて、上記複数の手法による画像処理を上記実写画像の画像データに対して一度に行なうのである。
【0012】
なお、この特徴量は画像データを変換するにあたり、画像の特徴などを判定するのに使用可能なものであればよく、具体的に画像の種類を特定するものを得る必要はない。例えば、画像を明るいと判定するか暗いと判定するかといった場合の輝度のヒストグラムなどといった指標も含むものであり、明るい画像であるとか暗い画像であるといった判定結果が得られる必要はない。むろん、明暗以外にも画像がシャープであるか否かの指標であるとか、鮮やかさを判断する際の指標であってもよい。
【0013】
また、実写の画像データとはありのままの実物を撮像しようとした画像データを指している。これは画像処理がこのような実物との比較で不具合のある画像を補正処理しようとしているためである。従って、その対象は自然物だけにとどまらず、人工的なものであっても構わないし、より具体的には写真をスキャナによって取り込んだ画像データであるとか、デジタルカメラで撮影したような画像データなどが含まれる。
【0014】
さらに、上記各手段の動作態様についても各種の態様を適用可能であって特に限定されるものではない。例えば、複数の手法の画像処理が行われることを前提として、異なる評価基準によるそれぞれの特徴量を予め保持しておき、評価手段が、必要に応じて特徴量を選択し、選択された特徴量に基づいて複数の各手法による画像処理の程度を決定し、決定された程度に基づいて画像処理手段が画像データを変換するようにしてもよい。また別の一例として、上記画像処理手段が一の画像処理を行うごとに、複数の特徴量、ひいては画像処理の程度を得るべく、評価手段に複数の評価基準を順次適用して各画素の画像データを集計させるようにしてもよく、いずれの態様も含むものとする。
【0015】
上記評価手段がいかなる評価基準を適用して特徴量ないし画像処理の程度を得るかについては、対象となる画像処理方法によって異なり、上述したようにオブジェクトに相当すると考えられる部位に着目して画像処理する方がよい場合もあれば、そうではない場合もある。前者の場合の好適な一例として、上記の画像処理装置において、上記評価手段を、複数の評価基準の一つとして実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準を有し、この評価基準を適用して該評価基準に対応した画素をサンプリングし、サンプリングされた画素の画像データにおける中心的な値を特徴量として得る手段とし、上記決定手段を、該得られた特徴量に基づいて画像処理の程度を決定する手段とする構成を考えることができる。
【0016】
上記のように構成した画像処理装置においては、実写画像内のオブジェクトに相当する部位に対応する画素をサンプリングし、サンプリングされた画素の画像データにおける中心的な値を特徴量として得る。こうして該得られた特徴量に基づいて画像処理の程度が決定される。この画像処理の程度を用いれば、オブジェクトに相当する部位に着目した好適な画像処理を行なうことができる。
【0017】
ここにおいて、画像データの中心的な値とは次のようなことを意味する。例えば、ある実写画像が明るいか暗いかを判定する場合には、画像の中間濃度に基づいて判断するのが適切であることは容易にわかる。この中間濃度は、輝度分布を考えた場合にメジアン、すなわち輝度分布における中心ともいうことができ、この意味において画像データの中心的な値という。そして、実写画像内にオブジェクトが存在すれば、当該オブジェクトの明るさにあわせて明暗補正する必要性が高いといえる。
【0018】
上記実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準の一例として、上記着目した画素における隣接画素との画像データの変化度合いが大きいか否かという評価基準を考えることができる。この評価基準を評価手段が適用した場合には、隣接画素との変化度合いの大きな画素をオブジェクトに相当する部位とみなすことが可能となる。
【0019】
ドットマトリクス状の画素のように一定間隔で並んでいる場合、隣接する画素間の画像データの差分は一次微分値と比例するため、このような差分をもってして画像の変化度合いとして判断できる。この場合、差分をベクトルの大きさと考えるとともに、隣接方向を考慮してベクトルを合成するようにしてもよい。
【0020】
また、上記実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準の別の一例として、上記着目した画素における色が所定範囲内にあるか否かという評価基準を考えることができる。この評価基準を評価手段が適用した場合には、色が所定範囲内にある画素をオブジェクトに相当する部位とみなすことが可能となる。
【0021】
なお、色の刺激値の絶対的な割合は色度によって表わすことができる。この色度は明るさには左右されない。従って、画像の中のオブジェクトに相当する部位を色度の取りうる範囲によって特定することも可能である。例えば、肌色の取りうる範囲であるとか、木々の緑色の取りうる範囲といったものである。色度にはこのようなことが言えるので、上記色度が所定範囲内にある画素をオブジェクトに相当する部位とみなしても良い。
【0022】
オブジェクトに着目しないで画像処理する場合の好適な一例として、上記評価手段が、上記複数の評価基準の一つとして、上記画像データの各画素を均等にサンプリングして集計して特徴量を得る評価基準を有するとともに、上記決定手段が、一の手法による画像処理において上記画像データの平均的な特徴量を使用して該画像処理の程度を決定する際に、上記均等にサンプリングして得られた特徴量を使用する構成を考えることができる。
【0023】
上記の構成においては、上記決定手段が画像データの平均的な特徴量を使用して該画像処理の程度を決定する場合に、上記評価手段は同画像データの各画素を均等にサンプリングして特徴量を得る。むろん、実写画像を構成する全画素を対象として集計するようにしてもよいが、処理量が多くなることから得策ではないと言える。
【0024】
このようにオブジェクトに着目しないで画像処理する場合の別の一例として、上記評価手段が、上記複数の評価基準の一つとして、上記画像データの各画素を均等にサンプリングして集計して特徴量を得る評価基準を有するとともに、上記決定手段が、一の画像処理の手法において実写画像の特徴量分布の端部を使用して該画像処理の程度を決定する際に、上記均等にサンプリングして得られた特徴量を使用する構成を考えることができる。
【0025】
上記の構成においては、上記決定手段は、上記評価手段にて得られた特徴量分布の端部を使用することを前提としている。例えば、コントラストを拡大する場合などにおいては、輝度分布を求めて当該輝度分布の端部を広げるように画像処理を施すが、かかる場合においてオブジェクトについての輝度分布を使用すると、それ以外のハイライト部分が白く抜けてしまうことがある。そこで、このような場合、上記決定手段は、同画像データの各画素を均等にサンプリングして得られた特徴量を使用する。
【0026】
複数の異なる画素のサンプリング手法により得られた特徴量に基づいて複数の画像処理を行う手法は、必ずしも実体のある装置に限られる必要もなく、その一例として、本発明の画像処理方法は、
複数の画素からなる実写画像の画像データに対して所定の画像処理を行なう方法であって、
入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を抽出し、
該抽出された複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定し、
該決定された画像処理の程度に基づいて、上記実写画像の画像データに対して一度に上記複数の手法による画像処理を行なう
ことを要旨としている。
【0027】
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【0028】
ところで、上述したように複数の異なる評価基準により得られた特徴量に基づいて複数の画像処理を行う画像処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもなるなど、発明の思想としては各種の態様を含むものである。また、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。
【0029】
発明の思想の具現化例として画像処理装置を制御するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【0030】
その一例として、本発明の記録媒体は、
複数の画素からなる実写画像の画像データに対して所定の画像処理を行なうプログラムを、コンピュータにより読み取り可能に記録した記録媒体であって、
入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を抽出する機能と、
該抽出された複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定する機能と、
該決定された画像処理の程度に基づいて、上記実写画像の画像データに対して一度に上記複数の手法による画像処理を行なう機能と
を上記コンピュータに実現させるプログラムを記録した
ことを要旨としている。
【0031】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりはないし、半導体チップに書き込まれたようなものであっても同様である。
【0032】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【0033】
以上説明したように、本発明の画像処理装置によれば、入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、この判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量が抽出される。こうした複数の各特徴量に応じて複数の各手法による画像処理の程度が決定され、こうして決定された画像処理の程度に基づき、上記複数の手法による画像処理が上記実写画像の画像データに対して一度に行なわれる。従って、複数の手法による画像処理を効率よく行なうことができる。なお、複数の画素のサンプリング手法に従って特徴量を得て複数の手法で画像処理を行なうにあたり、各手法に応じて使用する特徴量を使い分けるようにすれば、最適な評価基準に基づいて画像処理を行なうことが可能な画像処理装置を提供することができる。
【0034】
また、実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準に対応した画素をサンプリングし、サンプリングされた画素の画像データにおける中心的な値を前記特徴量として得て、該得られた特徴量に基づいてパラメータを求める構成を採れば、明暗補正など画像データの中心的な値に基づいて画像処理を行なう場合に好適である。
【0035】
さらに、上記予め定められた評価基準として、着目した画素における隣接画素との画像データの変化度合いが大きいか否かという評価基準を備える構成を採れば、隣接する画素間での画像データの差分を求めるだけであるので、演算が容易であり、オブジェクト判断のための処理量を低減できる。
【0036】
さらに、上記予め定められた評価基準として、着目した画素における色が所定範囲内にあるか否かという評価基準を採ることも好適である。この場合に、画素における色度が所定範囲内にあるか否かという評価基準を備える構成とすれば、色度でオブジェクトを判断するものの、オブジェクトの明暗に依存することなく当該オブジェクトを抽出することができる。
【0037】
さらに、一の手法による画像処理において上記画像データの平均的な特徴量を使用して該画像処理の程度を決定する際に、画像データの各画素を均等にサンプリングして得られた特徴量を使用する構成を採れば、彩度補正など実写画像の平均的な特徴量に基づいて画像処理を行なう場合に好適である。
【0038】
さらに、一の手法による画像処理において実写画像の特徴量分布の端部を使用して該画像処理の程度を決定する際に、画像データの各画素を均等にサンプリングして得られた特徴量を使用する構成を採れば、コントラスト拡大補正など実写画像における特徴量分布の端部を使用して画像処理する場合に好適である。
【0039】
さらに、本発明の画像処理方法によれば、上記画像処理装置の場合と同様に、複数の手法による画像処理を効率よく行なうことができ、本発明の記録媒体によれば、画像処理制御プログラムを記録した媒体を提供することができる。
【0040】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。
【0041】
図1は、本発明の一実施形態にかかる画像処理装置を適用した画像処理システムをブロック図により示しており、図2は具体的ハードウェア構成例を概略ブロック図により示している。
【0042】
図1において、画像入力装置10は写真などをドットマトリクス状の画素として表した実写の画像データを画像処理装置20へ出力し、同画像処理装置20は複数の画像処理を行うにあたり、各画像処理に最適な評価基準に基づいて複数の特徴量を得て、特徴量を使い分けつつ各画像処理を実行する。同画像処理装置20は画像処理した画像データを画像出力装置30へ出力し、画像出力装置は画像処理された画像をドットマトリクス状の画素で出力する。
【0043】
画像処理装置20は、予め複数の評価基準に従って画像データを集計して複数の特徴量を得ており、この意味において評価手段に相当する手段を備えているし、この複数の特徴量を画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定する点で、決定手段に相当する手段を備えている。また、画像処理内容に応じて決定された画像処理の程度に基づいて、複数の手法による画像処理を画像データに対して一度に行なうことから画像処理手段に相当する手段をも備えていると言える。
【0044】
画像入力装置10の具体例は図2におけるスキャナ11やデジタルスチルカメラ12あるいはビデオカメラ14などが該当し、画像処理装置20の具体例はコンピュータ21とハードディスク22とキーボード23とCD−ROMドライブ24とフレキシブルディスクドライブ25とモデム26などからなるコンピュータシステムが該当し、画像出力装置30の具体例はプリンタ31やディスプレイ32等が該当する。本実施形態の場合、画像の不具合等を修正すべく当該画像の特徴量を得て画像処理するため、画像データとしては写真などの実写データが好適である。なお、モデム26については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。
【0045】
本実施形態においては、画像入力装置10としてのスキャナ11やデジタルスチルカメラ12が画像データとしてRGB(緑、青、赤)の階調データを出力するとともに、画像出力装置30としてのプリンタ31は階調データとしてCMY(シアン、マゼンダ、イエロー)あるいはこれに黒を加えたCMYKの二値データを入力として必要とするし、ディスプレイ32はRGBの階調データを入力として必要とする。
【0046】
一方、コンピュータ21内ではオペレーティングシステム21aが稼働しており、プリンタ31やディスプレイ32に対応したプリンタドライバ21bやディスプレイドライバ21cが組み込まれている。また、画像処理アプリケーション21dはオペレーティングシステム21aにて処理の実行を制御され、必要に応じてプリンタドライバ21bやディスプレイドライバ21cと連携して所定の画像処理を実行する。従って、画像処理装置20としてのこのコンピュータ21の具体的役割は、RGBの階調データを入力して最適な画像処理を施したRGBの階調データを作成し、ディスプレイドライバ21cを介してディスプレイ32に表示させるとともに、プリンタドライバ21bを介してCMY(あるいはCMYK)の二値データに変換してプリンタ31に印刷させることになる。
【0047】
このように、本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで画像処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、画像データに対して各種の画像処理を行うシステムに適用可能である。例えば、図3に示すようにデジタルスチルカメラ12a内に画像処理する画像処理装置を組み込み、変換した画像データを用いてディスプレイ32aに表示させたりプリンタ31aに印字させるようなシステムであっても良い。また、図4に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ31bにおいては、スキャナ11bやデジタルスチルカメラ12bあるいはモデム26b等を介して入力される画像データに対して画像処理するように構成することも可能である。
【0048】
上述した画像の特徴量の取得とそれに伴う画像処理は、具体的には上記コンピュータ21内にて図5などに示すフローチャートに対応した画像処理プログラムで行っている。同図に示すフローチャートは画像処理プログラムにおける前段部分に該当し、画像データを複数の評価基準で集計する処理を実行する。
【0049】
ここで本実施形態において採用する二つの評価基準について説明する。共通するのはいずれも全画素を対象とするのではなく、所定の基準に従って画素をサンプリングするとともに、サンプリングした画素について輝度を集計する点である。また、相違するのは、一方が均等に画素をサンプリングするのに対し、他方がエッジ画素を選択してサンプリングする点である。輝度の集計結果については後述するが、このようにしていわゆるサンプリング手法を変えることにより、異なった評価基準に従って複数の特徴量を得ることができる。均等に画素をサンプリングするというのは画像全体の画素について輝度を集計することに他ならず、画像全体としての画像データの輝度の分布を求めることになるから、風景写真が全体的に暗いとかコントラストが狭いといった評価の参考となる特徴量が得られることになる。
【0050】
一方、エッジ画素は画像のシャープな部分であるから、画像の中でも本来の被写体に関わる画素について輝度を集計することになり、たとえ背景が暗くても被写体が十分な明るさを持っていれば画像の明るさは十分であるといった評価の参考となる特徴量が得られることになる。本実施形態においては、これらの特徴量を画像処理手法に応じて自動的に選択するようにしている。
【0051】
図5に示すフローチャートを参照すると、この集計処理では、図6に示すようにドットマトリクス状の画素からなる画像データについて対象画素を水平方向に主走査しつつ垂直方向に副走査して移動させ、各画素についてサンプリング対象であるか否かを判断して集計している。
【0052】
画像データがドットマトリクス状の画素から構成されている場合には、各画素ごとに上述したRGBの輝度を表す階調データで表されており、画像のエッジ部分では隣接する画素間での同データの差分は大きくなる。この差分は輝度勾配であり、これをエッジ度と呼ぶことにし、ステップS110では各画素でのエッジ度を判定する。
【0053】
図7に示すようなXY直交座標を考察する場合、画像の変化度合いのベクトルはX軸方向成分とY軸方向成分とをそれぞれ求めれば演算可能となる。ドットマトリクス状の画素からなるディジタル画像においては、図8に示すように縦軸方向と横軸方向に画素が隣接しており、その明るさをf(x,y)で表すものとする。この場合、f(x,y)はRGBの各輝度であるR(x,y),G(x,y),B(x,y)であったり、あるいは全体の輝度Y(x,y)であってもよい、なお、RGBの各輝度であるR(x,y),G(x,y),B(x,y)と全体の輝度Y(x,y)との関係は、厳密には色変換テーブルなどを参照しなければ変換不能であるが、後述するようにして簡易な対応関係を利用するようにしても良い。
【0054】
図8に示すものにおいて、X方向の差分値fxとY方向の差分値fyは、
【0055】
【数1】
【0056】
のように表される。従って、これらを成分とするベクトルの大きさ|g(x,y)|は、
【0057】
【数2】
【0058】
のように表される。むろん、エッジ度はこの|g(x,y)|で表される。なお、本来、画素は図9に示すように縦横に升目状に配置されており、中央の画素に注目すると八つの隣接画素がある。従って、同様にそれぞれの隣接する画素との画像データの差分をベクトルで表し、このベクトルの和を画像の変化度合いと判断しても良い。
【0059】
以上のようにして各画素についてエッジ度が求められるので、あるしきい値と比較してエッジ度の方が大きい画素はエッジ画素と判断すればよい。なお、経験的事実から考察すると、フォーカスが集中する被写体は構図の中央部分に位置することが多い。従って、中央部分から多くの画素が抽出されるような仕組みとすることにより、画像処理の判断に利用したときにより好ましい効果を得られる。
【0060】
このため、図10に示すように、画像の中の部分毎に比較するしきい値Th1,Th2,Th3を異ならせておくようにしてもよい。むろん、この例では、
【0061】
【数3】
【0062】
なる関係があり、中央に近い部分ほどしきい値は低く、エッジ度が比較的低くてもフォーカスが集中していると判断されるようになる。
【0063】
ステップS120ではエッジ度と同しきい値とを比較して変化度合いが大きいか否かを判断する。比較の結果、エッジ度の方が大きければこの画素はエッジ画素であると判断し、ステップS130にてその画素の画像データをサンプリングしてワークエリアに保存する。ワークエリアはコンピュータ21内のRAMであってもよいしハードディスク22であってもよい。
【0064】
本実施形態においては、エッジ度に基づいてオブジェクトを抽出する構成としているが、むろん、オブジェクトの抽出方法はこれに限られない。例えば、各画素の色度を求め、当該色度が所定範囲内にある画素をオブジェクトとして抽出することも可能である。
【0065】
すなわち、ステップS110およびステップS120の処理を、それぞれステップS115およびステップS125の処理に置換し、まず、ステップS115にて各画素についての色度を計算する。いま、対象画素のRGB表色系におけるRGB階調データが(R,G,B)であるとするときに、
【0066】
【数4】
【0067】
とおくとすると、XYZ表色系における色度座標x,yとの間には、
【0068】
【数5】
【0069】
なる対応関係が成立する。ここにおいて、色度は明るさに左右されることなく色の刺激値の絶対的な割合を表すものであるから、色度からその画素がどのような対象物かを判断することができるといえる。例えば、肌色を例に取ると、
【0070】
【数6】
【0071】
というような範囲に含まれているから、各画素の色度を求めたときにこの範囲内であればその画素は人間の肌を示す画素と考えてもあながち誤っていないと言える。
【0072】
従って、ステップS125では、各画素のRGB階調データに基づいて変換されたx−y色度が肌色の範囲であるか否かを判断し、肌色であるならばステップS130にてその画素の画像データをサンプリングして同様にワークエリアに保存する。
【0073】
一方、上記のようなエッジ度の判定と並行してステップS140では当該対象画素が均等サンプリングの対象画素であるか否かを判断する。均等にサンプリングするといっても、ある誤差の範囲内となる程度にサンプリングする必要がある。統計的誤差によれば、サンプル数Nに対する誤差は概ね1/(N**(1/2))と表せる。ただし、**は累乗を表している。従って、1%程度の誤差で処理を行うためにはN=10000となる。
【0074】
ここにおいて、図6に示すビットマップ画面は(width)×(height)の画素数となり、サンプリング周期ratioは、
【0075】
【数7】
【0076】
とする。ここにおいて、min(width,height)はwidthとheightのいずれか小さい方であり、Aは定数とする。また、ここでいうサンプリング周期ratioは何画素ごとにサンプリングするかを表しており、図11の○印の画素はサンプリング周期ratio=2の場合を示している。すなわち、縦方向及び横方向に二画素ごとに一画素のサンプリングであり、一画素おきにサンプリングしている。A=200としたときの1ライン中のサンプリング画素数は図12に示すようになる。
【0077】
同図から明らかなように、サンプリングしないことになるサンプリング周期ratio=1の場合を除いて、200画素以上の幅があるときには最低でもサンプル数は100画素以上となることが分かる。従って、縦方向と横方向について200画素以上の場合には(100画素)×(100画素)=(10000画素)が確保され、誤差を1%以下にできる。
【0078】
ここにおいてmin(width,height)を基準としているのは次のような理由による。例えば、図13(a)に示すビットマップ画像のように、width>>heightであるとすると、長い方のwidthでサンプリング周期ratioを決めてしまった場合には、同図(b)に示すように、縦方向には上端と下端の2ラインしか画素を抽出されないといったことが起こりかねない。しかしながら、min(width,height)として、小さい方に基づいてサンプリング周期ratioを決めるようにすれば同図(c)に示すように少ない方の縦方向においても中間部を含むような間引きを行うことができるようになる。すなわち、所定の抽出数を確保したサンプリングが可能となる。
【0079】
ステップS140では、このような均等なサンプリング手法を採用しつつ、当該対象画素がそのサンプリング対象となっているか否かを判断し、対象であればステップS150にて画像データをサンプリングする。
【0080】
ステップS130,S150で画像データをサンプリングするというのは、同画像データに基づいて輝度を集計することを意味する。上述したように、本実施形態においてはコンピュータ21が扱うのはRGBの階調データであり、直接には輝度の値を持っていない。輝度を求めるためにLuv表色空間に色変換することも可能であるが、演算量などの問題から得策ではない。このため、テレビジョンなどの場合に利用されているRGBから輝度を直に求める次式の変換式を利用する。
【0081】
【数8】
【0082】
輝度はヒストグラムとして集計する。むろん、ステップS130の集計エリアとステップS150の集計エリアは別個である。
【0083】
以上のような処理を画像データの各画素について行うため、ステップS160にて処理の対象画素を移動させ、ステップS170にて全画素について終了したと判断されるまで処理を繰り返す。
【0084】
この後、画像処理方法に応じて均等サンプリングによる集計結果Dist_aveと、エッジ画素サンプリングによる集計結果Dist_edgとを使い分けて特徴量を取得し、当該特徴量に基づいて最適な画像処理を実行する。図14は、その一例としてコントラストの拡大と明度の補正の画像処理を実行するためのフローチャートを示している。
【0085】
本実施形態でのコントラストを拡大するための基本的な手法は、画像データに基づいて輝度分布を求め、この輝度分布が本来の階調幅(255階調)の一部分しか利用していないのであれば分布を拡大するというものである。
【0086】
上述したように、ある人物像の実写画像を考えた場合、必ずしも人物がハイライト部分であるとは限らないため、同人物の輝度分布を拡大してしまうと他のハイライト部分が白くぬけてしまうことになりかねない。従って、ステップS310では均等サンプリングによる集計結果Dist_aveとしての輝度分布のヒストグラムを作成し、ステップS320では拡大する幅を決定する。拡大幅を決定するにあたり、輝度分布の両端を求めることを考える。写真画像の輝度分布は図15に示すように概ね山形に表れる。むろん、その位置、形状についてはさまざまである。輝度分布の幅はこの両端をどこに決めるかによって決定されるが、単に裾野が延びて分布数が「0」となる点を両端とすることはできない。裾野部分では分布数が「0」付近で変移する場合があるし、統計的に見れば限りなく「0」に近づきながら推移していくからである。
【0087】
このため、分布範囲において最も輝度の大きい側と小さい側からある分布割合だけ内側に経た部分を分布の両端とする。本実施形態においては、同図に示すように、この分布割合を0.5%に設定している。むろん、この割合については、適宜、変更することが可能である。このように、ある分布割合だけ上端と下端をカットすることにより、ノイズなどに起因して生じている白点や黒点を無視することもできる。すなわち、このような処理をしなければ一点でも白点や黒点があればそれが輝度分布の両端となってしまうので、255階調の輝度値であれば、多くの場合において最下端は階調「0」であるし、最上端は階調「255」となってしまうが、上端部分から0.5%の画素数だけ内側に入った部分を端部とすることにより、このようなことが無くなる。
【0088】
実際の処理ではサンプリングした画素数に対する0.5%を演算し、再現可能な輝度分布における上端の輝度値及び下端の輝度値から順番に内側に向かいながらそれぞれの分布数を累積し、0.5%の値となった輝度値をこの場合の特徴量として求める。以後、この上端側をymaxと呼び、下端側をyminと呼ぶ。
【0089】
再現可能な輝度の範囲を「0」〜「255」としたときに、変換前の輝度yと輝度の分布範囲の最大値ymaxと最小値yminから変換先の輝度Yを次式に基づいて求める。
【0090】
【数9】
【0091】
ただし
【0092】
【数10】
【0093】
また、上記変換式にてY<0ならばY=0とし、Y>255ならばY=255とする。ここにおける、aは傾きであり、bはオフセットといえる。この変換式によれば、図16に示すように、あるせまい幅を持った輝度分布を再現可能な範囲まで広げることができる。ただし、再現可能な範囲を最大限に利用して輝度分布の拡大を図った場合、ハイライト部分が白く抜けてしまったり、ハイシャドウ部分が黒くつぶれてしまうことが起こる。これを防止するため本実施形態においては、再現可能な範囲を制限している。すなわち、再現可能な範囲の上端と下端に拡大しない範囲として輝度値で「5」だけ残している。この結果、変換式のパラメータは次式のようになる。
【0094】
【数11】
【0095】
そして、この場合にはy<yminと、y>ymaxの範囲においては変換を行わないようにする。
【0096】
ただし、このままの拡大率(aに対応)を適用してしまうと、非常に大きな拡大率が得られる場合も生じてしまう。例えば、夕方のような薄暮の状態では最も明るい部分から暗い部分までのコントラストの幅が狭くて当然であるのに、この画像についてコントラストを大きく拡大しようとする結果、昼間の画像のように変換されてしまいかねない。このような変換は希望されないので、拡大率には制限を設けておき、aが1.5(〜2)以上とはならないように制限する。これにより、薄暮は薄暮なりに表現されるようになる。なお、この場合は輝度分布の中心位置がなるべく変化しないような処理を行っておく。
【0097】
ところで、輝度の変換時に、毎回、上記変換式(Y=ay+b)を実行するのは非合理的である。というのは、輝度yの取りうる範囲が「0」〜「255」でしかあり得ないため、予め輝度yが取りうる全ての値に対応して変換後の輝度Yを求めておくことも可能である。従って、図17に示すようなテーブルとして記憶しておく。
【0098】
このような変換テーブルを形成することがステップS320の拡大幅決定処理に該当し、画像データを変更することが可能になる。しかし、このような輝度の範囲の拡大によってコントラストを強調するだけでなく、合わせて明るさを調整することも極めて有効であるため、ステップS330にて画像の明るさを判断し、補正のためのパラメータを生成する。
【0099】
例えば、図18にて実線で示すように輝度分布の山が全体的に暗い側に寄っている場合には破線で示すように全体的に明るい側に山を移動させると良いし、逆に、図19にて実線で示すように輝度分布の山が全体的に明るい側に寄っている場合には破線で示すように全体的に暗い側に山を移動させると良い。
【0100】
ところで、オブジェクトが明るいか暗いかを判定するための特徴量は、エッジ画素サンプリングの集計結果Dist_edgから求める方が好ましいことは容易にわかる。そこで、エッジ画素サンプリングの集計結果Dist_edgとしての輝度分布のヒストグラムをステップS310にて作成しておく。
【0101】
各種の実験を行った結果、本実施形態においては、Dist_edgとしての輝度分布におけるメジアンymedを特徴量として求め、同メジアンymedが「85」未満である場合に暗い画像と判断して以下のγ値に対応するγ補正で明るくする。
【0102】
【数12】
【0103】
あるいは、
【0104】
【数13】
【0105】
とする。
【0106】
この場合、γ<0.7となっても、γ=0.7とする。このような限界を設けておかないと夜の画像が昼間のようになってしまうからである。なお、明るくしすぎると全体的に白っぽい画像になってコントラストが弱い画像になりやすいため、彩度を合わせて強調するなどの処理が好適である。
【0107】
一方、メジアンymedが「128」より大きい場合に明るい画像と判断して以下のγ値に対応するγ補正で暗くする。
【0108】
【数14】
【0109】
あるいは、
【0110】
【数15】
【0111】
とする。この場合、γ>1.3となっても、γ=1.3として暗くなり過ぎないように限界を設けておく。
【0112】
なお、このγ補正は変換前の輝度分布に対して行っても良いし、変換後の輝度分布に対して行っても良い。γ補正をした場合における対応関係を図20に示しており、γ<1であれば上方に膨らむカーブとなり、γ>1であれば下方に膨らむカーブとなる。むろん、かかるγ補正の結果も図17に示すテーブル内に反映させておけばよく、テーブルデータに対して同補正を行っておく。
【0113】
最後に、ステップS340にてコントラスト補正と明度補正が必要であるか否かを判断する。この判断は上述した拡大率(a)とγ値について適当なしきい値と比較し、拡大率の方が大きかったりγ値が所定範囲を超えていたら必要性有りと判断する。そして、必要性有りと判断されれば画像データの変換を行う。
【0114】
画像処理が必要であると判断された場合、(13)式に基づく変換を行うが、同式の変換式は、RGBの成分値との対応関係においても当てはめることができ、変換前の成分値(R0,G0,B0)に対して変換後の成分値(R,G,B)は、
【0115】
【数16】
【0116】
として求めることもできる。ここで、輝度y,Yが階調「0」〜階調「255」であるのに対応してRGBの各成分値(R0,G0,B0),(R,G,B)も同じ範囲となっており、上述した輝度y,Yの変換テーブルをそのまま利用すればよいといえる。
【0117】
従って、ステップS350では全画素の画像データ(R0,G0,B0)について(22)〜(24)式に対応する変換テーブルを参照し、変換後の画像データ(R,G,B)を得るという処理を繰り返すことになる。
【0118】
ところで、この場合は輝度の集計結果を使い分けて輝度分布の両端やメジアンからなる特徴量を得て、当該特徴量を使用してコントラスト補正と明度補正を行うようにしているが、画像処理の具体例はこれに限られるものではなく、使用する特徴量も様々である。
【0119】
図21は彩度強調のための画像処理を実行する場合のフローチャートを示している。
【0120】
まず、画素データがその成分要素として彩度を持っていればその彩度の値を用いて分布を求めることが可能であるが、RGBの成分値しか持っていないため、本来的には彩度値が直接の成分値となっている表色空間への変換を行なわなければ彩度値を得ることができない。例えば、標準表色系としてのLuv空間においては、L軸が輝度(明度)を表し、U軸及びV軸で色相を表している。ここにおいて、U軸及びV軸においては両軸の交点からの距離が彩度を表すため、実質的に(U**2+V**2)**(1/2)が彩度となる。
【0121】
このような異なる表色空間の間での色変換は対応関係を記憶した色変換テーブルを参照しつつ、補間演算を併用しなければならず、演算処理量は膨大となってくる。このような状況に鑑み、本実施形態においては、画像データとして標準的なRGBの階調データを直に利用して彩度の代替値Xを次のようにして求めている。
【0122】
【数17】
【0123】
本来的には彩度は、R=G=Bの場合に「0」となり、RGBの単色あるいはいずれか二色の所定割合による混合時において最大値となる。この性質から直に彩度を適切に表すのは可能であるものの、簡易な(25)式によっても赤の単色および緑と青の混合色である黄であれば最大値の彩度となり、各成分が均一の場合に「0」となる。また、緑や青の単色についても最大値の半分程度には達している。むろん、
【0124】
【数18】
【0125】
という式にも代替可能である。
【0126】
ステップS410では、均等サンプリングの手法を採用しつつ彩度の代替値Xについてのヒストグラムの分布を求める。すなわち、彩度強調という点においては、必ずしもオブジェクトの彩度が大きいとは限らず、オブジェクトの彩度が小さい場合に当該オブジェクトの彩度を大きくすると、本来の色を再現できなくなってしまうことになりかねない。従って、彩度強調に使用する特徴量は画像において平均的であるといえることから、ステップS410にて均等サンプリングの手法を採用する。(25)式においては、彩度が最低値「0」〜最大値「511」の範囲で分布し、概略的には図22に示すような分布となる。次なるステップS420では、集計された彩度分布に基づいてこの画像についての彩度指数を決定する。
【0127】
彩度指数を導出するにあたり、本実施形態においては、サンプリングされた画素数の範囲で、分布数として上位の「16%」が占める範囲を求める。そして、この範囲内での最低の彩度「A」がこの画像の彩度を表すものとして次式に基づいて彩度強調指数Sなる特徴量を決定する。
【0128】
すなわち、
【0129】
【数19】
【0130】
とする。図23は、この彩度「A」と彩度強調指数Sとの関係を示している。図に示すように、彩度指数Sは最大値「50」〜最小値「0」の範囲で彩度「A」が小さいときに大きく、同彩度「A」が大きいときに小さくなるように徐々に変化していくことになる。
【0131】
彩度強調指数Sに基づいて彩度を強調するにあたり、上述したように画像データが彩度のパラメータを備えているものであれば同パラメータを変換すればよいものの、RGBの表色空間を採用している場合には、一旦、標準表色系であるLuv空間に変換し、Luv空間内で半径方向へ変移させなければならないといえる。しかしながら、RGBの画像データを、一旦、Luv空間内の画像データに変換し、彩度強調後に再びRGBに戻すといった作業が必要となり、演算量が多くならざるを得ない。従って、RGBの階調データをそのまま利用して彩度強調することにする。
【0132】
RGB表色空間のように各成分が概略対等な関係にある色相成分の成分値であるときには、R=G=Bであればグレイであって無彩度となる。従って、RGBの各成分における最小値となる成分については各画素の色相に影響を与えることなく単に彩度を低下させているにすぎないと考えれば、各成分における最小値をすべての成分値から減算し、その差分値を拡大することによって彩度を強調できるといえる。
【0133】
まず、上述した彩度強調指数Sから演算に有利な彩度強調パラメータSratioを、
【0134】
【数20】
【0135】
として求める。この場合、彩度強調指数S=0のときに彩度強調パラメータSratio=1となって彩度強調されない。次に、RGB階調データの各成分(R,G,B)における青(B)の成分値が最小値であったとすると、この彩度強調パラメータSratioを使用して次のように変換する。
【0136】
【数21】
【0137】
この結果、RGB表色空間とLuv空間との間で一往復する二度の色変換が不要となるため、演算時間の低減をはかることができる。この実施形態においては、無彩度の成分について単純に最小値の成分を他の成分値から減算する手法を採用しているが、無彩度の成分を減算するにあたっては別の変換式を採用するものであっても構わない。ただし、(33)〜(35)式のように最小値を減算するだけの場合には乗除算が伴わないので演算量が容易となるという効果がある。
【0138】
(29)〜(31)式を採用する場合でも、良好な変換が可能であるものの、この場合には彩度を強調すると輝度も向上して全体的に明るくなるという傾向がある。従って、各成分値から輝度の相当値を減算した差分値を対象として変換を行うことにする。
【0139】
まず、輝度を求めるために、上述したLuv空間に色変換したのでは演算量が多大となってしまうため、テレビジョンなどの場合に利用されているRGBから輝度を直に求める(12)式を利用する。
【0140】
一方、彩度強調は、
【0141】
【数22】
【0142】
とする。この加減値ΔR,ΔG,ΔBは輝度Yとの差分値に基づいて次式のように求める。すなわち、
【0143】
【数23】
【0144】
となり、この結果、
【0145】
【数24】
【0146】
として変換可能となる。なお、輝度の保存は次式から明らかである。
【0147】
【数25】
【0148】
また、入力がグレー(R=G=B)のときには、輝度Y=R=G=Bとなるので、加減値ΔR=ΔG=ΔB=0となり、無彩色に色が付くこともない。(42)式〜(44)式を利用すれば輝度が保存され、彩度を強調しても全体的に明るくなることはない。
【0149】
以上のようにして彩度強調指数Sratioを求めたら、ステップS430にて所定のしきい値と比較し、彩度強調が必要な画像であるかを判断する。そして、必要であればステップS440にて(42)式〜(44)式に基づいて全画素について画像データを変換する。
【0150】
従って、均等サンプリングの手法を選択して画像データを集計しつつ(ステップS410)、彩度強調指数Sなる特徴量を取得する(ステップ420)までのプログラム前段部分と当該プログラム前段部分を実行するハードウェア構成とが評価手段ないし決定手段を構成し、画像データの変換を行う(ステップS440)プログラム後段部分と当該プログラム後段部分を実行するハードウェア構成とが画像処理手段を構成することになる。
【0151】
また、上述したコントラスト補正、明度補正、彩度強調のそれぞれについて、画像処理を行うかを判断している。しかし、必ずしも画像処理を行うか否かの二者択一の判断を行う必要はない。すなわち、それぞれにおいて強調程度を設定しており、このようにして設定した強調程度で画像処理を行うようにしても良い。
【0152】
次に、上記構成からなる本実施形態の動作を説明する。
【0153】
写真画像をスキャナ11で読み込み、プリンタ31にて印刷する場合を想定する。すると、まず、コンピュータ21にてオペレーティングシステム21aが稼働しているもとで、画像処理アプリケーション21dを起動させ、スキャナ11に対して写真の読み取りを開始させる。読み取られた画像データが同オペレーティングシステム21aを介して画像処理アプリケーション21dに取り込まれたら、処理対象画素を初期位置に設定する。続いて、ステップS110にて(1)式〜(3)式に基づいてエッジ度を判定し、ステップS120ではしきい値と同エッジ度とを比較する。そして、エッジ度の方が大きい場合には処理対象画素がエッジ画素であると判断し、ステップS130にて当該画素の画像データをワークエリアに保存する。また、ステップS140では当該処理対象画素が均等サンプリングの対象であるか否かを判断し、対象である場合はステップS150で当該画素の画像データを別のワークエリアに保存する。以上の処理をステップS160にて処理対象画素を移動させながらステップS170にて全画素について実行したと判断されるまで繰り返す。
【0154】
本実施形態においては、ワークエリアに画像データそのものを保存するようにしたが、メモリ容量や処理時間の面から考えると必ずしも画像データそのものをワークエリアに保存しておく必要はない。すなわち、最終的にはサンプリング対象の画素について輝度分布や彩度代替値分布のヒストグラムを作成することになるので、予めステップS120,S150にてヒストグラムの情報を蓄積していくようにすればよい。
【0155】
全画素について集計処理を終えたら、コントラスト補正と明度補正を実行すべく、ステップS310にて均等サンプリングによる集計結果Dist_aveと、エッジ画素サンプリングによる集計結果Dist_edgとしての輝度分布のヒストグラムを求め、ステップS320にて前者のヒストグラムに基づき(16)(17)式を用いてコントラスト拡大処理のためのパラメータを決定する。そして、ステップS330においては、後者のヒストグラムに基づき(18)〜(21)式を用いて明度補正のためのパラメータを決定する。この後、ステップS340ではこれらのパラメータを所定のしきい値と比較し、画像処理すべきと判断すればステップS350にて上記パラメータに基づいて輝度変換する。この場合、演算量を減らすために最初に図17に示す輝度の変換テーブルを作成しておき、(22)〜(24)式に基づいて画像データを変換する。
【0156】
この後、画像処理された画像データをディスプレイドライバ21cを介してディスプレイ32に表示し、良好であればプリンタドライバ21bを介してプリンタ31にて印刷させる。すなわち、同プリンタドライバ21bは補正されたRGBの階調データを入力し、所定の解像度変換を経てプリンタ31の印字ヘッド領域に対応したラスタライズを行なうとともに、ラスタライズデータをRGBからCMYKへ色変換し、その後でCMYKの階調データから二値データへ変換してプリンタ31へ出力する。
【0157】
以上の処理により、スキャナ11を介して読み込まれた写真の画像データは自動的に最適なコントラスト補正と明度補正を施されてディスプレイ32に表示された後、プリンタ31にて印刷される。すなわち、複数の評価基準を採用して複数の特徴量を取得し、コントラスト補正や明度補正という画像処理方法に応じて特徴量を使い分けて最適な画像処理を実現することができる。
【0158】
一方、このようなコントラスト補正や明度補正に限らず、彩度強調の場合にも、当該彩度強調処理に応じて適当な評価基準で彩度をサンプリングして特徴量を取得するとともに、当該特徴量に基づいて画像処理するようにしたため、最適な画像処理を実現することができる。
【0159】
このように、画像処理の中枢をなすコンピュータ21はステップS310にて異なる評価基準でサンプリングされた集計結果に基づく輝度分布ヒストグラムを求めるとともに、ステップS320およびステップS330にてそれぞれ別個の輝度分布ヒストグラムから別個の特徴量を得て、ステップS350にて各々の特徴量に基づいて画像データを変換するようにしたため、最適な画像処理を実現することができる。
【図面の簡単な説明】
【図1】本発明の一実施形態にかかる画像処理装置を適用した画像処理システムのブロック図である。
【図2】同画像処理装置の具体的ハードウェアのブロック図である。
【図3】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図4】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図5】本発明の画像処理装置におけるサンプリング処理部分を示すフローチャートである。
【図6】画像データの大きさと処理対象画素を移動させていく状態を示す図である。
【図7】画像の変化度合いを直交座標の各成分値で表す場合の説明図である。
【図8】画像の変化度合いを縦軸方向と横軸方向の隣接画素における差分値で求める場合の説明図である。
【図9】隣接する全画素間で画像の変化度合いを求める場合の説明図である。
【図10】しきい値を変化させる領域を示す図である。
【図11】サンプリング周期を示す図である。
【図12】サンプリング画素数を示す図である。
【図13】変換元の画像とサンプリングされる画素の関係を示す図である。
【図14】特徴量の取得処理部分と画像処理部分を示すフローチャートである。
【図15】輝度分布の端部処理と端部処理にて得られる端部を示す図である。
【図16】輝度分布の拡大と再現可能な輝度の範囲を示す図である。
【図17】輝度分布を拡大する際の変換テーブルを示す図である。
【図18】γ補正で明るくする概念を示す図である。
【図19】γ補正で暗くする概念を示す図である。
【図20】γ補正で変更される輝度の対応関係を示す図である。
【図21】彩度強調する場合のフローチャートである。
【図22】彩度分布の集計状態の概略図である。
【図23】彩度Aと彩度強調指数Sとの関係を示す図である。
【符号の説明】
10…画像入力装置
20…画像処理装置
21…コンピュータ
21a…オペレーティングシステム
21b…プリンタドライバ
21c…ディスプレイドライバ
21d…画像処理アプリケーション
22…ハードディスク
23…キーボード
24…CD−ROMドライブ
25…フレキシブルディスクドライブ
26…モデム
30…画像出力装置
Claims (6)
- 複数の画素からなる実写画像の画像データに対して所定の画像処理を行なう画像処理装置であって、
入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を得る評価手段と、
該評価手段にて得られた複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定する決定手段と、
該決定手段により決定された画像処理の程度に基づいて、上記実写画像の画像データに対して一度に上記複数の手法による画像処理を行なう画像処理手段と
を備えた画像処理装置。 - 請求項1に記載の画像処理装置であって、
上記評価手段は、上記画素のサンプリング手法の一つとして、上記画像データの各画素を均等にサンプリングする均等サンプリング手法を適用し、サンプリングされた画素を集計して特徴量を得る手段を有するとともに、
上記決定手段は、一の手法による画像処理において上記画像データの平均的な特徴量を使用して該画像処理の程度を決定する際に、上記均等にサンプリングして得られた特徴量を使用する
画像処理装置。 - 請求項1または2に記載の画像処理装置であって、
上記評価手段は、上記画素のサンプリング手法の一つとして、上記画像データの各画素を均等にサンプリングする均等サンプリング手法を適用し、サンプリングされた画素を集計して特徴量を得る手段を有するとともに、
上記決定手段は、一の手法による画像処理において実写画像の特徴量分布の端部を使用して該画像処理の程度を決定する際に、上記均等にサンプリングして得られた特徴量を使用する
画像処理装置。 - 上記画像処理手段が一度に行なう複数の手法による画像処理には、明度補正とコントラスト補正とが含まれる請求項1ないし3のいずれかに記載の画像処理装置。
- 複数の画素からなる実写画像の画像データに対して所定の画像処理を行なう方法であって、
入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を抽出し、
該抽出された複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定し、
該決定された画像処理の程度に基づいて、上記実写画像の画像データに対して一度に上記複数の手法による画像処理を行なう
画像処理方法。 - 複数の画素からなる実写画像の画像データに対して所定の画像処理を行なうプログラムを、コンピュータにより読み取り可能に記録した記録媒体であって、
入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を抽出する機能と、
該抽出された複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定する機能と、
該決定された画像処理の程度に基づいて、上記実写画像の画像データに対して一度に上記複数の手法による画像処理を行なう機能と
を上記コンピュータに実現させるプログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002207937A JP3705250B2 (ja) | 2002-07-17 | 2002-07-17 | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002207937A JP3705250B2 (ja) | 2002-07-17 | 2002-07-17 | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP9294051A Division JPH11136514A (ja) | 1997-06-09 | 1997-10-27 | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003051002A JP2003051002A (ja) | 2003-02-21 |
JP3705250B2 true JP3705250B2 (ja) | 2005-10-12 |
Family
ID=19195824
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002207937A Expired - Lifetime JP3705250B2 (ja) | 2002-07-17 | 2002-07-17 | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3705250B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100743758B1 (ko) | 2005-09-05 | 2007-07-30 | 엘지전자 주식회사 | 피크 레벨 검출을 이용한 동적 콘트라스트 비 제어 장치 및방법 |
-
2002
- 2002-07-17 JP JP2002207937A patent/JP3705250B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003051002A (ja) | 2003-02-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8553285B2 (en) | Image processing apparatus, an image processing method, a medium on which an image processing control program is recorded, an image evaluation device, an image evaluation method and a medium on which an image evaluation program is recorded | |
US6535301B1 (en) | Image processing apparatus, image processing method, image processing program recording medium, color adjustment method, color adjustment device, and color adjustment control program recording medium | |
US7155060B2 (en) | Image processing system, image processing method, and medium having an image processing control program recorded thereon | |
JP4243362B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラムを記録した記録媒体 | |
JP3918257B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 | |
JP4019204B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP3921737B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP4219577B2 (ja) | 画像処理装置と画像出力装置と画像処理方法及び記憶媒体 | |
JP3705250B2 (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP3501151B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP3570416B2 (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP3573143B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP3956970B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 | |
JP3731573B2 (ja) | 画像処理装置、画像評価装置、画像処理方法、画像評価方法および画像処理プログラムを記録した記録媒体 | |
JP4475316B2 (ja) | 画像処理装置、画像処理プログラムを記録した記録媒体および画像処理方法 | |
JP3458855B2 (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP5029779B2 (ja) | 画像処理方法、画像処理プログラムを記録した媒体および画像処理装置 | |
JP4941575B2 (ja) | 画像処理方法、画像処理プログラムを記録した媒体および画像処理装置 | |
JP3558073B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP3941810B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 | |
JP4557087B2 (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
JPH11136514A (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP2008245321A (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
JP2003085552A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040908 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050111 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050314 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050705 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050718 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080805 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090805 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100805 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110805 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120805 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130805 Year of fee payment: 8 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
EXPY | Cancellation because of completion of term |