JP3705250B2

JP3705250B2 - 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体

Info

Publication number: JP3705250B2
Application number: JP2002207937A
Authority: JP
Inventors: 直樹鍬田; 至宏中見
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2002-07-17
Filing date: 2002-07-17
Publication date: 2005-10-12
Anticipated expiration: 2017-10-27
Also published as: JP2003051002A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタル写真画像のような実写の画像データに対して最適な画像処理を自動的に実行する画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
ディジタル写真画像のような実写の画像データに対して各種の画像処理が行われている。例えば、コントラストを拡大するとか、色調を補正するとか、明るさを補正するといった画像処理である。これらの画像処理は、通常、マイクロコンピュータで実行可能となっており、操作者がモニタ上で画像を確認して必要な画像処理を選択したり、画像処理のパラメータなどを決定している。すなわち、画像の特徴を操作者が判定して各種の操作を選択したり実行している。
【０００３】
【発明が解決しようとする課題】
近年、画像処理の技法については各種のものが提案され、実際に効果を発揮している。しかしながら、どの技法でどの程度の処理を行うかとなると、依然、人間が関与しなければならない。これは、画像処理の対象となるディジタル画像データにおいて、どこが重要であるのかを判断することができなかったためである。
【０００４】
例えば、明るさを補正する画像処理を考えた場合、画面全体の平均が暗ければ明るく補正し、逆に平均が明るければ暗く補正するという自動処理を考えたとする。ここで、夜間撮影した人物像の実写の画像データがあるとする。背景は殆ど真っ暗に近いものの、人物自体は良好に撮影できていたとする。この実写の画像データを自動補正すると、背景が真っ暗であるがために明るく補正しようとしてしまい、昼間の画像のようになってしまうことになる。
【０００５】
この場合、人間が関与していれば人物像の部分だけに注目する。そして、人物像が暗ければ少し明るく補正するし、逆に、フラッシュなどの効果で明る過ぎれば暗くする補正を選択する。
【０００６】
本出願人は、このような課題に鑑みて、以前に、画像の中での重要な部分を判断する発明を提案した。同発明においては、画像のシャープな部分に本来の被写体（オブジェクト）が存在しているはずであると考え、各画素での画像の変化度合いに着目して同変化度合いの大きな画素をオブジェクトと判断するとともに、同オブジェクトについて所定の評価基準に基づいて特徴量を得て、当該特徴量を使用して画像処理を行っている。
【０００７】
しかしながら、オブジェクトの特徴量を使用して画像処理を行う方が好ましい場合もあれば、実写画像全体の平均的な特徴量を使用して画像処理を行う方が好ましい場合もある。例えば、ある人物像の実写画像を考えた場合、必ずしも人物が最も明るい（ハイライト）とは限らない。従って、背景にハイライト部分がある場合、人物のみに着目してコントラストを拡大補正すると、これに伴って同背景のハイライト部分が白く抜けてしまうことになりかねない。この場合、むしろ背景も含めた実写画像全体に着目して行う方が良好な結果が得られる。このように画像処理を行うにあたり、特徴量を適切に選択する必要性は依然として残ったままであった。
【０００８】
本発明は、上記課題にかんがみてなされたもので、特徴量を適切に選択して画像処理を行うことが可能な画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体の提供を目的とする。
【０００９】
【課題を解決するための手段およびその作用・効果】
上記目的を達成するため、本発明の画像処理装置は、
複数の画素からなる実写画像の画像データに対して所定の画像処理を行なう画像処理装置であって、
入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を得る評価手段と、
該評価手段にて得られた複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定する決定手段と、
該決定手段により決定された画像処理の程度に基づいて、上記実写画像の画像データに対して一度に上記複数の手法による画像処理を行なう画像処理手段と
を備えたことを要旨とする。
【００１０】
上記のように構成した画像処理装置では、入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を得ている。こうして得られた複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定する。画像処理手段は、こうして決定された画像処理の程度に基づいて、実写画像の画像データに対して上記複数の手法による画像処理を一度に行なう。上記画像処理手段が一度に行なう複数の手法による画像処理に、明度補正とコントラスト補正とが含まれるように構成してもよい。
【００１１】
例えば、明暗補正のようにオブジェクトに相当すると考えられる部位に着目した特徴量を使用して画像データを変換する方が好ましい画像処理もあれば、コントラスト拡大補正のように画像全体に着目した特徴量を使用して画像データを変換する方が好ましい画像処理もある。こうした複数の手法による画像処理の内容に応じて複数の特徴量を使い分けて各手法による画像処理の程度を決定し、決定された画像処理の程度に基づいて、上記複数の手法による画像処理を上記実写画像の画像データに対して一度に行なうのである。
【００１２】
なお、この特徴量は画像データを変換するにあたり、画像の特徴などを判定するのに使用可能なものであればよく、具体的に画像の種類を特定するものを得る必要はない。例えば、画像を明るいと判定するか暗いと判定するかといった場合の輝度のヒストグラムなどといった指標も含むものであり、明るい画像であるとか暗い画像であるといった判定結果が得られる必要はない。むろん、明暗以外にも画像がシャープであるか否かの指標であるとか、鮮やかさを判断する際の指標であってもよい。
【００１３】
また、実写の画像データとはありのままの実物を撮像しようとした画像データを指している。これは画像処理がこのような実物との比較で不具合のある画像を補正処理しようとしているためである。従って、その対象は自然物だけにとどまらず、人工的なものであっても構わないし、より具体的には写真をスキャナによって取り込んだ画像データであるとか、デジタルカメラで撮影したような画像データなどが含まれる。
【００１４】
さらに、上記各手段の動作態様についても各種の態様を適用可能であって特に限定されるものではない。例えば、複数の手法の画像処理が行われることを前提として、異なる評価基準によるそれぞれの特徴量を予め保持しておき、評価手段が、必要に応じて特徴量を選択し、選択された特徴量に基づいて複数の各手法による画像処理の程度を決定し、決定された程度に基づいて画像処理手段が画像データを変換するようにしてもよい。また別の一例として、上記画像処理手段が一の画像処理を行うごとに、複数の特徴量、ひいては画像処理の程度を得るべく、評価手段に複数の評価基準を順次適用して各画素の画像データを集計させるようにしてもよく、いずれの態様も含むものとする。
【００１５】
上記評価手段がいかなる評価基準を適用して特徴量ないし画像処理の程度を得るかについては、対象となる画像処理方法によって異なり、上述したようにオブジェクトに相当すると考えられる部位に着目して画像処理する方がよい場合もあれば、そうではない場合もある。前者の場合の好適な一例として、上記の画像処理装置において、上記評価手段を、複数の評価基準の一つとして実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準を有し、この評価基準を適用して該評価基準に対応した画素をサンプリングし、サンプリングされた画素の画像データにおける中心的な値を特徴量として得る手段とし、上記決定手段を、該得られた特徴量に基づいて画像処理の程度を決定する手段とする構成を考えることができる。
【００１６】
上記のように構成した画像処理装置においては、実写画像内のオブジェクトに相当する部位に対応する画素をサンプリングし、サンプリングされた画素の画像データにおける中心的な値を特徴量として得る。こうして該得られた特徴量に基づいて画像処理の程度が決定される。この画像処理の程度を用いれば、オブジェクトに相当する部位に着目した好適な画像処理を行なうことができる。
【００１７】
ここにおいて、画像データの中心的な値とは次のようなことを意味する。例えば、ある実写画像が明るいか暗いかを判定する場合には、画像の中間濃度に基づいて判断するのが適切であることは容易にわかる。この中間濃度は、輝度分布を考えた場合にメジアン、すなわち輝度分布における中心ともいうことができ、この意味において画像データの中心的な値という。そして、実写画像内にオブジェクトが存在すれば、当該オブジェクトの明るさにあわせて明暗補正する必要性が高いといえる。
【００１８】
上記実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準の一例として、上記着目した画素における隣接画素との画像データの変化度合いが大きいか否かという評価基準を考えることができる。この評価基準を評価手段が適用した場合には、隣接画素との変化度合いの大きな画素をオブジェクトに相当する部位とみなすことが可能となる。
【００１９】
ドットマトリクス状の画素のように一定間隔で並んでいる場合、隣接する画素間の画像データの差分は一次微分値と比例するため、このような差分をもってして画像の変化度合いとして判断できる。この場合、差分をベクトルの大きさと考えるとともに、隣接方向を考慮してベクトルを合成するようにしてもよい。
【００２０】
また、上記実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準の別の一例として、上記着目した画素における色が所定範囲内にあるか否かという評価基準を考えることができる。この評価基準を評価手段が適用した場合には、色が所定範囲内にある画素をオブジェクトに相当する部位とみなすことが可能となる。
【００２１】
なお、色の刺激値の絶対的な割合は色度によって表わすことができる。この色度は明るさには左右されない。従って、画像の中のオブジェクトに相当する部位を色度の取りうる範囲によって特定することも可能である。例えば、肌色の取りうる範囲であるとか、木々の緑色の取りうる範囲といったものである。色度にはこのようなことが言えるので、上記色度が所定範囲内にある画素をオブジェクトに相当する部位とみなしても良い。
【００２２】
オブジェクトに着目しないで画像処理する場合の好適な一例として、上記評価手段が、上記複数の評価基準の一つとして、上記画像データの各画素を均等にサンプリングして集計して特徴量を得る評価基準を有するとともに、上記決定手段が、一の手法による画像処理において上記画像データの平均的な特徴量を使用して該画像処理の程度を決定する際に、上記均等にサンプリングして得られた特徴量を使用する構成を考えることができる。
【００２３】
上記の構成においては、上記決定手段が画像データの平均的な特徴量を使用して該画像処理の程度を決定する場合に、上記評価手段は同画像データの各画素を均等にサンプリングして特徴量を得る。むろん、実写画像を構成する全画素を対象として集計するようにしてもよいが、処理量が多くなることから得策ではないと言える。
【００２４】
このようにオブジェクトに着目しないで画像処理する場合の別の一例として、上記評価手段が、上記複数の評価基準の一つとして、上記画像データの各画素を均等にサンプリングして集計して特徴量を得る評価基準を有するとともに、上記決定手段が、一の画像処理の手法において実写画像の特徴量分布の端部を使用して該画像処理の程度を決定する際に、上記均等にサンプリングして得られた特徴量を使用する構成を考えることができる。
【００２５】
上記の構成においては、上記決定手段は、上記評価手段にて得られた特徴量分布の端部を使用することを前提としている。例えば、コントラストを拡大する場合などにおいては、輝度分布を求めて当該輝度分布の端部を広げるように画像処理を施すが、かかる場合においてオブジェクトについての輝度分布を使用すると、それ以外のハイライト部分が白く抜けてしまうことがある。そこで、このような場合、上記決定手段は、同画像データの各画素を均等にサンプリングして得られた特徴量を使用する。
【００２６】
複数の異なる画素のサンプリング手法により得られた特徴量に基づいて複数の画像処理を行う手法は、必ずしも実体のある装置に限られる必要もなく、その一例として、本発明の画像処理方法は、
複数の画素からなる実写画像の画像データに対して所定の画像処理を行なう方法であって、
入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を抽出し、
該抽出された複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定し、
該決定された画像処理の程度に基づいて、上記実写画像の画像データに対して一度に上記複数の手法による画像処理を行なう
ことを要旨としている。
【００２７】
すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
【００２８】
ところで、上述したように複数の異なる評価基準により得られた特徴量に基づいて複数の画像処理を行う画像処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもなるなど、発明の思想としては各種の態様を含むものである。また、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。
【００２９】
発明の思想の具現化例として画像処理装置を制御するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
【００３０】
その一例として、本発明の記録媒体は、
複数の画素からなる実写画像の画像データに対して所定の画像処理を行なうプログラムを、コンピュータにより読み取り可能に記録した記録媒体であって、
入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を抽出する機能と、
該抽出された複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定する機能と、
該決定された画像処理の程度に基づいて、上記実写画像の画像データに対して一度に上記複数の手法による画像処理を行なう機能と
を上記コンピュータに実現させるプログラムを記録した
ことを要旨としている。
【００３１】
むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりはないし、半導体チップに書き込まれたようなものであっても同様である。
【００３２】
さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
【００３３】
以上説明したように、本発明の画像処理装置によれば、入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、この判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量が抽出される。こうした複数の各特徴量に応じて複数の各手法による画像処理の程度が決定され、こうして決定された画像処理の程度に基づき、上記複数の手法による画像処理が上記実写画像の画像データに対して一度に行なわれる。従って、複数の手法による画像処理を効率よく行なうことができる。なお、複数の画素のサンプリング手法に従って特徴量を得て複数の手法で画像処理を行なうにあたり、各手法に応じて使用する特徴量を使い分けるようにすれば、最適な評価基準に基づいて画像処理を行なうことが可能な画像処理装置を提供することができる。
【００３４】
また、実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準に対応した画素をサンプリングし、サンプリングされた画素の画像データにおける中心的な値を前記特徴量として得て、該得られた特徴量に基づいてパラメータを求める構成を採れば、明暗補正など画像データの中心的な値に基づいて画像処理を行なう場合に好適である。
【００３５】
さらに、上記予め定められた評価基準として、着目した画素における隣接画素との画像データの変化度合いが大きいか否かという評価基準を備える構成を採れば、隣接する画素間での画像データの差分を求めるだけであるので、演算が容易であり、オブジェクト判断のための処理量を低減できる。
【００３６】
さらに、上記予め定められた評価基準として、着目した画素における色が所定範囲内にあるか否かという評価基準を採ることも好適である。この場合に、画素における色度が所定範囲内にあるか否かという評価基準を備える構成とすれば、色度でオブジェクトを判断するものの、オブジェクトの明暗に依存することなく当該オブジェクトを抽出することができる。
【００３７】
さらに、一の手法による画像処理において上記画像データの平均的な特徴量を使用して該画像処理の程度を決定する際に、画像データの各画素を均等にサンプリングして得られた特徴量を使用する構成を採れば、彩度補正など実写画像の平均的な特徴量に基づいて画像処理を行なう場合に好適である。
【００３８】
さらに、一の手法による画像処理において実写画像の特徴量分布の端部を使用して該画像処理の程度を決定する際に、画像データの各画素を均等にサンプリングして得られた特徴量を使用する構成を採れば、コントラスト拡大補正など実写画像における特徴量分布の端部を使用して画像処理する場合に好適である。
【００３９】
さらに、本発明の画像処理方法によれば、上記画像処理装置の場合と同様に、複数の手法による画像処理を効率よく行なうことができ、本発明の記録媒体によれば、画像処理制御プログラムを記録した媒体を提供することができる。
【００４０】
【発明の実施の形態】
以下、図面にもとづいて本発明の実施形態を説明する。
【００４１】
図１は、本発明の一実施形態にかかる画像処理装置を適用した画像処理システムをブロック図により示しており、図２は具体的ハードウェア構成例を概略ブロック図により示している。
【００４２】
図１において、画像入力装置１０は写真などをドットマトリクス状の画素として表した実写の画像データを画像処理装置２０へ出力し、同画像処理装置２０は複数の画像処理を行うにあたり、各画像処理に最適な評価基準に基づいて複数の特徴量を得て、特徴量を使い分けつつ各画像処理を実行する。同画像処理装置２０は画像処理した画像データを画像出力装置３０へ出力し、画像出力装置は画像処理された画像をドットマトリクス状の画素で出力する。
【００４３】
画像処理装置２０は、予め複数の評価基準に従って画像データを集計して複数の特徴量を得ており、この意味において評価手段に相当する手段を備えているし、この複数の特徴量を画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定する点で、決定手段に相当する手段を備えている。また、画像処理内容に応じて決定された画像処理の程度に基づいて、複数の手法による画像処理を画像データに対して一度に行なうことから画像処理手段に相当する手段をも備えていると言える。
【００４４】
画像入力装置１０の具体例は図２におけるスキャナ１１やデジタルスチルカメラ１２あるいはビデオカメラ１４などが該当し、画像処理装置２０の具体例はコンピュータ２１とハードディスク２２とキーボード２３とＣＤ−ＲＯＭドライブ２４とフレキシブルディスクドライブ２５とモデム２６などからなるコンピュータシステムが該当し、画像出力装置３０の具体例はプリンタ３１やディスプレイ３２等が該当する。本実施形態の場合、画像の不具合等を修正すべく当該画像の特徴量を得て画像処理するため、画像データとしては写真などの実写データが好適である。なお、モデム２６については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。
【００４５】
本実施形態においては、画像入力装置１０としてのスキャナ１１やデジタルスチルカメラ１２が画像データとしてＲＧＢ（緑、青、赤）の階調データを出力するとともに、画像出力装置３０としてのプリンタ３１は階調データとしてＣＭＹ（シアン、マゼンダ、イエロー）あるいはこれに黒を加えたＣＭＹＫの二値データを入力として必要とするし、ディスプレイ３２はＲＧＢの階調データを入力として必要とする。
【００４６】
一方、コンピュータ２１内ではオペレーティングシステム２１ａが稼働しており、プリンタ３１やディスプレイ３２に対応したプリンタドライバ２１ｂやディスプレイドライバ２１ｃが組み込まれている。また、画像処理アプリケーション２１ｄはオペレーティングシステム２１ａにて処理の実行を制御され、必要に応じてプリンタドライバ２１ｂやディスプレイドライバ２１ｃと連携して所定の画像処理を実行する。従って、画像処理装置２０としてのこのコンピュータ２１の具体的役割は、ＲＧＢの階調データを入力して最適な画像処理を施したＲＧＢの階調データを作成し、ディスプレイドライバ２１ｃを介してディスプレイ３２に表示させるとともに、プリンタドライバ２１ｂを介してＣＭＹ（あるいはＣＭＹＫ）の二値データに変換してプリンタ３１に印刷させることになる。
【００４７】
このように、本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで画像処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、画像データに対して各種の画像処理を行うシステムに適用可能である。例えば、図３に示すようにデジタルスチルカメラ１２ａ内に画像処理する画像処理装置を組み込み、変換した画像データを用いてディスプレイ３２ａに表示させたりプリンタ３１ａに印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ３１ｂにおいては、スキャナ１１ｂやデジタルスチルカメラ１２ｂあるいはモデム２６ｂ等を介して入力される画像データに対して画像処理するように構成することも可能である。
【００４８】
上述した画像の特徴量の取得とそれに伴う画像処理は、具体的には上記コンピュータ２１内にて図５などに示すフローチャートに対応した画像処理プログラムで行っている。同図に示すフローチャートは画像処理プログラムにおける前段部分に該当し、画像データを複数の評価基準で集計する処理を実行する。
【００４９】
ここで本実施形態において採用する二つの評価基準について説明する。共通するのはいずれも全画素を対象とするのではなく、所定の基準に従って画素をサンプリングするとともに、サンプリングした画素について輝度を集計する点である。また、相違するのは、一方が均等に画素をサンプリングするのに対し、他方がエッジ画素を選択してサンプリングする点である。輝度の集計結果については後述するが、このようにしていわゆるサンプリング手法を変えることにより、異なった評価基準に従って複数の特徴量を得ることができる。均等に画素をサンプリングするというのは画像全体の画素について輝度を集計することに他ならず、画像全体としての画像データの輝度の分布を求めることになるから、風景写真が全体的に暗いとかコントラストが狭いといった評価の参考となる特徴量が得られることになる。
【００５０】
一方、エッジ画素は画像のシャープな部分であるから、画像の中でも本来の被写体に関わる画素について輝度を集計することになり、たとえ背景が暗くても被写体が十分な明るさを持っていれば画像の明るさは十分であるといった評価の参考となる特徴量が得られることになる。本実施形態においては、これらの特徴量を画像処理手法に応じて自動的に選択するようにしている。
【００５１】
図５に示すフローチャートを参照すると、この集計処理では、図６に示すようにドットマトリクス状の画素からなる画像データについて対象画素を水平方向に主走査しつつ垂直方向に副走査して移動させ、各画素についてサンプリング対象であるか否かを判断して集計している。
【００５２】
画像データがドットマトリクス状の画素から構成されている場合には、各画素ごとに上述したＲＧＢの輝度を表す階調データで表されており、画像のエッジ部分では隣接する画素間での同データの差分は大きくなる。この差分は輝度勾配であり、これをエッジ度と呼ぶことにし、ステップＳ１１０では各画素でのエッジ度を判定する。
【００５３】
図７に示すようなＸＹ直交座標を考察する場合、画像の変化度合いのベクトルはＸ軸方向成分とＹ軸方向成分とをそれぞれ求めれば演算可能となる。ドットマトリクス状の画素からなるディジタル画像においては、図８に示すように縦軸方向と横軸方向に画素が隣接しており、その明るさをｆ（ｘ，ｙ）で表すものとする。この場合、ｆ（ｘ，ｙ）はＲＧＢの各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）であったり、あるいは全体の輝度Ｙ（ｘ，ｙ）であってもよい、なお、ＲＧＢの各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と全体の輝度Ｙ（ｘ，ｙ）との関係は、厳密には色変換テーブルなどを参照しなければ変換不能であるが、後述するようにして簡易な対応関係を利用するようにしても良い。
【００５４】
図８に示すものにおいて、Ｘ方向の差分値ｆｘとＹ方向の差分値ｆｙは、
【００５５】
【数１】

【００５６】
のように表される。従って、これらを成分とするベクトルの大きさ｜ｇ（ｘ，ｙ）｜は、
【００５７】
【数２】

【００５８】
のように表される。むろん、エッジ度はこの｜ｇ（ｘ，ｙ）｜で表される。なお、本来、画素は図９に示すように縦横に升目状に配置されており、中央の画素に注目すると八つの隣接画素がある。従って、同様にそれぞれの隣接する画素との画像データの差分をベクトルで表し、このベクトルの和を画像の変化度合いと判断しても良い。
【００５９】
以上のようにして各画素についてエッジ度が求められるので、あるしきい値と比較してエッジ度の方が大きい画素はエッジ画素と判断すればよい。なお、経験的事実から考察すると、フォーカスが集中する被写体は構図の中央部分に位置することが多い。従って、中央部分から多くの画素が抽出されるような仕組みとすることにより、画像処理の判断に利用したときにより好ましい効果を得られる。
【００６０】
このため、図１０に示すように、画像の中の部分毎に比較するしきい値Ｔｈ１，Ｔｈ２，Ｔｈ３を異ならせておくようにしてもよい。むろん、この例では、
【００６１】
【数３】

【００６２】
なる関係があり、中央に近い部分ほどしきい値は低く、エッジ度が比較的低くてもフォーカスが集中していると判断されるようになる。
【００６３】
ステップＳ１２０ではエッジ度と同しきい値とを比較して変化度合いが大きいか否かを判断する。比較の結果、エッジ度の方が大きければこの画素はエッジ画素であると判断し、ステップＳ１３０にてその画素の画像データをサンプリングしてワークエリアに保存する。ワークエリアはコンピュータ２１内のＲＡＭであってもよいしハードディスク２２であってもよい。
【００６４】
本実施形態においては、エッジ度に基づいてオブジェクトを抽出する構成としているが、むろん、オブジェクトの抽出方法はこれに限られない。例えば、各画素の色度を求め、当該色度が所定範囲内にある画素をオブジェクトとして抽出することも可能である。
【００６５】
すなわち、ステップＳ１１０およびステップＳ１２０の処理を、それぞれステップＳ１１５およびステップＳ１２５の処理に置換し、まず、ステップＳ１１５にて各画素についての色度を計算する。いま、対象画素のＲＧＢ表色系におけるＲＧＢ階調データが（Ｒ，Ｇ，Ｂ）であるとするときに、
【００６６】
【数４】

【００６７】
とおくとすると、ＸＹＺ表色系における色度座標ｘ，ｙとの間には、
【００６８】
【数５】

【００６９】
なる対応関係が成立する。ここにおいて、色度は明るさに左右されることなく色の刺激値の絶対的な割合を表すものであるから、色度からその画素がどのような対象物かを判断することができるといえる。例えば、肌色を例に取ると、
【００７０】
【数６】

【００７１】
というような範囲に含まれているから、各画素の色度を求めたときにこの範囲内であればその画素は人間の肌を示す画素と考えてもあながち誤っていないと言える。
【００７２】
従って、ステップＳ１２５では、各画素のＲＧＢ階調データに基づいて変換されたｘ−ｙ色度が肌色の範囲であるか否かを判断し、肌色であるならばステップＳ１３０にてその画素の画像データをサンプリングして同様にワークエリアに保存する。
【００７３】
一方、上記のようなエッジ度の判定と並行してステップＳ１４０では当該対象画素が均等サンプリングの対象画素であるか否かを判断する。均等にサンプリングするといっても、ある誤差の範囲内となる程度にサンプリングする必要がある。統計的誤差によれば、サンプル数Ｎに対する誤差は概ね１／（Ｎ**（１／２））と表せる。ただし、**は累乗を表している。従って、１％程度の誤差で処理を行うためにはＮ＝１００００となる。
【００７４】
ここにおいて、図６に示すビットマップ画面は（ｗｉｄｔｈ）×（ｈｅｉｇｈｔ）の画素数となり、サンプリング周期ｒａｔｉｏは、
【００７５】
【数７】

【００７６】
とする。ここにおいて、ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）はｗｉｄｔｈとｈｅｉｇｈｔのいずれか小さい方であり、Ａは定数とする。また、ここでいうサンプリング周期ｒａｔｉｏは何画素ごとにサンプリングするかを表しており、図１１の○印の画素はサンプリング周期ｒａｔｉｏ＝２の場合を示している。すなわち、縦方向及び横方向に二画素ごとに一画素のサンプリングであり、一画素おきにサンプリングしている。Ａ＝２００としたときの１ライン中のサンプリング画素数は図１２に示すようになる。
【００７７】
同図から明らかなように、サンプリングしないことになるサンプリング周期ｒａｔｉｏ＝１の場合を除いて、２００画素以上の幅があるときには最低でもサンプル数は１００画素以上となることが分かる。従って、縦方向と横方向について２００画素以上の場合には（１００画素）×（１００画素）＝（１００００画素）が確保され、誤差を１％以下にできる。
【００７８】
ここにおいてｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）を基準としているのは次のような理由による。例えば、図１３（ａ）に示すビットマップ画像のように、ｗｉｄｔｈ＞＞ｈｅｉｇｈｔであるとすると、長い方のｗｉｄｔｈでサンプリング周期ｒａｔｉｏを決めてしまった場合には、同図（ｂ）に示すように、縦方向には上端と下端の２ラインしか画素を抽出されないといったことが起こりかねない。しかしながら、ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）として、小さい方に基づいてサンプリング周期ｒａｔｉｏを決めるようにすれば同図（ｃ）に示すように少ない方の縦方向においても中間部を含むような間引きを行うことができるようになる。すなわち、所定の抽出数を確保したサンプリングが可能となる。
【００７９】
ステップＳ１４０では、このような均等なサンプリング手法を採用しつつ、当該対象画素がそのサンプリング対象となっているか否かを判断し、対象であればステップＳ１５０にて画像データをサンプリングする。
【００８０】
ステップＳ１３０，Ｓ１５０で画像データをサンプリングするというのは、同画像データに基づいて輝度を集計することを意味する。上述したように、本実施形態においてはコンピュータ２１が扱うのはＲＧＢの階調データであり、直接には輝度の値を持っていない。輝度を求めるためにＬｕｖ表色空間に色変換することも可能であるが、演算量などの問題から得策ではない。このため、テレビジョンなどの場合に利用されているＲＧＢから輝度を直に求める次式の変換式を利用する。
【００８１】
【数８】

【００８２】
輝度はヒストグラムとして集計する。むろん、ステップＳ１３０の集計エリアとステップＳ１５０の集計エリアは別個である。
【００８３】
以上のような処理を画像データの各画素について行うため、ステップＳ１６０にて処理の対象画素を移動させ、ステップＳ１７０にて全画素について終了したと判断されるまで処理を繰り返す。
【００８４】
この後、画像処理方法に応じて均等サンプリングによる集計結果Ｄｉｓｔ＿ａｖｅと、エッジ画素サンプリングによる集計結果Ｄｉｓｔ＿ｅｄｇとを使い分けて特徴量を取得し、当該特徴量に基づいて最適な画像処理を実行する。図１４は、その一例としてコントラストの拡大と明度の補正の画像処理を実行するためのフローチャートを示している。
【００８５】
本実施形態でのコントラストを拡大するための基本的な手法は、画像データに基づいて輝度分布を求め、この輝度分布が本来の階調幅（２５５階調）の一部分しか利用していないのであれば分布を拡大するというものである。
【００８６】
上述したように、ある人物像の実写画像を考えた場合、必ずしも人物がハイライト部分であるとは限らないため、同人物の輝度分布を拡大してしまうと他のハイライト部分が白くぬけてしまうことになりかねない。従って、ステップＳ３１０では均等サンプリングによる集計結果Ｄｉｓｔ＿ａｖｅとしての輝度分布のヒストグラムを作成し、ステップＳ３２０では拡大する幅を決定する。拡大幅を決定するにあたり、輝度分布の両端を求めることを考える。写真画像の輝度分布は図１５に示すように概ね山形に表れる。むろん、その位置、形状についてはさまざまである。輝度分布の幅はこの両端をどこに決めるかによって決定されるが、単に裾野が延びて分布数が「０」となる点を両端とすることはできない。裾野部分では分布数が「０」付近で変移する場合があるし、統計的に見れば限りなく「０」に近づきながら推移していくからである。
【００８７】
このため、分布範囲において最も輝度の大きい側と小さい側からある分布割合だけ内側に経た部分を分布の両端とする。本実施形態においては、同図に示すように、この分布割合を０．５％に設定している。むろん、この割合については、適宜、変更することが可能である。このように、ある分布割合だけ上端と下端をカットすることにより、ノイズなどに起因して生じている白点や黒点を無視することもできる。すなわち、このような処理をしなければ一点でも白点や黒点があればそれが輝度分布の両端となってしまうので、２５５階調の輝度値であれば、多くの場合において最下端は階調「０」であるし、最上端は階調「２５５」となってしまうが、上端部分から０．５％の画素数だけ内側に入った部分を端部とすることにより、このようなことが無くなる。
【００８８】
実際の処理ではサンプリングした画素数に対する０．５％を演算し、再現可能な輝度分布における上端の輝度値及び下端の輝度値から順番に内側に向かいながらそれぞれの分布数を累積し、０．５％の値となった輝度値をこの場合の特徴量として求める。以後、この上端側をｙｍａｘと呼び、下端側をｙｍｉｎと呼ぶ。
【００８９】
再現可能な輝度の範囲を「０」〜「２５５」としたときに、変換前の輝度ｙと輝度の分布範囲の最大値ｙmaxと最小値ｙminから変換先の輝度Ｙを次式に基づいて求める。
【００９０】
【数９】

【００９１】
ただし
【００９２】
【数１０】

【００９３】
また、上記変換式にてＹ＜０ならばＹ＝０とし、Ｙ＞２５５ならばＹ＝２５５とする。ここにおける、ａは傾きであり、ｂはオフセットといえる。この変換式によれば、図１６に示すように、あるせまい幅を持った輝度分布を再現可能な範囲まで広げることができる。ただし、再現可能な範囲を最大限に利用して輝度分布の拡大を図った場合、ハイライト部分が白く抜けてしまったり、ハイシャドウ部分が黒くつぶれてしまうことが起こる。これを防止するため本実施形態においては、再現可能な範囲を制限している。すなわち、再現可能な範囲の上端と下端に拡大しない範囲として輝度値で「５」だけ残している。この結果、変換式のパラメータは次式のようになる。
【００９４】
【数１１】

【００９５】
そして、この場合にはｙ＜ｙminと、ｙ＞ｙmaxの範囲においては変換を行わないようにする。
【００９６】
ただし、このままの拡大率（ａに対応）を適用してしまうと、非常に大きな拡大率が得られる場合も生じてしまう。例えば、夕方のような薄暮の状態では最も明るい部分から暗い部分までのコントラストの幅が狭くて当然であるのに、この画像についてコントラストを大きく拡大しようとする結果、昼間の画像のように変換されてしまいかねない。このような変換は希望されないので、拡大率には制限を設けておき、ａが１．５（〜２）以上とはならないように制限する。これにより、薄暮は薄暮なりに表現されるようになる。なお、この場合は輝度分布の中心位置がなるべく変化しないような処理を行っておく。
【００９７】
ところで、輝度の変換時に、毎回、上記変換式（Ｙ＝ａｙ＋ｂ）を実行するのは非合理的である。というのは、輝度ｙの取りうる範囲が「０」〜「２５５」でしかあり得ないため、予め輝度ｙが取りうる全ての値に対応して変換後の輝度Ｙを求めておくことも可能である。従って、図１７に示すようなテーブルとして記憶しておく。
【００９８】
このような変換テーブルを形成することがステップＳ３２０の拡大幅決定処理に該当し、画像データを変更することが可能になる。しかし、このような輝度の範囲の拡大によってコントラストを強調するだけでなく、合わせて明るさを調整することも極めて有効であるため、ステップＳ３３０にて画像の明るさを判断し、補正のためのパラメータを生成する。
【００９９】
例えば、図１８にて実線で示すように輝度分布の山が全体的に暗い側に寄っている場合には破線で示すように全体的に明るい側に山を移動させると良いし、逆に、図１９にて実線で示すように輝度分布の山が全体的に明るい側に寄っている場合には破線で示すように全体的に暗い側に山を移動させると良い。
【０１００】
ところで、オブジェクトが明るいか暗いかを判定するための特徴量は、エッジ画素サンプリングの集計結果Ｄｉｓｔ＿ｅｄｇから求める方が好ましいことは容易にわかる。そこで、エッジ画素サンプリングの集計結果Ｄｉｓｔ＿ｅｄｇとしての輝度分布のヒストグラムをステップＳ３１０にて作成しておく。
【０１０１】
各種の実験を行った結果、本実施形態においては、Ｄｉｓｔ＿ｅｄｇとしての輝度分布におけるメジアンｙｍｅｄを特徴量として求め、同メジアンｙｍｅｄが「８５」未満である場合に暗い画像と判断して以下のγ値に対応するγ補正で明るくする。
【０１０２】
【数１２】

【０１０３】
あるいは、
【０１０４】
【数１３】

【０１０５】
とする。
【０１０６】
この場合、γ＜０．７となっても、γ＝０．７とする。このような限界を設けておかないと夜の画像が昼間のようになってしまうからである。なお、明るくしすぎると全体的に白っぽい画像になってコントラストが弱い画像になりやすいため、彩度を合わせて強調するなどの処理が好適である。
【０１０７】
一方、メジアンｙｍｅｄが「１２８」より大きい場合に明るい画像と判断して以下のγ値に対応するγ補正で暗くする。
【０１０８】
【数１４】

【０１０９】
あるいは、
【０１１０】
【数１５】

【０１１１】
とする。この場合、γ＞１．３となっても、γ＝１．３として暗くなり過ぎないように限界を設けておく。
【０１１２】
なお、このγ補正は変換前の輝度分布に対して行っても良いし、変換後の輝度分布に対して行っても良い。γ補正をした場合における対応関係を図２０に示しており、γ＜１であれば上方に膨らむカーブとなり、γ＞１であれば下方に膨らむカーブとなる。むろん、かかるγ補正の結果も図１７に示すテーブル内に反映させておけばよく、テーブルデータに対して同補正を行っておく。
【０１１３】
最後に、ステップＳ３４０にてコントラスト補正と明度補正が必要であるか否かを判断する。この判断は上述した拡大率（ａ）とγ値について適当なしきい値と比較し、拡大率の方が大きかったりγ値が所定範囲を超えていたら必要性有りと判断する。そして、必要性有りと判断されれば画像データの変換を行う。
【０１１４】
画像処理が必要であると判断された場合、（１３）式に基づく変換を行うが、同式の変換式は、ＲＧＢの成分値との対応関係においても当てはめることができ、変換前の成分値（Ｒ0，Ｇ0，Ｂ0）に対して変換後の成分値（Ｒ，Ｇ，Ｂ）は、
【０１１５】
【数１６】

【０１１６】
として求めることもできる。ここで、輝度ｙ，Ｙが階調「０」〜階調「２５５」であるのに対応してＲＧＢの各成分値（Ｒ0，Ｇ0，Ｂ0），（Ｒ,Ｇ,Ｂ）も同じ範囲となっており、上述した輝度ｙ，Ｙの変換テーブルをそのまま利用すればよいといえる。
【０１１７】
従って、ステップＳ３５０では全画素の画像データ（Ｒ0，Ｇ0，Ｂ0）について（２２）〜（２４）式に対応する変換テーブルを参照し、変換後の画像データ（Ｒ,Ｇ,Ｂ）を得るという処理を繰り返すことになる。
【０１１８】
ところで、この場合は輝度の集計結果を使い分けて輝度分布の両端やメジアンからなる特徴量を得て、当該特徴量を使用してコントラスト補正と明度補正を行うようにしているが、画像処理の具体例はこれに限られるものではなく、使用する特徴量も様々である。
【０１１９】
図２１は彩度強調のための画像処理を実行する場合のフローチャートを示している。
【０１２０】
まず、画素データがその成分要素として彩度を持っていればその彩度の値を用いて分布を求めることが可能であるが、ＲＧＢの成分値しか持っていないため、本来的には彩度値が直接の成分値となっている表色空間への変換を行なわなければ彩度値を得ることができない。例えば、標準表色系としてのＬｕｖ空間においては、Ｌ軸が輝度（明度）を表し、Ｕ軸及びＶ軸で色相を表している。ここにおいて、Ｕ軸及びＶ軸においては両軸の交点からの距離が彩度を表すため、実質的に（Ｕ**２＋Ｖ**２）**（１／２）が彩度となる。
【０１２１】
このような異なる表色空間の間での色変換は対応関係を記憶した色変換テーブルを参照しつつ、補間演算を併用しなければならず、演算処理量は膨大となってくる。このような状況に鑑み、本実施形態においては、画像データとして標準的なＲＧＢの階調データを直に利用して彩度の代替値Ｘを次のようにして求めている。
【０１２２】
【数１７】

【０１２３】
本来的には彩度は、Ｒ＝Ｇ＝Ｂの場合に「０」となり、ＲＧＢの単色あるいはいずれか二色の所定割合による混合時において最大値となる。この性質から直に彩度を適切に表すのは可能であるものの、簡易な（２５）式によっても赤の単色および緑と青の混合色である黄であれば最大値の彩度となり、各成分が均一の場合に「０」となる。また、緑や青の単色についても最大値の半分程度には達している。むろん、
【０１２４】
【数１８】

【０１２５】
という式にも代替可能である。
【０１２６】
ステップＳ４１０では、均等サンプリングの手法を採用しつつ彩度の代替値Ｘについてのヒストグラムの分布を求める。すなわち、彩度強調という点においては、必ずしもオブジェクトの彩度が大きいとは限らず、オブジェクトの彩度が小さい場合に当該オブジェクトの彩度を大きくすると、本来の色を再現できなくなってしまうことになりかねない。従って、彩度強調に使用する特徴量は画像において平均的であるといえることから、ステップＳ４１０にて均等サンプリングの手法を採用する。（２５）式においては、彩度が最低値「０」〜最大値「５１１」の範囲で分布し、概略的には図２２に示すような分布となる。次なるステップＳ４２０では、集計された彩度分布に基づいてこの画像についての彩度指数を決定する。
【０１２７】
彩度指数を導出するにあたり、本実施形態においては、サンプリングされた画素数の範囲で、分布数として上位の「１６％」が占める範囲を求める。そして、この範囲内での最低の彩度「Ａ」がこの画像の彩度を表すものとして次式に基づいて彩度強調指数Ｓなる特徴量を決定する。
【０１２８】
すなわち、
【０１２９】
【数１９】

【０１３０】
とする。図２３は、この彩度「Ａ」と彩度強調指数Ｓとの関係を示している。図に示すように、彩度指数Ｓは最大値「５０」〜最小値「０」の範囲で彩度「Ａ」が小さいときに大きく、同彩度「Ａ」が大きいときに小さくなるように徐々に変化していくことになる。
【０１３１】
彩度強調指数Ｓに基づいて彩度を強調するにあたり、上述したように画像データが彩度のパラメータを備えているものであれば同パラメータを変換すればよいものの、ＲＧＢの表色空間を採用している場合には、一旦、標準表色系であるＬｕｖ空間に変換し、Ｌｕｖ空間内で半径方向へ変移させなければならないといえる。しかしながら、ＲＧＢの画像データを、一旦、Ｌｕｖ空間内の画像データに変換し、彩度強調後に再びＲＧＢに戻すといった作業が必要となり、演算量が多くならざるを得ない。従って、ＲＧＢの階調データをそのまま利用して彩度強調することにする。
【０１３２】
ＲＧＢ表色空間のように各成分が概略対等な関係にある色相成分の成分値であるときには、Ｒ＝Ｇ＝Ｂであればグレイであって無彩度となる。従って、ＲＧＢの各成分における最小値となる成分については各画素の色相に影響を与えることなく単に彩度を低下させているにすぎないと考えれば、各成分における最小値をすべての成分値から減算し、その差分値を拡大することによって彩度を強調できるといえる。
【０１３３】
まず、上述した彩度強調指数Ｓから演算に有利な彩度強調パラメータＳratioを、
【０１３４】
【数２０】

【０１３５】
として求める。この場合、彩度強調指数Ｓ＝０のときに彩度強調パラメータＳratio＝１となって彩度強調されない。次に、ＲＧＢ階調データの各成分（Ｒ，Ｇ，Ｂ）における青（Ｂ）の成分値が最小値であったとすると、この彩度強調パラメータＳratioを使用して次のように変換する。
【０１３６】
【数２１】

【０１３７】
この結果、ＲＧＢ表色空間とＬｕｖ空間との間で一往復する二度の色変換が不要となるため、演算時間の低減をはかることができる。この実施形態においては、無彩度の成分について単純に最小値の成分を他の成分値から減算する手法を採用しているが、無彩度の成分を減算するにあたっては別の変換式を採用するものであっても構わない。ただし、（３３）〜（３５）式のように最小値を減算するだけの場合には乗除算が伴わないので演算量が容易となるという効果がある。
【０１３８】
（２９）〜（３１）式を採用する場合でも、良好な変換が可能であるものの、この場合には彩度を強調すると輝度も向上して全体的に明るくなるという傾向がある。従って、各成分値から輝度の相当値を減算した差分値を対象として変換を行うことにする。
【０１３９】
まず、輝度を求めるために、上述したＬｕｖ空間に色変換したのでは演算量が多大となってしまうため、テレビジョンなどの場合に利用されているＲＧＢから輝度を直に求める（１２）式を利用する。
【０１４０】
一方、彩度強調は、
【０１４１】
【数２２】

【０１４２】
とする。この加減値ΔＲ，ΔＧ，ΔＢは輝度Ｙとの差分値に基づいて次式のように求める。すなわち、
【０１４３】
【数２３】

【０１４４】
となり、この結果、
【０１４５】
【数２４】

【０１４６】
として変換可能となる。なお、輝度の保存は次式から明らかである。
【０１４７】
【数２５】

【０１４８】
また、入力がグレー（Ｒ＝Ｇ＝Ｂ）のときには、輝度Ｙ＝Ｒ＝Ｇ＝Ｂとなるので、加減値ΔＲ＝ΔＧ＝ΔＢ＝０となり、無彩色に色が付くこともない。（４２）式〜（４４）式を利用すれば輝度が保存され、彩度を強調しても全体的に明るくなることはない。
【０１４９】
以上のようにして彩度強調指数Ｓratioを求めたら、ステップＳ４３０にて所定のしきい値と比較し、彩度強調が必要な画像であるかを判断する。そして、必要であればステップＳ４４０にて（４２）式〜（４４）式に基づいて全画素について画像データを変換する。
【０１５０】
従って、均等サンプリングの手法を選択して画像データを集計しつつ（ステップＳ４１０）、彩度強調指数Ｓなる特徴量を取得する（ステップ４２０）までのプログラム前段部分と当該プログラム前段部分を実行するハードウェア構成とが評価手段ないし決定手段を構成し、画像データの変換を行う（ステップＳ４４０）プログラム後段部分と当該プログラム後段部分を実行するハードウェア構成とが画像処理手段を構成することになる。
【０１５１】
また、上述したコントラスト補正、明度補正、彩度強調のそれぞれについて、画像処理を行うかを判断している。しかし、必ずしも画像処理を行うか否かの二者択一の判断を行う必要はない。すなわち、それぞれにおいて強調程度を設定しており、このようにして設定した強調程度で画像処理を行うようにしても良い。
【０１５２】
次に、上記構成からなる本実施形態の動作を説明する。
【０１５３】
写真画像をスキャナ１１で読み込み、プリンタ３１にて印刷する場合を想定する。すると、まず、コンピュータ２１にてオペレーティングシステム２１ａが稼働しているもとで、画像処理アプリケーション２１ｄを起動させ、スキャナ１１に対して写真の読み取りを開始させる。読み取られた画像データが同オペレーティングシステム２１ａを介して画像処理アプリケーション２１ｄに取り込まれたら、処理対象画素を初期位置に設定する。続いて、ステップＳ１１０にて（１）式〜（３）式に基づいてエッジ度を判定し、ステップＳ１２０ではしきい値と同エッジ度とを比較する。そして、エッジ度の方が大きい場合には処理対象画素がエッジ画素であると判断し、ステップＳ１３０にて当該画素の画像データをワークエリアに保存する。また、ステップＳ１４０では当該処理対象画素が均等サンプリングの対象であるか否かを判断し、対象である場合はステップＳ１５０で当該画素の画像データを別のワークエリアに保存する。以上の処理をステップＳ１６０にて処理対象画素を移動させながらステップＳ１７０にて全画素について実行したと判断されるまで繰り返す。
【０１５４】
本実施形態においては、ワークエリアに画像データそのものを保存するようにしたが、メモリ容量や処理時間の面から考えると必ずしも画像データそのものをワークエリアに保存しておく必要はない。すなわち、最終的にはサンプリング対象の画素について輝度分布や彩度代替値分布のヒストグラムを作成することになるので、予めステップＳ１２０，Ｓ１５０にてヒストグラムの情報を蓄積していくようにすればよい。
【０１５５】
全画素について集計処理を終えたら、コントラスト補正と明度補正を実行すべく、ステップＳ３１０にて均等サンプリングによる集計結果Ｄｉｓｔ＿ａｖｅと、エッジ画素サンプリングによる集計結果Ｄｉｓｔ＿ｅｄｇとしての輝度分布のヒストグラムを求め、ステップＳ３２０にて前者のヒストグラムに基づき（１６）（１７）式を用いてコントラスト拡大処理のためのパラメータを決定する。そして、ステップＳ３３０においては、後者のヒストグラムに基づき（１８）〜（２１）式を用いて明度補正のためのパラメータを決定する。この後、ステップＳ３４０ではこれらのパラメータを所定のしきい値と比較し、画像処理すべきと判断すればステップＳ３５０にて上記パラメータに基づいて輝度変換する。この場合、演算量を減らすために最初に図１７に示す輝度の変換テーブルを作成しておき、（２２）〜（２４）式に基づいて画像データを変換する。
【０１５６】
この後、画像処理された画像データをディスプレイドライバ２１ｃを介してディスプレイ３２に表示し、良好であればプリンタドライバ２１ｂを介してプリンタ３１にて印刷させる。すなわち、同プリンタドライバ２１ｂは補正されたＲＧＢの階調データを入力し、所定の解像度変換を経てプリンタ３１の印字ヘッド領域に対応したラスタライズを行なうとともに、ラスタライズデータをＲＧＢからＣＭＹＫへ色変換し、その後でＣＭＹＫの階調データから二値データへ変換してプリンタ３１へ出力する。
【０１５７】
以上の処理により、スキャナ１１を介して読み込まれた写真の画像データは自動的に最適なコントラスト補正と明度補正を施されてディスプレイ３２に表示された後、プリンタ３１にて印刷される。すなわち、複数の評価基準を採用して複数の特徴量を取得し、コントラスト補正や明度補正という画像処理方法に応じて特徴量を使い分けて最適な画像処理を実現することができる。
【０１５８】
一方、このようなコントラスト補正や明度補正に限らず、彩度強調の場合にも、当該彩度強調処理に応じて適当な評価基準で彩度をサンプリングして特徴量を取得するとともに、当該特徴量に基づいて画像処理するようにしたため、最適な画像処理を実現することができる。
【０１５９】
このように、画像処理の中枢をなすコンピュータ２１はステップＳ３１０にて異なる評価基準でサンプリングされた集計結果に基づく輝度分布ヒストグラムを求めるとともに、ステップＳ３２０およびステップＳ３３０にてそれぞれ別個の輝度分布ヒストグラムから別個の特徴量を得て、ステップＳ３５０にて各々の特徴量に基づいて画像データを変換するようにしたため、最適な画像処理を実現することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる画像処理装置を適用した画像処理システムのブロック図である。
【図２】同画像処理装置の具体的ハードウェアのブロック図である。
【図３】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図４】本発明の画像処理装置の他の適用例を示す概略ブロック図である。
【図５】本発明の画像処理装置におけるサンプリング処理部分を示すフローチャートである。
【図６】画像データの大きさと処理対象画素を移動させていく状態を示す図である。
【図７】画像の変化度合いを直交座標の各成分値で表す場合の説明図である。
【図８】画像の変化度合いを縦軸方向と横軸方向の隣接画素における差分値で求める場合の説明図である。
【図９】隣接する全画素間で画像の変化度合いを求める場合の説明図である。
【図１０】しきい値を変化させる領域を示す図である。
【図１１】サンプリング周期を示す図である。
【図１２】サンプリング画素数を示す図である。
【図１３】変換元の画像とサンプリングされる画素の関係を示す図である。
【図１４】特徴量の取得処理部分と画像処理部分を示すフローチャートである。
【図１５】輝度分布の端部処理と端部処理にて得られる端部を示す図である。
【図１６】輝度分布の拡大と再現可能な輝度の範囲を示す図である。
【図１７】輝度分布を拡大する際の変換テーブルを示す図である。
【図１８】γ補正で明るくする概念を示す図である。
【図１９】γ補正で暗くする概念を示す図である。
【図２０】γ補正で変更される輝度の対応関係を示す図である。
【図２１】彩度強調する場合のフローチャートである。
【図２２】彩度分布の集計状態の概略図である。
【図２３】彩度Ａと彩度強調指数Ｓとの関係を示す図である。
【符号の説明】
１０…画像入力装置
２０…画像処理装置
２１…コンピュータ
２１ａ…オペレーティングシステム
２１ｂ…プリンタドライバ
２１ｃ…ディスプレイドライバ
２１ｄ…画像処理アプリケーション
２２…ハードディスク
２３…キーボード
２４…ＣＤ−ＲＯＭドライブ
２５…フレキシブルディスクドライブ
２６…モデム
３０…画像出力装置

Claims

複数の画素からなる実写画像の画像データに対して所定の画像処理を行なう画像処理装置であって、
入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を得る評価手段と、
該評価手段にて得られた複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定する決定手段と、
該決定手段により決定された画像処理の程度に基づいて、上記実写画像の画像データに対して一度に上記複数の手法による画像処理を行なう画像処理手段と
を備えた画像処理装置。
請求項１に記載の画像処理装置であって、
上記評価手段は、上記画素のサンプリング手法の一つとして、上記画像データの各画素を均等にサンプリングする均等サンプリング手法を適用し、サンプリングされた画素を集計して特徴量を得る手段を有するとともに、
上記決定手段は、一の手法による画像処理において上記画像データの平均的な特徴量を使用して該画像処理の程度を決定する際に、上記均等にサンプリングして得られた特徴量を使用する
画像処理装置。
請求項１または２に記載の画像処理装置であって、
上記評価手段は、上記画素のサンプリング手法の一つとして、上記画像データの各画素を均等にサンプリングする均等サンプリング手法を適用し、サンプリングされた画素を集計して特徴量を得る手段を有するとともに、
上記決定手段は、一の手法による画像処理において実写画像の特徴量分布の端部を使用して該画像処理の程度を決定する際に、上記均等にサンプリングして得られた特徴量を使用する
画像処理装置。
上記画像処理手段が一度に行なう複数の手法による画像処理には、明度補正とコントラスト補正とが含まれる請求項１ないし３のいずれかに記載の画像処理装置。
複数の画素からなる実写画像の画像データに対して所定の画像処理を行なう方法であって、
入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を抽出し、
該抽出された複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定し、
該決定された画像処理の程度に基づいて、上記実写画像の画像データに対して一度に上記複数の手法による画像処理を行なう
画像処理方法。
複数の画素からなる実写画像の画像データに対して所定の画像処理を行なうプログラムを、コンピュータにより読み取り可能に記録した記録媒体であって、
入力された前記実写画像の画像データの全体を走査しながら画素がサンプリング対象であるか否かを判断する画素のサンプリング手法であって、前記判断の基準が異なる複数のサンプリング手法を適用して、当該サンプリング手法毎に複数の特徴量を抽出する機能と、
該抽出された複数の特徴量を、上記画像データを処理する複数の手法に応じて使い分けて、当該複数の各手法による画像処理の程度を決定する機能と、
該決定された画像処理の程度に基づいて、上記実写画像の画像データに対して一度に上記複数の手法による画像処理を行なう機能と
を上記コンピュータに実現させるプログラムを記録した記録媒体。