JP2005173932A - 画像判別方法及び画像処理装置 - Google Patents

Abstract

【課題】 シーンを自動的に判別できるようにし、シーンに応じた最適なプリントを得ることができるようにすることを目的とする。
【解決手段】 入力画像より人物の顔を検出して人物の有無を判断し、人物が無いときには風景写真画像と判断し、人物が存するときには、その後顔の面積の算出及び人数をカウントし、この顔の面積が画面の所定割合以上及びこの人数が所定人数以下でないときは人物・記念写真画像と判断し、この顔の面積が画面の所定割合以上及びこの人数が所定人数以下のときは、ポートレート画像と判断するようにしたものである。
【選択図】 図１

Description

本発明はプリンター、デジタルカメラ等に使用して好適な画像判別方法及び画像処理装置に関する。

一般に写真を撮影するとき、被写体として多くのシーンが存在する。ポートレート、子供、観光地の記念写真、風景写真、花、スポーツ、夜景、集合写真等がある。

この夫々のシーンに適した画作り、色作りすることで、きれいなプリントが作成できる。写真では特に人物の肌がきれいにプリント出来ればほとんどの人が満足する。

この肌色はあまり鮮やかにすると不自然になり、好ましい画とはいえない。一方風景写真では草木の緑や青空、花等は鮮やかにした方が好ましい画になる。従来デジタルカメラ、デジタルプリンターにおいては、各シーンがきれいにプリントできるように様々な工夫をしている（特許文献１参照）。
特開２００２−４４４５１号公報

従来のデジタルプリンターではシーンの判別を試みているが、この判別精度が不十分で人物の検出が出来ていない。このため階調再現性、色再現性等において、全ての画像に共通した画作り、色作りを行っていた。

このため、夫々のシーンにあった最適なプリントを得ることが出来なかった。例えば、ポートレートでは肌色再現に趣を置き、階調特性は軟調でしっとりとした仕上げで、彩度は抑える画作り、色作りが好ましい。一方風景ではメリハリをつけた硬調で色鮮やかな画作り、色作りが好ましい画となる。

従来はシーン判別が自動的に適確に行うことができなかったので夫々のシーンに最適な画作り、色作りをすることが出来なかった。特許文献１においてもユーザが判別して手動で画作りを行っている。

本発明は斯る点に鑑み、シーンを自動的に判別できるようにし、シーンに応じた最適なプリントを得ることができるようにすることを目的とする。

本発明画像判別方法は、入力画像より人物の顔を検出して人物の有無を判断し、人物が無いときには風景写真画像と判断し、人物が存するときには、その後、顔の面積の算出及び人数をカウントし、この顔の面積が画面の所定割合例えば２０％以上及びこの人数が所定人数例えば３人以下でないときは人物・記念写真画像と判断し、この顔の面積が画面の所定割合以上及びこの人数が所定人数以下のときは、ポートレート画像と判断するようにしたものである。

本発明画像処理装置は、画像入力手段と、この画像入力手段よりの画像データの人物の顔を検出する顔検出手段と、この顔検出手段の顔検出信号より顔の面積を算出する顔面積算出手段と、この顔面積算出手段の顔検出信号より人数をカウントする人数カウント手段と、前記顔面積算出手段で算出した顔面積が画面の所定の割合例えば２０％以上であるかを判断する顔面積割合判断手段と、前記人数カウント手段で計数した人数が所定人数例えば３人以下であるかを判断する人数判断手段と、前記人物の顔検出手段、顔面積割合判断手段及び人数判断手段の出力に応じて前記画像入力手段から入力される画像データの階調を補正する階調補正手段及び彩度を補正する彩度補正手段とを有するものである。

本発明によればポートレート画像、人物・記念写真画像、風景写真画像を自動的に判別することができ、ポートレート、人物記念写真、風景写真の異なったシーン毎に最適な画作り、色作りができる。

以下、図面を参照して本発明画像判別方法及び画像処理装置を実施するための最良の形態の例につき説明する。

図２は本例によるデジタルカメラやデジタルプリンターに使用される画像処理装置を示し、１はカラー画像の画像データが入力される画像入力部である。この画像入力部１に供給された画像データをこの画像データの階調を補正する階調補正装置２及びこの画像データの彩度を補正する彩度補正装置３の直列接続を介して画像データ出力端子４に供給する。

この階調補正装置２及び彩度補正装置３は夫々マイコン等より成り、ポートレート、人物記念写真、風景写真の各シーンに対し、シーン別に図３の画作り概念図に従った画作り、色作りを行う如く構成する。

この図３において、横軸は階調特性でプラス側（右側）ほど階調が硬調になり、メリハリのある画像になる。マイナス側（左側）になると軟調で軟らかい画像になる。

縦軸は彩度軸でプラス側（上側）は鮮やかになり、マイナス側（下側）ほど彩度が低く地味な画像になる。

ポートレートでは図３に示す如く階調は軟調で彩度はあまり高くないほうが好ましい画像になる。デジタルカメラではストロボを使って近距離で撮ると、顔の階調飛びがしやすくきれいな画像にはならない。このような場合には軟調のほうがしっとりしたポートレート画像になる。

風景写真の場合は図３に示す如く硬調でメリハリをつけ、色鮮やかな画像のほうが好ましい。また人物・記念写真のときは図３に示す如くポートレートの場合と風景写真の場合との中間程度の画像のほうが好ましい。

また図４は、階調補正装置２の階調特性を示し、ポートレートはこの軟調のカーブが好ましく、風景写真は硬調のカーブが好ましい。

本例においては、この画像入力部１に供給されたカラー画像データを人物の顔検出装置５に供給する。この人物の顔検出装置５としては例えば図５に示す如く肌色領域抽出部２００及び被写体検出部３００とより構成するものがある（例えば特願２００２−２５５８６５号参照）。

この肌色領域抽出部２００は、図６に示すように、画像入力部１から入力されたカラー画像データの各画素値を色空間上の座標値に変換する色変換部である表色系変換部２１２と、この色空間上に変換された座標値の出現頻度を表すヒストグラムを生成するヒストグラム生成部２１３と、このヒストグラムにおける出現頻度の極大点及びその近傍の画素を初期クラスタとして抽出する初期クラスタ抽出部２１４と、初期クラスタ抽出部２１４にて抽出された初期クラスタ及び画像入力部１から送られるカラー画像データからこの初期クラスタを含む閉領域を抽出する初期領域抽出部２１５と、この初期領域内に複数の初期クラスタが抽出されている場合に初期クラスタを１つのクラスタとして統合するクラスタ統合部２１６と、この初期領域内の画素の分布状態に応じてこの初期領域を複数の領域に分割する領域分割部２１７と、人間の肌の色に対応するクラスタに属する画素が含まれる領域を抽出する領域抽出部２１８とから構成され、抽出した肌色領域を被写体検出部３００に供給する。

被写体検出部３００は、図５に示すように、画像入力部１及び肌色領域抽出部２００とから夫々カラー画像データ及び肌色領域が入力され、人物の頭頂部の位置を検出する頭頂部検出部３１３と、カラー画像データ及び肌色領域が入力され、人物の口の位置を検出する口検出部３１４と、カラー画像データ、肌色領域、頭頂部及び口のデータが入力され、人物の眼の位置を検出する眼検出部３１５と、眼及び口のデータが入力され、人物の顎の位置を検出する顎検出部３１６と、カラー画像データ、口及び眼のデータが入力され、人物の顔の中心線を検出する中心線検出部３１７と、頭頂部、眼、口及び顔の中心線のデータが入力され、顔領域を修正する領域修正部３１８と、カラー画像データ、肌色領域、眼及び口のデータと領域修正部３１８から修正データとが入力され、抽出された肌色領域Ｖが人物の顔であるか否かを判定する判定部３１９とから構成される。

またこの人物の顔検出装置５としては、上述の外に顔部の検出は顔の形状認識から判断するものがある。現状では、この方法の方が顔認識の検出精度が高い。あらかじめ人物の顔として登録しておけば顔認識の検出精度は格段と向上する。この人物顔検出装置５はどのようなものであっても良い。

この人物顔検出装置５で顔が認識されないときは、この人物顔検出装置５より階調補正装置２及び彩度補正装置３に指示信号を送り、階調補正装置２及び彩度補正装置３が風景写真画像であると判断して、このカラー画像データに風景写真の補正を行う如くする。

本例においては、この人物の顔検出装置５に得られる顔認識信号を、顔の面積を算出する顔面積算出装置６及び人の数をカウントする人数カウント装置７に供給する如くする。

この場合この人物の顔検出装置５において、顔が認識されないときは、この顔認識信号は出力されず、顔が認識されたときのみこの顔認識信号を顔面積算出装置６及び人数カウント装置７に供給する如くする。

この顔の面積算出装置６は人物の顔面積を算出し、その顔面積が画面の何％であるかを算出する。例えば人物がいる画像の例が図７に示す如くで、人物Ａの顔面積がＡ、人物Ｂの顔面積がＢであり、画面全体の面積がＣであったときは、
（Ａ＋Ｂ）／Ｃ×１００（％）
を算出する。

この顔の面積算出装置６の出力側に顔の面積の割合（％）を顔の面積が所定の割合例えば２０％以上であるかどうかを判断する所定割合以上判断回路８に供給し、この所定割合以上判断回路８の出力側に所定割合例えば２０％以上であったときは、ハイレベル信号“１”を出力し、そうでないときはローレベル信号“０”を出力する如くする。

この場合、ポートレートのときは、顔が大きく写り、顔面積の割合が２０〜３０％程度である。本例では全画面中の顔面積の割合が２０％以上を判断基準とした。

この人数カウント装置７は画面中の人数が何人であるかをカウントし、このカウント値即ち、人数を所定人数例えば３人以下であるかどうかを判断する所定人数以下判断回路９に供給する。

この所定人数以下判断回路９の出力側に所定人数例えば３人以下であったときはハイレベル信号“１”を出力し、そうでないとき例えば４人以上のときはローレベル信号“０”を出力する如くする。この場合、人数が４人以上の時には記念写真・集合写真と判断する。

この所定割合以上判断回路８の出力信号及び所定人数以下判断回路９の出力信号を夫々アンド回路１０の一方及び他方の入力端子に供給する。このアンド回路１０の出力側にハイレベル信号“１”が得られたときは、顔の面積の割合が所定割合例えば２０％以上で且つ所定人数例えば３人以下であり、このハイレベル信号“１”を指示信号として階調補正装置２及び彩度補正装置３に供給し、この階調補正装置２及び彩度補正装置３がこのカラー画像データがポートレート画像であると判断して、ポートレートの補正動作をする如くする。

また所定割合以上判断回路８の出力信号及び所定人数以下判断回路９の出力信号を夫々ナンド回路１１の一方及び他方の入力端子に供給する。このナンド回路１１の出力側にハイレベル信号“１”が得られたときは、このハイレベル信号“１”を指示信号として階調補正装置２及び彩度補正装置３に供給し、この階調補正装置２及び彩度補正装置３がこのカラー画像データが人物・記念写真画像であると判断して、人物・記念写真の補正動作をする。

上述本例構成の動作を図１及び図８のフローチャートを参照して説明する。カラー画像データが入力されたときは、先ず、人物の顔検出装置５にて人物の顔検出を行う（ステップＳ１）。その後シーン判別（ステップＳ２）を行う。このシーン判別（ステップＳ２）は図１に示す如くして行う。このシーン判別は先ず、このカラー画像データに人物が存在するかどうか人物の有無を判断し、顔認識信号を得る（ステップＳ３）。この場合人物が存在しないときは、このカラー画像データは風景写真画像であると判断する。

人物が存在するときには、顔の面積算出装置６でこの画像データの顔認識信号より顔の面積を算出する（ステップＳ４）。次にこの顔の面積の画面に対する割合が所定割合例えば２０％以上であるかどうかを判断する（ステップＳ５）。

この顔の面積の画面に対する割合が所定割合例えば２０％未満のときはこの画像データが人物・記念写真画像と判断する。この顔の面積の割合が所定割合例えば２０％以上のときは次に人数カウント装置７でこの画像データの人数をカウントする（ステップＳ６）。その後この人数が所定人数例えば３人以下かどうかを判断する（ステップＳ７）。

このステップＳ７で所定人数以下でない例えば４人以上のときは、この画像データが人物・記念写真画像であると判断する。このステップＳ７で所定人数例えば３人以下のときはこの画像データがポートレート画像と判断する。

この図１のフローチャートでステップＳ４及びＳ５とステップＳ６及びＳ７との順番が逆であっても良い。この場合も上述と同じ結果を得ることができることは容易に理解できよう。

このシーン判別（ステップＳ２）が終了したときはこのシーン判別に応じた最適な画作り、色作りを行い（ステップＳ８）、終了する。

本例によれば、ポートレート画像、人物・記念写真画像、風景写真画像を自動的に適確に判別することができ、ポートレート、人物・記念写真、風景写真の異なったシーン毎に最適な画作り、色作りができる。

尚、上述例では、ポートレート画像、人物・記念写真画像、風景写真画像を判別して分類し、この分類に応じて階調補正装置２及び彩度補正装置３で画作り、色作りをする例につき述べたが、この分類を更に増やして、例えば風景の場合、木、海、空、雪景色、夜景、建物等特徴のある風景のシーンに分類する如くし、この分類に応じて、階調補正装置２及び彩度補正装置３で画作り、色作りするようにしても良いことは勿論である。

また本発明は上述例に限ることなく、本発明の要旨を逸脱することなく、その他種々の構成が採り得ることは勿論である。

本発明画像判別方法を実施するための最良の形態の例を示すフローチャートである。 本発明画像処理装置を実施するための最良の形態の例を示す構成図である。 本発明の説明に供する線図である。 本発明の説明に供する線図である。 人物の顔検出装置の例を示す構成図である。 肌色領域抽出部の例を示す構成図である。 本発明の説明に供する線図である。 本発明の説明に供するフローチャートである。

符号の説明

１‥‥画像入力部、２‥‥階調補正装置、３‥‥彩度補正装置、４‥‥出力端子、５‥‥人物の顔検出装置、６‥‥顔の面積算出装置、７‥‥人数カウント装置、８‥‥所定割合以上判断回路、９‥‥所定人数以下判断回路、１０‥‥アンド回路、１１‥‥ナンド回路

Claims (4)

1. 入力画像より人物の顔を検出して人物の有無を判断し、
   人物が無いときには風景写真画像と判断し、人物が存するときには、その後、顔の面積の算出及び人数をカウントし、前記顔の面積が画面の所定割合以上及び前記人数が所定人数以下でないときは人物・記念写真画像と判断し、前記顔の面積が画面の所定割合以上及び前記人数が所定人数以下のときは、ポートレート画像と判断するようにしたことを特徴とする画像判別方法。
2. 請求項１記載の画像判別方法において、
   前記所定割合が２０％であり、前記所定人数が３人であることを特徴とする画像判別方法。
3. 画像入力手段と、
   該画像入力手段よりの画像データの人物の顔を検出する顔検出手段と、
   該顔検出手段の顔検出信号より顔の面積を算出する顔面積算出手段と、
   前記顔検出信号に基づいて人数をカウントする人数カウント手段と、
   前記顔面積算出手段で算出した顔面積が画面の所定の割合以上であるかを判断する顔面積割合判断手段と、
   前記人数カウント手段で計数した人数が所定人数以下であるかを判断する人数判断手段と、
   前記人物の顔検出手段、前記顔面積割合判断手段及び前記人数判断手段の出力に応じて前記画像データの階調を補正する階調補正手段及び彩度を補正する彩度補正手段とを有することを特徴とする画像処理装置。
4. 請求項３記載の画像処理装置において、
   前記所定割合が２０％であり、前記所定人数が３人であることを特徴とする画像処理装置。

Images