JP3438719B2 - 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ - Google Patents

画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ

Info

Publication number
JP3438719B2
JP3438719B2 JP2000361566A JP2000361566A JP3438719B2 JP 3438719 B2 JP3438719 B2 JP 3438719B2 JP 2000361566 A JP2000361566 A JP 2000361566A JP 2000361566 A JP2000361566 A JP 2000361566A JP 3438719 B2 JP3438719 B2 JP 3438719B2
Authority
JP
Japan
Prior art keywords
gradation
image
frequency
search
partial area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000361566A
Other languages
English (en)
Other versions
JP2002163653A (ja
Inventor
理恵子 井爪
吉宏 原
Original Assignee
ミノルタ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ミノルタ株式会社 filed Critical ミノルタ株式会社
Priority to JP2000361566A priority Critical patent/JP3438719B2/ja
Priority to US09/992,164 priority patent/US6859552B2/en
Publication of JP2002163653A publication Critical patent/JP2002163653A/ja
Application granted granted Critical
Publication of JP3438719B2 publication Critical patent/JP3438719B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、所定の検索画像に
少なくとも類似する画像が検索対象である入力画像に存
在するか否かを検出する画像検出の技術に関するもので
ある。
【0002】
【従来の技術】検索対象である入力画像に所定の検索画
像が存在するか否かを検出する画像検出の手法として、
色ヒストグラムを用いる方法が知られている。この方法
は、入力画像中の部分領域の色ヒストグラムと検索画像
の色ヒストグラムとを比較してその類似度を判別し、部
分領域を所定の移動ピッチで入力画像全域に亘って移動
させて、移動ごとに色ヒストグラムの比較を行い、類似
度の高い部分領域を検索画像の存在する領域として検出
するものである。このとき、部分領域のサイズを変化さ
せ、種々のサイズの部分領域で比較を行うことにより、
種々のサイズの検索画像に対応できるようにしている。
【0003】
【発明が解決しようとする課題】このような色ヒストグ
ラムを用いて画像検出を行うときに、例えば画像を取り
込む際の画素密度が粗い場合や画像を比較する際のサイ
ズが小さい場合などのように、入力画像または検索画像
の画像データ数が少ない場合がある。この場合には、作
成した色ヒストグラムが櫛の歯状、すなわち度数0の階
調が存在して離散的なヒストグラムになることがある
が、そのようなヒストグラムでは、次のような問題が生
じる。
【0004】図17は入力画像および検索画像の画像デ
ータ数がともに少ない場合を示す図で、(a)は入力画像
201を示し、(b)は検索画像202を示しており、
(a)における部分領域203は入力画像201のうちで
検出されるべき部分領域を示している。また、(c)は部
分領域203の正規化色ヒストグラムを示し、(d)は検
索画像202の正規化色ヒストグラムを示している。な
お、正規化色ヒストグラムは、各階調での画素数を全画
素数で割った値を度数とすることにより、度数の合計が
1になるように正規化した色ヒストグラムである。
【0005】入力画像201および検索画像202の画
像データ数が少ない場合には、(c),(d)に示すよう
に、作成した色ヒストグラムが櫛の歯状、すなわち度数
0の階調が存在して離散的な形状になる。ここで、特
に、入力画像201や検索画像202の画像内において
輝度変化が生じていたり、一方または双方の画像に色か
ぶりがあると、(e)に示すように両者の色ヒストグラム
が微妙にずれてしまうため、類似度が大きく低下する。
その結果、検出されるべき部分領域が誤って検索画像の
存在しない領域とされてしまうこととなる。なお、類似
度は、例えば各正規化色ヒストグラムの度数を階調ごと
に比較し、小さい方の度数を全階調に亘って加算したも
のである。
【0006】図18は入力画像の画像データ数と検索画
像の画像データ数が互いに大きく異なる場合を示す図
で、(a)は入力画像211を示し、(b)は検索画像21
2を示しており、(a)における部分領域213は入力画
像211のうちで検出されるべき部分領域を示し、部分
領域214は入力画像211のうちで検出されるべきで
ない部分領域を示している。また、(c)は部分領域21
3の正規化色ヒストグラム215を示し、(d)は部分領
域214の正規化色ヒストグラム216を示し、(e)は
検索画像212の正規化色ヒストグラム217を示して
いる。
【0007】ここで、部分領域213の画像データ数は
少なく、部分領域214の画像データ数は部分領域21
3に比べて多く、検索画像212の画像データ数は部分
領域214の画像データ数に近い値になっているものと
する。
【0008】画像データ数の少ない画像から作成された
色ヒストグラム215は、(c)に示すように、櫛の歯
状、すなわち度数0の階調が存在して離散的な形状にな
り、画像データ数の比較的多い画像から作成された色ヒ
ストグラム216,217は、(d),(e)に示すよう
に、所定の階調幅に亘って正の値をとる連続的な形状に
なっている。
【0009】(f)において、部分領域213の色ヒスト
グラム215と検索画像212の色ヒストグラム217
との類似度は、斜線部218になる。また、(g)におい
て、部分領域214の色ヒストグラム216と検索画像
212の色ヒストグラム217との類似度は、斜線部2
19になる。
【0010】図18(f),(g)から明らかなように、部
分領域213の色ヒストグラム215が櫛の歯状になっ
ているために、斜線部218による類似度が斜線部21
9による類似度より小さくなり、その結果、検出される
べき部分領域213と異なる部分領域214が検索画像
212の存在する領域として誤って検出されてしまうこ
ととなる。
【0011】このように、色ヒストグラムが櫛の歯状に
なる場合には、色ヒストグラムの形状がほぼ同一であっ
ても、階調が少しずれるだけで類似度が大きく低下して
しまうことになるので、特に、輝度変化のある画像にお
いて検索画像の検出性能が低下することとなる。また、
入力画像または検索画像の画像データ数が大きく異な
り、例えば一方の色ヒストグラムのみが櫛の歯状になる
場合にも、検索画像の検出性能が低下してしまう。
【0012】本発明は、上記問題を解決するもので、画
像データ数が少ない場合でも、所定の検索画像に少なく
とも類似する画像が検索対象である入力画像中に存在す
るか否かを正確に検出することが可能な画像検出装置お
よび方法を提供することを目的とする。
【0013】また、本発明は、上記画像検出装置を備え
たディジタルカメラおよびプリンタを提供することを目
的とする。
【0014】
【課題を解決するための手段】請求項1の発明は、所定
の検索画像に少なくとも類似する画像が検索対象である
入力画像に存在するか否かを検出する画像検出装置であ
って、上記入力画像において所定サイズの部分領域を設
定し、その設定された部分領域を所定の移動ピッチで移
動させて、その移動ごとに上記入力画像から当該部分領
域を抽出する領域抽出手段と、この領域抽出手段により
設定された部分領域の画素数が所定値以下であるか否か
を判別する領域画素数判別手段と、上記領域抽出手段に
より抽出された各部分領域の色ヒストグラムを所定の階
調分解能でそれぞれ作成するとともに、上記領域抽出手
段により設定された部分領域の画素数が上記所定値以下
のときは、一の階調に近接する高階調側および低階調側
のうちで少なくとも一方の階調と当該一の階調との間に
おける度数の変化量が所定レベル以下になるように全て
の階調について度数の平滑化処理が施された色ヒストグ
ラムを作成し、作成した色ヒストグラムにおける度数の
合計が1になるように正規化が行われた正規化色ヒスト
グラムを作成するヒストグラム作成手段と、上記検索画
像から一の階調に近接する高階調側および低階調側のう
ちで少なくとも一方の階調と当該一の階調との間におけ
る度数の変化量が所定レベル以下になると共に度数の合
計が1になるように作成された正規化色ヒストグラムと
上記ヒストグラム作成手段により作成された各部分領域
正規化色ヒストグラムとの類似度をそれぞれ算出し、
その類似度が所定レベル以上の部分領域を検出する領域
検出手段とを備えたことを特徴としている。
【0015】この構成によれば、設定された部分領域の
画素数が所定値以下であるか否かが判別され、設定され
た部分領域の画素数が上記所定値以下のときは、一の階
調に近接する高階調側および低階調側のうちで少なくと
も一方の階調と当該一の階調との間における度数の変化
量が所定レベル以下になるように全ての階調について度
数の平滑化処理が施された色ヒストグラムが作成され
この作成された色ヒストグラムにおける度数の合計が1
になるように正規化が行われた正規化色ヒストグラムが
作成される。
【0016】そして、検索画像から一の階調に近接する
高階調側および低階調側のうちで少なくとも一方の階調
と当該一の階調との間における度数の変化量が所定レベ
ル以下になると共に度数の合計が1になるように正規化
色ヒストグラムと作成された各部分領域の正規化色ヒス
トグラムとの類似度がそれぞれ算出され、その類似度が
所定レベル以上の部分領域が検出される。
【0017】これによって、検索画像および部分領域の
正規化色ヒストグラムは、いずれも一の階調に近接する
高階調側および低階調側のうちで少なくとも一方の階調
と当該一の階調との間における度数の変化量が所定レベ
ル以下になることから、ヒストグラムの形状が平滑化さ
れて櫛の歯状になることがないので、検索画像の検出が
正確に行われることとなる。
【0018】また、請求項2の発明は、請求項1記載の
画像検出装置において、上記ヒストグラム作成手段は、
上記度数の平滑化処理として、度数が正の値である階調
であって、かつ当該階調の高階調側で度数が正の値であ
る最も近い階調の度数に対する当該階調の度数の比率
と、当該階調の低階調側で度数が正の値である最も近い
階調の度数に対する当該階調の度数の比率とがいずれも
所定値以下である階調について、上記高階調側の階調の
度数および上記低階調側の階調の度数を用いて度数の補
間処理を行うものであることを特徴としている。
【0019】この構成によれば、度数が正の値である階
調であって、かつ当該階調の高階調側および低階調側で
度数が正の値である最も近い2つの階調の度数に対する
当該階調の度数の比率がいずれも所定値以下である場合
には、当該階調の度数が近接する階調に比べて極端に小
さい度数になるので、そのヒストグラムは櫛の歯状に近
い形状になるが、上記高階調側の階調の度数および上記
低階調側の階調の度数を用いて度数の補間処理を行うこ
とにより、櫛の歯状に近い形状になることが防止され、
滑らかな形状のヒストグラムが作成されることとなり、
これによって検索画像の検出が正確に行われる。
【0020】また、請求項3の発明は、請求項2記載の
画像検出装置において、上記度数の補間処理は、上記高
階調側の階調の度数および上記低階調側の階調の度数を
結ぶ直線上に対応する値を度数とする線形補間であるこ
とを特徴としている。
【0021】この構成によれば、度数の補間処理は、高
階調側の階調の度数および低階調側の階調の度数を結ぶ
直線上に対応する値を度数とする線形補間であるので、
補間処理の演算が、入力画像の持つ階調の傾向を大きく
変えることなく容易に行われる。
【0022】また、請求項4の発明は、請求項2または
3記載の画像検出装置において、上記ヒストグラム作成
手段は、上記度数の平滑化処理として、上記度数の補間
処理を行った後、度数が0である階調について、当該階
調の高階調側および低階調側において度数が正の値であ
る最も近い2つの階調の度数を用いて度数の第2補間処
理を行うものであることを特徴としている。
【0023】この構成によれば、度数が近接する階調に
比べて極端に小さい度数をとる階調について度数の補間
処理を行った後、度数が0である階調について度数の第
2補間処理が行われることから、この第2補間処理によ
って得られる度数は、上記極端に小さい度数に左右され
ないので、滑らかな形状のヒストグラムが確実に得られ
ることとなる。
【0024】また、請求項5の発明は、請求項4記載の
画像検出装置において、上記度数の第2補間処理は、度
数が0である階調の高階調側および低階調側において度
数が正の値である最も近い2つの階調の度数を結ぶ直線
上に対応する値を度数とする線形補間であることを特徴
としている。
【0025】この構成によれば、上記度数の第2補間処
理は、度数が0である階調の高階調側および低階調側に
おいて度数が正の値である最も近い2つの階調の度数を
結ぶ直線上に対応する値を度数とする線形補間であるこ
とにより、入力画像の持つ階調の傾向を大きく変えるこ
となく補間が行えるので、検索画像の検出がより正確に
行えることとなる。
【0026】また、請求項6の発明は、請求項1記載の
画像検出装置において、上記ヒストグラム作成手段は、
上記度数の平滑化処理が施された色ヒストグラムとし
て、上記所定の階調分解能より粗い階調分解能で色ヒス
トグラムを作成するものであることを特徴としている。
【0027】この構成によれば、所定の階調分解能より
粗い階調分解能で色ヒストグラムが作成されることか
ら、演算負荷を増大することなく、検索画像の検出が正
確に行える。
【0028】また、請求項7の発明は、請求項6記載の
画像検出装置において、上記ヒストグラム作成手段は、
上記平滑化処理が施された色ヒストグラムとして、上記
部分領域の画素数を所定値で除算した値を階調分解能と
して色ヒストグラムを作成するものであることを特徴と
している。
【0029】この構成によれば、部分領域の画素数を所
定値で除算した値を階調分解能として色ヒストグラムが
作成されることにより、部分領域の色ヒストグラムは、
確実に滑らかな形状を有するものとなり、検索画像の検
出が正確に行える。
【0030】また、請求項8の発明は、請求項1〜7の
いずれかに記載の画像検出装置において、上記検索画像
から一の階調に近接する高階調側および低階調側のうち
で少なくとも一方の階調と当該一の階調との間における
度数の変化量が所定レベル以下になるように作成された
色ヒストグラムを記憶する検索ヒストグラム記憶手段を
備えたことを特徴としている。
【0031】この構成によれば、検索画像から作成され
た色ヒストグラムが記憶されていることから、検索画像
の色ヒストグラム作成に要する時間だけ検索時間が短縮
できる。
【0032】また、請求項9の発明は、請求項1〜7の
いずれかに記載の画像検出装置において、上記検索画像
の画素数が所定値以下であるか否かを判別する検索画素
数判別手段と、上記検索画像から色ヒストグラムを上記
所定の階調分解能で作成するとともに、上記検索画像の
画素数が上記所定値以下のときは、一の階調に近接する
高階調側および低階調側のうちで少なくとも一方の階調
と当該一の階調との間における度数の変化量が所定レベ
ル以下になるように度数の平滑化処理が施された色ヒス
トグラムを作成する検索ヒストグラム作成手段とを備え
たことを特徴としている。
【0033】この構成によれば、検索画像の画素数が所
定値以下であるか否かが判別され、検索画像の画素数が
上記所定値以下のときは、一の階調に近接する高階調側
および低階調側のうちで少なくとも一方の階調と当該一
の階調との間における度数の変化量が所定レベル以下に
なるように度数の平滑化処理が施された色ヒストグラム
が作成されることにより、検索画像の色ヒストグラム
は、ヒストグラムの形状が平滑化されて櫛の歯状になる
ことがないので、検索画像の検出が正確に行われること
となる。
【0034】また、請求項10の発明は、請求項9記載
の画像検出装置において、上記検索ヒストグラム作成手
段は、上記度数の平滑化処理として、度数が正の値であ
る階調であって、かつ当該階調の高階調側で度数が正の
値である最も近い階調の度数に対する当該階調の度数の
比率と、当該階調の低階調側で度数が正の値である最も
近い階調の度数に対する当該階調の度数の比率とがいず
れも所定値以下である階調について、上記高階調側の階
調の度数および上記低階調側の階調の度数を用いて度数
の補間処理を行うものであることを特徴としている。
【0035】この構成によれば、度数が正の値である階
調であって、かつ当該階調の高階調側および低階調側で
度数が正の値である最も近い2つの階調の度数に対する
当該階調の度数の比率がいずれも所定値以下である場合
には、当該階調の度数が近接する階調に比べて極端に小
さい度数になるので、そのヒストグラムは櫛の歯状に近
い形状になるが、上記高階調側の階調の度数および上記
低階調側の階調の度数を用いて度数の補間処理を行うこ
とにより、櫛の歯状に近い形状になることが防止され、
検索画像の色ヒストグラムとして滑らかな形状のヒスト
グラムが作成されることとなり、これによって検索画像
の検出が正確に行われる。
【0036】また、請求項11の発明は、請求項10記
載の画像検出装置において、上記度数の補間処理は、上
記高階調側の階調の度数および上記低階調側の階調の度
数を結ぶ直線上に対応する値を度数とする線形補間であ
ることを特徴としている。
【0037】この構成によれば、度数の補間処理は、高
階調側の階調の度数および低階調側の階調の度数を結ぶ
直線上に対応する値を度数とする線形補間であるので、
補間処理の演算が、検索画像の持つ階調の傾向を大きく
変えることなく容易に行われる。
【0038】また、請求項12の発明は、請求項10ま
たは11記載の画像検出装置において、上記検索ヒスト
グラム作成手段は、上記度数の平滑化処理として、上記
度数の補間処理を行った後、度数が0である階調につい
て、当該階調の高階調側および低階調側において度数が
正の値である最も近い2つの階調の度数を用いて度数の
第2補間処理を行うものであることを特徴としている。
【0039】この構成によれば、度数が近接する階調に
比べて極端に小さい度数をとる階調について度数の補間
処理を行った後、度数が0である階調について度数の第
2補間処理が行われることから、この第2補間処理によ
って得られる度数は、上記極端に小さい度数に左右され
ないので、滑らかな形状のヒストグラムが確実に得られ
ることとなる。
【0040】また、請求項13の発明は、請求項12記
載の画像検出装置において、上記度数の第2補間処理
は、度数が0である階調の高階調側および低階調側にお
いて度数が正の値である最も近い2つの階調の度数を結
ぶ直線上に対応する値を新たな度数とする線形補間であ
ることを特徴としている。
【0041】この構成によれば、上記度数の第2補間処
理は、度数が0である階調の高階調側および低階調側に
おいて度数が正の値である最も近い2つの階調の度数を
結ぶ直線上に対応する値を新たな度数とする線形補間で
あることにより、検索画像の持つ階調の傾向を大きく変
えることなく補間が行えるので、検索画像の検出がより
正確に行えることとなる。
【0042】また、請求項14の発明は、請求項9記載
の画像検出装置において、上記検索ヒストグラム作成手
段は、上記度数の平滑化処理が施された色ヒストグラム
として、上記所定の階調分解能より粗い階調分解能で色
ヒストグラムを作成するものであることを特徴としてい
る。
【0043】この構成によれば、上記所定の階調分解能
より粗い階調分解能で色ヒストグラムが作成されること
から、演算負荷を増大することなく、検索画像の検出が
正確に行える。
【0044】また、請求項15の発明は、請求項14記
載の画像検出装置において、上記検索ヒストグラム作成
手段は、上記度数の平滑化処理が施された色ヒストグラ
ムとして、上記検索画像の画素数を所定値で除算した値
を階調分解能として色ヒストグラムを作成するものであ
ることを特徴としている。
【0045】この構成によれば、検索画像の画素数を所
定値で除算した値を階調分解能として色ヒストグラムが
作成されることにより、検索画像の色ヒストグラムは、
確実に滑らかな形状を有するものとなり、検索画像の検
出が正確に行える。
【0046】また、請求項16の発明は、請求項14記
載の画像検出装置において、上記ヒストグラム作成手段
および上記検索ヒストグラム作成手段は、上記部分領域
および上記検索画像の少なくとも一方の画素数が上記所
定値以下のときは、上記度数の平滑化処理が施された色
ヒストグラムとして、それぞれ、上記部分領域および上
記検索画像のうちで少ない方の画素数を所定値で除算し
た値を階調分解能として色ヒストグラムを作成するもの
であることを特徴としている。
【0047】この構成によれば、部分領域および検索画
像のうちで少ない方の画素数を所定値で除算した値を階
調分解能として色ヒストグラムが作成されることによ
り、部分領域および検索画像の色ヒストグラムは、いず
れも確実に滑らかな形状を有するものとなり、検索画像
の検出が正確に行える。
【0048】また、請求項17の発明は、請求項1〜1
6のいずれかに記載の画像検出装置において、上記検索
画像は人物の顔部分を含む画像であることを特徴として
いる。
【0049】この構成によれば、入力画像に人物の顔部
分が存在するか否かが正確に検出されることとなり、こ
れによって、人物の顔部分の画像に対して画像処理を施
すなどの応用が可能になる。
【0050】また、請求項18の発明は、所定の検索画
像に少なくとも類似する画像が検索対象である入力画像
に存在するか否かを検出する画像検出方法であって、上
記入力画像において所定サイズの部分領域を設定し、そ
の設定された部分領域を所定の移動ピッチで移動させ
て、その移動ごとに上記入力画像から当該部分領域を抽
出する領域抽出工程と、この領域抽出工程において設定
された部分領域の画素数が所定値以下であるか否かを判
別する領域画素数判別工程と、上記領域抽出工程におい
て抽出された各部分領域の色ヒストグラムを所定の階調
分解能でそれぞれ作成するとともに、上記領域抽出工程
において設定された部分領域の画素数が上記所定値以下
のときは、一の階調に近接する高階調側および低階調側
のうちで少なくとも一方の階調と当該一の階調との間に
おける度数の変化量が所定レベル以下になるように全て
の階調について度数の平滑化処理が施された色ヒストグ
ラムを作成し、該作成した色ヒストグラムにおける度数
の合計が1になるように正規化が行われた正規化色ヒス
トグラムを作成するヒストグラム作成工程と、上記検索
画像から一の階調に近接する高階調側および低階調側の
うちで少なくとも一方の階調と当該一の階調との間にお
ける度数の変化量が所定レベル以下になると共に度数の
合計が1になるように作成された正規化色ヒストグラム
と上記ヒストグラム作成工程において作成された各部分
領域の正規化色ヒストグラムとの類似度をそれぞれ算出
し、その類似度が所定レベル以上の部分領域を検出する
領域検出工程とを備えたことを特徴としている。
【0051】この構成によれば、設定された部分領域の
画素数が所定値以下であるか否かが判別され、設定され
た部分領域の画素数が上記所定値以下のときは、一の階
調に近接する高階調側および低階調側のうちで少なくと
も一方の階調と当該一の階調との間における度数の変化
量が所定レベル以下になるように全ての階調について度
数の平滑化処理が施された色ヒストグラムが作成され
この作成された色ヒストグラムにおける度数の合計が1
になるように正規化が行われた正規化色ヒストグラムが
作成される。
【0052】そして、検索画像から一の階調に近接する
高階調側および低階調側のうちで少なくとも一方の階調
と当該一の階調との間における度数の変化量が所定レベ
ル以下になると共に度数の合計が1になるように正規化
色ヒストグラムと作成された各部分領域の正規化色ヒス
トグラムとの類似度がそれぞれ算出され、その類似度が
所定レベル以上の部分領域が検出される。
【0053】これによって、検索画像および部分領域の
正規化色ヒストグラムは、いずれも一の階調に近接する
高階調側および低階調側のうちで少なくとも一方の階調
と当該一の階調との間における度数の変化量が所定レベ
ル以下になることから、ヒストグラムの形状が平滑化さ
れて櫛の歯状になることがないので、検索画像の検出が
正確に行われることとなる。
【0054】また、請求項19の発明は、請求項17記
載の画像検出装置からなる画像検出手段と、被写体を撮
像する撮像手段と、撮影に関する制御を行う撮影制御手
段とを備え、上記画像検出手段は、上記撮像手段により
撮像される上記被写体を上記入力画像とするもので、上
記撮影制御手段は、上記領域検出手段による検出結果に
応じて上記撮影に関する制御を行うものであることを特
徴としている。
【0055】この構成によれば、撮像手段により被写体
が撮像され、その撮像された被写体の画像が入力画像と
されて、画像検出手段により被写体画像に人物の顔部分
の画像が存在するか否かが検出される。そして、その検
出結果に応じて撮影に関する制御が行われることから、
人物の顔部分に対して適正な制御が行われることとな
る。
【0056】また、請求項20の発明は、請求項19記
載のディジタルカメラにおいて、上記撮影制御手段は、
上記撮影に関する制御として、上記領域検出手段により
検出された部分領域に焦点が合うように光学系の制御を
行うものであることを特徴としている。
【0057】この構成によれば、領域検出手段により検
出された部分領域に焦点が合うように光学系の制御が行
われることから、人物の顔部分に焦点の合った撮影が自
動的に行われることとなる。
【0058】また、請求項21の発明は、請求項19記
載のディジタルカメラにおいて、上記撮影制御手段は、
上記撮影に関する制御として、上記領域検出手段により
検出された部分領域の露出が適正な値になるように絞り
およびシャッタ速度の制御を行うものであることを特徴
としている。
【0059】この構成によれば、領域検出手段により検
出された部分領域の露出が適正な値、例えばEV値で±
0になるように絞りおよびシャッタ速度の制御が行われ
ることから、人物の顔部分の露出が適正になされた撮影
が自動的に行われることとなる。
【0060】また、請求項22の発明は、請求項19記
載のディジタルカメラにおいて、上記撮影制御手段は、
上記撮影に関する制御として、上記領域検出手段により
検出された部分領域の色データが所定範囲に含まれるよ
うに上記撮像手段から出力される3原色信号の出力比率
を調整するものであることを特徴としている。
【0061】この構成によれば、領域検出手段により検
出された部分領域の色データが所定範囲、例えば所定の
肌色の範囲に含まれるように、撮像手段から出力される
3原色信号の出力比率が調整されることから、人物の顔
部分の色バランスが適正な肌色になされた撮影が自動的
に行われることとなる。
【0062】また、請求項23の発明は、請求項19記
載のディジタルカメラにおいて、上記撮影制御手段は、
上記撮影に関する制御として、上記領域検出手段により
検出された部分領域に対して所定レベル以下のエッジ強
調処理を施すものであることを特徴としている。
【0063】この構成によれば、領域検出手段により検
出された部分領域に対して所定レベル以下のエッジ強調
処理が施されることにより、人物の顔部分のシャープネ
スが高くなり過ぎず、人物の顔部分が適正なレベルのシ
ャープネスになされた撮影が自動的に行われることとな
る。
【0064】また、請求項24の発明は、請求項19記
載のディジタルカメラにおいて、上記撮影制御手段は、
上記撮影に関する制御として、上記領域検出手段により
検出された部分領域のサイズに応じた階調特性になるよ
うに階調補正処理を施すものであることを特徴としてい
る。
【0065】この構成によれば、領域検出手段により検
出された部分領域のサイズに応じた階調特性になるよう
に階調補正処理が施されることにより、人物の顔部分が
適正な階調になるような撮影が自動的に行われることと
なる。
【0066】また、請求項25の発明は、請求項17記
載の画像検出装置からなる画像検出手段と、上記領域検
出手段により検出された部分領域に対して人物画像の印
字に適正な画像処理を施す画像処理手段と、当該画像処
理が施された上記入力画像を用紙に印字する印字手段と
を備えたことを特徴としている。
【0067】この構成によれば、画像検出手段の領域検
出手段により検出された部分領域に対して人物画像の印
字に適正な画像処理が施され、当該画像処理が施された
入力画像が用紙に印字されることから、人物の顔部分の
印字が適正に行われることとなる。
【0068】また、請求項26の発明は、請求項25記
載のプリンタにおいて、上記画像処理手段は、上記画像
処理として、上記領域検出手段により検出された部分領
域の輝度が適正な値になるように3原色信号の出力値を
補正する処理を施すものであることを特徴としている。
【0069】この構成によれば、領域検出手段により検
出された部分領域の輝度が適正な値、例えばディジタル
値が8ビットの場合に当該部分領域の所定の平均輝度が
100〜150の範囲になるように3原色信号の出力値
を補正する処理が施されることから、人物の顔部分の輝
度が適正になされた印字が自動的に行われることとな
る。
【0070】また、請求項27の発明は、請求項25記
載のプリンタにおいて、上記画像処理手段は、上記画像
処理として、上記領域検出手段により検出された部分領
域の色データが所定範囲に含まれるように3原色信号の
出力比率を調整する処理を施すものであることを特徴と
している。
【0071】この構成によれば、領域検出手段により検
出された部分領域の色データが所定範囲、例えば所定の
肌色の範囲に含まれるように、3原色信号の出力比率が
調整されることから、人物の顔部分の色バランスが適正
な肌色になされた印字が自動的に行われることとなる。
【0072】また、請求項28の発明は、請求項25記
載のプリンタにおいて、上記画像処理手段は、上記画像
処理として、上記領域検出手段により検出された部分領
域に対して所定レベル以下のエッジ強調処理を施すもの
であることを特徴としている。
【0073】この構成によれば、領域検出手段により検
出された部分領域に対して所定レベル以下のエッジ強調
処理が施されることにより、人物の顔部分のシャープネ
スが高くなり過ぎず、人物の顔部分が適正なレベルのシ
ャープネスで印字されることとなる。
【0074】また、請求項29の発明は、請求項25記
載のプリンタにおいて、上記画像処理手段は、上記画像
処理として、上記領域検出手段により検出された部分領
域のサイズに応じた階調特性になるように階調補正処理
を施すものであることを特徴としている。
【0075】この構成によれば、領域検出手段により検
出された部分領域のサイズに応じた階調特性になるよう
に階調補正処理が施されることから、人物の顔部分が適
正な階調で印字されることとなる。
【0076】
【発明の実施の形態】(第1実施形態)まず、図2〜図
6を参照しつつ、図1のブロック図に従って、本発明に
係る画像検出装置の第1実施形態の構成について説明す
る。図1は同第1実施形態の電気的構成を示すブロック
図、図2は入力画像、検索画像、部分領域を説明する図
である。
【0077】図1に示すように、画像検出装置10は、
画像入力部1、色変換部2、検索領域設定部3、HQヒ
ストグラム作成部4、HQヒストグラム比較部5、類似
度判定部6、領域位置記憶部7、類似領域情報出力部8
を備えている。
【0078】この画像検出装置10は、入力された検索
対象の画像(入力画像)11(図2(a)参照)に、検索
したい物体の画像(検索画像)に類似する画像(以下、
単に「検索画像」という。)13(図2(b)参照)が存
在するか否かを両画像の色ヒストグラムを比較すること
によって検索するものである。
【0079】この画像検出装置10による検索画像の探
索は、入力画像11内に適当なサイズの部分領域12
(図2(c)参照)を設定し、その部分領域12を所定の
移動ピッチで入力画像11の全域に亘って移動させて、
その移動ごとに色ヒストグラムを比較することにより行
われる。このとき、部分領域12のサイズを順次変更
し、種々のサイズの部分領域12と検索画像13との比
較を行うことにより、種々のサイズの検索画像13を検
索できるようにしている。
【0080】また、この画像検出装置10は、例えば取
り込んだ画像の画素密度が粗いことまたはサイズが小さ
いことなどにより、設定された部分領域12または検索
画像13の画素数が所定値以下になるときは、度数の平
滑化処理が施された色ヒストグラムを作成することによ
り、検出性能の低下を防止するようにしている。
【0081】なお、検索画像13として、本実施形態で
は、図2(b)に示すように、人物の顔部分の画像を用い
ている。
【0082】図1において、画像入力部1は、入力画像
11および検索画像13を取り込むもので、本実施形態
では例えば入力画像11は(横)×(縦)が640×480画素、
検索画像13は(横)×(縦)が15×15画素で、いずれも
R,G,B信号に基づく8ビットの画像データとして取
り込まれる。
【0083】色変換部2は、画像入力部1により取り込
まれたR,G,B信号に基づく画像データを色相(H)お
よび修正彩度(Q)に基づく画像データに変換するもの
で、下記式 に基づき変換が行われる。
【0084】輝度の変化の影響を受けない色相(H)に変
換することにより、輝度変化の予想される物体を好適に
検出することができる。また、明度に比例して彩度値が
高くなる特徴を有する修正彩度(Q)に変換することによ
り、比較的明度が高い人物の肌をマンセル表色系から求
められる彩度に比べて、より好適に検出することができ
る。
【0085】検索領域設定部3は、検索を行う際に、検
索画像13と比較するために、入力画像11内に部分領
域12を設定するものである。図2(c)に示すように、
本実施形態では、入力画像11内に設定される部分領域
12の形状は矩形で、その部分領域12のサイズpの初
期値は、入力画像11の4/5に設定している。
【0086】また、検索領域設定部3は、部分領域12
を所定の移動ピッチで移動させるもので、移動ごとに検
索が行われる。
【0087】また、検索領域設定部3は、部分領域12
の移動により入力画像11の全域の検索が終了すると、
図2(d)に示すように、部分領域12のサイズpを縮小
率rで縮小するもので、部分領域12のサイズpが所定
値P以下になるまで、部分領域12のサイズを縮小して
検索が繰り返される。
【0088】部分領域12のサイズpの初期値は、入力
画像11内に人物の顔が存在する場合の最大サイズを考
慮して設定しており、その初期値を入力画像11の4/
5に設定することにより、入力画像11内に存在し得る
最大の人物の顔を洩れることなく確実に検索することが
できるようにしている。
【0089】上述したように、入力画像11を640×480
画素としているので、部分領域12のサイズpの初期値
は、512×384画素となる。
【0090】縮小率rは、本実施形態では、例えばr=
0.8に設定しており、部分領域12のサイズpは、410×
307画素、328×246画素、262×197画素、…、と縮小さ
れていく。なお、ここでは部分領域12の画素数が整数
になるように、小数点以下を四捨五入している。このよ
うに部分領域12のサイズpを縮小して検索を繰り返す
ことにより、検索画像13のサイズに関わりなく検索洩
れを防止することができる。
【0091】また、所定値Pは入力画像11のサイズの
1/10に設定している。従って、本実施形態では、所定
値Pは64×48画素になる。この値は、入力画像11中に
人物の顔が被写体として存在する場合の最小サイズを考
慮して設定している。
【0092】部分領域12の移動ピッチは、本実施形態
では例えば1画素に設定し、最小の移動ピッチとしてい
る。これによって洩れのない検索を行うことができる。
【0093】なお、部分領域の位置は、矩形の4隅のう
ちの1つの座標または中心座標を用いればよい。
【0094】図1に戻り、HQヒストグラム作成部4
は、検索領域設定部3により設定された部分領域12ご
とに入力画像11のH,Qデータから正規化色ヒストグ
ラムを作成するとともに、検索画像13のH,Qデータ
から正規化色ヒストグラムを作成するものである。
【0095】色ヒストグラムは、H,Qの各値に対して
2次元的に領域中の画素数をカウントし、その画素数を
度数として表わしたもので、例えば図3に示すように3
次元形状になる。図3はHQヒストグラムの形状例を示
す図であり、同図において、例えば検索される部分領域
で画素数が最も多いH,Qに対応する座標が、最も高い
値となる。なお、色相Hは0〜2π(または0°〜360
°)の値をとり、修正彩度Qは0〜(R,G,Bのうち
で最高階調値)の値をとる。
【0096】このHQヒストグラム作成部4は、所定の
階調分解能Nで色ヒストグラムを作成している。階調分
解能とは、階調の細かさのことを言い、階調分解能Nと
は階調の分割数をNとすることである。階調分解能をN
とし、全階調を256とすると、階調幅は256/Nと
なる。Nの大きい色ヒストグラムを階調分解能が細かい
(高い)色ヒストグラムといい、Nの小さい色ヒストグ
ラムを階調分解能が粗い(低い)色ヒストグラムとい
う。
【0097】図4(a)(b)は全階調が256の同一画像
から色ヒストグラムを作成したときの形状例を示す図
で、(a)は階調分解能N=16の色ヒストグラムを示
し、(b)は階調分解能N=256の色ヒストグラムを示
している。ここでは、説明の便宜上、1次元の色ヒスト
グラムを用いている。
【0098】検索時の階調分解能Nを小さくすると、類
似度を求める際に比較する階調数が減少する(図4の場
合には1/16になる)ため、演算量が減少するので、
演算時間の短縮により検索の高速化を図ることができ
る。
【0099】本実施形態では、階調分解能Nは、本実施
形態の画像検出装置10が有する最高階調分解能に等し
い値としてN=256に設定している。
【0100】図1に戻り、HQヒストグラム作成部4
は、さらに、部分領域12および検索画像13の画素数
が所定値D未満であるか否かを判別し、所定値D未満の
ときは度数の平滑化処理が施された色ヒストグラムを作
成する。この所定値Dは、本実施形態では最高階調分解
能に設定しており、D=256である。
【0101】図5は本実施形態における度数の平滑化処
理を説明する図である。本実施形態の平滑化処理では、
最初に、度数が「正の値であって、かつ近接する階調に
比べて極端に小さい」階調について度数の補間を行い、
次に、度数が0である階調について度数の補間を行っ
て、2段階のデータ補間を行うようにしている。
【0102】まず、例えば図5(a)に示すように、度数
が正の値をとる一の階調niについて、その高階調側お
よび低階調側で度数が正の値をとる階調(図5ではn
k,nj)を求める。次いで、これらの階調nk,njの度
数Pk,Pjのうちで大きくない方の度数をPminとした
ときに、階調niにおける度数Piが度数Pminに比べて
所定比率以上小さい場合、本実施形態では、例えば、 Pi≦Pmin/3 である場合に、階調niの度数Piが、近接する階調n
k,njの度数Pk,Pjに比べて極端に小さいとして、 Pi=Pj+(Pk−Pj)・(ni−nj)/(nk−nj)…(3) によって度数Piを変更する。これによって、度数Pi
は、図5(a)に実線で示す値から図5(b)に一点鎖線で
示す値に変更され、この変更後の度数Piは、度数Pk,
Pjを線形補間した値になる。
【0103】次に、度数が0である一の階調(図5では
nd)について、その高階調側および低階調側で度数が
正の値をとる階調(図5ではni,nj)を求め、 Pd=Pj+(Pi−Pj)・(nd−nj)/(ni−nj)…(4) によって階調ndの度数Pdを変更する。これによって、
度数Pdは、0から図5(d)に実線で示す値に変更さ
れ、この変更後の度数Pdは、度数Pi,Pjを線形補間
した値になる。
【0104】図1に戻り、HQヒストグラム作成部4
は、求めた色ヒストグラムの正規化を行う。正規化色ヒ
ストグラムは、各階調での度数を全度数で割った値を新
たな度数とすることにより、度数の合計が1になるよう
に正規化した色ヒストグラムである。
【0105】HQヒストグラム比較部5は、入力画像1
1の部分領域12と検索画像13の色ヒストグラムを比
較するものである。類似度判定部6は、比較した色ヒス
トグラムの類似度Smを求め、その類似度Smが所定レ
ベルS以上であるか否かを判定し、所定レベルS以上の
部分領域12を検索画像13が存在する検出領域とする
ものである。
【0106】所定レベルSは、所望の検出精度に応じて
設定すればよく、本実施形態では例えばS=0.8に設定
している。
【0107】図6は色ヒストグラムの類似度を求める手
法を説明する図で、(a)は例えば図2(c)に示す入力画
像11の部分領域12から作成された正規化色ヒストグ
ラム21を示し、(b)は例えば図2(b)に示す検索画像
13から作成された正規化色ヒストグラム22を示して
おり、(c)は両ヒストグラム21,22を比較するため
に重ねた状態を示している。図6では、説明の便宜上、
1次元のヒストグラムを用いている。
【0108】類似度Smは、本実施形態では、図6(a)
(b)の正規化色ヒストグラム21,22の度数を各階調
ごとに比較し、小さい方の度数を全階調に亘って加算し
たものとしている。従って、図6(c)における斜線部2
3の度数を全階調に亘って積算したものが類似度Smに
なるので、類似度Smは0≦Sm≦1になる。類似度S
mが大きいほど、両者の画像がより良く一致しているこ
とになる。
【0109】図1に戻り、領域位置記憶部7は、類似度
Smが所定レベルS以上の部分領域12の位置を検索画
像13が存在する検出領域14(図2(e)参照)として
記憶するものである。類似領域情報出力部8は、領域位
置記憶部7に格納された検出領域14を検索結果として
出力するものである。
【0110】次に、本画像検出装置における検索手順の
一例について説明する。図7はメインルーチンを示すフ
ローチャートである。
【0111】図7の#100において、まず、検索対象
となる入力画像11と検索すべき検索画像13とが、
R,G,B信号に基づく画像データとして取り込まれる
(図2(a)(b)参照)。次いで、上記式(1),(2)に従
って、R,G,B信号に基づく画像データがH,Q信号
に基づく画像データに変換される(#105)。
【0112】次いで、検索画像13のH,Qデータが取
り込まれ(#110)、その正規化色ヒストグラムが作
成される(#115)。このサブルーチンは図8を用い
て後述する。
【0113】次いで、入力画像11の部分領域12(図
2(c)参照)のH,Qデータが取り込まれ(#12
0)、その正規化色ヒストグラムが作成される(#12
5)。このサブルーチンは図8を用いて後述する。
【0114】次いで、両正規化色ヒストグラムの類似度
Smが求められ(#130)、その類似度Smが所定レ
ベルSと比較される(#135)。そして、Sm≦Sで
あれば(#135でNO)、#145に進み、Sm>S
であれば(#135でYES)、その部分領域12の位
置に関する情報が領域位置記憶部7に格納されて(#1
40)、#145に進む。
【0115】次いで、#145において、部分領域12
が入力画像11の全領域をカバーしたか否かが判別さ
れ、未だ全領域がカバーされていなければ(#145で
NO)、部分領域12の位置を所定の移動ピッチ(本実
施形態では例えば1画素)だけ移動して(#150)、
#120に戻る。
【0116】一方、部分領域12が入力画像11の全領
域をカバーしていれば(#145でYES)、部分領域
12のサイズpと所定値Pとが比較される(#15
5)。
【0117】そして、p>Pであれば(#155でN
O)、#160において、部分領域12のサイズpが縮
小率rで縮小され(図2(d)参照)、#120に戻る。
【0118】一方、p≦Pであれば(#155でYE
S)、#140で記憶された部分領域12の位置に関す
る情報が検索結果14(図2(e)参照)として出力され
て(#165)、終了する。
【0119】図8は、上記図7の#115,#125の
正規化色ヒストグラム作成サブルーチンのフローチャー
トである。
【0120】まず、画像のH,Qデータから色ヒストグ
ラムが所定の階調分解能N(本実施形態では例えばN=
256)で作成され(#200)、次いで、画像データ
の全画素数が所定値D未満か否かが判別される(#20
5)。
【0121】そして、全画素数≧Dであれば(#205
でNO)、#240に進み、全画素数<Dであれば(#
205でYES)、#200で作成した色ヒストグラム
の各階調における度数の判定を行う。すなわち、ある1
の階調での度数が「正の値であって、かつ所定値以下」
であるか否かが判別される(#210)。但し、所定値
は、本実施形態では例えば、当該階調の高階調側および
低階調側で度数が正の値をとる階調の度数のうちで大き
くない方の度数をPminとしたときに、Pmin/3であ
る。
【0122】そして、当該階調での度数が「正の値であ
って、かつ所定値以下」であれば(#210でYE
S)、上記式(3)に従って、データ補間が行われて(#
215)、#220に進み、当該階調での度数が「正の
値であって、かつ所定値以下」でなければ(#210で
NO)、直接#220に進む。
【0123】次いで、#220において、全階調につい
て度数の判定が行われたか否かが判別され、全階調につ
いての判定が終了していなければ(#220でNO)、
#210に戻る。
【0124】一方、全階調について度数の判定が行われ
ると(#220でYES)、色ヒストグラムの各階調に
おける度数の判定を再び行う。すなわち、ある1の階調
での度数が0か否かが判別され(#225)、0でなけ
れば(#225でNO)、直接#235に進み、当該階
調での度数が0であれば(#225でYES)、上記式
(4)に従って、データ補間が行われ(#230)、#2
35に進む。
【0125】次いで、#235において、全階調につい
て度数の判定が行われたか否かが判別され、全階調につ
いての判定が終了していなければ(#235でNO)、
#225に戻る。
【0126】一方、全階調について度数の判定が行われ
ると(#235でYES)、色ヒストグラムの正規化が
行われて(#240)、終了する。
【0127】本実施形態では、入力画像11は640×480
画素、検索画像13は15×15画素としているので、検索
画像13の全画素数は15×15=225<D=256となること
から、検索画像13について、度数の平滑化処理が施さ
れた色ヒストグラムが作成される。
【0128】このように、第1実施形態によれば、画像
データの全画素数が所定値D未満であるか否かを判別
し、所定値D未満であれば度数の平滑化処理が施された
色ヒストグラムを作成するようにしているので、色ヒス
トグラムが櫛の歯状になるようなことが防止できる。従
って、色ヒストグラムが櫛の歯状の場合に階調の微小な
ずれにより類似度が大きく低下するような事態を未然に
防止することができ、これによって検出性能の低下を防
ぐことができる。また、画像データの画素数が大きく異
なる場合にも、検出性能の低下を防ぐことができる。
【0129】また、第1実施形態では、度数の平滑化処
理として、最初に、度数が正の値であって、かつ近接す
る階調に比べて極端に小さい階調について度数の補間を
行い、次に、度数が0である階調について度数の補間を
行って、2段階のデータ補間を行うようにしているの
で、滑らかな形状の色ヒストグラムを確実に作成するこ
とができ、色ヒストグラムが櫛の歯状になるようなこと
が確実に防止できる。
【0130】(第2実施形態)次に、本発明に係る画像
検出装置の第2実施形態について説明する。第2実施形
態の電気的構成は、図1のブロック図に示す第1実施形
態と同様の構成になっており、第2実施形態では、HQ
ヒストグラム作成部4による度数の平滑化処理の手法の
みが第1実施形態と異なっている。
【0131】第1実施形態では階調分解能N(例えばN
=256)が固定されているのに対して、第2実施形態
のHQヒストグラム作成部4は、入力画像11の部分領
域12または検索画像13の画素数が所定値D未満のと
きは階調分解能Nを粗くすることにより度数の平滑化処
理を行うものである。
【0132】すなわち、このHQヒストグラム作成部4
は、部分領域12の画素数Dnと検索画像13の画素数
Dkとを比較し、その小さい方の画素数Kを所定値Dと
比較し、K<Dのときは、階調分解能Nを、 N=K/5 …(5) として、色ヒストグラムを作成するものである。
【0133】図9は、第2実施形態における検索手順の
メインルーチンを示すフローチャートである。なお、度
数の平滑化処理の手法以外は、第1実施形態と同様であ
る。
【0134】まず、検索対象となる入力画像11と検索
すべき検索画像13(図2参照)とが、R,G,B信号
に基づく画像データとして取り込まれる(#300)。
次いで、上記式(1),(2)に従って、R,G,B信号に
基づく画像データがH,Q信号に基づく画像データに変
換される(#305)。
【0135】次いで、検索画像13のH,Qデータが取
り込まれ、その画素数Dkが算出される(#310)。
第2実施形態では、第1実施形態と同様に、例えばDk
=15×15=225である。次いで、入力画像11の部分領
域12のH,Qデータが取り込まれ、その画素数Dnが
算出される(#315)。第2実施形態では、第1実施
形態と同様に、部分領域12のサイズpの初期値は入力
画像11の4/5であるので、この初期値の場合には、
Dn=512×384=196608である。
【0136】次いで、検索画像および部分領域の色ヒス
トグラムを作成する際の階調分解能Nが求められる(#
320)。このサブルーチンは図10を用いて後述す
る。
【0137】次いで、決定された階調分解能Nに基づき
検索画像13の正規化色ヒストグラムが作成される(#
325)。
【0138】次いで、入力画像11のうちの部分領域1
2の画像データが取り込まれ(#330)、#320で
決定された階調分解能Nに基づき部分領域12の正規化
色ヒストグラムが作成される(#335)。
【0139】次いで、両者の色ヒストグラムの類似度S
mが求められ(#340)、その類似度Smが所定レベ
ルSと比較される(#345)。そして、Sm≦Sであ
れば(#345でNO)、#355に進み、Sm>Sで
あれば(#345でYES)、その部分領域12の位置
に関する情報が領域位置記憶部7に格納されて(#35
0)、#355に進む。
【0140】次いで、#355において、部分領域12
が入力画像11の全領域をカバーしたか否かが判別さ
れ、未だ全領域がカバーされていなければ(#355で
NO)、部分領域12の位置を所定の移動ピッチ(本実
施形態では例えば1画素)だけ移動して(#360)、
#330に戻る。
【0141】一方、部分領域12が入力画像11の全領
域をカバーしていれば(#355でYES)、部分領域
12のサイズpと所定値Pとが比較される(#36
5)。
【0142】そして、p>Pであれば(#365でN
O)、#370において、部分領域12のサイズpが縮
小率rで縮小され、#315に戻り、縮小された部分領
域12の画素数Dnが求められる。
【0143】一方、p≦Pであれば(#365でYE
S)、#350で記憶された部分領域12の位置に関す
る情報が検索結果として出力されて(#375)、終了
する。
【0144】図10は、上記図9の#320の階調分解
能決定サブルーチンのフローチャートである。
【0145】まず、検索画像13の画素数Dkと部分領
域12の画素数Dnとを比較し(#400)、Kを小さ
い方の画素数とする(#405,#410)。
【0146】次いで、この画素数Kと所定値Dとを比較
し(#415)、K<Dであれば(#415でYE
S)、階調分解能NをN=(K/5)とし(#420)、
K≧Dであれば(#415でNO)、階調分解能Nを最
高階調分解能(第2実施形態では256)とする(#4
25)。
【0147】第2実施形態では、Dk=15×15=225、
部分領域12のサイズpが初期値の場合には、Dn=51
2×384=196608であるので、Dk<Dnになることか
ら、K=Dkになる。ここで、K=225<D=256になる
ので、N=(225/5)=45になることから、階調分解能
N=45で色ヒストグラムが作成されることとなる。
【0148】このように、第2実施形態によれば、部分
領域12の画素数Dnと検索画像13の画素数Dkとの
小さい方の画素数Kが所定値D未満のときは、度数の平
滑化処理として、階調分解能NをN=K/5に粗くして
色ヒストグラムを作成するようにしているので、第1実
施形態と同様に、色ヒストグラムが櫛の歯状になるよう
な事態が生じるのを防止することができ、検索画像の検
出性能が低下するのを防止することができる。
【0149】また、第2実施形態によれば、度数の平滑
化処理の手法として、階調分解能を粗くして色ヒストグ
ラムを作成しているので、第1実施形態に比べて演算の
負荷を軽減することができ、これによって検索時間の短
縮を図ることができる。
【0150】なお、色ヒストグラムの1つの階調幅n
は、 n=(最高階調分解能/N) …(6) で与えられる。
【0151】ここで、画像の輝度変化や色かぶりが予想
される場合には、上記式(5),(6)に従って求めた階調幅
nをさらに増大することにより、その影響を低減するこ
とができる。具体的には、例えば色相(H)に対しては階
調幅nを(n+0.3)とし、修正彩度(Q)に対しては階調
幅nを(n+30)とすればよい。この増大幅は、例えば画
像入力部1としてディジタルスチルカメラを用いて撮影
した画像において、色かぶりや露出アンダーによる色相
(H)や修正彩度(Q)のばらつきに基づいて決定すること
ができる。
【0152】なお、本発明は、上記第1、第2実施形態
に限られず、以下の変形形態を採用することができる。
【0153】(1)HQヒストグラム作成部4による色
ヒストグラム作成の際における度数の平滑化処理の手法
は、上記第1、第2実施形態に限られない。図11は度
数の平滑化処理の異なる手法を説明する図である。
【0154】図11(a)は画素数が少ないことにより度
数が櫛の歯状になっている色ヒストグラムを示してお
り、階調n2,n5は近接する階調に比べて度数が極端に
小さくなっており、階調n3,n7は度数が0になってい
る。
【0155】図11(a)のような色ヒストグラムにおい
て、図11(b)は、単に、度数が正の値である階調につ
いて、それらの度数を順に直線で結び、その間の階調に
対応する直線上の値を新たな度数としたものを示してい
る。この場合には、度数が極端に小さい階調n2,n5の
箇所において、ヒストグラムが櫛の歯状になっているた
め、好ましくない。
【0156】これに対して、図11(c)は、最初に、度
数が極端に小さい階調n2,n5について、階調n2の度
数を近接する階調n1,n4の度数を結ぶ直線上の値と
し、階調n5の度数を近接する階調n4,n6の度数を結
ぶ直線上の値として、データ補間を行い、次に、度数が
正の値である階調について、それらの度数を順に直線で
結び、その間の階調に対応する直線上の値を新たな度数
としてデータ補間を行ったものを示しており、上記第1
実施形態の式(3),(4)と同様のデータ補間になってい
る。この場合、階調の下限および上限は、所定の最低階
調値(例えば0)および所定の最高階調値(例えば25
5)が0になるように、直線でデータ補間すればよい。
なお、この階調の下限および上限は、それぞれ下限側お
よび上限側における度数が正の値である2つの階調の階
調差に基づいて決定した階調が0になるようにしてもよ
い。
【0157】また、図11(d)は、最初に、度数が極端
に小さい階調n2,n5について、図11(c)と同様にデ
ータ補間を行い、次に、度数が0である階調n3,n7に
ついて、その階調より低い側において度数が正の値にな
る階調の度数に一致させるようにしたものである。この
データ補間によれば、度数が正の値である階調の数に応
じた粗い階調分解能で色ヒストグラムが作成されること
となる。
【0158】また、図11(e)は、度数が極端に小さい
階調n2,n5および度数が0である階調n3,n7につい
て、その階調より低い側において度数が正の値になる階
調の度数に一致させるようにしたもので、これは、図1
1(d)において、度数が極端に小さい階調n2,n5を度
数が0とみなしたものに相当する。このデータ補間によ
れば、度数が極端に小さい階調および度数が0である階
調を除く階調の数に応じた粗い階調分解能で色ヒストグ
ラムが作成されることとなる。
【0159】これらの図11(c),(d)に示す平滑化処
理によっても、画素数が少ない画像データにより色ヒス
トグラムが櫛の歯状になるのを防止することができ、上
記第1、第2実施形態と同様の効果を得ることができ
る。
【0160】また、図11(e)に示す平滑化処理によれ
ば、図11(d)に示す場合に比べて多少精度が低下する
が、同様に、画素数が少ない画像データにより色ヒスト
グラムが櫛の歯状になるのを防止することができる。
【0161】また、特に図11(d),(e)に示す平滑化
処理によれば、他の形態に比べて演算の負荷を大幅に軽
減することができ、これによって検索時間を大幅に短縮
することができる。
【0162】なお、度数が正の値であって、かつ近接す
る階調に比べて極端に小さい階調(例えば図11(a)に
示す階調n2,n5)が存在しない場合には、単に、度数
が正の値である階調について、それらの度数を順に直線
で結び、その間の階調に対応する直線上の値を新たな度
数としたデータ補間を行ってもよい。この場合には、図
11(b)に示すようにヒストグラムが櫛の歯状になるこ
とはなく、上記第1、第2実施形態と同様の効果を得る
ことができる。
【0163】(2)上記実施形態では、色空間として色
相(H),修正彩度(Q)を用いているが、これに限られ
ず、R,G,B信号をそのまま用いてもよい。また、H
IS(Hue,Intensity,Saturation)表色系、L*a*
b*表色系、L*u*v*表色系などの他の色空間を用
いてもよい。
【0164】(3)図1に破線で示すように、階調分解
能N、部分領域12の大きさp、部分領域12の移動ピ
ッチ、所定レベルSなどの各パラメータを設定する操作
入力部91を備え、各値を使用者が外部から設定入力で
きるようにしてもよい。
【0165】(4)上記実施形態では、検索画像13を
画像入力部1により取り込むようにしているが、これに
限られず、例えば図1に破線で示すように、検索データ
記憶部92を備え、検索画像13に関するデータを予め
記憶しておくようにしてもよい。
【0166】この場合、検索データ記憶部92には、検
索画像13に関するデータをR,G,B信号に基づく画
像データとして記憶してもよく、予めH,Qデータに変
換された画像データとして記憶しておいてもよい。
【0167】また、予めH,Qデータに基づく正規化色
ヒストグラムとして記憶しておいてもよい。この場合、
階調分解能Nでの双方の正規化ヒストグラムを記憶する
ようにしておけばよい。
【0168】(5)図12は本発明に係る画像検出装置
が応用されたディジタルスチルカメラの電気的構成を示
すブロック図である。
【0169】ディジタルスチルカメラ100の撮像部1
01は、例えばCCDなどの複数の光電変換素子が2次
元的に配置され、各光電変換素子の前面に色分解フィル
タが配置されて、色分解フィルタおよび光電変換素子が
一体的に構成されてなるエリアセンサなどを備え、色分
解された被写体109からの光をカラー撮像してカラー
画像信号101R,101G,101Bを出力するもの
である。
【0170】光学系102は、撮影レンズ、絞りおよび
これらを駆動する駆動部などを備え、被写体109から
の光を撮像部101のエリアセンサの受光面に結像する
ものである。
【0171】画像検出装置10は、上記図1に示したも
ので、操作部107のレリーズボタンが押される前に、
撮像部101から出力されるカラー画像信号101R,
101G,101Bを上記入力画像として、被写体10
9に人物の顔部分が存在するか否かを検索するものであ
る。
【0172】撮影制御部103は、撮影に関する制御と
して、記憶部104に格納されている制御プログラムに
従って光学系102の動作を制御するものである。この
撮影制御部103は、例えば画像検出装置10により検
出された人物の顔部分に焦点が合うように光学系102
の駆動部を介して撮影レンズを制御するオートフォーカ
ス制御を行う。
【0173】また、撮影制御部103は、例えば画像検
出装置10により検出された人物の顔部分の露出が適正
な値になるように、光学系102の駆動部を介して絞り
およびシャッター速度を制御する自動露出制御を行う。
【0174】ここで、露出の適正な値とは、本形態で
は、例えばEV値が±0であることをいう。また、適正
な露出として、例えばディジタル値が8ビット(0〜25
5)で表わされる場合に、部分領域の平均輝度Yが100≦
Y≦150を満たすものとしてもよい。
【0175】なお、平均輝度Yは、カラー画像信号10
1R,101G,101Bの各値をR,G,Bとする
と、 Y=0.299・R+0.587・G+0.114・B により求められる。
【0176】画像処理部105は、撮影に関する制御と
して、記憶部104に格納されている制御プログラムに
従ってカラー画像信号101R,101G,101Bに
対して所定の画像処理を施すものである。この画像処理
部105は、例えば画像検出装置10により検出された
人物の顔部分の色データが、図13に示す適正範囲10
8に含まれるように、カラー画像信号101Gに対する
カラー画像信号101R,101Bの出力比率を調整す
るオートホワイトバランス制御を行うものである。
【0177】図13は人物の肌色が適正に表わされる範
囲を示すHQ色度図で、このHQ色度図上において、0
°の方向が赤色(R)に対応し、+120°の方向が緑色
(G)に対応し、+240°(−120°)の方向が青色
(B)に対応しており、例えば点Pの色データは、0°か
らの角度である色相Hと、中心からの距離である修正彩
度Qとによって表わされる。
【0178】適正範囲108は、本形態では、例えば30
°≦H≦60°、40≦Q≦150によって囲まれる扇形の範
囲である。但し、ディジタル値は8ビット(0〜255)で
表わされ、修正彩度Qは0〜255の値をとるものとする。
【0179】そして、画像処理部105は、検出された
人物の顔部分のカラー画像信号101R,101G,1
01Bが上記式(1),(2)に従ってH,Qデータに変換
されたときに図13の適正範囲108に含まれるよう
に、カラー画像信号101R,101G,101Bの出
力比率を調整する。
【0180】なお、上記適正範囲108は、予め設定し
て記憶部104に格納しておけばよい。また、これに代
えて、操作部107により使用者が設定入力できるよう
にしてもよい。
【0181】また、画像処理部105は、画像検出装置
10により人物の顔部分が検出されたときは、当該検出
された部分領域に対するエッジ強調処理を所定レベル以
下の強調度合いに変更する。このとき、人物の顔部分の
サイズ、すなわち人物の顔部分の存在する部分領域のサ
イズに応じて、エッジ強調処理の強調度合いを低下させ
ている。
【0182】表1は人物の顔部分のサイズに対応するエ
ッジ強調度合いおよび階調特性を示している。図14は
画像処理部105により施されるエッジ強調処理に用い
られるフィルタを示す図で、(a)はエッジ強調度合いが
強いフィルタを示し、(b)はエッジ強調度合いが中程度
のフィルタを示し、(c)はエッジ強調度合いが弱いフィ
ルタを示している。
【0183】
【表1】
【0184】表1に示すように、入力画像のサイズに対
する人物の顔部分の存在する部分領域のサイズの比率が
30〜100%のときは、図14(c)に示すフィルタ(エッ
ジ強調度合いが弱いフィルタ)を用いて人物の顔部分が
検出された部分領域に対してエッジ強調処理が施され、
5〜30%のときは、図14(b)に示すフィルタ(エッジ
強調度合いが中程度のフィルタ)を用いて当該部分領域
に対してエッジ強調処理が施される。
【0185】一方、人物の顔部分が検出されないとき
は、図14(a)に示すフィルタ(エッジ強調度合いが強
いフィルタ)を用いてエッジ強調処理が施される。
【0186】また、画像処理部105は、画像検出装置
10により検出された人物の顔部分のサイズ、すなわち
人物の顔部分の存在する部分領域のサイズに応じて、画
像全体に対して施す階調補正処理を変更する。
【0187】図15は画像処理部105により施される
階調補正処理における階調特性(γ補正曲線)の一例を
示している。階調補正処理は、まずモニタの入出力特性
の逆特性をかける補正を行った後で、部分領域のサイズ
に応じた階調補正を行う。表1に示すように、入力画像
のサイズに対する人物の顔部分の存在する部分領域のサ
イズの比率が30〜100%のときは、図15のγ補正曲線
a(γ=1.1)を用いて階調補正処理が施され、10〜30
%のときは、図15のγ補正曲線b(γ=1.15)を用い
て階調補正処理が施され、5〜10%のときは、図15の
γ補正曲線c(γ=1.2)を用いて階調補正処理が施さ
れ、人物の顔部分が検出されないときは、図15のγ補
正曲線d(γ=1.25)を用いて階調補正処理が施され
る。
【0188】なお、人物の顔部分の存在する部分領域の
サイズの比率の境界値(例えば30%)は、いずれか一方
の範囲に含ませるようにすればよい。また、これらの境
界値は、表1に示すものに限られず、ディジタルスチル
カメラ100の特性に合わせて適切な値に設定すればよ
い。
【0189】画像処理部105により画像処理が施され
た被写体109の画像は、記憶部104に保存された
り、表示部106に表示されるようになっている。記憶
部104は、例えばROM、RAM、EEPROMなど
からなり、表示部106は、例えばLCDからなる。
【0190】なお、ここでは静止画を撮影するディジタ
ルスチルカメラを用いて説明しているが、これに限られ
ず、本形態は、動画を撮影するディジタルビデオカメラ
に適用することもできる。
【0191】(6)図16は本発明に係る画像検出装置
が応用されたプリンタの電気的構成を示すブロック図で
ある。
【0192】プリンタ110のデータ受信部111は、
例えばパーソナルコンピュータ(PC)119から送ら
れるR,G,B信号に基づく画像データを受信して、カ
ラー画像信号111R,111G,111Bを出力す
る。
【0193】画像検出装置10は、上記図1に示したも
ので、データ受信部111から出力されるカラー画像信
号111R,111G,111Bに基づき、画像に人物
の顔部分が存在するか否かを検索するものである。
【0194】画像処理部112は、メモリ部113に格
納されている制御プログラムに従ってカラー画像信号1
11R,111G,111Bに対して人物画像が適正に
印字されるように画像処理を施すものである。
【0195】この画像処理部112は、例えば画像検出
装置10により検出された人物の顔部分の輝度が適正な
値になるように、カラー画像信号111R,111G,
111Bの出力値を補正する処理を施すものである。
【0196】ここで、輝度が適正な値とは、本形態で
は、例えばディジタル値が8ビット(0〜255)で表わさ
れる場合に、部分領域の平均輝度Yが100≦Y≦150を満
たすものであることをいう。
【0197】なお、平均輝度Yは、カラー画像信号11
1R,111G,111Bの各値をR,G,Bとする
と、 Y=0.299・R+0.587・G+0.114・B により求められる。
【0198】また、画像処理部112は、例えば画像検
出装置10により検出された部分領域の色データが上記
適正範囲108(図13参照)に含まれるように、カラ
ー画像信号111R,111G,111Bの比率を補正
する色バランス補正処理を行う。これによって、人物の
顔部分の肌色が適正な色で印字される。
【0199】なお、上記適正範囲108(図13)は、
予め設定して記憶部113に格納しておけばよい。ま
た、これに代えて、操作部115により使用者が設定入
力できるようにしてもよい。
【0200】また、画像処理部112は、上記ディジタ
ルスチルカメラ100の画像処理部105(図12)と
同様に、上記表1および図14に示すように、画像検出
装置10により検出された人物の顔部分の存在する部分
領域のサイズに応じて、エッジ強調処理の強調度合いを
低下させている。これによって、人物の顔部分のシャー
プネスが高くなり過ぎないようにすることができ、人物
の顔部分が適正に印字される。
【0201】また、画像処理部112は、上記ディジタ
ルスチルカメラ100の画像処理部105(図12)と
同様に、上記表1および図15に示すように、画像検出
装置10により検出された人物の顔部分の存在する部分
領域のサイズに応じて、画像全体に対して施す階調補正
処理を変更している。これによって、人物の顔部分の階
調が高くなり過ぎないようにすることができ、人物の顔
部分が適正な階調で印字される。
【0202】画像処理部112により画像処理が施され
た画像は、印字部114によって用紙にプリントアウト
されるようになっている。
【0203】
【発明の効果】以上説明したように、請求項1、18の
発明によれば、設定された部分領域の画素数が所定値以
下であるか否かを判別し、設定された部分領域の画素数
が上記所定値以下のときは、一の階調に近接する高階調
側および低階調側のうちで少なくとも一方の階調と当該
一の階調との間における度数の変化量が所定レベル以下
になるように全ての階調について度数の平滑化処理が施
された色ヒストグラムを作成し、この作成した色ヒスト
グラムにおける度数の合計が1になるように正規化を行
った正規化色ヒストグラムを作成し、一の階調に近接す
る高階調側および低階調側のうちで少なくとも一方の階
調と当該一の階調との間における度数の変化量が所定レ
ベル以下になると共に度数の合計が1になるように正規
色ヒストグラムと作成された各部分領域の正規化色ヒ
ストグラムとの類似度をそれぞれ算出し、その類似度が
所定レベル以上の部分領域を検出するようにしているの
で、検索画像および部分領域の色ヒストグラムは、いず
れも櫛の歯状になることがないので、検索画像の検出を
正確に行うことができる。
【0204】また、請求項2の発明によれば、度数の平
滑化処理として、度数が正の値である階調であって、か
つ当該階調の高階調側で度数が正の値である最も近い階
調の度数に対する当該階調の度数の比率と、当該階調の
低階調側で度数が正の値である最も近い階調の度数に対
する当該階調の度数の比率とがいずれも所定値以下であ
る階調について、上記高階調側の階調の度数および上記
低階調側の階調の度数を用いて度数の補間処理を行うよ
うにしているので、ヒストグラムが櫛の歯状に近い形状
になるのを防止でき、これによって検索画像の検出を正
確に行うことができる。
【0205】また、請求項3の発明によれば、上記度数
の補間処理は、上記高階調側の階調の度数および上記低
階調側の階調の度数を結ぶ直線上に対応する値を度数と
する線形補間であるので、補間処理の演算が、入力画像
の持つ階調の傾向を大きく変えることなく容易に行うこ
とができる。
【0206】また、請求項4の発明によれば、度数の平
滑化処理として、上記度数の補間処理を行った後、度数
が0である階調について、当該階調の高階調側および低
階調側において度数が正の値である最も近い2つの階調
の度数を用いて度数の第2補間処理を行うようにしてい
るので、この第2補間処理によって得られる度数は、上
記極端に小さい度数に左右されないので、滑らかな形状
のヒストグラムを確実に得ることができる。
【0207】また、請求項5の発明によれば、上記度数
の第2補間処理は、度数が0である階調の高階調側およ
び低階調側において度数が正の値である最も近い2つの
階調の度数を結ぶ直線上に対応する値を度数とする線形
補間であるので、入力画像の持つ階調の傾向を大きく変
えることなく補間が行えるので、検索画像の検出をより
正確に行うことができる。
【0208】また、請求項6の発明によれば、度数の平
滑化処理が施された色ヒストグラムとして、上記所定の
階調分解能より粗い階調分解能で色ヒストグラムを作成
するようにしているので、演算負荷を増大することな
く、検索画像の検出を正確に行うことができる。
【0209】また、請求項7の発明によれば、平滑化処
理が施された色ヒストグラムとして、上記部分領域の画
素数を所定値で除算した値を階調分解能として色ヒスト
グラムを作成するようにしているので、部分領域の色ヒ
ストグラムは、確実に滑らかな形状を有するものとな
り、検索画像の検出を正確に行うことができる。
【0210】また、請求項8の発明によれば、検索画像
から一の階調に近接する高階調側および低階調側のうち
で少なくとも一方の階調と当該一の階調との間における
度数の変化量が所定レベル以下になるように作成された
色ヒストグラムを記憶するようにしているので、検索画
像の色ヒストグラム作成に要する時間だけ検索時間を短
縮することができる。
【0211】また、請求項9の発明によれば、検索画像
の画素数が所定値以下であるか否かを判別し、検索画像
の画素数が上記所定値以下のときは、一の階調に近接す
る高階調側および低階調側のうちで少なくとも一方の階
調と当該一の階調との間における度数の変化量が所定レ
ベル以下になるように度数の平滑化処理が施された色ヒ
ストグラムを作成するようにしているので、検索画像の
色ヒストグラムは、ヒストグラムの形状が平滑化されて
櫛の歯状になることがないので、検索画像の検出を正確
に行うことができる。
【0212】また、請求項10の発明によれば、度数の
平滑化処理として、度数が正の値である階調であって、
かつ当該階調の高階調側で度数が正の値である最も近い
階調の度数に対する当該階調の度数の比率と、当該階調
の低階調側で度数が正の値である最も近い階調の度数に
対する当該階調の度数の比率とがいずれも所定値以下で
ある階調について、上記高階調側の階調の度数および上
記低階調側の階調の度数を用いて度数の補間処理を行う
ようにしているので、ヒストグラムが櫛の歯状に近い形
状になることが防止され、検索画像の色ヒストグラムと
して滑らかな形状のヒストグラムを作成することがで
き、これによって検索画像の検出を正確に行うことがで
きる。
【0213】また、請求項11の発明によれば、上記度
数の補間処理は、上記高階調側の階調の度数および上記
低階調側の階調の度数を結ぶ直線上に対応する値を度数
とする線形補間であるので、補間処理の演算を、検索画
像の持つ階調の傾向を大きく変えることなく容易に行う
ことができる。
【0214】また、請求項12の発明によれば、度数の
平滑化処理として、上記度数の補間処理を行った後、度
数が0である階調について、当該階調の高階調側および
低階調側において度数が正の値である最も近い2つの階
調の度数を用いて度数の第2補間処理を行うようにして
いることから、この第2補間処理によって得られる度数
は、上記極端に小さい度数に左右されないので、滑らか
な形状のヒストグラムを確実に得ることができる。
【0215】また、請求項13の発明によれば、上記度
数の第2補間処理は、度数が0である階調の高階調側お
よび低階調側において度数が正の値である最も近い2つ
の階調の度数を結ぶ直線上に対応する値を新たな度数と
する線形補間であるので、検索画像の持つ階調の傾向を
大きく変えることなく補間が行えることから、検索画像
の検出をより正確に行うことができる。
【0216】また、請求項14の発明によれば、上記度
数の平滑化処理が施された色ヒストグラムとして、上記
所定の階調分解能より粗い階調分解能で色ヒストグラム
を作成するようにしているので、演算負荷を増大するこ
となく、検索画像の検出を正確に行うことができる。
【0217】また、請求項15の発明によれば、上記度
数の平滑化処理が施された色ヒストグラムとして、上記
検索画像の画素数を所定値で除算した値を階調分解能と
して色ヒストグラムを作成するようにしているので、検
索画像の色ヒストグラムは、確実に滑らかな形状を有す
るものとなり、検索画像の検出を正確に行うことができ
る。
【0218】また、請求項16の発明によれば、上記ヒ
ストグラム作成手段および上記検索ヒストグラム作成手
段は、上記部分領域および上記検索画像の少なくとも一
方の画素数が上記所定値以下のときは、上記度数の平滑
化処理が施された色ヒストグラムとして、それぞれ、上
記部分領域および上記検索画像のうちで少ない方の画素
数を所定値で除算した値を階調分解能として色ヒストグ
ラムを作成するようにしているので、部分領域および検
索画像の色ヒストグラムは、いずれも確実に滑らかな形
状を有するものとなり、検索画像の検出を正確に行うこ
とができる。
【0219】また、請求項17の発明によれば、上記検
索画像は人物の顔部分を含む画像であるので、入力画像
に人物の顔部分が存在するか否かが正確に検出されるこ
ととなり、これによって、人物の顔部分の画像に対して
画像処理を施すなどの応用を行うことができる。
【0220】また、請求項19の発明によれば、撮像手
段により被写体を撮像し、その撮像された被写体の画像
を入力画像として、画像検出手段により被写体画像に人
物の顔部分の画像が存在するか否かを検出して、その検
出結果に応じて撮影に関する制御を行うようにしている
ので、人物の顔部分に対して適正な制御を自動的に行う
ことができる。
【0221】また、請求項20の発明によれば、撮影に
関する制御として、領域検出手段により検出された部分
領域に焦点が合うように光学系の制御を行うようにして
いるので、人物の顔部分に焦点の合った撮影を自動的に
行うことができる。
【0222】また、請求項21の発明によれば、撮影に
関する制御として、領域検出手段により検出された部分
領域の露出が適正な値になるように絞りおよびシャッタ
速度の制御を行うようにしているので、人物の顔部分の
露出が適正になされた撮影を自動的に行うことができ
る。
【0223】また、請求項22の発明によれば、撮影に
関する制御として、領域検出手段により検出された部分
領域の色データが所定範囲に含まれるように撮像手段か
ら出力される3原色信号の出力比率を調整するようにし
ているので、人物の顔部分の色バランスが適正な肌色に
なされた撮影を自動的に行うことができる。
【0224】また、請求項23の発明によれば、撮影に
関する制御として、領域検出手段により検出された部分
領域に対して所定レベル以下のエッジ強調処理を施すよ
うにしているので、人物の顔部分のシャープネスが高く
なり過ぎず、人物の顔部分が適正なレベルのシャープネ
スになされた撮影を自動的に行うことができる。
【0225】また、請求項24の発明によれば、撮影に
関する制御として、領域検出手段により検出された部分
領域のサイズに応じた階調特性になるように階調補正処
理を施すようにしているので、人物の顔部分が適正な階
調になるような撮影を自動的に行うことができる。
【0226】また、請求項25の発明によれば、請求項
7の画像検出装置からなる画像検出手段と、領域検出手
段により検出された部分領域に対して人物画像の印字に
適正な画像処理を施す画像処理手段と、当該画像処理が
施された入力画像を用紙に印字する印字手段とを備えて
いるので、人物の顔部分の印字を適正に行うことができ
る。
【0227】また、請求項26の発明によれば、画像処
理として、領域検出手段により検出された部分領域の輝
度が適正な値になるように3原色信号の出力値を補正す
る処理を施すようにしているので、人物の顔部分の輝度
が適正になされた印字を自動的に行うことができる。
【0228】また、請求項27の発明によれば、画像処
理として、領域検出手段により検出された部分領域の色
データが所定範囲に含まれるように3原色信号の出力比
率を調整する処理を施すようにしているので、人物の顔
部分の色バランスが適正な肌色になされた印字を自動的
に行うことができる。
【0229】また、請求項28の発明によれば、画像処
理として、領域検出手段により検出された部分領域に対
して所定レベル以下のエッジ強調処理を施すようにして
いるので、人物の顔部分のシャープネスが高くなり過ぎ
ず、人物の顔部分が適正なレベルのシャープネスで印字
を行うことができる。
【0230】また、請求項29の発明によれば、画像処
理として、領域検出手段により検出された部分領域のサ
イズに応じた階調特性になるように階調補正処理を施す
ようにしているので、人物の顔部分が適正な階調で印字
することができる。
【図面の簡単な説明】
【図1】本発明に係る画像検出装置の第1実施形態の電
気的構成を示すブロック図である。
【図2】(a)〜(e)は入力画像、検索画像、部分領域を
説明する図である。
【図3】HQヒストグラムの形状例を示す図である。
【図4】全階調が256の同一画像から色ヒストグラム
を作成したときの形状例を示す図で、(a)は階調分解能
N=16の色ヒストグラムを示し、(b)は階調分解能N
=256の色ヒストグラムを示している。
【図5】(a)(b)は第1実施形態におけるデータ補間を
説明する図である。
【図6】(a)〜(c)は色ヒストグラムの類似度を求める
手法を説明する図である。
【図7】検索手順のメインルーチンを示すフローチャー
トである。
【図8】図7の#115,#125の正規化色ヒストグ
ラム作成サブルーチンのフローチャートである。
【図9】第2実施形態の検索手順のメインルーチンを示
すフローチャートである。
【図10】図9の#320の階調分解能決定サブルーチ
ンのフローチャートである。
【図11】(a)〜(e)は平滑化処理の異なる手法を説明
する図である。
【図12】本発明に係る画像検出装置が応用されたディ
ジタルスチルカメラの電気的構成を示すブロック図であ
る。
【図13】人物の肌色が適正に表わされる範囲を示すH
Q色度図である。
【図14】(a)〜(c)は画像処理部により施されるエッ
ジ強調処理に用いられるフィルタを示す図である。
【図15】画像処理部により施される階調補正処理にお
ける階調特性の一例を示す図である。
【図16】本発明に係る画像検出装置が応用されたプリ
ンタの電気的構成を示すブロック図である。
【図17】(a)〜(e)は入力画像および検索画像の画像
データ数がともに少ない場合を示す図である。
【図18】(a)〜(g)は入力画像の画像データ数と検索
画像の画像データ数が互いに大きく異なる場合を示す図
である。
【符号の説明】
3 検索領域設定部(領域抽出手段) 4 HQヒストグラム作成部(領域画素数判別手段、ヒ
ストグラム作成手段、検索画素数判別手段、検索ヒスト
グラム作成手段) 5 HQヒストグラム比較部(領域検出手段) 6 類似度判定部(領域検出手段) 10 画像検出装置(画像検出手段) 11 入力画像 12 部分領域 13 検索画像 92 検索データ記憶部(検索ヒストグラム記憶手段) 100 ディジタルスチルカメラ 101 撮像部(撮像手段) 102 光学系 103 撮影制御部(撮影制御手段) 105 画像処理部(撮影制御手段) 110 プリンタ 112 画像処理部(画像処理手段) 114 印字部(印字手段)
フロントページの続き (51)Int.Cl.7 識別記号 FI G06T 1/00 510 G06T 1/00 510 H04N 1/40 H04N 5/232 Z 1/46 9/64 Z 1/60 101:00 5/232 1/40 D 9/64 F // H04N 101:00 1/46 Z (56)参考文献 特開 平7−73309(JP,A) 特開 平10−164370(JP,A) 特開2000−69304(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 G06T 1/00 H04N 1/40 - 1/60 H04N 5/232 H04N 9/64

Claims (29)

    (57)【特許請求の範囲】
  1. 【請求項1】 所定の検索画像に少なくとも類似する画
    像が検索対象である入力画像に存在するか否かを検出す
    る画像検出装置であって、 上記入力画像において所定サイズの部分領域を設定し、
    その設定された部分領域を所定の移動ピッチで移動させ
    て、その移動ごとに上記入力画像から当該部分領域を抽
    出する領域抽出手段と、 この領域抽出手段により設定された部分領域の画素数が
    所定値以下であるか否かを判別する領域画素数判別手段
    と、 上記領域抽出手段により抽出された各部分領域の色ヒス
    トグラムを所定の階調分解能でそれぞれ作成するととも
    に、上記領域抽出手段により設定された部分領域の画素
    数が上記所定値以下のときは、一の階調に近接する高階
    調側および低階調側のうちで少なくとも一方の階調と当
    該一の階調との間における度数の変化量が所定レベル以
    下になるように全ての階調について度数の平滑化処理が
    施された色ヒストグラムを作成し、該作成した色ヒスト
    グラムにおける度数の合計が1になるように正規化が行
    われた正規化色ヒストグラムを作成するヒストグラム作
    成手段と、 上記検索画像から一の階調に近接する高階調側および低
    階調側のうちで少なくとも一方の階調と当該一の階調と
    の間における度数の変化量が所定レベル以下になると共
    に度数の合計が1になるように作成された正規化色ヒス
    トグラムと上記ヒストグラム作成手段により作成された
    各部分領域の正規化色ヒストグラムとの類似度をそれぞ
    れ算出し、その類似度が所定レベル以上の部分領域を検
    出する領域検出手段とを備えたことを特徴とする画像検
    出装置。
  2. 【請求項2】 請求項1記載の画像検出装置において、
    上記ヒストグラム作成手段は、上記度数の平滑化処理と
    して、度数が正の値である階調であって、かつ当該階調
    の高階調側で度数が正の値である最も近い階調の度数に
    対する当該階調の度数の比率と、当該階調の低階調側で
    度数が正の値である最も近い階調の度数に対する当該階
    調の度数の比率とがいずれも所定値以下である階調につ
    いて、上記高階調側の階調の度数および上記低階調側の
    階調の度数を用いて度数の補間処理を行うものであるこ
    とを特徴とする画像検出装置。
  3. 【請求項3】 請求項2記載の画像検出装置において、
    上記度数の補間処理は、上記高階調側の階調の度数およ
    び上記低階調側の階調の度数を結ぶ直線上に対応する値
    を度数とする線形補間であることを特徴とする画像検出
    装置。
  4. 【請求項4】 請求項2または3記載の画像検出装置に
    おいて、上記ヒストグラム作成手段は、上記度数の平滑
    化処理として、上記度数の補間処理を行った後、度数が
    0である階調について、当該階調の高階調側および低階
    調側において度数が正の値である最も近い2つの階調の
    度数を用いて度数の第2補間処理を行うものであること
    を特徴とする画像検出装置。
  5. 【請求項5】 請求項4記載の画像検出装置において、
    上記度数の第2補間処理は、度数が0である階調の高階
    調側および低階調側において度数が正の値である最も近
    い2つの階調の度数を結ぶ直線上に対応する値を度数と
    する線形補間であることを特徴とする画像検出装置。
  6. 【請求項6】 請求項1記載の画像検出装置において、
    上記ヒストグラム作成手段は、上記度数の平滑化処理が
    施された色ヒストグラムとして、上記所定の階調分解能
    より粗い階調分解能で色ヒストグラムを作成するもので
    あることを特徴とする画像検出装置。
  7. 【請求項7】 請求項6記載の画像検出装置において、
    上記ヒストグラム作成手段は、上記平滑化処理が施され
    た色ヒストグラムとして、上記部分領域の画素数を所定
    値で除算した値を階調分解能として色ヒストグラムを作
    成するものであることを特徴とする画像検出装置。
  8. 【請求項8】 請求項1〜7のいずれかに記載の画像検
    出装置において、上記検索画像から一の階調に近接する
    高階調側および低階調側のうちで少なくとも一方の階調
    と当該一の階調との間における度数の変化量が所定レベ
    ル以下になるように作成された色ヒストグラムを記憶す
    る検索ヒストグラム記憶手段を備えたことを特徴とする
    画像検出装置。
  9. 【請求項9】 請求項1〜7のいずれかに記載の画像検
    出装置において、 上記検索画像の画素数が所定値以下であるか否かを判別
    する検索画素数判別手段と、 上記検索画像から色ヒストグラムを上記所定の階調分解
    能で作成するとともに、上記検索画像の画素数が上記所
    定値以下のときは、一の階調に近接する高階調側および
    低階調側のうちで少なくとも一方の階調と当該一の階調
    との間における度数の変化量が所定レベル以下になるよ
    うに度数の平滑化処理が施された色ヒストグラムを作成
    する検索ヒストグラム作成手段とを備えたことを特徴と
    する画像検出装置。
  10. 【請求項10】 請求項9記載の画像検出装置におい
    て、上記検索ヒストグラム作成手段は、上記度数の平滑
    化処理として、度数が正の値である階調であって、かつ
    当該階調の高階調側で度数が正の値である最も近い階調
    の度数に対する当該階調の度数の比率と、当該階調の低
    階調側で度数が正の値である最も近い階調の度数に対す
    る当該階調の度数の比率とがいずれも所定値以下である
    階調について、上記高階調側の階調の度数および上記低
    階調側の階調の度数を用いて度数の補間処理を行うもの
    であることを特徴とする画像検出装置。
  11. 【請求項11】 請求項10記載の画像検出装置におい
    て、上記度数の補間処理は、上記高階調側の階調の度数
    および上記低階調側の階調の度数を結ぶ直線上に対応す
    る値を度数とする線形補間であることを特徴とする画像
    検出装置。
  12. 【請求項12】 請求項10または11記載の画像検出
    装置において、上記検索ヒストグラム作成手段は、上記
    度数の平滑化処理として、上記度数の補間処理を行った
    後、度数が0である階調について、当該階調の高階調側
    および低階調側において度数が正の値である最も近い2
    つの階調の度数を用いて度数の第2補間処理を行うもの
    であることを特徴とする画像検出装置。
  13. 【請求項13】 請求項12記載の画像検出装置におい
    て、上記度数の第2補間処理は、度数が0である階調の
    高階調側および低階調側において度数が正の値である最
    も近い2つの階調の度数を結ぶ直線上に対応する値を新
    たな度数とする線形補間であることを特徴とする画像検
    出装置。
  14. 【請求項14】 請求項9記載の画像検出装置におい
    て、上記検索ヒストグラム作成手段は、上記度数の平滑
    化処理が施された色ヒストグラムとして、上記所定の階
    調分解能より粗い階調分解能で色ヒストグラムを作成す
    るものであることを特徴とする画像検出装置。
  15. 【請求項15】 請求項14記載の画像検出装置におい
    て、上記検索ヒストグラム作成手段は、上記度数の平滑
    化処理が施された色ヒストグラムとして、上記検索画像
    の画素数を所定値で除算した値を階調分解能として色ヒ
    ストグラムを作成するものであることを特徴とする画像
    検出装置。
  16. 【請求項16】 請求項14記載の画像検出装置におい
    て、上記ヒストグラム作成手段および上記検索ヒストグ
    ラム作成手段は、上記部分領域および上記検索画像の少
    なくとも一方の画素数が上記所定値以下のときは、上記
    度数の平滑化処理が施された色ヒストグラムとして、そ
    れぞれ、上記部分領域および上記検索画像のうちで少な
    い方の画素数を所定値で除算した値を階調分解能として
    色ヒストグラムを作成するものであることを特徴とする
    画像検出装置。
  17. 【請求項17】 請求項1〜16のいずれかに記載の画
    像検出装置において、上記検索画像は、人物の顔部分を
    含む画像であることを特徴とする画像検出装置。
  18. 【請求項18】 所定の検索画像に少なくとも類似する
    画像が検索対象である入力画像に存在するか否かを検出
    する画像検出方法であって、 上記入力画像において所定サイズの部分領域を設定し、
    その設定された部分領域を所定の移動ピッチで移動させ
    て、その移動ごとに上記入力画像から当該部分領域を抽
    出する領域抽出工程と、 この領域抽出工程において設定された部分領域の画素数
    が所定値以下であるか否かを判別する領域画素数判別工
    程と、 上記領域抽出工程において抽出された各部分領域の色ヒ
    ストグラムを所定の階調分解能でそれぞれ作成するとと
    もに、上記領域抽出工程において設定された部分領域の
    画素数が上記所定値以下のときは、一の階調に近接する
    高階調側および低階調側のうちで少なくとも一方の階調
    と当該一の階調との間における度数の変化量が所定レベ
    ル以下になるように全ての階調について度数の平滑化処
    理が施された色ヒストグラムを作成し、該作成した色ヒ
    ストグラムにおける度数の合計が1になるように正規化
    が行われた正規化色ヒストグラムを作成するヒストグラ
    ム作成工程と、 上記検索画像から一の階調に近接する高階調側および低
    階調側のうちで少なくとも一方の階調と当該一の階調と
    の間における度数の変化量が所定レベル以下になると共
    に度数の合計が1になるように作成された正規化色ヒス
    トグラムと上記ヒストグラム作成工程において作成され
    た各部分領域の正規化色ヒストグラムとの類似度をそれ
    ぞれ算出し、その類似度が所定レベル以上の部分領域を
    検出する領域検出工程とを備えたことを特徴とする画像
    検出方法。
  19. 【請求項19】 請求項17記載の画像検出装置からな
    る画像検出手段と、被写体を撮像する撮像手段と、撮影
    に関する制御を行う撮影制御手段とを備え、 上記画像検出手段は、上記撮像手段により撮像される上
    記被写体を上記入力画像とするもので、 上記撮影制御手段は、上記領域検出手段による検出結果
    に応じて上記撮影に関する制御を行うものであることを
    特徴とするディジタルカメラ。
  20. 【請求項20】 請求項19記載のディジタルカメラに
    おいて、上記撮影制御手段は、上記撮影に関する制御と
    して、上記領域検出手段により検出された部分領域に焦
    点が合うように光学系の制御を行うものであることを特
    徴とするディジタルカメラ。
  21. 【請求項21】 請求項19記載のディジタルカメラに
    おいて、上記撮影制御手段は、上記撮影に関する制御と
    して、上記領域検出手段により検出された部分領域の露
    出が適正な値になるように絞りおよびシャッタ速度の制
    御を行うものであることを特徴とするディジタルカメ
    ラ。
  22. 【請求項22】 請求項19記載のディジタルカメラに
    おいて、上記撮影制御手段は、上記撮影に関する制御と
    して、上記領域検出手段により検出された部分領域の色
    データが所定範囲に含まれるように上記撮像手段から出
    力される3原色信号の出力比率を調整するものであるこ
    とを特徴とするディジタルカメラ。
  23. 【請求項23】 請求項19記載のディジタルカメラに
    おいて、上記撮影制御手段は、上記撮影に関する制御と
    して、上記領域検出手段により検出された部分領域に対
    して所定レベル以下のエッジ強調処理を施すものである
    ことを特徴とするディジタルカメラ。
  24. 【請求項24】 請求項19記載のディジタルカメラに
    おいて、上記撮影制御手段は、上記撮影に関する制御と
    して、上記領域検出手段により検出された部分領域のサ
    イズに応じた階調特性になるように階調補正処理を施す
    ものであることを特徴とするディジタルカメラ。
  25. 【請求項25】 請求項17記載の画像検出装置からな
    る画像検出手段と、上記領域検出手段により検出された
    部分領域に対して人物画像の印字に適正な画像処理を施
    す画像処理手段と、当該画像処理が施された上記入力画
    像を用紙に印字する印字手段とを備えたことを特徴とす
    るプリンタ。
  26. 【請求項26】 請求項25記載のプリンタにおいて、
    上記画像処理手段は、上記画像処理として、上記領域検
    出手段により検出された部分領域の輝度が適正な値にな
    るように3原色信号の出力値を補正する処理を施すもの
    であることを特徴とするプリンタ。
  27. 【請求項27】 請求項25記載のプリンタにおいて、
    上記画像処理手段は、上記画像処理として、上記領域検
    出手段により検出された部分領域の色データが所定範囲
    に含まれるように3原色信号の出力比率を調整する処理
    を施すものであることを特徴とするプリンタ。
  28. 【請求項28】 請求項25記載のプリンタにおいて、
    上記画像処理手段は、上記画像処理として、上記領域検
    出手段により検出された部分領域に対して所定レベル以
    下のエッジ強調処理を施すものであることを特徴とする
    プリンタ。
  29. 【請求項29】 請求項25記載のプリンタにおいて、
    上記画像処理手段は、上記画像処理として、上記領域検
    出手段により検出された部分領域のサイズに応じた階調
    特性になるように階調補正処理を施すものであることを
    特徴とするプリンタ。
JP2000361566A 2000-11-07 2000-11-28 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ Expired - Fee Related JP3438719B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000361566A JP3438719B2 (ja) 2000-11-28 2000-11-28 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ
US09/992,164 US6859552B2 (en) 2000-11-07 2001-11-06 Image retrieving apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000361566A JP3438719B2 (ja) 2000-11-28 2000-11-28 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ

Publications (2)

Publication Number Publication Date
JP2002163653A JP2002163653A (ja) 2002-06-07
JP3438719B2 true JP3438719B2 (ja) 2003-08-18

Family

ID=18832983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000361566A Expired - Fee Related JP3438719B2 (ja) 2000-11-07 2000-11-28 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ

Country Status (1)

Country Link
JP (1) JP3438719B2 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100980915B1 (ko) 2002-08-30 2010-09-07 소니 주식회사 화상 처리 장치 및 처리 방법 및 촬영 장치
JP4151387B2 (ja) 2002-11-15 2008-09-17 セイコーエプソン株式会社 被写体の明るさに応じた画質の自動調整
GB2395780A (en) * 2002-11-29 2004-06-02 Sony Uk Ltd Face detection
JP4457787B2 (ja) * 2004-07-14 2010-04-28 ソニー株式会社 映像信号処理装置および方法、ならびにプログラム
JP4575751B2 (ja) * 2004-11-12 2010-11-04 財団法人北九州産業学術推進機構 ヒストグラム近似復元装置及びヒストグラム近似復元方法、並びに画像検索装置及び画像検索方法
JP4325552B2 (ja) 2004-12-24 2009-09-02 セイコーエプソン株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP4595569B2 (ja) * 2005-02-03 2010-12-08 株式会社ニコン 撮像装置
JP4731202B2 (ja) * 2005-05-13 2011-07-20 Nkワークス株式会社 色補正処理方法及びこれを用いた色補正処理装置
JP4773240B2 (ja) * 2006-03-24 2011-09-14 富士フイルム株式会社 類似判別装置および方法並びにプログラム
GB2454213A (en) * 2007-10-31 2009-05-06 Sony Corp Analyzing a Plurality of Stored Images to Allow Searching
KR101643320B1 (ko) * 2010-02-02 2016-07-27 삼성전자주식회사 영상의 히스토그램 평활화 장치 및 방법
CN103106668B (zh) * 2011-11-09 2016-08-03 佳能株式会社 基于颜色直方图来描述图像区域的方法和***
JP7143649B2 (ja) * 2017-09-29 2022-09-29 株式会社リコー 画像処理装置、画像処理システム、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2002163653A (ja) 2002-06-07

Similar Documents

Publication Publication Date Title
US8385680B2 (en) Image processing apparatus and image processing method
US7990429B2 (en) Imaging device with blur enhancement
JP4163353B2 (ja) 画像処理装置
EP2059028A1 (en) Apparatus and method for digital image stabilization using object tracking
US20040207734A1 (en) Image processing apparatus for generating a wide dynamic range image
US7755670B2 (en) Tone-conversion device for image, program, electronic camera, and tone-conversion method
JP3438719B2 (ja) 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ
US8391646B2 (en) Image processing device and method that performs image quality adjustment and resize processing on image data
JP6074254B2 (ja) 画像処理装置およびその制御方法
JP2009159496A (ja) ホワイトバランス制御装置およびそれを用いた撮像装置並びにホワイトバランス制御方法
US11836900B2 (en) Image processing apparatus
US8942477B2 (en) Image processing apparatus, image processing method, and program
JP2002150287A (ja) 画像検出装置、画像検出方法、ディジタルカメラおよびプリンタ
US20020159652A1 (en) Image processing apparatus, image processing method, and program product
EP1871094A1 (en) Image processor, imaging apparatus, and image processing program
JP2006157599A (ja) 撮像装置
JP3731741B2 (ja) カラー動画像処理方法および処理装置
JP5103984B2 (ja) 画像処理装置、撮像装置、および画像処理プログラム
JP5225491B2 (ja) 画像処理装置及び画像処理方法
JP2001136438A (ja) 画像処理装置および画像処理方法ならびに画像処理プログラムを記録したコンピュータ読取可能な記録媒体
EP2130177A1 (en) Restoring and synthesizing glint within digital image eye features
JP2006295581A (ja) 撮影システム、および映像信号処理プログラム
KR20100011288A (ko) 영상 압축 방법, 이를 실행시키기 위한 프로그램을 기록한컴퓨터로 읽을 수 있는 매체 및 디지털 촬영 장치
JP2000276581A (ja) 画像処理装置および画像処理方法ならびに画像処理プログラムを記録した記録媒体
JP5627730B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20030513

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090613

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090613

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100613

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 10

LAPS Cancellation because of no payment of annual fees