JP4895205B2 - 画像処理装置及びそのプログラム - Google Patents

Description

本発明は、画像処理装置及びそのプログラムに係り、詳しくは、被写体の顔を認識することができる画像処理装置及びそのプログラムに関する。

近年、画像検索等を行なう画像処理装置においては、複数の顔画像を選択し、該選択した顔画像を含む画像データを画像認識、例えば、顔の特徴量を算出することにより検索することができる技術が登場した（特許文献１）。

公開特許公報 特開２００６−１６３５２７

しかしながら、従来の技術によれば、複数の顔画像を検索対象、顔認識対象として設定しようとした場合、顔画像を１つ１つ手動選択していく必要があるので、顔画像の選択操作が大変であり、また、どの顔画像を選択したら良いのかを考えながら顔画像を選択していく必要があり手間がかかる。

そこで本発明は、かかる従来の問題点に鑑みてなされたものであり、簡易に且つ適切に複数の人物の顔を顔認識対象として設定することができる画像処理装置及びそのプログラムを提供することを目的とする。

上記目的達成のため、請求項１記載の発明による画像処理装置は、基準人物との親密度を各人物毎に設定した親密度テーブルを記憶した記憶手段と、
前記基準人物との親密度を設定する設定手段と、
前記記憶手段に記憶されている親密度テーブルを用いて、前記基準人物と前記設定手段により設定された親密度を有する人物の顔を顔認識対象として特定する顔認識対象特定手段と、
被写体の光を光電変換する撮像素子と、
前記撮像素子により光電変換された画像データを取得する画像取得手段と、
前記顔認識対象特定手段により顔認識対象として特定された人物の顔に基づいて、前記画像取得手段により取得された画像データに対して顔認識処理を行なう顔認識制御手段と、
前記顔認識制御手段による顔認識処理により前記顔認識対象特定手段により顔認識対象として特定された顔が認識された場合は、該認識した顔の位置に基づいてオートフォーカス制御及び／又は露出制御を行なう制御手段と、
を備えたことを特徴とする。

また、例えば、請求項２に記載されているように、前記親密度テーブルは、
各人物の顔画像を設定しており、
前記顔認識制御手段は、
前記顔認識対象特定手段により顔認識対象として特定された人物に対応する顔画像データに基づいて、前記画像取得手段により取得された画像データに対して顔認識処理を行なうようにしてもよい。

また、例えば、請求項３に記載されているように、ユーザが親密度を指定するための親密度指定手段を備え、
前記設定手段は、
前記親密度指定手段により指定された親密度に基づいて、親密度を設定するようにしてもよい。

また、例えば、請求項４に記載されているように、前記設定手段は、
前記親密度指定手段により指定された親密度以上の親密度を、又は、指定された親密度を、又は、指定された親密度以下の親密度を、設定するようにしてもよい。

また、例えば、請求項５に記載されているように、ユーザが任意のグループを指定するためのグループ指定手段を備え、
前記記憶手段は、
前記親密度テーブルをグループ毎に記憶しており、
前記顔認識対象特定手段は、
前記グループ指定手段により指定されたグループの親密度テーブルを用いて、前記基準人物と前記設定手段により設定された親密度を有する人物の顔を顔認識対象として特定するようにしてもよい。

また、例えば、請求項６に記載されているように、ユーザが中心人物を指定する人物指定手段を備え、
前記親密度テーブルは、
更に、前記各人物を基準人物とし、それらの人物相互間の親密度を互いに設定しており、
前記顔認識対象特定手段は、
前記人物指定手段により指定された中心人物を基準人物とし、該基準人物と前記設定手段により設定された親密度を有する人物の顔を顔認識対象として特定するようにしてもよい。

上記目的達成のため、請求項７記載の発明によるプログラムは、被写体の光を光電変換する撮像素子を備えたコンピュータに、
前記基準人物との親密度を設定する設定処理と、
前記基準人物との親密度を各人物毎に記憶した親密度テーブルを用いて、前記基準人物と前記設定処理により設定された親密度を有する人物の顔を顔認識対象として特定する顔認識対象特定処理と、
前記撮像素子により光電変換された画像データを取得する画像取得処理と、
前記顔認識対象特定処理により顔認識対象として特定された人物の顔に基づいて、前記取得処理により取得された画像データに対して顔認識処理を行なう顔認識制御処理と、
前記顔認識制御処理により前記顔認識対象特定処理により顔認識対象として特定された顔が認識された場合は、該認識した顔の位置に基づいてオートフォーカス制御及び／又は露出制御を行なう制御処理と、
を実行させることを特徴とする。

本願発明によれば、簡易に且つ適切に顔認識させたい人物の顔を特定させることができる。

以下、本実施の形態について、本発明の画像処理装置をデジタルカメラに適用した一例として図面を参照して詳細に説明する。
[実施の形態]
Ａ．デジタルカメラの構成
図１は、本発明の画像処理装置を実現するデジタルカメラ１の電気的な概略構成を示すブロック図である。
デジタルカメラ１は、撮影レンズ２、レンズ駆動ブロック３、絞り４、ＣＣＤ５、ドライバ６、ＴＧ（timing generator）７、ユニット回路８、画像生成部９、ＣＰＵ１０、キー入力部１１、メモリ１２、ＤＲＡＭ１３、フラッシュメモリ１４、画像表示部１５、バス１６を備えている。

撮影レンズ２は、図示しない複数のレンズ群から構成されるフォーカスレンズ、ズームレンズ等を含む。そして、撮影レンズ２にはレンズ駆動ブロック３が接続されている。レンズ駆動ブロック３は、フォーカスレンズ、ズームレンズをそれぞれ光軸方向に沿って駆動させるフォーカスモータ、ズームモータと、ＣＰＵ１０から送られてくる制御信号にしたがって、フォーカスモータ、ズームモータを駆動させるフォーカスモータドライバ、ズームモータドライバから構成されている（図示略）。

絞り４は、図示しない駆動回路を含み、駆動回路はＣＰＵ１０から送られてくる制御信号にしたがって絞り４を動作させる。
絞り４とは、撮影レンズ２から入ってくる光の量を制御する機構のことをいう。

ＣＣＤ５は、ドライバ６によって駆動され、一定周期毎に被写体像のＲＧＢ値の各色の光の強さを光電変換して撮像信号としてユニット回路８に出力する。このドライバ６、ユニット回路８の動作タイミングはＴＧ７を介してＣＰＵ１０により制御される。なお、ＣＣＤ５はベイヤー配列の色フィルターを有しており、電子シャッタとしての機能も有する。この電子シャッタのシャッタ速度は、ドライバ６、ＴＧ７を介してＣＰＵ１０によって制御される。

ユニット回路８には、ＴＧ７が接続されており、ＣＣＤ５から出力される撮像信号を相関二重サンプリングして保持するＣＤＳ（Correlated Double Sampling）回路、そのサンプリング後の撮像信号の自動利得調整を行なうＡＧＣ（Automatic Gain Control）回路、その自動利得調整後のアナログの撮像信号をデジタル信号に変換するＡ／Ｄ変換器から構成されており、ＣＣＤ５から出力された撮像信号はユニット回路８を経てデジタル信号として画像生成部９に送られる。

画像生成部９は、ユニット回路８から送られてきた画像データに対してγ補正処理、ホワイトバランス処理などの処理を施すとともに、輝度色差信号（ＹＵＶデータ）を生成し、該生成された輝度色差信号の画像データはＤＲＡＭ１３（バッファメモリ）に記憶される。つまり、画像生成部９は、ＣＣＤ５から出力された画像データに対して画像処理を施す。

ＣＰＵ１０は、ＣＣＤ５への撮像制御、フラッシュメモリ１４への記録処理、画像データの表示処理を行う機能を有するとともに、デジタルカメラ１の各部を制御するワンチップマイコンである。また、ＣＰＵ１０はクロック回路を含み、タイマーとしての機能も有する。
特に、ＣＰＵ１０は、顔認識対象として１以上の顔画像を特定する機能、該特定された顔画像に基づいて画像データに対して顔認識処理を行なう機能を有する。

キー入力部１１は、シャッタボタン、モード切替キー、十字キー、ＳＥＴキー等の複数の操作キーを含み、ユーザのキー操作に応じた操作信号をＣＰＵ１０に出力する。
メモリ１２には、ＣＰＵ１０が各部を制御するのに必要な制御プログラム、及び必要なデータ（相関データテーブル）が記録されており、ＣＰＵ１０は、該プログラムに従い動作する。なお、このメモリ１２は書き換え可能な不揮発性メモリである。

ＤＲＡＭ１３は、ＣＣＤ５によって撮像された後、ＣＰＵ１０に送られてきた画像データを一時記憶するバッファメモリとして使用されるとともに、ＣＰＵ１０のワーキングメモリとして使用される。
フラッシュメモリ１４は、圧縮された画像データを保存する記録媒体である。

画像表示部１５は、カラーＬＣＤとその駆動回路を含み、撮影待機状態にあるときには、ＣＣＤ５によって撮像された被写体をスルー画像として表示し、記録画像の再生時には、フラッシュメモリ１４から読み出され、伸張された記録画像を表示させる。

Ｂ．デジタルカメラ１の動作
実施の形態におけるデジタルカメラ１の動作を図２のフローチャートに従って説明する。
ユーザのキー入力部１１の操作により顔認識モードに設定されると、ステップＳ１で、ＣＰＵ１０は、登録顔写真を画像表示部１５に一覧表示させる。
この登録顔写真は、メモリ１２の相関データテーブルに記録されており、該相関データテーブルに記録されている登録顔写真を読み出して一覧表示させる。

ここで、図３（ａ）は、メモリ１２に記録されている相関データテーブル２１の内容の例を示す図である。
相関データテーブル２１は、人物毎にレコード（Ｒ１、Ｒ２、Ｒ３、・・・、Ｒｎ）を備えており、各レコードは、人物名フィールド２１ａ、顔写真フィールド２１ｂ、リンク先人物名フィールド群２１ｃを含む。そして、リンク先人物名フィールド群２１ｃは、全ての人物に対応した個別人物名フィールド２１ｃ−1、２１ｃ−２、２１ｃ−３、・・・、２１ｃ−ｎを含む。

人物名フィールド２１ａには人物の名称が格納され、顔写真フィールド２１ｂにはその人物に対応する顔写真が格納される。この顔写真フィールド２１ｂに格納されている顔写真が上記登録顔写真となる。また、リンク先人物名フィールド群２１ｃの各々の個別人物名フィールド２１ｃ−１、２１ｃ−２、２１ｃ−３、・・・、２１ｃ−ｎには、全ての人物名、つまり、人物名フィールド２１ａに格納されている人物名が格納される。

人物名フィールド２１ａと、リンク先人物名フィールド群２１ｃの各個別人物名フィールド２１ｃ−１、２１ｃ−２、・・・２１ｃ−ｎとの交点のうち、同一の人物名同士の交点（斜線入りの交点）を除く各交点（交差部分）は、親密度を表す「相関値」を格納するためのエリアである。すなわち、これらの交点は、交差する互いの人物同士の親しさ（親密度）を表す「相関値（親密度値）」が格納されている。この相関値が低ければ低いほど交差する互いの人物同士の親密度が高くなり、相関値が高いほど交差する互いの人物同士の親密度は低くなる（親しくなくなる）。

例えば、人物Ａと人物Ｂ、及び、人物Ａと人物Ｃとの相関値は「１」であるので、人物Ａと人物Ｂ、人物Ａと人物Ｃとはかなり親しい関係となる。また、人物Ａと人物Ｆとの相関値は「４」であるので、人物Ａと人物Ｆとはそれほど親しい関係でないことが分かる。
ユーザが自由にこの相関データテーブル２１を作成することができ、ユーザは、人物名フィールド２１ａに人物の名称を、顔写真フィールド２１ｂに人物名フィールド２１ａの顔写真を記録し、リンク先人物名フィールド群２１ｃの各個別人物名フィールド２１ｃ−１、２１ｃ−２、・・・には、該人物名フィールド２１ａに記録された人物名が自動的に記録される。そして、各レコードおいて、人物名フィールド２１ａの人物と、リンク先人物名フィールド群２１ｃの各個別人物フィールドの人物との相関値をユーザがそれぞれ入力することになる。つまり、各人物相互間の相関値をユーザが入力することになる。

なお、あるレコードにおいて、例えば、人物Ａのレコードにおいて、人物名フィールド２１ａとリンク先人物名フィールド群２１ｃの各個別人物名フィールド２１ｃ−ｎ、例えば、人物Ｂの各個別人物名フィールド２１ｃ−２との交点に相関値「１」が記録されると、該記録された相関値が、リンク先人物名フィールド２１ｃの各個別人物名フィールド２１ｃ−ｎの人物に対応するレコード、つまり、各個別人物名フィールド２１ｃ−２の人物Ｂのレコードにおいても、人物Ａに対応する各個別人物名フィールド２１ｃ−１との交点に自動的に記録されることになる。

また、図４（ａ）は、一覧表示された登録顔写真の様子の一例を示す図である。
図４（ａ）を見ると、図３（ａ）の顔写真フィールド２１ｂに格納されている顔画像が表示されているのが分かる。なお、一覧表示する際は、ＣＰＵ１０は、所定の顔写真を選択した状態にし、該選択した登録顔写真を識別表示させる。ここでは、人物名Ａの顔写真が選択され、該選択された該人物名Ａの顔写真が太枠で表示されることにより差別表示されているのが分かる。

登録顔写真の一覧表示を行うと、ステップＳ２で、ＣＰＵ１０は、ユーザによって十字キーの操作が行なわれたか否かを判断する。この判断は、十字キーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
ステップＳ２で、十字キーの操作に対応する操作信号がキー入力部１１から送られてきたと判断すると、ＣＰＵ１０は、該操作に従って登録顔写真を新たに選択した後（ステップＳ３）、ステップＳ４に進む。つまり、選択されている登録顔写真を変更することになる。このときは、変更後に選択された登録顔写真を差別表示させる。

例えば、図４（ａ）に示すような状態で十字キーの「→」キーが操作されると、選択される登録顔写真が人物名Ａのもから人物名Ｂのものになり、また、図４（ａ）に示すような状態で十字キーの「↓」キーが操作されると、選択される登録顔写真が人物名Ａのもから人物名Ｅのものになる。
一方、ステップＳ２で、十字キーの操作に対応する操作信号がキー入力部１１から送られてきていないと判断するとそのままステップＳ４に進む。

ステップＳ４に進むと、ＣＰＵ１０は、ユーザによってＳＥＴキーの操作が行なわれたか否かを判断する。この判断は、ＳＥＴキーの操作に対応する操作信号がキー入力部１１から送られてきたか否かにより判断する。
このとき、ユーザは現在選択している顔写真の人物を中心人物として決定したいと思う場合はＳＥＴキーの操作を行なう。中心人物とは、各人物の親密度を得る上で基準となる人物のことを指し、この中心人物を基準にして、各人物の親密度が定まることになる。基準となる人物が異なれば各人物の親密度も変わるからである。

図３（ｂ）は、中心人物を人物Ａにしたときの各人物との親密度を相関データテーブル２１を用いて表した図である。この円のうち、中心にある円は中心人物を表し、この円を中心に何層にも亘って円が重なっているのがわかる。このそれぞれの円は、中心人物Ａとの親密度（相関値）を表しており、中心の円から離れれば離れるほど、親密度は低くなる。
ここでは、人物はＡ〜Ｌまでおり（Ｇ〜Ｌは図３（ａ）で記載を省略している）、中心人物Ａと、各人物（Ｂ〜Ｌ）との親密度がわかる。このように、図３（ａ）に示すような相関データテーブル２１を用いれば、各人物との親密度が用意に導けだせる。

ステップＳ４で、ＳＥＴキーの操作に対応する操作信号が送られてきていないと判断するとステップＳ２に戻り、ステップＳ４で、ＳＥＴキーの操作に対応する操作信号が送られてきたと判断すると、ステップＳ５に進み、ＣＰＵ１０は、ＳＥＴキーの操作に対応する操作信号が送られてきたときに選択されている人物を中心人物として設定する。

次いで、ステップＳ６に進み、ＣＰＵ１０は、親密度情報設定画面を画像表示部１５に表示させる。
図４（ｂ）は、表示される親密度情報設定画面の様子の一例を示す図である。
図４（ｂ）を見ると、『親密度値 ３ までの 顔を認識します』という文章が表示されているのがわかる。

次いで、ステップＳ７で、ＣＰＵ１０は、親密度値（相関値）の指定操作が行なわれたか否かを判断する。この判断は、ユーザの十字キーの操作などにより「３」の欄（親密度値指定欄）が選択されたか否かを判断する。このとき、ユーザは「３」の欄を選択し、十字キーを操作することにより指定する親密度値を変更することができる。例えば、十字キーの「↑」キーを操作すると、親密度値は、「３」から「４」、「５」と数字が大きくなり、十字キーの「↓」キーを操作すると、親密度値は、「３」、「２」、「１」と数字が小さくなる。

ステップＳ７で、親密度値の指定操作が行なわれたと判断すると、ステップＳ８に進み、ＣＰＵ１０は、該指定操作に従って親密度値を変更させて、ステップＳ９に進む。
一方、ステップＳ７で、親密度値の指定操作が行なわれていないと判断するとそのままステップＳ９に進む。

ステップＳ９に進むと、ＣＰＵ１０は、親密度範囲の指定が行なわれたか否かを判断する。この判断は、ユーザの十字キーの操作などにより「までの」の欄（親密度範囲指定欄）が選択されたか否かを判断する。このとき、ユーザが「までの」の欄を選択すると、図４（ｂ）に示すような「までの」か「からの」か「の」の何れかの範囲を指定させるための小画面が表示され、ユーザは該小画面を見ながら十字キーを操作することにより任意の範囲を指定することができる。

ここで、「までの」とは、指定された親密度以上のことを指し（指定された親密度及び該指定された親密度より高い親密度のことを指し、つまり、指定された親密度値以下の親密度値のことを指す）、たとえば、親密度値（相関値）として３が指定されている場合は、親密度値（相関度）「３」、「２」、「１」の範囲を指す。
また、「からの」とは、指定された親密度以下のことを指し（指定された親密度及び該指定された親密度より低い親密度のことを指し、つまり、指定された親密度値以上の親密度値を指す）、例えば、親密度値として３が指定されている場合は、親密度値「３」、「４」、「５」・・・の範囲を指す。
また、「の」とは、指定された親密度値のことを指し、例えば、親密度値として３が指定されている場合は、親密度値「３」のみを指す。

ステップＳ９で、親密度範囲の指定が行なわれたと判断すると、ステップＳ１０に進み、ＣＰＵ１０が、該指定にしたがって親密度範囲を変更させてステップＳ１１に進む。
一方、ステップＳ９で、親密度範囲の指定が行なわれていないと判断するとそのままステップＳ１１に進む。

ステップＳ１１に進むと、ＣＰＵ１０は、ＳＥＴキーの操作が行なわれたか否かを判断する。このとき、ユーザは指定した親密度値及び親密度範囲で良いと思う場合はＳＥＴキーの操作を行なう。
ステップＳ１１で、ＳＥＴキーの操作が行なわれていないと判断するとステップＳ７に戻り上記した動作を繰り返す。これにより、ＳＥＴキーの操作を行なうまでは、親密度値、親密度範囲を自由に変更することができる。

一方、ステップＳ１１で、ＳＥＴキーの操作が行なわれたと判断すると、ステップＳ１２に進み、ＣＰＵ１０は、現在指定されている親密度値、親密度範囲に基づいて親密度を設定する。例えば、設定された親密度値が「２」、設定された親密度範囲が「までの」の場合は、設定される親密度は親密度値「１」及び「２」となり、設定された親密度値が「３」、設定された親密度値が「からの」の場合は、設定される親密度は、親密度値「３」、「４」、「５」、・・・・となる。
これにより、ユーザが所望する親密度を設定することができる。

次いで、ステップＳ１３に進み、ＣＰＵ１０は、該設定した中心人物及び親密度に基づいて、相関データテーブル２１に記録されている人物の中から、顔認識対象となる人物の顔画像を特定する。つまり、設定した中心人物と、該設定した親密度を有する人物の顔画像を特定する。
例えば、設定した中心人物を人物Ａ、設定した親密度値を「２」、親密度範囲を「までの」とした場合は、特定される人物の顔画像は、人物Ａと親密度値が「１」、「２」となる人物、つまり、人物Ｂ、人物Ｃ、人物Ｄ、人物Ｅ、人物Ｋ（図３参照）の顔画像がそれぞれ特定されることになる。

次いで、ステップＳ１４で、ＣＰＵ１０は、所定のフレームレート（例えば、３０ｆｐｓ）でＣＣＤ５による撮像を開始し、該ＣＣＤ５により順次撮像され、画像生成部９によって順次生成された輝度色差信号の画像データをバッファメモリ（ＤＲＡＭ１３）に記憶し、該記憶した画像データを画像表示部１５に表示させるという、いわゆるスルー画像表示を開始する。

次いで、ステップＳ１５で、ＣＰＵ１０は、該ＣＣＤ５により順次撮像されるフレーム画像データ毎に顔認識処理を行う。この顔認識は、単に画像内に顔があるかどうかを認識するだけでなく、被写体の顔が誰の顔であるかを具体的に認識する処理を行う。例えば、肌の色、髪の毛の色、目の位置、鼻の位置、口の位置等の認識、及びそれらの位置関係なども認識し、それらを数値化して数値データ（顔特徴数値データ）を算出する。なお、顔認識処理の方法は、他にも既に著名な方法が複数あるので、ここでは詳細に説明しない。

（もう少し具体的に説明してください。相関データテーブル２１に記憶されている、ステップＳ１３で特定した人物の画像データ（数値データ）とステップＳ１５で算出された数値データとを照合する。）
次いで、ステップＳ１６で、ＣＰＵ１０は、該特定した顔画像に基づいて、ステップＳ１３で特定した人物（特定人物）の何れかの顔を認識したか否かを判断する。具体的に説明すると、ステップＳ１３で特定した顔画像データに基づいて、特定した顔画像の人物の顔特徴データを算出する。この顔特徴データの算出は、肌の色、髪の毛の色、目の位置、鼻の位置、口の位置等の認識、及びそれらの位置関係なども認識し、それらを数値化して顔特徴データを算出する。そして、該算出した顔特徴データと、ステップＳ１５で算出された数値データを照合し、一致する顔特徴データがあるか否かを判断することになる。

ここでは、人物Ｂ、人物Ｃ、人物Ｄ、人物Ｅ、人物Ｋを特定したので、該特定した人物の顔特徴データを算出し、該人物Ｂ、人物Ｃ、人物Ｄ、人物Ｅ、人物Ｋの顔特徴データとステップＳ１５の画像認識処理により算出された数値データとを照合することにより、何れかの人物の顔特徴データと顔認識処理に算出された数値データとが一致するか否かを判断する。
なお、相関データテーブル２１に、人物の顔画像データの他に、該人物の顔の顔特徴データを予め記憶させるようにしてもよい。この記憶は、人物の顔画像データが相関データテーブルに記憶されると、該顔画像データに基づいて自動的に顔特徴データを算出し、該算出した顔特徴データを該人物の顔画像データと関連付けて記憶させるようにする。

ステップＳ１６で該特定人物の何れの顔も認識していないと判断すると、認識するまでステップＳ１６に留まり、ステップＳ１６で該特定人物の何れかの顔を認識したと判断するとステップＳ１７に進み、該認識した１乃至複数の特定人物の顔に対してコントラスト検出方式のオートフォーカス処理を行う。つまり、レンズ駆動ブロック３を介してフォーカスレンズを駆動させていき、認識した特定人物の顔の画像データに基づいて、ＡＦ評価値が最も高くなるレンズ位置にフォーカスレンズを移動させる。これにより、ユーザが撮影した人物に簡単にオートフォーカスを行なうことができる。
なお、コントラスト検出方式以外の方式でオートフォーカスを行なうようにしてもよい。
次いで、ステップＳ１８で、ＣＰＵ１０は、静止画撮影処理を行い、該撮影処理により得られた静止画像データを圧縮してフラッシュメモリ１４に記録し、ステップＳ１に戻る。

Ｃ．以上のように、実施の形態においては、ユーザによって指定された親密度値及び親密度範囲に基づいて親密度を設定し、中心人物と該設定した親密度を有する人物の顔画像を顔認識対象として特定するので、簡易に且つ適切に顔認識させたい人物の顔を特定させることができる。
また、相関データテーブルは、複数の人物の顔画像及び該複数の人物相互間の親密度値を記憶させ、ユーザが任意の人物の顔画像を中心人物として設定することができるので、ユーザが顔認識対象の顔画像としたい基準となる人物を自由に変更することができ、顔認識させたい顔画像の特定の精度、自由度が向上する。

［変形例］
Ｈ．上記実施の形態は以下のような態様でもよい。

（０１）上記実施の形態においては、図３（ａ）に示すように各人物毎（Ａ、Ｂ、Ｃ〜）に、人物間相互の親密度値（リンク先人物名）を記録させるようにしたが、つまり、Ｒ１、Ｒ２と複数のレコードを設けるようにしたが、１人（例えば自分）を基準とした人物間相互の親密度値を記録させるようにしてよい。つまり、図３（ａ）の相関データテーブル２１を用いて参照すると、レコードを１つにするようにしても良い。

（０２）また、上記実施の形態においては、相関データテーブル２１は１つしか備えていなかったが、ユーザ（グループ）別（たとえば、父、母、息子、娘等のユーザ別）に相関データテーブル２１を複数備えるようにしてもよい。この場合は、まず、ユーザを選択してから中心人物や親密度値を設定することになる。
これにより、個々の使用者に対応した人物の顔を特定することでき、使用者が複数いる場合であっても対応することができる。

（０３）また、上記実施の形態においては、相関データテーブル２１は１つしか備えていなかったが、グループ別（例えば、職場、友達、クラブ等のグループ別）に相関データテーブル２１を複数備えるようにしてもよい。この場合は、まず、グループを選択してから中心人物や親密度値を設定することになる。
これにより、撮影対象となる人物が属するグループをユーザが選択することができ、所望するグループの人物の顔を特定することができる。

（０４）また、上記実施の形態においては、人物との相関値は、図３（ａ）に示すようなテーブルによって記録させるようにしたが、相関系図のように記録させておくようにしても良い。
図５は、相関系図の内容の例を示す図である。
図を見ると、人物Ａ〜人物Ｌまでおり（この人物は図３（ｂ）に示す人物と同一人物である）、各人物の人間関係が分かる。ここでは、夫婦及び直系は相関値を「１」をとし、友人は「２」、恋人は「１」としている。

例えば、妻Ａを中心（基準）に考えると、夫Ｂ及び子Ｃとの関係では相関値が「１」となり、子Ｃの恋人Ｅとの関係では、妻と子Ｃの相関値が「１」と子Ｃと恋人Ｅの相関値が「１」であるので、１＋１となり、相関値が「２」となる。
また、友人Ｄ及び友人Ｋとの関係では相関値が「２」となり、友人Ｄの夫Ｊとの関係では、友人Ｄと夫Ｊとの相関値が「１」であるので、２＋１となり、相関値が「３」ということになり、この各人物との相関値は図３（ｂ）のような相関値となる。

このように、相関値を相関系図のように記録させることで、各人物間の人間関係が一目瞭然となるとともに、それぞれの人物相互間の相関値を記録させる必要がなくなる。
なお、ここでは、例えば、友人の相関値を一律「２」としたが、同じ友人同士でも親密度は変わってくるので、相関値を一律にする必要はなく、人物毎に相関値を変えるようにしてもよい。

（０５）また、上記実施の形態においては、顔認識対象として特定した顔画像を認識すると、該認識した顔に対してＡＦ処理を行うようにしたが、該認識した顔（顔の人物）に基づいてＡＥ処理を行うようにしても良い。

（０６）また、上記実施の形態においては、顔認識対象として特定した顔画像を認識すると、静止画撮影を行なうようにしたが、これに限られず、該特定した顔画像を用いて顔認識を行ない、該認識結果を利用するものであればよい。この場合は、デジタルカメラ等の撮像装置に限らず、画像を処理する装置であればよい。これにより、画像認識処理による特定された人物の顔の認識結果を多肢に亘り活用することができる。
例えば、該認識した顔の位置に基づいてトリミング処理を行ったり、該認識した顔の位置に基づいて拡大処理（ズーム処理）を行なったり、該認識した顔の位置（若しくは、顔に位置に基づく被写体の位置）をユーザに対して視認させるように表示させるようにしてもよい。この被写体表示は、人ごみの中で撮影された画像に対して有効である。

また、該認識した顔に対して、若しくは該認識した顔の位置に基づく被写体に対して、画像加工処理を行うようにしてもよい。
また、該認識した顔の数に応じて印刷枚数を設定するようにしてもよい。この場合は、写真の焼きまわしなどにおいてユーザが写真を配る人数をわざわざ数えなくて済むという利点もある。
また、記録媒体に記録されている大量の画像データの中から、該特定した顔画像を含む画像データを検索させるようにしてもよい。この場合は、特定した顔画像の全てを含む画像データを検索するか、特定した顔画像のうち少なくとも１つ以上若しくは所定数以上の顔画像を含む画像データを検索するかを選択なり、指定なりすることができるようにしてもよい。これにより、検索対象となる人物を簡単に複数選択することができ、該検索したい人物を含む画像を簡単に検索することができる。

（０７）また、上記実施の形態においては、基準人物と親密度値１までのグループ、親密度値２までのグループ、親密度３までのグループといった相関データテーブルを備えるようにしてもよい。
この場合は、例えば、親密度値２までのグループが選択されると、親密度値「１」、親密度値「２」の顔画像が特定されることになる。

（０８）また、上記実施の形態においては、ステップＳ１２で指定された親密度値と指定された親密度範囲に基づいて親密度を設定するようにしたが、ユーザによる２つの親密度値の指定を可能し、該指定された２つの親密度値に基づいて親密度を設定するようにしてもよい。例えば、指定された親密度値が「２」、「４」の場合は、親密度値「２」〜「４」の親密度値を親密度として設定してもよいし、親密度値「２」まで、及び、親密度値「４」からの親密度値を親密度として設定するようにしてもよい。

（０９）また、上記実施の形態において、ステップＳ１４で、スルー画像表示を開始すると、画像認識処理を開始するようにしたが（ステップＳ１５）、スルー画像表示開始後、ユーザによってシャッタボタンが半押しされると（撮影準備が指示されると）、ステップＳ１５に進むようにしてもよい。
また、ステップＳ１６で、特定した顔が認識されたと判断すると、該認識した顔に対してＡＦ処理を行い（ステップＳ１７）、静止画撮影処理を行うようにしたが、ステップＳ１７のＡＦ処理後、ユーザによってシャッタボタンが全押しされると（撮影が指示されると）、ステップＳ１８に進み、静止画撮影を行なうようにしてもよい。

（１０）また、上記実施の形態において、ステップＳ１６では、ステップＳ１３で特定された何れかの顔画像が認識されると、ステップＳ１７に進むようにしたが、ステップＳ１３で特定された全ての顔画像が認識されるとステップＳ１７に進むようにしてもよい。

（１１）また、上記実施の形態においては、相関データテーブル２１に人物の顔画像を記録させるようにしたが、顔画像に替えて顔特徴データを記憶させるようにしてもよい。この場合は、図２のステップＳ１の登録顔写真の一覧表示は、登録顔画像を表示させるのではなく、人物名を一覧表示させるようする。
また、相関データテーブル２１には、人物名とその顔画像を記憶させるようにしたが、人物名を記憶させないようにしてもよい。つまり、人物名フィールド２１ａの記憶領域をなくすようにしてもよい。顔画像を見れば誰だか特定することができるからである。

（１２）また、上記変形例（０１）〜（１１）を矛盾が生じない範囲内で任意に組み合わせるような態様であってもよい。

（１３）また、本発明の上記実施形態は、何れも最良の実施形態としての単なる例に過ぎず、本発明の原理や構造等をより良く理解することができるようにするために述べられたものであって、添付の特許請求の範囲を限定する趣旨のものでない。
したがって、本発明の上記実施形態に対してなされ得る多種多様な変形ないし修正はすべて本発明の範囲内に含まれるものであり、添付の特許請求の範囲によって保護されるものと解さなければならない。

最後に、上記各実施の形態においては、本発明の画像処理装置をデジタルカメラ１に適用した場合について説明したが、上記の実施の形態に限定されるものではなく、要は、画像を処理することができる機器であれば適用可能である。

本発明の実施の形態のデジタルカメラのブロック図である。 実施の形態のデジタルカメラ１の動作を示すフローチャートである。 メモリ１２に記録されている相関データテーブル２１の内容の例を示す図、及び、中心人物を人物Ａにしたときの各人物との親密度を相関データテーブル２１を用いて表した図である。 一覧表示された登録顔写真の様子の一例を示す図、及び、表示される親密度情報設定画面の様子の一例を示す図である。 相関系図の内容の例を示す図である。

符号の説明

１ デジタルカメラ
２ 撮影レンズ
３ レンズ駆動ブロック
４ 絞り
５ ＣＣＤ
６ ドライバ
７ ＴＧ
８ ユニット回路
９ 画像生成部
１０ ＣＰＵ
１１ キー入力部
１２ メモリ
１３ ＤＲＡＭ
１４ フラッシュメモリ
１５ 画像表示部
１６ バス

Claims (7)

1. 基準人物との親密度を各人物毎に設定した親密度テーブルを記憶した記憶手段と、
   前記基準人物との親密度を設定する設定手段と、
   前記記憶手段に記憶されている親密度テーブルを用いて、前記基準人物と前記設定手段により設定された親密度を有する人物の顔を顔認識対象として特定する顔認識対象特定手段と、
   被写体の光を光電変換する撮像素子と、
   前記撮像素子により光電変換された画像データを取得する画像取得手段と、
   前記顔認識対象特定手段により顔認識対象として特定された人物の顔に基づいて、前記画像取得手段により取得された画像データに対して顔認識処理を行なう顔認識制御手段と、
   前記顔認識制御手段による顔認識処理により前記顔認識対象特定手段により顔認識対象として特定された顔が認識された場合は、該認識した顔の位置に基づいてオートフォーカス制御及び／又は露出制御を行なう制御手段と、
   を備えたことを特徴とする画像処理装置。
2. 前記親密度テーブルは、
   各人物の顔画像を設定しており、
   前記顔認識制御手段は、
   前記顔認識対象特定手段により顔認識対象として特定された人物に対応する顔画像に基づいて、前記画像取得手段により取得された画像データに対して顔認識処理を行なうことを特徴とする請求項１記載の画像処理装置。
3. ユーザが親密度を指定するための親密度指定手段を備え、
   前記設定手段は、
   前記親密度指定手段により指定された親密度に基づいて、親密度を設定することを特徴とする請求項１記載の画像処理装置。
4. 前記設定手段は、
   前記親密度指定手段により指定された親密度以上の親密度を、又は、指定された親密度を、又は、指定された親密度以下の親密度を、設定することを特徴とする請求項３記載の画像処理装置。
5. ユーザが任意のグループを指定するためのグループ指定手段を備え、
   前記記憶手段は、
   前記親密度テーブルをグループ毎に記憶しており、
   前記顔認識対象特定手段は、
   前記グループ指定手段により指定されたグループの親密度テーブルを用いて、前記基準人物と前記設定手段により設定された親密度を有する人物の顔を顔認識対象として特定することを特徴する請求項１乃至４の何れかに記載の画像処理装置。
6. ユーザが中心人物を指定する人物指定手段を備え、
   前記親密度テーブルは、
   更に、前記各人物を基準人物とし、それらの人物相互間の親密度を互いに設定しており、
   前記顔認識対象特定手段は、
   前記人物指定手段により指定された中心人物を基準人物とし、該基準人物と前記設定手段により設定された親密度を有する人物の顔を顔認識対象として特定することを特徴とする請求項１乃至５の何れかに記載の画像処理装置。
7. 被写体の光を光電変換する撮像素子を備えたコンピュータに、
   前記基準人物との親密度を設定する設定処理と、
   前記基準人物との親密度を各人物毎に記憶した親密度テーブルを用いて、前記基準人物と前記設定処理により設定された親密度を有する人物の顔を顔認識対象として特定する顔認識対象特定処理と、
   前記撮像素子により光電変換された画像データを取得する画像取得処理と、
   前記顔認識対象特定処理により顔認識対象として特定された人物の顔に基づいて、前記取得処理により取得された画像データに対して顔認識処理を行なう顔認識制御処理と、
   前記顔認識制御処理により前記顔認識対象特定処理により顔認識対象として特定された顔が認識された場合は、該認識した顔の位置に基づいてオートフォーカス制御及び／又は露出制御を行なう制御処理と、
   を実行させることを特徴とするプログラム。
   

Images