JP2017085204A

JP2017085204A - メタデータの登録制御

Info

Publication number: JP2017085204A
Application number: JP2015208463A
Authority: JP
Inventors: 健一郎笹井; Kenichiro Sasai
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-10-23
Filing date: 2015-10-23
Publication date: 2017-05-18

Abstract

【課題】メタデータの登録制御を簡単にし、またユーザーの選択指定したメタデータのみ登録することでメタデータを用いた画像検索の負荷を軽減する撮像装置を提供すること。
【解決手段】撮像光学系により結像された画像を撮影する撮影手段と、前記画像から画像情報を検出する画像認識手段と、前記画像認識手段より得られた画像情報を画像認識領域情報として表示する画像認識領域表示手段と、前記画像認識領域情報をメタデータの登録候補として選択するメタデータ選択手段と、前記メタデータ選択手段で選択されたメタデータを前記撮影画像に対応づけて登録するメタデータ登録手段と、を有することを特徴とする。
【選択図】図３

Description

本発明は、撮像装置及びその制御方法に関し、特に撮影画像から得られる画像認識情報をメタデータとして登録する制御方法に関する。

従来、デジタルカメラによって撮影された画像データの被写体に関する撮影情報をメタデータとしてユーザが手動で入力する方法がある。

しかしながら、撮影情報の入力は、撮影画像枚数及び、個々の撮影画像データ内の被写体が増加するほどユーザーにとって煩雑な作業となっていた。

煩雑な入力作業を避けるために、撮影された画像から文字認識によって得られたテキストデータを、画像のメタデータとして記録する方法がある。特許文献１ではカチンコに書いたテイク情報を画像のメタデータに登録する撮像装置が提案されている。また、特許文献２では画像から検出された顔に枠を付して表示し、タッチで選択された顔枠に対応付け、人名等のキーワードを画像のメタデータとして記録する方法が提案されている。

特開2005-39354号公報特開2010-252011号公報

しかしながら、上述の特許文献１に開示された従来技術では、撮影画像の画像認識によって検出された文字列情報の全てをメタデータとして記録するため、余計な情報もメタデータとして登録されてしまい、メタデータが適切に付与されない。ユーザーの意図しないメタデータが登録されると、メタデータを用いた画像検索の際に余計なメタデータ情報がヒットし、検索が困難になるという問題が発生する。また、上述の特許文献２に開示された従来技術では、メタデータに登録する被写体情報を選択することができるが被写体情報を手動で入力する必要があるため煩雑な作業となる。

本発明は、上述の課題を解決するためになされたものであり、メタデータの登録制御を簡単にし、またユーザーの選択指定したメタデータのみ登録することでメタデータを用いた画像検索の負荷を軽減することを目的とする。

上記の目的を達成するために、本発明に係る撮像装置は、
撮像光学系により結像された画像を撮影する撮影手段と、前記画像から画像情報を検出する画像認識手段と、前記画像認識手段より得られた画像情報を画像認識領域情報として表示する画像認識領域表示手段と、前記画像認識領域情報をメタデータの登録候補として選択するメタデータ選択手段と、前記メタデータ選択手段で選択されたメタデータを前記撮影画像に対応づけて登録するメタデータ登録手段と、を有することを特徴とする。

本発明に係る撮像装置によれば、撮影画像から検出された人物と文字列情報について表示画面上にカーソル枠等の表示を行い、ユーザーが選択した情報をメタデータに登録を行うことで、画像認識から検出された情報のうち、ユーザーに指定された情報のみメタデータとして登録することでメタデータを用いた画像検索の負荷を軽減する機能を提供することができる。

実施形態のデジタルカメラのシステム構成図実施形態のデジタルカメラの外概観実施例１のメタデータ登録における「選択登録モード」のシーケンスを表すフローチャート実施例２のメタデータ登録における「選択登録通知モード」のシーケンスを表すフローチャート実施例３のメタデータ登録における「画像領域判別モード」のシーケンスを表すフローチャート実施例４のメタデータ登録における「人物判別モード」のシーケンスを表すフローチャート実施例１のメタデータ登録における「選択登録モード」の説明図実施例４のメタデータ登録における「人物判別モード」の説明図

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
図１に、本発明を適用できるデジタルカメラのシステム構成図を示す。

被写体像は光学レンズ(10)を通過した後、イメージセンサ(11)に結像される。撮像制御回路(12)はイメージセンサ(11)の駆動制御を行うとともに、イメージセンサ(11)からの画像信号をアナログ/デジタル変換してシステム制御回路(20)に送る。イメージセンサ(11)はCCDやCMOSで構成され、被写体像を画像信号に変換して出力する。

文字認識回路(13)は撮影画像から文字領域を切り出して文字認識を行うことにより、文字列情報を得る。顔認識回路は公知の顔認識制御により人物の顔領域の判別と人物の顔認証を行う。メモリ制御回路(21)は、システム制御回路(20)の制御のもと、揮発性メモリ(25)、イメージセンサ(11)、画像処理回路(22)、記録用メモリ(23)、表示部(24)におけるデータ送受の制御を行う。システム制御回路(20)はカメラ全体を制御する回路であり、かつ、諸所の演算を行う演算回路もかねている。

揮発性メモリ(25)はSDRAMなどの高速アクセス可能なメモリである。不揮発性メモリ(26)はシステム制御回路(20)の動作用の定数、変数、プログラムを記録するメモリである。記録用メモリ(23)はデジタルカメラから着脱可能なメモリである。メモリの空き容量が不足した場合は交換が可能な仕組みとなっている。システム制御回路(20)の動作はレリーズ操作ボタン(15)、MENU操作ボタン(16)、選択操作ボタン(17)、選択決定ボタン(18)、メタデータ登録ボタン(19)からの指示信号により決定される。MENU操作ボタン(16)は各種カメラの設定を行う画面を表示し各モードの設定を行う際に使用する。

図２に、デジタルカメラの外観図を示す。

デジタルカメラ本体(201)の背面には図1における表示部(24)が設けられている。また、図１におけるレリーズ操作ボタン(15)、 MENU操作ボタン(16)、選択操作ボタン(17)、選択決定ボタン(18)、メタデータ登録ボタン(19)が設けられている。

画像認識モードには、メタデータ選択登録モードとメタデータ自動登録モードの2つのモードがある。メタデータ選択登録モードは撮影画像から検出された人物と文字列情報のうち、ユーザーが選択した情報をメタデータに登録するモードである。一方、メタデータ自動登録モードは撮影画像から検出された人物と文字列情報の全てをメタデータに自動登録するモードである。メタデータ選択登録モードは4つのモードを持つ。

1つ目のモードは、撮影画像から検出された人物と文字列情報について表示画面上に枠等の表示を行い、その中からユーザーが選択した情報をメタデータに登録する「選択登録モードで」ある。2つ目のモードは、撮影画像から検出された人物と文字列情報の合計個数を算出し、算出した合計個数によってメタデータの選択登録を行うか否かを判別する「選択登録通知モード」である。3つ目のモードは、予め画像認識を行う画像領域のサイズを設定しておき、撮影画像から所定の画像認識領域サイズの人物と文字列情報に絞って検出する「画像領域判別モード」である。4つ目のモードは、撮影画像から顔認識の領域情報と、撮影レンズの焦点距離情報と、被写体距離情報を用いて所定の顔認識領域のサイズの顔を人物と判別する「人物判別モード」である。

図３に、本実施形態の撮影及びメタデータ登録シーケンスについてフローチャートを用いて説明する。本フローチャートは、撮影画像から検出された人物と文字列情報について表示画面上に枠等の表示を行い、ユーザーが選択した情報をメタデータに登録する「選択登録モード」のシーケンスである。

撮影が開始されるとフローチャートに従うシーケンスが開始される。撮像制御回路(12)にて撮像処理が行われると(S301)、次の(S302)へ進み撮影画像の保存処理を行い画像データとして記録用メモリ(23)へ保存する。次に(S303)へ進み記録用メモリ(23)に保存された画像を表示部(24)に表示する。次に(S304)へ進み、顔認識回路(14)にて表示画像から顔検出を行い、顔認識ができた場合(S305)へ進み、人物の顔領域へカーソル等の枠を表示する。次に(S306)へ進み、人物の顔領域へ表示されたカーソル等の枠領域を選択操作ボタン(17)と選択決定ボタン(18)を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、不揮発性メモリ(26)へ選択データを保存し、次の(S307)へ進む。

一方、(S306)にて登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。

一方、(S304)にて顔認識ができなかった場合は(S307)へ進み、文字認識回路(13)にて表示画像から文字列情報の検出を行う。文字列情報の検出ができた場合、(S308)へ進み、文字認識領域へカーソル等の枠を表示する。次に(S309)へ進み検出した文字列情報から取得したテキストデータをカーソル等の枠の表示内に表示する。次に(S310)へ進み、文字認識領域へ表示されたカーソル等の枠領域を選択操作ボタン(17) と選択決定ボタン(18)を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、次の(S311)へ進む。

一方、(S310)にて登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。

一方、(S307)にて文字認識ができなかった場合は(S311）へ進み、(S306)と(S310)で行われた画像認識による顔検出及び、文字検出からメタデータ候補の選択有無の判定を行う。メタデータ候補の選択が一つ以上あった場合、次の(S312)へ進み、メタデータ登録ボタン(19)の操作の判定を行う。メタデータ登録ボタン(19)の操作が行われると、(S313)へ進み、(S306)と(S310)で選択されたメタデータ登録候補の選択データを不揮発性メモリ(26)から読み出し表示画像のメタデータに対応づけて登録する。

一方、(S311)において(S306)と(S310)で表示画像から顔検出及び、文字認識によるメタデータ候補の選択検出が行われなかった場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S312)において所定の期間メタデータ登録ボタン(19)の操作がされない場合、もしくはメタデータ登録キャンセルの操作(図示無し)がなされた場合はメタデータの登録を行わず一連のシーケンスを終了する。

図７に、本実施形態で表示される画像認識情報の表示例を示す。図７ (a)は撮影された画像を表示した状態を示す。図７(b)は図７ (a)の撮影画像から検出された人物と文字列情報の領域にカーソル枠を表示した状態の例を示す。

(701)は人物の顔領域の枠表示を示し、(702)、(703)は文字列情報の領域のカーソル枠表示を示す。また、(702)、(703)で示された文字列情報のカーソル枠の表示内に、文字列情報から取得したテキストデータを表示している例を示す。図７ (c)は図７ (b)の検出された文字列情報の内、(703)のカーソル枠を選択解除し、カーソル枠が消去されメタデータ登録候補から除外された状態を示す。

上記の通り、撮影画像から検出された人物と文字列情報について表示画面上にカーソル枠等の表示を行い、ユーザーが選択した情報をメタデータに登録を行うことで、画像認識から検出された情報のうち、ユーザーに指定された情報のみメタデータとして登録する機能を提供することができる。

［実施例２］
図４に、本実施形態の撮影及びメタデータ登録シーケンスについてフローチャートを用いて説明する。本フローチャートは、撮影画像から検出された人物と文字列情報の合計個数を算出し、その個数よってメタデータの選択登録を行うか否かを判別する「選択登録通知モード」のシーケンスである。

撮影が開始されるとフローチャートに従うシーケンスが開始される。撮像制御回路(12)にて撮像処理撮像処理が行われると(S401)、次の(S402)へ進み撮影画像の保存処理を行い画像データとして記録用メモリ(23)へ保存する。次に(S403)へ進み記録用メモリ(23)に保存された画像を表示部(24)に表示する。次に(S404)へ進み、顔認識回路(14)にて表示画像から顔検出を行い、顔認識ができた場合、(S405)へ進み、人物の顔領域へカーソル等の枠を表示し次の(S406)へ進む。

一方、(S404)にて顔認識ができなかった場合は(S406)へ進み、文字認識回路(13)にて表示画像から文字列情報の検出を行う。文字列情報の検出ができた場合、(S407)へ進み、文字認識領域へカーソル等の枠を表示する。次に(S408)へ進み、検出した文字列情報から取得したテキストデータをカーソル等の枠の表示内に表示し、次の(S409)へ進む。

一方、(S406)にて文字認識ができなかった場合は(S409)へ進み、(S404)と(S406)で行われた画像認識による顔検出及び、文字検出からメタデータ候補の検出有無の確認を行う。メタデータ候補の検出があった場合、次の(S410)へ進み、(S405)及び(S408)にて検出された顔領域及び、文字認識領域の合計個数を算出し、検出領域の合計個数の閾値(Ath)と比較判別を行う。もし閾値以上の「Ath≦A」である場合、次の(S411)へ進み、メタデータ登録候補の選択を行うモードへ移行することを示す通知表示を行う。

次に(S412)へ進み、(S405)及び(S408)で表示された人物の顔領域及び文字認識領域へ表示されたカーソル等の枠領域を選択操作ボタン(17)と選択決定ボタン(18) を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、不揮発性メモリ(26)へ選択データを保存し、次の(S413)へ進み、メタデータ登録ボタン(19)の操作の判定を行う。メタデータ登録ボタン(19)の操作が行われると、(S414)へ進み、(S412)で選択されたメタデータ登録候補の選択データを不揮発性メモリ(26)から読み出し表示画像のメタデータに対応づけて登録する。

一方、(S409)において(S404)と(S406)で表示画像から顔検出及び、文字認識による画像認識検出が行われなかった場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S410)において検出領域の合計個数の閾値(Ath)と比較判別を行い、もし閾値以下の「Ath≧A」である場合、(S414)へ進み(S405)及び(S408)で表示された人物の顔領域及び文字認識領域の文字列情報を自動的に表示画像のメタデータに対応づけて登録する。一方、(S412)において登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。

一方、(S413)において所定の期間メタデータ登録ボタン(19)の操作がされない場合、もしくはメタデータ登録キャンセルの操作(図示無し)がなされた場合はメタデータの登録を行わず一連のシーケンスを終了する。

上記の通り、撮影画像から検出された人物と文字列情報について表示画面上に枠等の表示を行い、検出された領域の合計個数に所定の閾値を設けた。所定の閾値以上の領域数を検出した場合のみメタデータ登録候補の選択操作に移行し、閾値以下であれば撮影画像から検出された全ての人物と文字列情報を自動的にメタデータに登録することで、メタデータ登録の負荷を軽減する機能を提供することができる。

［実施例３］
図５に、本実施形態の撮影及びメタデータ登録シーケンスについてフローチャートを用いて説明する。本フローチャートは、撮影画像から予め画像認識を行う画像領域のサイズを設定しておき、所定の画像認識領域サイズの人物と文字列情報のみ検出する「画像領域判別モード」のシーケンスである。

撮影が開始されるとフローチャートに従うシーケンスが開始される。撮像制御回路(12)にて撮像処理が行われると(S501)、次の(S502)へ進み撮影画像の保存処理を行い画像データとして記録用メモリ(23)へ保存する。次に(S503)へ進み記録用メモリ(23)に保存された画像を表示部(24)に表示する。次に(S504)へ進み、顔認識回路(14)にて表示画像から顔検出を行い、顔認識ができた場合(S505)へ進み、(S504)にて検出された顔領域の領域サイズを算出し、顔領域サイズの閾値(Kth1、Kth2)と比較判別を行う。

もし閾値以内の「Kth1≦K≦Kth2」である場合、次の(S506)へ進み、人物の顔領域へカーソル等の枠を表示する。次に(S507)へ進み、人物の顔領域へ表示されたカーソル等の枠領域を選択操作ボタン(17) と選択決定ボタン(18)を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、不揮発性メモリ(26)へ選択データを保存し、次の(S507)へ進む。

一方、(S507)にて登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S505)にて顔領域サイズが閾値「Kth1≦K≦Kth2」以外であった場合は(S508)へ進む。一方、(S504)にて顔認識ができなかった場合は(S508)へ進み、文字認識回路(13)にて表示画像から文字列情報の検出を行う。

文字列情報の検出ができた場合、(S509)へ進み、(S508)にて検出された文字領域の領域サイズを算出し、文字領域サイズの閾値(Mth1、Mth2)と比較判別を行う。もし閾値以内の「Mth1≦M≦Mth2」である場合次の(S510)へ進み、指定領域サイズの文字認識領域へカーソル等の枠を表示する。次に(S511)へ進み、検出した文字列情報から取得したテキストデータをカーソル等の枠の表示内に表示する。次に(S512)へ進み、文字認識領域へ表示されたカーソル等の枠領域を選択操作ボタン(17) と選択決定ボタン(18)を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、次の(S513)へ進む。

一方、(S512)にて登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S509)にて文字領域サイズが閾値「Mth1≦M≦Mth2」以外であった場合は(S513
)へ進む。

一方、(S508)にて文字認識ができなかった場合は(S513)へ進み、(S507)と(S512)で行われた画像認識による顔検出及び、文字検出からメタデータ候補の選択有無の判定を行う。メタデータ候補の選択が一つ以上あった場合、次の(S513)へ進み、メタデータ登録ボタン(19)の操作の判定を行う。メタデータ登録ボタン(19)の操作が行われると、(S514)へ進み、(S507)と(S512)で選択されたメタデータ登録候補の選択データを不揮発性メモリ(26)から読み出し表示画像のメタデータに対応づけて登録する。

一方、(S513)において(S507)と(S512)で表示画像から顔検出及び、文字認識によるメタデータ候補の選択検出が行われなかった場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S514)において所定の期間メタデータ登録ボタン(19)の操作がされない場合、もしくはメタデータ登録キャンセルの操作(図示無し)がなされた場合はメタデータの登録を行わず一連のシーケンスを終了する。

上記の通り、撮影画像から顔や文字を検出する検出領域サイズに閾値をもたせることで、メタデータ登録候補として検出する情報を絞り込み、且つメタデータの選択登録を行うことでメタデータ登録の負荷を軽減する機能を提供することができる。

［実施例４］
図６に、本実施形態の撮影及びメタデータ登録シーケンスについてフローチャートを用いて説明する。本フローチャートは、撮影画像から検出された顔認識の領域情報と、撮影レンズの焦点距離情報と、被写体距離情報を用いて所定の顔認識領域のサイズの顔を人物と判別する「人物判別モード」のシーケンスである。

撮影が開始されるとフローチャートに従うシーケンスが開始される。撮像制御回路(12)にて撮像処理が行われると(S601)、次の(S602)へ進み顔認識回路(14)にて撮影画角内の顔検出を行い、顔領域の領域サイズを算出する。次に(S603)へ進み、(S602)で算出した顔領域までの被写体距離情報を取得する。被写体距離情報の取得方法は公知の近赤外光の反射を用いた方法等がある。次に (S604)へ進み、光学レンズ(10)の焦点距離情報を取得する。

次に(S605)へ進み、撮像制御回路(12)にて撮像処理を行い、撮影画像の保存処理を行う。保存処理は (S602) にて検出された顔認識情報と、(S603)にて取得した被写体距離情報と、(S604)にて取得したレンズ焦距離情報を関連づけてメタデータとし、画像データとともに記録用メモリ(23)へ保存する。次に(S606)へ進み、記録用メモリ(23)に保存された画像を表示部(24)に表示する。

次に(S607)へ進み、(S606) で表示された画像に関連づけられた顔領域の領域サイズと被写体距離情報と焦点距離情報を用いて顔認識領域サイズの実寸法を算出し、顔認識領域サイズの閾値(Hth1、Hth2)と比較し人物の顔判別を行う。もし閾値以内の「Hth1≦H≦Hth2」である場合、次の(S608)へ進み、人物と判別された顔認識領域へカーソル等の枠を表示する。次に(S609)へ進み、人物の顔領域へ表示されたカーソル等の枠領域を選択操作ボタン(17) と選択決定ボタン(18)を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、不揮発性メモリ(26)へ選択データを保存し、次の(S610)へ進む。

一方、(S610)にて登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。

一方、(S607)にて顔認識領域サイズが閾値「Hth1≦H≦Hth2」以外であった場合は(S610)へ進み、文字認識回路(13)にて表示画像から文字列情報の検出を行う。文字列情報の検出ができた場合、(S611)へ進み、文字認識領域へカーソル等の枠を表示する。次に(S612)へ進み検出した文字列情報から取得したテキストデータをカーソル等の枠の表示内に表示する。

次に(S613)へ進み、文字認識領域へ表示されたカーソル等の枠領域を選択操作ボタン(17) と選択決定ボタン(18)を用いたメタデータ登録候補の選択操作があるか否かを判定する。選択決定ボタン(18)によりメタデータ登録候補の選択操作が完了した場合、次の(S614)へ進む。

一方、(S614)にて登録候補の選択操作がキャンセル操作(図示無し)、もしくは所定の期間メタデータ登録候補の選択操作が完了しない場合はメタデータの登録を行わず一連のシーケンスを終了する。

一方、(S610)にて文字認識ができなかった場合は(S614）へ進み、(S609)と(S613)で行われた画像認識による顔検出及び、文字検出からメタデータ候補の選択有無の判定を行う。メタデータ候補の選択が一つ以上あった場合、次の(S615)へ進み、メタデータ登録ボタン(19)の操作の判定を行う。メタデータ登録ボタン(19)の操作が行われると、(S616)へ進み、(S609)と(S613)で選択されたメタデータ登録候補の選択データを不揮発性メモリ(26)から読み出し表示画像のメタデータに対応づけて登録する。

一方、(S614)において(S609)と(S613)で表示画像から顔検出及び、文字認識によるメタデータ候補の選択検出が行われなかった場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S614)において(S607)における顔認識領域サイズが閾値「Hth1≦H≦Hth2」以外であり、また(S610)で表示画像から文字認識による画像認識検出が行われなかった場合はメタデータの登録を行わず一連のシーケンスを終了する。一方、(S615)において所定の期間メタデータ登録ボタン(19)の操作がされない場合、もしくはメタデータ登録キャンセルの操作(図示無し)がなされた場合はメタデータの登録を行わず一連のシーケンスを終了する。

図８に、本実施形態で表示される画像認識情報の表示例を示す。図８は撮影された画像内に顔検出候補が3つある状態を示した図である。
(801)は人物の顔領域を特定し、顔の領域に枠表示を示している。(802)は部屋の壁に人物が描かれたポスターが貼られている状態を示すが、ポスターの顔は人物の顔として検出せず、顔の領域に枠を表示していない状態を示す。(803)は椅子に人形が置かれている状態を示すが、人形の顔は人物の顔として検出せず、人形の顔の領域に枠を表示していない状態を示す。

上記の通り、撮影画像から検出する顔検出情報について、画像に関連づけられた顔領域の領域サイズと被写体距離情報と焦点距離情報から顔の実寸法を算出し、人物の顔を特定することでメタデータ登録の負荷を軽減する機能を提供することができる。

上述した一実施例の形態では撮影画像から検出された人物と文字列情報を表示画面上に枠等の表示を行うことで示したが、この一実施形態の動作に限定されない。例えば、撮影画像から検出するものは人物や文字列情報以外のものでもよい。また、撮影画像から検出された情報をリスト等で表示を行い、選択操作を行う構成としてもよい。また、メタデータ登録候補として選択する方法は、画像から検出された人物や文字列情報から不必要な情報を選択し除外する方法を示したが、必要な情報のみ選択する構成でもよい。また、メタデータ登録候補として選択する選択操作に関しても、ボタン操作を用いて指定する例を示したが、タッチパネルを用いた操作で指定する構成としてもよい。

また、撮影画像から検出された人物と文字列情報について表示画面上に枠等の表示を行い、検出された領域の合計個数に所定の閾値を設けた。所定の閾値以上の領域数を検出した場合のみメタデータ登録候補の選択操作に移行し、閾値以下であれば撮影画像から検出された全ての人物と文字列情報を自動的にメタデータに登録することで、メタデータ登録の負荷を軽減する機能を提供することができる。また、撮影画像から顔や文字を検出する検出領域サイズに閾値をもたせることで、メタデータ登録候補として検出する情報を絞り込み、且つメタデータの選択登録を行うことでメタデータ登録の負荷を軽減する機能を提供することができる。

また、撮影画像から検出する顔検出情報について、画像に関連づけられた顔領域の領域サイズと被写体距離情報と焦点距離情報から顔の実寸法を算出し、人物の顔を特定することでメタデータ登録の負荷を軽減する機能を提供することができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

10 光学レンズ、11 イメージセンサ、12 撮像制御回路、13 文字認識回路、
14 顔認識回路、15 レリーズ操作ボタン、16 MENU操作ボタン、
17 方向キー操作ボタン、18 選択操作ボタン、19 メタデータ登録ボタン、
20 システム制御回路、21 メモリ制御回路、22 画像処理回路、23 記録用メモリ、
24 表示部、25 揮発性メモリ、26 不揮発性メモリ

Claims

撮像光学系により結像された画像を撮影する撮影手段(11)と、
前記画像から画像情報を検出する画像認識手段(20)と、
前記画像認識手段(20)より得られた画像情報を画像認識領域情報として表示する画像認識領域表示手段(24)と、
前記画像認識領域情報をメタデータの登録候補として選択するメタデータ選択手段(17)(18)と、
前記メタデータ選択手段で選択されたメタデータを前記撮影画像に対応づけて登録するメタデータ登録手段(19)と、
を有することを特徴とする撮像装置。
前記画像認識手段(20)は前記画像から人物の顔を認識して顔の領域情報を検出する顔認識手段(14)と、
前記撮影画像から文字部分を認識して、文字列情報を取得する文字認識手段(13)を有し、
前記画像認識領域表示手段(24)は前記顔認識手段(14)と文字認識手段(13)より得られた顔の領域情報と文字列情報を画像認識領域情報として表示することを特徴とする請求項１に記載の撮像装置。
前記画像認識領域表示手段(24)で表示される画像認識領域情報の個数を算出し、画像認識領域情報が所定の個数以上の場合は通知表示を行う通知手段(24)を備え、
前記通知手段(24)により通知表示が発生した場合は、前記メタデータ選択手段(17)(18)へ移行し、通知表示が発生しない場合は、メタデータ登録手段(19)へ自動的に移行することを特徴とする請求項１に記載の撮像装置。
前記画像認識領域表示手段(24)は画像認識領域情報の領域サイズを判別する画像認識領域サイズ判別手段(20)を備え、
前記画像認識領域表示手段(24)は前記御画像認識領域サイズ判別手段(20)を用いて、画像認識領域情報が所定の領域サイズ以下の場合は画像認識領域情報として表示しないことを特徴とする請求項１に記載の撮像装置。
撮像光学系レンズから焦点距離情報取得する焦点距離情報取得手段(20)と、
被写体距離情報を取得する被写体距離情報取得手段(11)を備え、
前記顔認識手段(14)は、前記焦点距離情報と前記被写体距離情報を用いて人物の顔の領域情報を検出することを特徴とする請求項１に記載の撮像装置。