JP5383207B2 - 情報処理装置、制御方法、コンピュータプログラム、および記憶媒体 - Google Patents

Description

本発明は、被写体認識の可能な情報処理装置における、画像および映像の表示方法に関する。

近年、デジタルカメラやビデオカメラ等の撮影光学系の撮像装置は、被写体が人物である場合に人物の顔領域を検出し、検出した顔領域に基づいて焦点調節や露出制御の機能を有するものが提案されている。提案されているものの多くは、複数検出された顔領域の中から主顔となる顔領域を一つ決定し、その主顔のピントや露出が最適になるようにカメラの制御を変えている。また複数の人物の顔が検出された場合、検出されている複数の顔領域のピントや露出を最適にすることも望まれている。

一方、従来より撮影画像から人物の顔の特徴点を抽出し、認識する人物に関する顔情報データと抽出した特徴点を比較して顔認識を行う技術も多く提案されている。この技術により、撮像装置は撮影している一人あるいは複数の被写体を認識し、被写体に応じてカメラの制御を変えることも可能となっている。一般的に、顔認識を行うには、撮像装置はあらかじめデータベース等に被写体の顔の特徴点や顔の大きさ、顔画像等の顔情報データを登録しておく必要がある。引用文献１では、同一人物の撮影条件(例えば、顔の向き、照明条件など)の異なる複数枚の顔画像を、被写体毎に分類して登録する技術が提案されている。

特開２００７-１５０６０３号公報

引用文献１では顔認識の精度を上げるために、撮像装置は、さまざまな撮影条件で撮影された顔画像を被写体毎にグループ化して登録している。しかし、一つのグループには同一人物の顔情報しか登録されていないので、複数人の顔情報をグループにまとめて管理しているわけではない。

また、多数の人物が写っている場合、顔認識機能によって、指定した複数の人間を画面上から探し出すことはできず、撮影者が、登録したグループのメンバーの誰がいて、誰がいないのかを瞬時に判別することは難しい。

本発明は、上記課題を鑑みてなされたものであり撮影者に有用な撮影情報を提供することを目的の１つとする。

前述の目的を達成するために、本発明の情報処理装置は、以下の構成を備える。
人物の顔画像と該顔画像に含まれる顔の特徴情報とを、複数の人物について予めグループ化して記憶する記憶手段を有する情報処理装置であって、画像を取得する取得手段と、取得手段により取得された画像から人物の顔領域を検出し、該顔領域の顔の特徴情報を抽出する顔検出手段と、複数の人物の顔の特徴情報と顔検出手段により検出された顔の特徴情報とを比較し、該検出された顔が複数の人物のいずれかの顔であるか否かを判断する判断手段と、検出された顔が複数の人物のいずれかの顔であると判断された場合に、複数の人物の顔画像を取得手段より取得された画像に合成して表示手段に表示する合成手段であって、複数の人物の顔画像について、顔検出手段により顔が検出された人物の顔画像と検出されなかった人物の顔画像とで表示の仕方を異ならせる合成手段と、を有することを特徴とする。

本発明によれば、被写体認識機能で撮影画面上から複数の被写体を認識した際に予めグループに登録し、グループ化内で登録している複数の被写体の画像の全てを見やすく表示し、認識した被写体を識別する。したがって、撮影者が画面上から指定した人間を容易に探し出すことができる。また、撮影画面上の一部に登録されているグループのメンバーの情報（例えば、撮影されている画像の枚数や撮影時間）がわかりやすく表示されるので、撮影者はグループ内のメンバーの撮影情報を容易に比較することが可能になる。

図１は、本発明の実施例であるビデオカメラの構成を示す図である。なお、本実施例においては、情報処理装置の一つであるビデオカメラについて説明するが、デジタルスチルカメラ等の他の撮像装置に本発明を適用することもできる。

撮像生成部１００は被写体画像を光電変換する。図１のように光学系、レンズ駆動源、カメラ信号処理系を備える。

撮像光学系は、第１固定レンズ群１０１、変倍を行うレンズ群であるズームレンズ１０２、絞り１０３、第２固定レンズ群１０４、焦点調節機能と変倍による焦点面の移動を補正するいわゆるコンペ機能を兼ね備えたフォーカスレンズ１０５を備える。

ズームレンズ駆動源１１０は、ズームレンズ１０２を駆動し、フォーカスレンズ駆動源１１１は、フォーカスレンズ１０５を駆動する。ズームレンズ駆動源１１０およびフォーカスレンズ駆動源１１１はそれぞれモータとドライバ部を有している。ズームレンズ駆動源１１０およびフォーカスレンズ駆動源１１１はカメラマイコン１１２で算出される目標位置と駆動速度に基づき各レンズを駆動させる。

フォーカスレンズ群の後段は、例えばＣＭＯＳセンサ、ＣＣＤセンサなどの撮像素子１０６を備える。ＣＤＳ／ＡＧＣ１０７は撮像素子１０６から出力される画像信号をサンプルホールドし、適正な信号レベルにする。

カメラ信号処理回路１０８は、ＣＤＳ／ＡＧＣ１０７の出力信号を表示する機能をもつ液晶ディスプレイやファインダーなどの表示部１１８、後述の画像記憶部１０９に入力するため対応した信号に変換する。

画像記憶部１０９は、動画や静止画を記録し、記録媒体として、磁気テープ、半導体メモリ、ＤＶＤなどが使われている。画像記憶部１０９は半導体メモリやＤＶＤなどのメモリ領域のアドレスも指定し、カメラ信号処理回路１０８の出力信号を記録していく。また、撮影人物ごとに撮像情報として格納する。

カメラマイコン１１２は、アドレスを指定しアクセスすることで、任意の撮像画像を表示部１１８に表示する。カメラマイコン１１２は、不図示のＲＯＭに格納されているプログラムに従いカメラの各部動作の制御を行う。例えば、カメラマイコン１１２はカメラ信号処理回路１０８から出力される画像信号に基づいて公知のコントラストＡＦ方式によりフォーカスレンズ１０５を駆動させ焦点調節や公知のＡＥ演算により露出制御を行う。

カメラマイコン１１２の顔検出部１１３は、カメラ信号処理回路１０８から出力される画像信号における顔領域の部分から撮影人物の顔の特徴情報を抽出する。

また顔検出部１１３は、画像記憶部１０９に記録されている撮像画像から顔情報を抽出して被写体の顔領域や顔の大きさ等を検出する。顔の特徴情報は、検出された顔の大きさ、目、鼻、口等の特徴点の位置関係、選択画像から抽出した顔領域を示す顔画像(インデックス画像)などを意味する。

顔判断部１１４は、これらの顔の特徴情報から公知の技術により、対象となる撮影人物の個体識別をして、取得された人物の顔の特徴情報と格納された他の顔の特徴情報とを比較することで、他の顔情報と同じ人物か否かを判断する。

この顔判断部１１４は、顔検出部１１３により検出された撮影画面内の人物の顔が顔情報登録部１１９に登録されている人物の顔か否かを判定する顔認識処理を行い、顔認識結果に応じて焦点調節や露出補正を行ったりする。

本実施例では顔検出部１１３、顔判断部１１４は、カメラマイコン１１２内においてソフトウェアにより実現するように記載しているが、カメラマイコン１１２とは別にハードウェアにて顔検出、顔認識、顔抽出の各機能を実現してもよい。

また、カメラマイコン１１２は、画像記憶部１０９にすでに撮影され記録されている画像や映像の中から、顔情報登録部１１９の中に登録されているグループのメンバーを特定する。そしてカメラマイコン１１２は、対象となるグループの人物各々の過去に写っている画像の枚数、映像の時間など（以下、撮影情報と呼ぶ）を人物ごとに算出する情報記録部１１５を備える。

情報記録部１１５により算出された撮影情報は、撮影情報として撮像画像の一部に合成するため画像合成部１１７に送られる。

カメラマイコン１１２は、枠表示生成部１１６を備える。枠表示生成部１１６は、顔検出部１１３の処理結果に応じて、認識された人の顔を囲むような表示（以下、単に顔枠という）などの表示枠の信号を発生させる回路を含む。更に枠表示生成部１１６は、画像合成部１１７によりカメラ信号処理回路１０８から出力される映像信号と前述した情報記録部１１５から出力された撮影情報の信号とを合成して表示部１１８に出力する。

例えば、枠表示生成部１１６は、顔情報登録部１１９に登録されていない人物の顔枠は緑色で表示、登録されている人物の顔枠は赤色で表示するといったように枠の色を変えることができる。この顔枠の色による表示により、ユーザは顔検出および顔認識の状態を知ることができる。また、顔検出中の顔枠を、一重、顔認識中の顔枠は二重で表示するというように枠の形状や状態を変化させてもよい。また、枠表示生成部１１６は、顔情報登録部１１９に登録されている人物ごとに、顔枠の色を変えて表示枠を生成してもよい。

顔情報登録部１１９は、顔検出部１１３により検出された人物と関連付け、その顔の特徴情報を登録しておく顔情報登録部である。ユーザが予め選択された人物の顔情報は、グループ情報としてこの顔情報登録部にグループ化されて登録される。

図２は、顔枠表示を表す図である。この図を参照し、顔情報登録部１１９における被写体登録方法の一例について述べる。まず、顔情報登録部１１９に記録されている画像、または映像から登録したい被写体が写っている画像、映像を選択する。そして、図２に示すように、顔検出部１１３により画像上の人物の顔に顔枠２０１を表示させる。そして、ユーザにその顔枠の中から登録したい顔を選択させる。

図３は、顔枠の選択画面を表す図である。選択し登録する例として、ユーザがカメラやビデオカメラに一般的に備わる操作ボタンや十字キーを操作し、順次、図３に示す選択枠２０２を移動させ、登録したい被写体の顔を登録する。また、ユーザは、ビデオカメラに搭載している液晶パネルに備わっているタッチパネルなどを使い、直接、選択したい被写体を登録してもよい。

以上述べたように、ユーザは登録したい被写体の選択を複数のグループの中から１つのグループに対応付けて登録する。この登録を繰り返すことで、選択した複数の被写体をグループとして、顔情報登録部１１９に登録できる。

図４は、カメラマイコン１１２の処理を表すフロー図である。この処理は、カメラマイコン１１２内に格納されたコンピュータプログラム（図示せず）に従って実行される。

ステップＳ２０１において、カメラマイコン１１２は、本モードが有効かどうかを判定し、有効の場合はステップＳ２０２に進み、無効の場合は処理を終了する。

ステップＳ２０２において、カメラマイコン１１２は、画像合成部１１７あらかじめ顔情報登録部１１９に登録しているグループから選択した顔グループメンバーのリストを、画像合成部１１７により撮像中の画面と合成し、表示部１１８に表示する。

図５は、顔グループメンバーのリスト表示例を示す図である。図５において、選択したグループリストのメンバー全員は、画面の最下部にメンバーリスト表示２０３として表示される。ここで表示されたグループは、ユーザが予め選択し、顔情報登録部１１９に記憶されていたものである。

図６は、複数の顔グループメンバーをまとめた、グループリスト１〜３を選択するための選択画面の例を示す図である。図６に示すように、カメラマイコン１１２は、液晶パネルなどの表示部に登録した複数のグループリストを表示する。ユーザは、そのリストの中からカメラやビデオカメラに一般的に備わっている操作ボタンや十字キーでマーカ２０４を操作することによりひとつのグループを選択する。また、ユーザは、ビデオカメラに搭載している液晶パネルに備わっているタッチパネルなどを使って直接、選択したい被写体を登録してもよい。

ステップＳ２０３において、カメラマイコン１１２の顔判断部１１４は、撮影画面上に人物の顔が存在するかを検索する。

ステップＳ２０４において、カメラマイコン１１２は、人物の顔が存在すると判定された場合には、ステップＳ２０５に進む。人物の顔が存在していない場合には処理を終了する。

ステップＳ２０５において、カメラマイコン１１２の顔判断部１１４は、顔情報登録部１１９内に記憶されているユーザが指定したグループ内のメンバーが撮影画面上に存在するか検索する。

ステップＳ２０６において、カメラマイコン１１２は、撮影画面上に指定したグループのメンバーが存在している場合には、ステップＳ２０７に進み、存在していない場合には処理を終了する。

ステップＳ２０７において、枠表示生成部１１６は、撮影画面上に存在するメンバーと存在しないメンバーとで、ステップＳ２０２にて撮影画面上に表示したメンバーリスト表示２０３内のメンバー顔表示の形態を異ならせる。

図７は、画面内に顔グループリスト内の一部の人物が存在することを表す表示例を示す図である。図７の下部には指定したメンバーリスト表示２０３がステップＳ２０２で表示されている。撮影画面上にはメンバーＣとメンバーＤは存在しないので、グループの中に存在しないメンバーのみ、画面下部のメンバーリスト表示２０３内の顔表示２０６の色を変えるなどの変化をつけて表示をする。変化のつけ方はこれに限られるものではなく、存在しないメンバーの顔をグレーアウトしたり、サイズを縮小して表示したり、半透明にして表示したり、存在しない旨のアイコンを近傍に表示するなど、様々な方法が考えられる。このように表示の仕方（表示形態）を異ならせることにより、ユーザは指定したグループ内のメンバーのうち、誰の顔を検出できて、誰の顔を検出できていないのかを一目で認識することができる。

ステップＳ２０８において、枠表示生成部１１６は、撮影画面上に存在するグループのメンバーの顔に顔枠表示２０７を表示する。

図８は、画面内に顔グループリスト内の人物が存在するときの、顔枠表示例を示す図である。枠表示生成部１１６は、撮影画面上の一部分に表示されているメンバーリスト表示の中の同一人物に色や模様などに一致させるように顔枠表示２０７を表示させても良い。

このように、図８の構成で、ユーザは、グループ内のどの人物が撮影画面上のどの位置に存在しているかをたやすく知ることができる。

ステップＳ２０８の後で、枠表示生成部１１６は、このフローで実行された処理により生成した表示画像を画像合成部１１７により、カメラ信号処理の出力する映像信号と合成させて、表示部１１８に表示する。

図９は、カメラマイコンでの撮影情報の表示の処理を表すフロー図である。

ステップＳ３０１において、カメラマイコン１１２は、撮影情報を撮影画面上の一部の領域に表示するかを判定する。カメラマイコン１１２は、ステップＳ３０１にて、表示すると判定するとステップＳ３０２に進み、表示しないと判定すると処理を終了する。

ステップＳ３０２において、情報記録部１１５は、画像記憶部１０９に記憶されている画像データの中から、顔情報登録部１１９に登録されているグループメンバーを探し出し、登録されている画像の枚数を算出する。

また、カメラマイコン１１２の情報記録部１１５は、画像記憶部１０９に記録されている画像データから、顔情報登録部１１９に登録されている人物を探し出し、登録されている画像の撮像枚数または映像の撮影時間を算出する。なお映像の場合に、情報記録部１１５は、所定のフレームごとに顔情報登録部１１９に登録されているグループメンバーを抽出し、抽出されたメンバーのフレーム枚数からおおまかな撮影時間を推定してもよい。

ステップＳ３０３において、カメラマイコン１１２は、撮影情報が取得できたかを確認し、取得できているならステップＳ３０４に進み、取得できていない場合にはステップＳ３０２の処理を繰り返す。

ステップＳ３０４において、カメラマイコン１１２は、画像合成部１１７により撮影頻度情報をメンバーリストと合成し、表示部１１８に表示させ、その後、処理を終了する。

図１０は、撮影履歴情報である撮影頻度情報の表示方法を表す図である。図１０に示すように、カメラマイコン１１２は、撮影画面上の一部に表示されたメンバーリストのグループメンバーの顔付近に、画像記憶部１０９に記憶された画像の撮影枚数や動画映像の時間などの顔枠表示２０７を行う。そして画像情報の表示生成処理を終了する。

ステップＳ３０４の後に、このフローで実行された処理により生成した表示画像を画像合成部１１７により、カメラ信号処理の出力する映像信号と合成させて、表示部１１８に表示する。

このように、図９と図１０の構成では、撮影画面上の一部に登録されているグループのメンバーの情報（例えば、撮影された画像の枚数や撮影時間）がわかりやすく表示されるので、撮影者はグループ内のメンバーの撮影情報を容易に比較できる。

＜他の実施形態＞
本発明は、前述した実施形態の機能を実現するプログラムを、システム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置が、供給されたコンピュータプログラムのコードを読み出して実行することによっても達成される。従って、本発明の機能処理をコンピュータで実現するために、コンピュータにインストールされるコンピュータプログラムのコード自体も本発明の技術的範囲に含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

プログラムを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク（ＣＤ、ＤＶＤ）、光磁気ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭなどがある。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。その他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記憶媒体から読み出し可能なプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

本発明の実施例を表すブロック図である。 顔枠の表示を表す図である。 顔枠の選択画面を表す図である。 カメラマイコンの処理を表すフロー図である。 顔グループのリスト表示例を示す図である。 顔グループの選択画面の例を示す図である。 画面内に顔グループリスト内の人物が存在することを表す表示例を示す図（１）である。 画面内に顔グループリスト内の人物が存在するときの顔枠表示例を示す図（２）である。 カメラマイコンでの撮影頻度表示の処理を表すフロー図である。 撮影頻度情報の表示方法を表す図である。

１０１ 第１群レンズ
１０２ 変倍レンズ
１０３ 絞り
１０４ 第２群レンズ
１０５ フォーカスレンズ
１０６ 撮像素子
１０７ ＣＤＳＡＧＣ
１０８ カメラ信号処理回路
１０９ 記憶装置
１１０ ズーム駆動源
１１１ フォーカス駆動源
１１２ カメラマイコン
１１３ 顔検出部
１１４ 顔判断部
１１５ 情報記録部
１１６ 枠表示生成部
１１７ 画像合成部
１１８ 表示部
１１９ 顔情報登録部
２０１ 顔検出枠表示
２０２ グループ登録に用いる顔検出枠表示
２０３ グループリスト表示
２０４ グループ選択に用いるマーカ表示
２０５ グループリスト表示
２０６ 画面上にいないグループメンバーのグループリスト表示内の表示例
２０７ 撮影画面上のグループメンバーの顔枠表示

Claims (9)

1. 人物の顔画像と該顔画像に含まれる顔の特徴情報とを、複数の人物について予めグループ化して記憶する記憶手段を有する情報処理装置であって、
   画像を取得する取得手段と、
   前記取得手段により取得された画像から人物の顔領域を検出し、該顔領域の顔の特徴情報を抽出する顔検出手段と、
   前記複数の人物の顔の特徴情報と前記顔検出手段により抽出された顔の特徴情報とを比較し、検出された顔が前記複数の人物のいずれかの顔であるか否かを判断する判断手段と、
   前記検出された顔が前記複数の人物のいずれかの顔であると判断された場合に、前記複数の人物の顔画像を前記取得手段により取得された画像に合成して表示手段に表示する合成手段であって、前記複数の人物の顔画像について、前記顔検出手段により顔が検出された人物の顔画像と検出されなかった人物の顔画像とで表示の仕方を異ならせる合成手段と、
   を有することを特徴とする情報処理装置。
2. 前記顔検出手段により検出された顔のうち、選択された前記複数の人物の顔ではない顔の顔画像とその特徴情報とを、前記グループに登録して前記記憶手段に記憶させる顔情報登録手段をさらに有することを特徴とする請求項１に記載の情報処理装置。
3. 前記合成手段はさらに、前記検出された顔のうち、前記判断手段により前記複数の人物のいずれかの顔であると判断された顔について、該顔の顔領域を囲む顔枠を前記取得手段により取得された画像に合成することを特徴とする請求項１または２に記載の情報処理装置。
4. 前記取得手段により取得された画像は前記記憶手段に記憶され、
   前記情報処理装置は、前記複数の人物の各々について、前記記憶手段に記憶されている画像における該人物の撮影頻度を示す情報を取得する手段をさらに有し、
   前記合成手段はさらに、前記複数の人物の顔画像とともに各人物の前記撮影頻度を示す情報を前記取得手段により取得された画像に合成する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の情報処理装置。
5. 前記撮影頻度を示す情報は、前記複数の人物の各々についての、該人物の顔が含まれる前記記憶手段に記憶されている画像の枚数あるいは映像の撮影時間であることを特徴とする請求項４に記載の情報処理装置。
6. 撮像光学系を用いて被写体を撮像して画像を生成する撮像手段をさらに有し、
   前記取得手段は、前記撮像手段により生成された画像を取得する
   ことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 人物の顔画像と該顔画像に含まれる顔の特徴情報とを、複数の人物について予めグループ化して記憶する記憶手段を有する情報処理装置の制御方法であって、
   前記情報処理装置の取得手段が、画像を取得する取得工程と、
   前記情報処理装置の顔検出手段が、前記取得工程において取得された画像から人物の顔領域を検出し、該顔領域の顔の特徴情報を抽出する顔検出工程と、
   前記情報処理装置の判断手段が、前記複数の人物の顔の特徴情報と前記顔検出工程において検出された顔の特徴情報とを比較し、該検出された顔が前記複数の人物のいずれかの顔であるか否かを判断する判断工程と、
   前記情報処理装置の合成手段が、前記検出された顔が前記複数の人物のいずれかの顔であると判断された場合に、前記複数の人物の顔画像を前記取得工程において取得された画像に合成して表示手段に表示する合成工程であって、前記複数の人物の顔画像について、前記顔検出工程において顔が検出された人物の顔画像と検出されなかった人物の顔画像とで表示の仕方を異ならせる合成工程と、
   を有することを特徴とする情報処理装置の制御方法。
8. コンピュータを、請求項１乃至６のいずれか１項に記載の情報処理装置の記憶手段と表示手段とを除く各手段として機能させるためのコンピュータプログラム。
9. 請求項８に記載のコンピュータプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images