JP4910827B2 - 画像処理装置及びプログラム - Google Patents
画像処理装置及びプログラム Download PDFInfo
- Publication number
- JP4910827B2 JP4910827B2 JP2007084432A JP2007084432A JP4910827B2 JP 4910827 B2 JP4910827 B2 JP 4910827B2 JP 2007084432 A JP2007084432 A JP 2007084432A JP 2007084432 A JP2007084432 A JP 2007084432A JP 4910827 B2 JP4910827 B2 JP 4910827B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- image
- unit
- information
- priority
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
Description
また、被写体によっては、正面からの顔があまり自分の好きではない顔の角度である場合もあり、この場合、常に自分の好きではない角度でしか撮像できないという問題がある。
図1は、本発明を適用した実施形態1の撮像装置100の概略構成を示すブロック図である。
実施形態1の撮像装置(画像処理装置)100は、画像データ内から人物の顔を検出(認識)し、この検出(認識)結果を利用して、画像データの撮影処理、閲覧処理、加工処理などの画像データを対象とした様々な処理の自動化を行うものである。
図1に示すように、撮像装置100は、撮像部1と、画像記録部2と、画像取得制御部3と、個人顔データベース(DB)4と、グループデータベース(DB)5と、操作入力部6と、顔検出部7と、検出情報記憶部8と、特定条件判定部9と、表示部10と、処理実行部11等を備えている。
撮像素子1bは、撮像レンズ1aを通過した被写体像を二次元の画像信号に変換するCCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等から構成されている。
信号処理部1cは、撮像素子1bから出力される画像信号に対して所定の画像処理を施すものである。
ここで、撮像レンズ1a、撮像素子1b及び信号処理部1cは、被写体を撮像して画像情報を生成する撮像手段を構成している。
画像メモリ1dは、画像処理後の画像信号を一時的に記憶する。
フォーカス駆動部は、撮像レンズ1aに接続されたフォーカス機構部を駆動させる。
ズーム駆動部は、撮像レンズ1aに接続されたズーム機構部を駆動させる。
ここで、画像記録部2は、撮像部(撮像手段)1により生成された画像情報を静止画像として保存する静止画像情報保存手段や、撮像部1により連続して生成された画像情報を動画像として保存する動画像情報保存手段を構成している。
具体的には、図2に示すように、個人顔DB4は、被写体の名前と、顔番号と、顔画像データと、顔特徴データと、優先度等を対応付けて記憶している。例えば、被写体として「Aさん」を例示して説明すると、顔番号「A−1」は、Aさんを正面から撮像した画像データと、正面から見た顔の特徴(例えば、目の位置、鼻の形状、口の大きさ等)と、顔の向きと対応付けられ、複数のAさんの画像の中での優先的な処理に係る優先度「2」が対応付けられている。同様に、顔番号「A−2」は、Aさんを右30°から撮像した画像データと、右30°から見た顔の特徴と、複数のAさんの画像の中での優先度「5(ワースト)」が対応付けられ、顔番号「A−3」は、Aさんを左15°から撮像した画像データと、左15°から見た顔の特徴と、複数のAさんの画像の中での優先度「1(ベスト)」が対応付けられている。つまり、個人顔DB4には、顔画像に基づいて個人や顔の向きを特定するための情報が記憶されている。
具体的には、図3に示すように、グループDB5は、グループ名と、焼き増し枚数と、メンバー等を対応付けて記憶している。例えば、グループとして「Aさんの家族」を例示して説明すると、グループ名「Aさんの家族」は、焼き増し枚数「まとめて1枚」と、メンバー名である「Aさん」、「Cさん」、「Dさん」、「Eさん」等が対応付けられている。同様に、グループ「Bさんの友人」は、焼き増し枚数「別々」と、メンバー名である「Bさん」、「Cさん」、「Fさん」等が対応付けられている。
シャッターボタンは、撮像部1により撮像された被写体の画像情報の記録(保存)を指示するものである。
モード切替スイッチは、撮像モードをスチルインムービー処理モード、モーションプリント処理モード、画像削除処理モード、自動シャッター処理モード、焼き増し数設定処理モード等に切り替えるためのものである。
入力ボタンは、個人顔DB4やグループDB5の登録内容や特定画像判定条件(後述)等を入力するためのものである。具体的には、入力ボタンは、各被写体(人物)毎に、その顔の向き(顔番号)と対応付けられる優先度を入力する。
ここで、入力ボタン(操作入力部6)は、処理実行部11による画像情報の処理の実行を指示する被写体の顔の向きを指定する顔向き指定手段を構成している。
表示制御部は、処理実行部11から適宜出力される表示データを一時的に保存するビデオメモリ(図示略)を備えている。
画像表示部は、表示制御部からの出力信号に基づいて所定の画像を表示する液晶モニタ等を備えている。
具体的には、顔検出部7は、先ず、画像取得制御部3が出力する画像データ(画像フレーム)内より全ての顔部分を検出する。例えば、顔検出部7は、全ての肌色領域を検出し、検出された各領域内に目、鼻、ロなどに相当する特徴部分(顔パーツ)があるか否かを判定して、顔パーツがあると判定されれば当該肌色領域を顔画像とみなす。次に、顔検出部7は、検出された各顔画像部分の位置と、肌色領域の面積などから判定されたサイズを顔個別検出情報8aとして検出情報記憶部8に記憶する。そして、顔検出部7は、各顔画像部分を個人顔DB4と照合して、最も一致度の高いレコードに対応する人物の名前と、顔番号を顔個別検出情報8aとして検出情報記憶部8に記憶する。つまり、検出された顔画像と個人顔DB内の顔画像データとの照合、または検出された顔画像から抽出した特徴データと個人顔DB内の顔特徴データとの照合により、個人の特定と顔の向きの特定(推定)を同時に行う。なお、所定数以上の人物が登録されていない場合には、一致度は不明とする。
ここで、顔検出部7は、画像データから顔画像を検出する顔検出手段を構成している。また、顔検出部7は、操作入力部6を介して入力された被写体の顔の向きと、当該顔検出部7により検出された被写体の顔の向きが等しくなっているか否かを判定する顔角度判定手段を構成している。
さらに、顔検出部7は、検出された顔画像と個人顔DB4に登録された顔画像情報を比較照合する顔照合手段を構成している。
また、顔検出部7は、顔画像に関連する各種の顔関連情報を取得する顔関連情報取得手段を構成している。
顔個別検出情報8aは、図4に示すように、各顔画像部分について、検出番号、位置、サイズ、動き、人物名、個人顔DB4における顔番号、個人一致度等を対応付けて記憶されている。例えば、検出番号1を例示して説明すると、顔画像部分の位置(座標)「213,378」と、顔画像部分のサイズ「120」、動作状態「右に30画素/フレーム」と、人物名「不明」等が対応付けられて記憶されている。同様に、検出番号2は、顔画像部分の位置(座標)「563,423」と、顔画像部分のサイズ「375」、動作状態「静止」と、人物名「Bさん」と、顔番号「B−2」と、個人一致度「90%」等が対応付けられ、検出番号3は、顔画像部分の位置(座標)「783,324」と、顔画像部分のサイズ「265」、動作状態「静止」と、人物名「Fさん」と、顔番号「F−3」と、個人一致度「85%」等が対応付けられて記憶されている。
具体的には、顔検出部7は、グループDB5を参照して各グループ内の複数のメンバーと検出された複数の被写体(人物)の顔画像とのグループの一致度を算出して、最も一致度の高いグループを特定し、その特定されたグループ名と、その一致度と、該グループに対応する焼き増し枚数を顔全体検出情報8bとして検出情報記憶部8に記憶する。ここで、一致度の高低は、一致している人数により判定して、人数が同じならば顔画像の一致度で判断するようになっている。
次に、顔検出部7は、顔個別検出情報8aを参照して、検出された顔画像の総数を計数して記憶した後、各個人が特定できた顔画像の総数を計数して顔全体検出情報8bとして検出情報記憶部8に記憶する。
また、トラッキング中の複数の顔画像に対して、それぞれの動き方向を顔検出センサーにより定量的なデータで取得するとともに、撮像装置に実装された加速度センサーによって、撮像装置の移動方向を定量的なデータで取得する。そして、撮像装置の移動方向に対して、トラッキング中の顔移動方向が同方向であるのか、それとも別方向なのかをそれぞれの顔画像に対して分析を行い、分析の結果、撮像装置の動きに最も近い顔画像が撮影者にとって撮影したいメイン被写体であると判定する。そして、AF処理をはじめとして、メイン被写体の撮像に最適な設定を自動設定して、撮影可能な状態にするようにしても良い。
これにより、顔認識時に複数の顔画像を認識してしまうと、どの人物をメイン被写体とすれば良いのか、撮像装置は自動では判断しにくいが、メインで撮影したい被写体に対する当該撮像装置の動きと被写体の動きを判断することにより、メイン被写体を撮像装置が自動で判断することができることとなる。
そして、メイン人物の顔画像と最も一致度が高かった顔番号に対応する優先度を、個人顔DB4を参照して特定し、顔全体検出情報8bとして検出情報記憶部8に記憶する。
また、各顔画像の中での絶対的な動きが最も大きい顔画像の動きを顔画像全体の動きとして記憶する。ここで、顔画像の絶対的な動きとは、顔画像の大地に対する動きであり、カメラに内蔵した加速度センサ(図示略)の情報やズーム倍率で示される画角情報などに基づいて、撮影フレームに対する各顔画像の動きを大地に対する絶対的な動きに変換する方法などにより取得される。
顔全体検出情報8bは、図5に示すように、顔検出総数、個人認識総数、グループ、グループ一致度、全体の動き、メイン人物、優先度、焼き増し枚数等が対応付けられたものである。例えば、顔全体検出情報8bとして、顔検出総数「7」と、個人認識総数「3」、グループ「Bさん家族」、グループ一致度「80%」、全体の動き「動く顔あり」、メイン人物「Bさん」等が対応付けられたものが記憶されている。
ここで、検出情報記憶部8は、顔検出部7により取得された顔個別検出情報8a及び顔全体検出情報8b(顔関連情報)と画像記録部2に記録される画像ファイルを関連付けて記録する顔関連情報記録手段を構成している。
ここで、特定条件判定部9は、顔検出部7による被写体の顔の角度の判定結果に基づいて、処理実行部11による処理対象となる画像情報を決定する処理対象決定手段を構成している。
特定条件判定情報9aは、図6に示すように、例えば、顔検出総数、個人認識総数、グループ、グループ一致度、全体の動き、メイン人物、メイン人物の顔状態(優先度)、メイン人物のサイズ等が対応付けられたものである。この特定条件判定情報9aは、処理実行部11に実行させる処理の内容や目的に応じてユーザが任意に設定したり自動的に設定されるものであり、例えば、メイン人物「Bさん」と、メイン人物の顔の状態「優先度1」等が対応付けられたものが記憶されている。
なお、画像取得制御部3から出力される画像データに対応する顔個別検出情報8a及び顔全体検出情報8bが既に顔情報ファイル(後述)として記録されている場合には、顔検出部7による顔個別検出情報8a及び顔全体検出情報8bの更新を行わず、特定条件判定部9は、顔情報ファイル内に既に記録されている顔個別検出情報8a及び顔全体検出情報8bを用いて判断する。
処理実行部11は、処理対象となる複数の画像データを、ユーザ指示による手動決定、または実行内容や目的に応じて自動的に決定し、画像取得制御部3に対して処理対象となる複数の画像データを取得するように要求する。そして、この要求に応じて画像取得制御部3が出力する複数の画像データを対象とした処理を実行し、特定条件判定部9より指示される指示情報に係る画像データ又はタイミングを特定画像データ又は特定タイミングであるとして、他の画像データや他のタイミングとは異なる扱いで処理する。
実施形態2は、実施形態1の撮像装置100を、スチルインムービー処理の自動化に適用したものであり、特に、被写体毎に指定された顔の角度に応じて動画撮影中に静止画像を撮影するタイミングを自動決定できるようにしたものである。
この実施形態2では、実施形態1における特定条件判定部9および処理実行部11の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
ここで、スチルインムービー処理とは、動画撮影中に静止画を撮影する機能であり、自動化されていない通常のスチルインムービー処理の場合には、動画撮影中に撮影者がシャッターを押下すると動画撮影を一時的に中断して静止画の撮影記録を行い、静止画撮影の後、動画撮影を再開するものである。
図7に示すように、先ず、操作入力部6のモード設定ボタンの所定操作に基づいてスチルインムービー処理モードに設定する。このとき、動画撮影中に静止画を撮影する条件についても特定条件判定情報9aに設定する。ここでは、動画撮影中にBさんの顔の向きがお気に入りの顔の向きとなった場合に静止画を撮影記録するものとし、特定条件判定情報9aのメイン人物を「Bさん」に、メイン人物の顔状態を「優先度1」に設定する。なお、スチルインムービー処理モードが設定された場合にはデフォルトで「優先度1」が設定され、これを変更する場合にユーザが任意の優先度または優先度の範囲を指定するものとする(ステップS1)。
次に、処理実行部11は、顔検出部7による顔検出機能及び顔認識機能がON状態であるか否かを判断し、ON状態である場合には、以下の自動化されたスチルインムービー処理を実行する。なお、OFF状態である場合には、通常のスチルインムービー処理を実行する。
そして、特定条件判定部9は、顔検出部7から出力された顔個別検出情報8aを入力し、この顔個別検出情報8aに基づいて、特定条件判定情報9aに指定された優先度(ここでは最もお気に入りの顔の向きに対応する優先度1)の顔の向きの画像情報と一致するか否かを判定する(ステップS5)。ここで、優先度1の顔の向きの画像情報と一致すると判定されると(ステップS5;YES)、特定条件判定部9は、一致した画像データを静止画撮像の対象画像として指定する指示情報を出力する。または、この一致したタイミングを静止画像の撮影タイミングとして指定する指示情報を出力する(ステップS6)。
上記の処理を画像取得制御部3からの画像データの出力が終了するまで繰り返す(ステップS8;YES)。
これにより、スチルインムービー処理を終了する。
また、実施形態2では、スチルインムービー処理を自動化することができ、被写体のお気に入り(好み)の顔の角度の優先度を高くして特定条件判定情報9aに設定しておくことにより、当該顔の角度の画像データが撮像部1により生成されると、自動的に取得して画像記録部2に記録させることができ、より利便性の高い撮像装置を提供することができる。
実施形態3は、実施形態1の撮像装置100を、画像削除処理の自動化に適用したものであり、特に、被写体毎に指定された顔の角度に応じて削除対象となる画像を自動決定できるようにしたものである。
この実施形態3では、実施形態1における特定条件判定部9および処理実行部11の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
なお、以下の画像削除処理にあっては、削除対象としたい人物を予め選択しておき、当該人物の最も低い優先度(例えば、優先度5)の顔の向きとともに特定条件判定情報9aとして登録されているものとする。なお、画像削除処理モードが設定された場合にはデフォルトで「優先度5」が設定され、これを変更する場合にユーザが任意の優先度または優先度の範囲を指定するものとする。
次に、処理実行部11は、顔検出部7による顔検出機能及び顔認識機能がON状態であるか否かを判断し、ON状態である場合には、以下の自動化された画像削除処理を実行する(OFF状態である場合には、通常の画像削除処理を実行する)。
処理実行部11は、操作入力部6の所定の入力ボタンの所定操作に基づいて、画像記録部2に記録されている画像ファイルのうち、指定された画像集合(グループ)内の画像ファイルを順に出力するように画像取得制御部3に対して指示する(ステップS12)。
そして、特定条件判定部9は、顔検出部7から出力された顔全体検出情報8bを入力し、この顔全体検出情報8bに基づいて、特定条件判定情報9aに指定された優先度(ここでは最も写りの悪い顔の向きに対応する優先度5)の顔の向きの画像情報と一致するか否かを判定する(ステップS15)。ここで、優先度5の顔の向きの画像情報と一致すると判定されると(ステップS15;YES)、特定条件判定部9は、一致した画像データを画像削除の対象画像として指定する指示情報を出力する(ステップS16)。
上記の処理を画像取得制御部3からの画像ファイルの出力が終了するまで繰り返す(ステップS18;YES)。
一方、ユーザ確認モードが設定されているならば(ステップS19;YES)、削除リストを一覧表示して、ユーザの指示に応じて削除する(ステップS21)。
これにより、画像削除処理を終了する。
また、実施形態3では、画像削除処理を自動化することができ、被写体のそれほど好きではない顔の角度の優先度を低くして特定条件判定情報9aに設定しておくことにより、当該顔の角度の画像ファイルを画像記録部2から取得して、自動的に削除候補としてリストアップすることができ、ユーザの好きな顔のみの画像を画像記録部2に残すことができることとなって、より利便性の高い撮像装置を提供することができる。
実施形態4は、実施形態1の撮像装置100を、モーションプリント処理の自動化に適用したものであり、特に、被写体毎に指定された顔の角度に応じてモーションプリント処理におけるメイン画像や周囲画像を自動決定できるようにしたものである。
この実施形態4では、実施形態1における特定条件判定部9および処理実行部11の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
例えば、特定条件判定情報209aとして、条件番号1の判定条件は、メイン人物「Bさん」と、メイン人物の顔の状態「優先度1」と、起動中の処理「モーションプリント」と、特定画像を「メイン画像M」として扱うことが対応付けられている。同様に、条件番号2の判定条件は、メイン人物「Bさん」と、メイン人物の顔の状態「優先度2〜4」と、起動中の処理「モーションプリント」と、特定画像を「周囲(サブ)画像」として扱うことが対応付けられている。
ここで、処理実行部11は、特定条件判定部9により一致すると判定された条件に対応する動作を選択的に実行するようになっている。
なお、モーションプリント処理は、顔検出部7による顔検出機能及び顔認識機能がON状態で実行されるものとする。
次に、処理実行部11は、操作入力部6の所定の入力ボタンの所定操作に基づいて、指定された期間内、撮像部1により連続的に撮像を行って得られる画像データを逐次出力するように画像取得制御部3に対して指示する(ステップS32)。
そして、特定条件判定部9は、顔検出部7から出力され入力された顔全体検出情報8bに基づいて、特定条件判定情報209aの条件番号1に係るメイン人物の顔状態に対応する優先度1の顔の向きの画像情報と一致するか否かを判定する(ステップS35)。ここで、優先度1の顔の向きの画像情報と一致すると判定されると(ステップS35;YES)、特定条件判定部9は、一致した画像データをメイン画像Mとして指定する指示情報を出力する(ステップS36)。
また、ステップS35にて、優先度1の顔の向きの画像情報と一致しないと判定されると(ステップS35;NO)、特定条件判定部9は、特定条件判定情報209aの条件番号1に係るメイン人物の顔状態に対応する優先度2〜4の顔の向きの画像情報と一致するか否かを判定する(ステップS37)。ここで、優先度2〜4の顔の向きの画像情報と一致すると判定されると(ステップS37;YES)、特定条件判定部9は、一致した画像データをメイン画像Mの周辺に配置されるサブ画像Sとして指定する指示情報を出力する(ステップS38)。
上記の処理を画像取得制御部3からの画像データの出力が終了するまで繰り返す(ステップS40;YES)。
図13に示すように、実行処理部は、動画ファイル内に含まれる複数の画像フレームを所定のレイアウト情報に従って配置合成する際に、条件番号1に対応するフラグが付加されている画像フレームをメイン画像Mとして中央位置に最も大きいサイズで配置する(ステップS42)。
次に、処理実行部11は、条件番号2に対応するフラグが付加されている画像フレームをサブ画像Sとしてレイアウト情報に従ってメイン画像Mの周辺に小さく配置して合成する(ステップS43)。
これにより、モーションプリント処理を終了する。
即ち、モーションプリント処理にて、被写体のお気に入り(好み)の顔の角度の優先度を高くして特定条件判定情報209aに設定しておくことにより、当該顔の角度の画像データが撮像部1により生成されると、メイン画像Mとして自動的に取得することができ、より利便性の高い撮像装置を提供することができる。また、特定条件判定情報209aの判定条件を複数として、メイン画像Mの周辺に配置されるサブ画像Sの優先度をメイン画像Mの優先度よりも低くすることにより、サブ画像Sを自動的に取得することができる。
従って、メイン画像M及びサブ画像Sが所定の位置に適正に配置されたモーションプリントを自動的に作成することができる。
実施形態5は、実施形態1の撮像装置100を、集合写真の撮影や集合写真の撮影に関連した関連処理の自動化に適用したものであり、特に、撮影フレーム内に検出(認識)される集合写真のメンバーが所定の状態となった場合に自動的に静止画を撮影したり、静止画撮影に関連した関連処理を行うようにしたものである。
この実施形態5では、実施形態1における特定条件判定部9および処理実行部11の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
ここで、グループ一致度「70〜80%」は、例えばBさんの家族が全員で4人である場合に、カメラを操作する一人の撮影者を除く全てのメンバーが揃ったときに合致するように設定された数値であり、グループ一致度「80%以上」は、4人全員が揃ったときに合致するように設定された数値である。このグループ一致度は、グループ全体の人数に応じて変更されるものであり、パーセンテージではなく人数を指定するようにしてもよい。
なお、自動シャッター処理は、顔検出部7による顔検出機能及び顔認識機能がON状態で実行されるものとする。
次に、処理実行部11は、操作入力部6の所定の入力ボタンの所定操作に基づいて、指定された期間内、撮像部1により連続的に撮像を行って得られるモニタ表示用の画像データを逐次出力するように画像取得制御部3に対して指示する(ステップS52)。
また、処理実行部11は、特定条件判定情報309aから出力された「撮影記録」に係る指示情報が入力されると、当該指示情報に係る画像フレームを静止画像として取得する(ステップS60)。
上記の処理を画像取得制御部3からの画像データの出力が終了するまで繰り返す(ステップS61;YES)。
これにより、自動シャッター処理を終了する。
なお、以下の焼き増し数設定処理にあっては、特定条件判定情報309aに所定のグループ(例えば、「Aさんの家族」)が予め登録されているものとする。
次に、処理実行部11は、操作入力部6の所定の入力ボタンの所定操作に基づいて、画像記録部2に記録されている画像ファイルのうち、指定された画像集合(グループ)内の画像ファイルを順に出力するように画像取得制御部3に対して指示する(ステップS72)。
そして、特定条件判定部9は、顔検出部7から出力され入力された顔個別検出情報8a及び顔全体検出情報8bに基づいて、特定条件判定情報309aに規定された所定のグループと一致するか否かを判定する(ステップS75)。ここで、所定のグループと一致すると判定されると(ステップS75;YES)、特定条件判定部9は、顔全体検出情報8bの個人認識総数から「グループのメンバー数−1」を減算した値を焼き増し数として設定する(ステップS76)。
一方、所定のグループと一致しないと判定されると(ステップS75;NO)、特定条件判定部9は、顔全体検出情報8bの個人認識総数に対応する値を焼き増し数として設定する(ステップS77)。
これにより、焼き増し数設定処理を終了する。
これにより、自動シャッター処理をセルフタイマー撮影と組み合わせて行う場合に、より失敗のない記念撮影等を行うことができることとなって、撮像装置の利便性をより向上させることができる。
具体的には、顔検出部7が、撮像装置に既に登録済みの顔画像を1個以上照合した場合には、検出した全ての顔サイズを取得する。そして、個人顔DB4との照合において、2個以上の顔画像が認識された場合には、登録済みの顔画像で、且つ、画像フレーム内に認識された顔サイズの一番小さいもの、つまり、一番遠いところにいる人と、個人顔DB4には登録されていないが、検出されたその他の顔画像のサイズとの比較を行う。ここで、登録していない顔画像の方が一つでもある一定以上の大きさの差があれば、パンフォーカスモードに切り替える。また、個人顔DB4との照合において、1個の顔画像が認識できた場合には、検出した全ての顔サイズとの比較を行い、認識できた顔画像よりも一つでも大きいサイズの顔画像が存在すればパンフォーカスモードに切り替える。
これにより、集合写真などで登録されていない人物がピンぼけになってしまう撮像を、パンフォーカスにすることにより回避することができ、より利便性の高い撮像装置を提供することができる。
これにより、顔画像をトラッキングできている間、撮像を連続して行うことができ、登録済みの顔画像の被写体の様々な表情を撮像し易くすることができる。
実施形態6は、実施形態1の撮像装置100を、各種撮影モード設定処理や各種撮影条件設定処理の自動化に適用したものであり、特に、撮影フレーム内に検出された複数の人物(顔)に対する個人特定(認識)やグループ特定の状況に応じて設定すべき撮影モードや撮影条件を自動決定するようにしたものである。
この実施形態6では、実施形態1における特定条件判定部9および処理実行部11の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
即ち、顔情報保存制御部12は、顔個別検出情報8a及び顔全体検出情報8bを他の撮像装置にて再利用可能な形態である顔情報ファイル12aとして記録保存する。具体的には、顔情報保存制御部12は、撮像装置400本体に対して着脱自在なメモリカード等を備え、当該メモリカードに、顔情報ファイル12a(顔個別検出情報8a及び顔全体検出情報8b)と、当該顔情報ファイル12aと対応付けられている画像ファイルを記憶するようになっている。
ここで、顔情報保存制御部12は、顔情報ファイル12aと画像ファイルを別ファイルとして記憶する別ファイル記憶手段を構成している。
例えば、特定条件判定情報409aとして、条件番号1の判定条件は、顔検出総数「0」と、個人認識総数「0」と、起動する処理「風景撮影モード」等が対応付けられている。同様に、条件番号2の判定条件は、顔検出総数「1」と、個人認識総数「0」と、メイン人物のサイズ「20%以上」と、起動する処理「単数人物撮影モード」と、処理条件「認識された人物にピントを合わせる」等が対応付けられている。同様に、条件番号3の判定条件は、顔検出総数「2以上」と、個人認識総数「0」と、全体の動き「速い」と、起動する処理「スポーツ撮影モード」等が対応付けられている。同様に、条件番号4の判定条件は、顔検出総数「1以上」と、個人認識総数「1」と、起動する処理「スナップ撮影モード」と、処理条件「メイン人物にピントを合わせる」等が対応付けられている。同様に、条件番号5の判定条件は、個人認識総数「2以上」と、起動する処理「集合写真撮影モード」等が対応付けられている。同様に、条件番号6の判定条件は、個人認識総数「2以上」と、全体の動き「有り」と、起動する処理「自動連写可能モード」と、処理条件「一定時間毎に撮影繰り返す」等が対応付けられている。同様に、条件番号7の判定条件は、個人認識総数「1以上」と、メイン人物「不明」と、起動する処理「AFモード」と、処理条件「認識された個人とメイン人物の中間にフォーカスを設定」等が対応付けられている。同様に、条件番号8の判定条件は、グループ一致度「80%以上」と、メイン人物「不明」と、起動する処理「パンフォーカスモード」と、処理条件「グループ全員とメイン人物を含むようにフォーカスを設定」等が対応付けられている。
図19に示すような特定条件判定情報409aが設定されている場合には、撮影フレーム内に1つも顔が検出されていない場合にはフォーカスを遠景に設定するなどの風景撮影モードに自動的に切り換え、ある程度の大きさの顔が1つ検出されている場合にはフォーカスを近景に設定するなどの単数人物撮影モードに自動的に切り換え、2人以上の動きの速い顔が検出されている場合にはシャッター速度を速めるなどのスポーツ撮影モードに自動的に切り換え、登録されている人物が1人認識されている場合には個人の撮影記録に適したスナップ撮影モードに自動的に切り換え、登録されている人物が複数認識されている場合には集合写真の撮影記録に適した集合写真撮影モードに自動的に切り換える。
また、図19に示す特定条件判定情報409aの他の設定例では、登録されている人物が複数認識され、かつ、全体が動いている場合には、自動連写モードに自動的に切り換えることにより、全ての人物が正面を向いた瞬間の撮影画像を得ることが容易にできるようになる。また、登録されている個人の認識状況とメイン人物の認識状況に応じてフォーカスモードを柔軟かつ適切に設定することが可能になる。
実施形態7は、実施形態1の撮像装置100を、画像検索表示処理の自動化に適用したものである。
この実施形態7では、実施形態1における特定条件判定部9および処理実行部11の処理内容や設定内容が、上記処理の目的に特化されたものとなる。
即ち、処理実行部11は、画像検索手段として、画像記録部2に記録された複数の画像ファイルの中で、操作入力部6を介して指定された処理条件に応じた所望の画像ファイルを検索する。
また、処理実行部11は、画像表示制御手段として、画像記録部2に記録された複数の画像ファイルの中で、操作入力部6を介して指定された処理条件に応じた所望の画像ファイルを表示部10に表示させる。即ち、処理実行部11は、画像加工制御手段(処理実行部11)により拡大された被写体の顔部分を表示部10に表示させる。
なお、記録保存されている画像データの検索や表示を自動化するためには、撮影された画像データに対して上述した顔個別検出情報8aや顔全体検出情報8bで示されるような顔情報を関連付けて記録しておく必要がある。
特定条件判定部9は、特定条件判定情報9aに設定されている検索条件と当該画像データに対応する顔情報ファイルの内容とを比較し、条件が一致する場合には、当該画像データを表示対象(検索画像)として指定する指示情報を出力する(ステップS105)。
そして、処理実行部11は、画像記録部2の複数の画像データのうち、表示対象(検索画像)として指定された画像データのみを取得する(ステップS106)、更に、処理実行部11は、表示対象(検索画像)として指定された画像データに対応する顔情報ファイルの内容と、特定条件判定情報9aに設定された画像表示条件に基づいて当該画像データを表示部10に出力して表示させる。具体的には、画像表示条件としてメイン人物の拡大表示が指定されている場合には、顔情報ファイルを参照してメイン人物の顔の位置とサイズを特定し、その部分を拡大して表示する(ステップS107)。
即ち、画像検索処理や画像表示処理等にて毎回画像データをRAM上に展開してから顔検出部7による顔検出や顔認識等を行わせる必要がなくなって、顔画像ファイルを参照することにより、顔を基点とした再生表示や顔をキーとした画像検索を効率良く行うことができる。
例えば、図21に示すように、個人顔DB4を人物毎に統合して個人顔統合DB13としても良い。
即ち、統合するためのレコードが足りないようであれば、実施形態4の撮像装置400により生成された顔情報ファイル12aを外部メモリから読み込んで個人顔DB4に追加する。そして、同じ名前の人物の複数のレコードに基づいて、顔の向きに関係しない個人の顔の特徴データを抽出して、当該特徴データを個人顔統合DB13に記憶する。その後、この人物の各優先度に対応して記憶されている複数の顔画像の各々の顔の向きを後述するような処理によって判定し、各優先度に対応する顔の向きの範囲を特定して記憶する。
具体的には、図21に示すように、個人顔統合DB13には、各人物の名前と、顔の向きに関係のない特徴データと、優先度1(ベスト)〜優先度5(ワースト)のデータ等が対応付けられて記憶されている。例えば、被写体として「Aさん」を例示して説明すると、Aさんの特徴データと、優先度1の顔の向きの範囲を示す情報として右15°から右30°が、優先度2の顔の向きの範囲を示す情報として右15°から左15°が、優先度5の顔の向きの範囲を示す情報として左30°から左90°等が対応付けられている。同様に、「Bさん」は、Bさんの特徴データと、優先度1の顔の向きの範囲を示す情報として右10°から左10°が、優先度2の顔の向きの範囲を示す情報として左20°から左40°が、優先度5の顔の向きの範囲を示す情報として右70°から右90°等が対応付けられている。
1 撮像部(撮像手段)
2 画像記録部
4 個人顔DB(顔画像情報登録手段)
5 グループDB
6 操作入力部(処理条件指定手段)
7 顔検出部(顔検出手段、顔照合手段、顔関連情報取得手段)
8 検出情報記憶部(顔関連情報記録手段)
9 特定条件判定部(処理対象決定手段、主画像決定手段、保存画像決定手段、削除画像決定手段)
10 表示部(画像表示手段)
11 処理実行部(撮像関連処理実行手段、画像情報選択手段、画像処理手段、合成画像生成手段、画像削除手段、焼き増し数設定手段、画像検索手段、画像加工制御手段画像表示制御手段)
Claims (8)
- 画像情報に含まれる顔画像を検出するとともに、該顔画像に対応する人物および該人物の顔の向きを特定する顔検出手段と、
予め各人物毎に任意の顔の向きを登録する登録手段と、
前記顔検出手段により特定された人物と顔の向きとの組み合わせが前記登録手段に登録された人物と顔の向きとの組み合わせに一致するか否かを判定する顔角度判定手段と、
前記顔角度判定手段により一致すると判定された画像情報に対して所定の画像関連処理を行うか、あるいは、前記顔角度判定手段により一致すると判定されたタイミングで所定の画像関連処理を行う顔画像処理手段と、
を備えることを特徴とする画像処理装置。 - 前記登録手段は、複数の人物の各々に対して異なる顔の向きを登録し、
前記顔角度判定手段は、前記顔検出手段により検出された人物が前記登録手段に登録されている複数の人物のいずれであるかに応じて異なる顔の向きの一致を判定することを特徴とする請求項1に記載の画像処理装置。 - 前記登録手段は、一人の人物に対して複数の顔の向きを登録するとともに、これら複数の顔の向きの間での優先度を登録し、
前記所定の画像関連処理を行う際の優先度に関する条件を任意に指定する優先度指定手段を更に備え、
前記顔角度判定手段は、前記顔検出手段により検出された人物の顔の向きに対する優先度が、前記優先度指定手段により指定された優先度に関する条件を満たすか否かを判定することを特徴とする請求項1または2に記載の画像処理装置。 - 前記優先度指定手段は、前記所定の画像関連処理の内容に応じて異なる優先度に関する条件を指定することを特徴とする請求項3に記載の画像処理装置。
- 前記所定の画像関連処理は、複数の画像情報から一の合成画像を生成する合成画像生成処理であり、
前記優先度指定手段は、前記合成画像生成処理を行う際の優先度に関する条件として、所定以上の優先度の顔に対応する画像情報を中央に配置し、それよりも低い優先度の顔に対応する画像情報を周辺に配置して一の合成画像を生成する条件を指定することを特徴とする請求項4に記載の画像処理装置。 - 前記所定の画像関連処理は、記録されている複数の画像情報の中から選択的に画像情報を削除する画像削除処理であり、
前記優先度指定手段は、前記画像削除処理を行う際の優先度に関する条件として、所定以下の優先度の顔に対応する画像情報を削除する条件を指定することを特徴とする請求項4に記載の画像処理装置。 - 前記所定の画像関連処理は、自動的に静止画の撮影記録を行う自動撮影処理であり、
前記優先度指定手段は、前記自動撮影処理を行う際の優先度に関する条件として、所定以上の優先度の顔が検出されたタイミングで自動的に静止画の撮影記録を行う条件を指定することを特徴とする請求項4に記載の画像処理装置。 - 画像処理装置のコンピュータを、
画像情報に含まれる顔画像を検出するとともに、該顔画像に対応する人物および該人物の顔の向きを特定する顔検出手段と、
予め各人物毎に任意の顔の向きを登録する登録手段と、
前記顔検出手段により特定された人物と顔の向きとの組み合わせが前記登録手段に登録された人物と顔の向きとの組み合わせに一致するか否かを判定する顔角度判定手段と、
前記顔角度判定手段により一致すると判定された画像情報に対して所定の画像関連処理を行うか、あるいは、前記顔角度判定手段により一致すると判定されたタイミングで所定の画像関連処理を行う顔画像処理手段と、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007084432A JP4910827B2 (ja) | 2007-03-28 | 2007-03-28 | 画像処理装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007084432A JP4910827B2 (ja) | 2007-03-28 | 2007-03-28 | 画像処理装置及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008245015A JP2008245015A (ja) | 2008-10-09 |
JP2008245015A5 JP2008245015A5 (ja) | 2010-04-22 |
JP4910827B2 true JP4910827B2 (ja) | 2012-04-04 |
Family
ID=39915775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007084432A Expired - Fee Related JP4910827B2 (ja) | 2007-03-28 | 2007-03-28 | 画像処理装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4910827B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9864902B2 (en) | 2014-07-29 | 2018-01-09 | Canon Kabushiki Kaisha | Apparatus and method of collating categories of images |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101537948B1 (ko) * | 2008-12-16 | 2015-07-20 | 삼성전자주식회사 | 얼굴 포즈 추정을 이용한 촬영 방법 및 장치 |
JP2011022796A (ja) * | 2009-07-15 | 2011-02-03 | Canon Inc | 画像処理方法および画像処理装置 |
JP2011061687A (ja) * | 2009-09-14 | 2011-03-24 | Nikon Corp | デジタルカメラ |
JP2013201793A (ja) * | 2013-07-11 | 2013-10-03 | Nikon Corp | 撮像装置 |
JP7468097B2 (ja) | 2020-04-10 | 2024-04-16 | 大日本印刷株式会社 | 画像販売システム及びプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001357404A (ja) * | 2000-06-14 | 2001-12-26 | Minolta Co Ltd | 画像抽出装置 |
JP4675492B2 (ja) * | 2001-03-22 | 2011-04-20 | 本田技研工業株式会社 | 顔画像を使用した個人認証装置 |
JP2005056175A (ja) * | 2003-08-05 | 2005-03-03 | Konica Minolta Photo Imaging Inc | 画像評価装置 |
JP2005141584A (ja) * | 2003-11-07 | 2005-06-02 | Omron Corp | 画像削除装置,及び画像圧縮装置 |
JP2006287917A (ja) * | 2005-03-08 | 2006-10-19 | Fuji Photo Film Co Ltd | 画像出力装置、画像出力方法、および画像出力プログラム |
JP4639869B2 (ja) * | 2005-03-14 | 2011-02-23 | オムロン株式会社 | 撮像装置およびタイマー撮影方法 |
-
2007
- 2007-03-28 JP JP2007084432A patent/JP4910827B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9864902B2 (en) | 2014-07-29 | 2018-01-09 | Canon Kabushiki Kaisha | Apparatus and method of collating categories of images |
Also Published As
Publication number | Publication date |
---|---|
JP2008245015A (ja) | 2008-10-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5056061B2 (ja) | 撮像装置 | |
JP4640456B2 (ja) | 画像記録装置、画像記録方法、画像処理装置、画像処理方法、プログラム | |
JP4324170B2 (ja) | 撮像装置およびディスプレイの制御方法 | |
EP1737216B1 (en) | Object determination device, imaging device and monitor | |
JP4788792B2 (ja) | 撮像装置、撮像方法、及び撮像プログラム | |
JP4315212B2 (ja) | 撮像装置、撮像制御プログラム及び撮像制御方法 | |
JP4910827B2 (ja) | 画像処理装置及びプログラム | |
US8432474B2 (en) | Image pickup apparatus | |
JP5023757B2 (ja) | 撮像装置及びプログラム | |
JP4967748B2 (ja) | 画像処理装置及びプログラム | |
JP2011061703A (ja) | 撮像装置及び撮像装置の制御方法 | |
JP5124994B2 (ja) | 画像再生システム、デジタルカメラ、および画像再生装置 | |
JP5488639B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP5181841B2 (ja) | 撮影装置、撮影制御プログラム、並びに画像再生装置、画像再生プログラム | |
JP2008242694A (ja) | 画像処理装置及びそのプログラム | |
JP5790724B2 (ja) | 撮像装置、撮影方法及びプログラム | |
JP2005323015A (ja) | デジタルカメラ | |
JP4371219B2 (ja) | デジタルカメラ | |
JP2010130327A (ja) | 撮像装置、及びプログラム | |
JP5594305B2 (ja) | 画像処理装置、制御方法及びプログラム | |
JP4948014B2 (ja) | 電子カメラ | |
JP2014216658A (ja) | 撮影装置および撮影補助プログラム | |
JP2017192114A (ja) | 画像処理装置及び画像処理方法、プログラム、並びに記憶媒体 | |
JP4882525B2 (ja) | 画像再生システム、デジタルカメラ、および画像再生装置 | |
JP2010068297A (ja) | デジタルカメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100308 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100308 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110428 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110510 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110711 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20110711 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111220 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120102 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4910827 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150127 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |