JP4478093B2 - 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法 - Google Patents

対象画像検索装置およびディジタル・カメラならびにそれらの制御方法 Download PDF

Info

Publication number
JP4478093B2
JP4478093B2 JP2005301133A JP2005301133A JP4478093B2 JP 4478093 B2 JP4478093 B2 JP 4478093B2 JP 2005301133 A JP2005301133 A JP 2005301133A JP 2005301133 A JP2005301133 A JP 2005301133A JP 4478093 B2 JP4478093 B2 JP 4478093B2
Authority
JP
Japan
Prior art keywords
image
subject
detected
target
target image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005301133A
Other languages
English (en)
Other versions
JP2007110575A (ja
Inventor
大輔 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2005301133A priority Critical patent/JP4478093B2/ja
Priority to US11/580,829 priority patent/US7801360B2/en
Publication of JP2007110575A publication Critical patent/JP2007110575A/ja
Application granted granted Critical
Publication of JP4478093B2 publication Critical patent/JP4478093B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

この発明は,対象画像検索装置およびディジタル・カメラならびにそれらの制御方法に関する。
被写体が人物などの場合には,撮像された人物像のうち顔の画像部分がきれいなものとなるように色補正,輪郭強調などの信号処理が行われることがある。信号処理を行うためには,顔の画像部分などの対象画像を検出する必要がある。一定周期で被写体を連続して撮像して得られる動画を構成する各駒の被写体像から対象画像部分を検出する場合には,リアルタイム処理が要求されることがあるために,迅速な検出が必要となる。
このために,被写体像のうち,特定の対象画像が表示される領域があらかじめ記憶されており,その領域より広い領域から得られる画像から対象画像が検出されるもの(特許文献1),カラー画像からいわゆる肌色領域と暗い領域とを抽出し,その抽出された領域についての情報にもとづいて対象画像である顔の画像部分を検出するもの(特許文献2)などがある。
特開平4−205070号公報 特開平11−15979号公報
しかしながら,未だ改善の余地がある。
この発明は,対象画像を迅速に検出することを目的とする。
第1の発明による対象画像検索装置は,連続して被写体を撮像することにより得られた複数駒の被写体像のうちの第1の被写体像から対象画像を検出する第1の対象画像検出手段,上記第1の対象画像検出手段によって検出された対象画像と上記第1の被写体像との相対回転角度にもとづいて,上記対象画像の検出角度を決定する検出角度決定手段,および上記複数駒の被写体像のうち,上記第1の被写体像と異なる第2の被写体像から上記検出角度決定手段によって決定された検出角度にもとづく角度をもつ上記対象画像を検出する第2の対象画像検出手段を備えていることを特徴とする。
第1の発明は,上記対象画像検索装置に適した制御方法も提供している。すなわち,この方法は,連続して被写体を撮像することにより得られた複数駒の被写体像のうちの第1の被写体像から対象画像を検出し,検出された対象画像と上記第1の被写体像との相対回転角度にもとづいて,上記対象画像の検出角度を決定し,上記複数駒の被写体像のうち,上記第1の被写体像と異なる第2の被写体像から決定された検出角度にもとづく角度をもつ上記対象画像を検出するものである。
第1の発明によると,連続して被写体を撮像することにより複数駒の被写体像が得られる。複数駒の被写体像のうちの第1の被写体像から対象画像が検出される。検出された対象画像と第1の被写体像との相対回転角度にもとづいて,対象画像の検出角度が決定される。決定された検出角度にもとづく角度(検出角度そのものでもよいし,検出角度近傍の角度でもよい)をもつ対象画像が第2の被写体像から検出される。第2の被写体像からは,検出角度にもとづく角度をもつ対象画像の検出処理が行われ,検出角度にもとづく角度以外の角度をもつ対象画像の検出処理は行われないので,検出処理に必要な時間が短くなる。
連続して被写体を撮像するとは,連写による撮像,ムービ撮像,ディジタル・スチル・カメラにおける撮像モードにおいてシャッタ・レリーズ・ボタンが押される前のいわゆるプレ撮像など所定の一連のシーケンスでの撮像をいう。
上記検出角度決定手段は,たとえば,上記第1の対象画像検出手段によって検出された対象画像を上記第1の被写体像との相対回転角度にもとづいて360/n(nは2以上の整数)度おきに規定されるn個の検出角度の中から決定する。
上記第2の検出手段は,たとえば,上記第2の被写体像から,上記検出角度決定手段によって決定された検出角度を中心に360/n度の範囲内の角度をもつ上記対象画像を検出するものである。
第2の発明による対象画像検索装置は,連続して被写体を撮像することにより得られた複数駒の被写体像のうちの第1の被写体像から対象画像を検出する第1の対象画像検出手段,上記第1の対象画像検出手段によって検出された対象画像の向きにもとづいて,上記対象画像を検出すべき向きを決定する向き決定手段,および上記複数駒の被写体像のうち,上記第1の被写体像と異なる第2の被写体像から,上記向き決定手段によって決定された向きをもつ上記対象画像を検出する第2の対象画像検出手段を備えていることを特徴とする。
第2の発明は,上記対象画像検索装置に適した制御方法も提供している。すなわち,この方法は,連続して被写体を撮像することにより得られた複数駒の被写体像のうちの第1の被写体像から対象画像を検出し,検出された対象画像の向きにもとづいて,上記対象画像を検出すべき向きを決定し,上記複数駒の被写体像のうち,上記第1の被写体像と異なる第2の被写体像から,決定された向きをもつ上記対象画像を検出するものである。
第2の発明においても連続した被写体を撮像することにより複数駒の被写体像が得られる。得られた複数駒の被写体像のうちの第1の被写体像から対象画像が検出される。検出された対象画像の向きにもとづいて,第2の被写体像において検出すべき対象画像の向きが決定される。決定された向きをもつ対象画像が第2の被写体像から検出される。決定された向きをもつ対象画像が第2の被写体像の検出対象となるので,検出対象となる対象画像が少なくなる。比較的迅速に第2の被写体像から対象画像を検出できる。対象画像の向きとは,たとえば,対象画像が顔の画像であれば,横向きの顔の画像,正面を向いた顔の画像など鉛直線を中心にした回転角度をいう。
第3の発明による対象画像検索装置は,連続して被写体を撮像することにより得られた複数駒の被写体像のうちの第1の被写体像から複数の対象画像を検出する第1の対象画像検出手段,上記第1の対象画像検出手段によって検出された複数の対象画像のX座標位置およびY座標位置のそれぞれの最小値および最大値を検出する座標検出手段,ならびに上記複数駒の被写体像のうち上記第1の被写体像と異なる第2の被写体像において,上記座標検出手段によって検出された最小値および最大値にもとづいて決定される領域内において上記対象画像を検出する第2の対象画像検出手段を備えていることを特徴とする。
第3の発明は,上記対象画像検索装置に適した制御方法も提供している。すなわち,この方法は,連続して被写体を撮像することにより得られた複数駒の被写体像のうちの第1の被写体像から複数の対象画像を検出し,検出された複数の対象画像のX座標位置およびY座標位置のそれぞれの最小値および最大値を検出し,上記複数駒の被写体像のうち上記第1の被写体像と異なる第2の被写体像において,検出された上記最小値および上記最大値にもとづいて決定される領域内において上記対象画像を検出するものである。
第3の発明においても連続して被写体が撮像されることにより複数駒の被写体像が得られる。得られた複数駒の被写体像のうちの第1の被写体像から同一種類の複数の対象画像が検出される。検出された複数の対象画像のX座標位置およびY座標位置のそれぞれの最小値および最大値が検出される。第2の被写体像においては,検出されたX座標位置およびY座標位置のそれぞれの最小値および最大値にもとづいて決定される領域内において対象画像が検出される。第2の被写体像においては,対象画像を検出すべき領域が限定されることとなるので,対象画像の検出処理に要する時間が短縮される。
第4の発明は,被写体を撮像し,被写体像を表す画像データを出力する撮像装置を備えたディジタル・カメラにおいて,上記ディジタル・カメラの傾きを検出する傾きセンサ,上記傾きセンサにより検出された傾きにもとづいて,対象画像の検出領域を決定する検出領域決定手段,および上記撮像装置から出力された画像データによって表される被写体像のうち,上記検出領域決定手段において決定された検出領域内において,上記対象画像を検出する対象画像検出手段を備えていることを特徴とする。
第4の発明は,上記ディジタル・カメラに適した制御方法も提供している。すなわち,この方法は,被写体を撮像し,被写体像を表す画像データを出力する撮像装置を備えたディジタル・カメラの制御方法において,上記ディジタル・カメラの傾きを検出し,検出された傾きにもとづいて,対象画像の検出領域を決定し,上記撮像装置から出力された画像データによって表される被写体像のうち,上記検出領域決定手段において決定された検出領域内において,上記対象画像を検出するものである。
第4の発明によると,ディジタル・スチル・カメラの傾きが検出される。検出された傾きにもとづいて対象画像の検出領域が決定される。決定された検出領域内において対象画像の検出処理が行われる。対象画像の検出領域が制限されるので,比較的迅速に検出処理を行うことができる。たとえば,対象画像が顔の画像であり,かつカメラが正立している状態で被写体である人物が撮像される場合には,顔は撮像範囲の上部に位置していることが多いために,検出領域は撮像範囲の上部に決定されよう。
上記検出領域決定手段は,対象画像が顔の画像の場合に,重心が上記被写体像の上部に存在する領域を対象画像の検出領域と決定するものでもよいし,上記被写体像の上辺までの距離よりも上記被写体像の下辺までの距離の方が長い矩形領域を対象画像の検出領域と決定するものでもよい。
第5の発明は,被写体を撮像し,被写体像を表す画像データを出力する撮像装置を備えたディジタル・カメラにおいて,上記被写体像の天方向を検出するセンサ,および上記センサにより検出された天方向を基準とした所定の回転角度の範囲内に縦方向の中心線の傾き角が収まっている対象画像を検出する対象画像検出手段を備えていることを特徴とする。
第5の発明は,上記ディジタル・カメラの制御方法も提供している。すなわち,この方法は,被写体を撮像し,被写体像を表す画像データを出力する撮像装置を備えたディジタル・カメラの制御方法において,上記被写体像の天方向を検出し,検出された天方向を基準とした所定の回転角度の範囲内に縦方向の中心線の傾き角が収まっている対象画像を検出するものである。
第5の発明によると,被写体像の天方向が検出され,検出された天方向を基準として所定の回転角度の範囲内に,縦方向の中心線の傾き角が収まっている対象画像が検出される。縦方向の中心線の傾き角が所定の回転角度の範囲内に収まっていない対象画像は検出対象外となるので,検出すべき対象画像の数が減る。対象画像の検出処理に要する時間を短縮できる。
図1は,この発明の実施例を示すもので,ディジタル・スチル・カメラの電気的構成を示すブロック図である。
ディジタル・スチル・カメラの全体の動作は,システム制御回路1によって統括される。
ディジタル・スチル・カメラには,撮像モード,再生モードなどのモードを設定するモード・ダイアル7,シャッタ・ボタン8,液晶表示装置35のオン,オフを制御する画像表示オン/オフ・スイッチ9,色温度設定スイッチ10,操作スイッチ11およびメモリ・カード着脱検知回路12が設けられている。これらのスイッチ類から出力される信号は,システム制御回路1に入力する。システム制御回路1には,データ等を一時的に記憶するメモリ2,駒番号などの所定の情報を表示する表示装置3,不揮発性メモリ4および通信回路5が接続されている。通信回路5には,アンテナ6が接続されている。また,システム制御回路1には,電源制御回路13が含まれており,電源14から供給される電源が各回路に与えられる。
ディジタル・スチル・カメラには角度センサ19も設けられている。この角度センサ19は,たとえば,内部に錘が含まれており,カメラの傾きに応じて錘とカメラとの相対角度が変わる。角度センサ19にはさらに光センサが内蔵されており,その光センサによってその相対角度が検出されることにより,カメラの傾きが検出される。もちろん,他の種類の角度センサを用いてカメラの傾きを検出するようにしてもよい。また,カメラの傾きがわかることによりカメラによって撮像された被写体像の方向もわかることは理解されよう。
ディジタル・スチル・カメラには,タイミング発生回路33によって制御されるCCD23が含まれている。このCCD23の前方には,バリア制御回路15によって開閉が制御されるバリア20,ズーム制御回路16によってズーム量が制御され,かつ測距制御回路17によって,合焦位置に位置決めされるズーム・レンズ21および露光制御回路18によって絞り値が制御される絞り22が設けられている。
撮像モードが設定されると,一定周期で被写体が撮像され,被写体像を表す映像信号が一定周期でCCD23から出力される。CCD23から出力された映像信号は,アナログ/ディジタル変換回路24に与えられ,ディジタル画像データに変換される。変換された画像データは,顔抽出回路26に与えられる。後述するように顔抽出回路26において,撮像によって得られた被写体像の中から顔画像が抽出される。この顔画像の抽出処理について詳しくは,後述する。また,変換により得られた画像データは画像処理回路25にも与えられ,ガンマ補正などの所定の信号処理が行われる。画像処理回路25から出力された画像データは,色温度検出回路27に入力する。色温度検出回路27において被写体像の色温度が検出され,システム制御回路1の制御により色バランス調整が行われる。
アナログ/ディジタル変換回路24から出力された画像データは,メモリ制御回路28の制御によって画像表示メモリ29に一時的に記憶される。画像データは,画像表示メモリ29から読み出されてディジタル/アナログ変換回路34に与えられることにより,アナログ映像信号に戻される。アナログ映像信号が液晶表示装置35に与えられることにより,撮像によって得られた被写体像が液晶表示装置35の表示画面上に表示される。
シャッタ・ボタン8が押されると,上述のようにしてアナログ/ディジタル変換回路24から出力された画像データは,メモリ制御回路28によってメモリ30に一時的に記憶される。画像データは,メモリ30から読み出されて圧縮/伸長回路31において圧縮される。圧縮された画像データがメモリ・カード32に与えられ,記録される。
再生モードが設定されると,メモリ・カード32に記録されている圧縮された画像データが読み出され,圧縮/伸長回路31において伸長される。伸長された画像データが映像信号に変換されて液晶表示装置35に与えられることにより,液晶表示装置35の表示画面に,メモリ・カード32から読み出された画像データによって表される被写体像が表示される。
図2は,検出された顔画像と検出範囲との関係を示している。
この実施例におけるディジタル・スチル・カメラにおいては,上述のように,撮像モードが設定されると,シャッタ・ボタン8が押される迄の間,一定周期で被写体が撮像されるプレ撮像が行われる。プレ撮像により多数駒の被写体像が一定周期で得られる。多数駒の被写体像の一駒である第1の被写体像において顔画像の検出処理が行われる。顔画像検出処理においては,様々な傾きの顔画像を検出することができる。顔画像検出処理は,たとえば,所定の大きさをもつ領域を規定し,その領域を第1の被写体像において走査し,領域内の画像において顔の構成要素,色などを参考にして,顔らしさの度合いを示す評価値を算出することにより実現できるし,多数の顔画像,様々な傾きをもつ顔画像のサンプルとの一致度の程度を算出することによっても実現できる。
この実施例においては,第1の被写体像において検出された顔画像の傾き(第1の被写体像と検出された顔画像との相対的な回転角度である)に応じて,第1の被写体像以外の被写体像(第2の被写体像)における検出範囲が決定される。第1の被写体像において検出された顔画像の傾きが0度,90度,180度または270度のうちの近い角度が検出角度として決定される。決定された角度の前後45度の範囲が,第2の被写体像における顔画像の検出範囲となる。たとえば,第1の被写体像において検出された顔画像の傾きが315度から45度の間,45度から135度の間,135度から225度および225度から315度の間の場合には,それぞれ検出角度は,0度,90度,180度および270度となる。第2の被写体像においては,それぞれ傾きが315度から45度の間,45度から135度の間,135度から225度および225度から315度の間をもつような顔画像が検出対象となる。第2の被写体像において検出すべき被写体像が少なくなるので検出処理に必要な時間が短くなる。
図3は,第1の被写体像の一例である。
第1の被写体像40には,人物像41が含まれている。第1の被写体像40において顔検出処理が行われることにより,顔画像42が見つけられる。見つけられた顔画像42の傾きが検出される。検出された傾きは,例えば30度あったとする。すると,検出角度は0度となり,第2の被写体像においては,315度から45度までの傾きをもつ顔画像が検出対象となる。
図4は,顔画像検出処理手順を示すフローチャートである。
連続して得られる被写体像のうち,所定の第1の被写体像において,すべての角度が検出範囲として顔画像の検出処理が行われる(ステップ51)。すなわち,どのような傾きをもつ顔画像であっても検出するように顔画像の検出処理が行われる。第1の被写体像から顔画像が検出されなければ(ステップ52でNO),次の駒の被写体像が顔画像検出対象としてセットされる(ステップ53)。次の駒の被写体像が第1の被写体像となり,再びすべての角度が検出範囲として顔画像の検出処理が行われる。
第1の被写体像から顔画像が検出されると(ステップ52でYES),検出された顔画像の中からもっとも顔らしい顔画像が選択される(ステップ54)。この選択は,第1の被写体像を液晶表示装置35の表示画面上に表示させてユーザによって選択させてもよいし,画像の顔らしさの評価値などが得られる場合には,その評価値にもとづいて決定するようにしてもよい。もっとも顔らしい顔画像が選択されなくとも,もっとも大きい,明るい顔画像などその他の要素によって顔画像が選択されるようにしてもよいのはいうまでもない。
つづいて,上述したように,0度,90度,180度または270度の中から,選択された顔画像の傾きに近い角度が検出角度として決定される(ステップ55)。決定された検出角度から上述のようにして第2の被写体像において検出すべき顔画像の傾きを示す検出範囲が決定される(ステップ56)。次の駒の被写体像(第2の被写体像)が顔画像検出対象としてセットされ(ステップ57),決定された検出範囲内の傾きをもつ顔画像が第2の被写体像において検出される(ステップ58)。
顔画像が検出されると(ステップ59でYES),さらに次の駒の被写体像が顔画像検出対象としてセットされる(ステップ57)。被写体の顔はあまり動いていないと考えられので,決定された検出範囲内で顔画像の検出処理が再び実行される(ステップ58)。顔画像が検出されないと(ステップ59),被写体の顔が動いてしまったと考えられるので,すべての角度が検出範囲として顔画像の検出処理が再び実行される(ステップ51)。
図5(A),(B)および(C)ならびに図6は他の実施例を示すものである。
この実施例においては,顔画像の向きが利用される。連続して与えられる複数駒の被写体像のうち第1の被写体像においてはすべての向きの顔画像が検出され,第2の被写体像においては第1の被写体像において検出された顔画像の向きに近い向きをもつ顔画像が検出対象となる。
図5(A)は,左向きの顔画像の一例である。第1の被写体像での顔検出処理において左向きの顔画像が検出されると,第2の被写体像においては正面から左向きの顔画像が検出すべき対象の顔画像となる。
図5(B)は,正面向きの顔画像の一例である。第1の被写体像での顔検出処理において正面向きの顔画像が検出されると,第2の被写体像においては,ほぼ正面向きの顔画像が検出すべき対象の顔画像となる。
図5(C)は,右向きの顔画像の一例である。第1の被写体像での顔検出処理において右向きの顔画像が検出されると,第2の被写体像においては正面から右向きの顔画像が検出すべき対象の顔画像となる。
図6は,顔画像検出処理手順を示すフローチャートである。
この処理においても,上述したように,被写体が連続して撮像され多数駒の被写体像が得られるものとする。多数駒の被写体像のうち第1の被写体像においては,すべての向きの顔画像が検出されるように,顔画像の検出処理が行われる(ステップ61)。顔画像が検出されなければ(ステップ62でNO),次の駒の被写体像が顔画像検出対象としてセットされる(ステップ63)。
顔画像が検出されると(ステップ62でYES),検出された顔画像の中からもっとも顔らしいものが選択される(ステップ64)。選択された顔画像の向きが判断される(ステップ64)。右向きであれば,右向きから正面までの向きをもつ顔画像を検出するように検出範囲が決定される(ステップ66)。正面向きであれば,ほぼ正面向きをもつ顔画像を検出するように検出範囲が決定される(ステップ67)。左向きであれば,正面から左向きの顔画像を検出するように検出範囲が決定される(ステップ68)。選択された顔画像の向きは,厳密なもので無くともよく,ほぼ左向き,ほぼ正面向き,ほぼ右向きと考えられれば,それぞれ左向き,正面向き,右向きと決定できる。
つづいて,次の駒の被写体像が顔画像検出対象としてセットされ(ステップ69),決定された向きの顔画像を検出するように顔画像検出処理が実行される(ステップ70)。顔画像が検出されると(ステップ71でYES),顔の向きにあまり変化が無いと考えられるので,その決定された検出範囲の向きをもつ被写体像を引き続き検出する処理が繰り返される(ステップ69,70)。顔画像が検出されないと(ステップ71でNO),顔の向きに動きがあったと考えられるので,再びすべての向きが検出範囲とされて顔画像検出処理が実行される(ステップ61)。
第2の被写体像または第2の被写体像以降の被写体像においては所定の向きの顔画像が検出対象となるので検出する顔画像が少なくなる。顔画像検出処理に必要な時間が短くなる。
図7および図8は,他の実施例を示すものである。この実施例においても被写体が連続して撮像されることにより多数駒の被写体像が得られる。多数駒の被写体像を構成する第1の被写体像の中から複数の顔画像が検出される。検出された複数の顔画像を囲む領域よりも広い領域が規定され,この広い領域が第2の被写体像において顔画像を検出すべき領域を規定する顔画像検出領域とされる。
図7は,第1の被写体像の一例である。
第1の被写体像80において顔画像検出処理が行われることにより,いずれも矩形の第1の顔画像領域80a,第2の顔画像領域80bおよび第3の顔画像領域80cが検出される。第1の顔画像領域80aは第1の被写体像80の上部にあり,第2の顔画像領域80bは第1の被写体像80の左下にあり,第3の顔画像領域80cは第1の被写体像80の中心よりも少し右側にある。第1の顔画像領域80aの左上の座標を(xa,ya),第2の顔画像領域80bの左下の座標を(xb,yb),第3の顔画像領域80cの右上の座標を(xc,yc)とすると,第1の顔画像領域80a,第2の顔画像領域80bおよび第3の顔画像領域80cのすべてを囲む領域81は,座標(xb,ya),(xc,yc),(xb,yb)および(xc,yb)で規定される。このようにして規定された領域81を広げた領域82が規定され,この広げた領域82が第2の被写体像における顔画像の検出領域となる。検出領域が第2の被写体像よりも狭くなるので,迅速な顔検出処理が実現できる。
第1の顔画像領域80aの高さをha,第2の顔画像領域80bの高さをhb,幅をhb,第3の顔画像領域80cの幅をwcとすると,たとえば,領域82は,領域81よりも上方向にha/2広げ,領域81よりも左方向にwb/2広げ,領域81よりも下方向にhb/2広げ,領域81よりも右方向にwc/2広げることにより得られる。
図8は,顔画像検出処理手順を示すフローチャートである。
上述のように連続して被写体が撮像されて多数駒の被写体像が得られる。第1の被写体像において,第1の被写体像の全体の領域が検出領域とされて顔画像の検出処理が行われる(ステップ91)。第1の被写体像の中に複数の顔画像が検出されなければ(ステップ92でNO),次の駒の被写体像が第1の被写体像とされて顔画像検出対象としてセットされる(ステップ93)。次の駒の被写体像の全体の領域が検出領域とされて顔画像の検出処理が再び行われる。
複数の顔画像が検出されると(ステップ92でYES),上述したように検出された複数の顔画像の領域を規定するx座標およびy座標のそれぞれの最小値および最大値が求められる(ステップ94)。求められた最小値および最大値によって規定される領域から広げられた領域が顔画像を検出する領域と決定される(ステップ95)。次の駒の被写体像(第2の被写体像)が顔画像の検出対象としてセットされ(ステップ96),決定された領域内の画像について顔画像の検出処理が行われる(ステップ97)。被写体像全体ではなく,被写体像全体よりも小さい領域が顔画像の検出対象の領域とされるので,検出処理に必要な時間が短縮される。
決定された領域内の画像において顔画像が検出されると(ステップ98でYES),被写体にあまり動きがないと考えられる。このため顔画像の検出領域は決定された領域のまま,次の駒の被写体像が顔画像検出対象としてセットされ(ステップ96),顔画像の検出処理が実行される。決定された領域内の画像において顔画像が検出されないと(ステップ98でNO),すべての領域が検出領域とされた顔画像の検出処理が行われる(ステップ91)。
決定された領域内に顔画像が含まれているかどうかの判断(ステップ98)は複数の顔画像が含まれているかどうかの判断でもよいし,1つの顔画像が含まれているかどうかの判断でもよい。
図9(A),(B)から図12は,さらに他の実施例を示すものである。
この実施例においては,カメラの傾きが検出され,カメラの傾きにもとづいて,撮像された被写体像の上下が検出される。被写体が人物の場合,顔画像は被写体像の上部に存在することが多いため被写体像の上部が顔画像検出領域に設定される。顔画像検出領域が被写体像全体ではなく,一部の領域であるため検出処理に必要な時間を短縮できる。
図9(A)は,ディジタル・スチル・カメラの背面図である。
ディジタル・スチル・カメラ100を正立させた状態において,ディジタル・スチル・カメラ100の上面の右側にはシャッタ・ボタン8が設けられており,背面の左上には光学ビュー・ファインダ101が設けられている。また,背面の右上にはモード・ダイアル7が設けられている。背面の下部には液晶表示装置の表示画面105が設けられ,この表示画面105の上に電源ボタン104が設けられている。
図9(B)は,図9(A)に示すようにディジタル・スチル・カメラ100が正立した状態での被写体を撮像して得られる被写体像の一例である。
ディジタル・スチル・カメラ100が正立した状態で被写体が撮像されると,得られた被写体像110は,横長のものとなる。被写体が人物の場合には,顔は撮影範囲の上部に存在することが多い。このために,横長の被写体像110が得られる場合には,被写体像110の高さをhとすると,被写体像110の上部2h/3が顔画像の検出領域111となり,被写体像の下部h/3は顔画像の非検出領域112となる。被写体像110の全体で顔画像検出処理が行われずに,被写体像110の上部の領域で顔画像検出処理が行われるので処理時間を短縮できる。
図10(A)は,ディジタル・スチル・カメラの背面図である。この図において図9(A)に示すものと同一物には同一符号を付して説明を省略する。ディジタル・スチル・カメラ100は,正立状態から左回りに90度回転させられた状態である。
図10(B)は,図10(A)に示すようにデイジたる・スチル・カメラ100が正立状態から左回りに90度回転させられた状態で被写体を撮像した得られる被写体像の一例である。
被写体像115は,縦長のものとなる。この場合も被写体が人物の場合には,顔は撮影範囲の上部に存在することが多い。このために,縦長の被写体像115が得られる場合においても被写体像115の高さをhとすると,被写体像115の上部2h/3が顔画像の検出領域116となり,被写体像115の下部h/3は顔画像の非検出領域117となる。被写体像115に比べて領域が狭い検出領域116において顔画像検出処理が行われるので,処理時間を短縮できる。
図11は,ディジタル・スチル・カメラが正立した状態で被写体を撮像することにより得られた被写体像の一例である。
被写体像120に含まれる領域が検出領域121として規定されている。検出領域121は,矩形のもので,検出領域121の上辺から被写体像120の上辺までの距離をa,検出領域121の下辺から被写体像120の下辺までの距離をbとすると,a<bの関係が成立している。このような検出領域121を顔画像検出領域として規定するようにしてもよい。また,重心が被写体像の上半分の領域内に収まるような矩形の領域を顔画像の検出領域としてもよい。
図12は,顔画像の検出処理を示すフローチャートである。
ディジタル・スチル・カメラの傾きが検出され(ステップ131),撮像により得られる被写体像の上部が顔画像の検出領域となるように決定される(ステップ132)。被写体が撮像されると,その検出領域内の画像について顔画像の検出処理が行われる(ステップ133)。
顔画像が検出されると(ステップ134でYES),次の駒の被写体像が顔画像検出対象としてセットされ(ステップ135),被写体像の上部が検出領域として再び決定される(ステップ132)。顔画像が検出されないと(ステップ134でNO),次の駒の被写体像が顔画像検出対象としてセットされ(ステップ136),カメラの傾きが再び検出され(ステップ131),検出された傾きからわかる被写体像の上部が顔画像の検出領域となるように決定される(ステップ132)。顔画像が存在する確率が高い領域について顔画像の検出処理が行われるようになる。
図13は,さらに他の実施例を示すもので,顔画像検出処理を示すフローチャートである。
この実施例においてもカメラの傾きが検出される(ステップ141)。傾いた顔画像の検出範囲がカメラの傾きの前後45度の範囲に決定される(ステップ142)。たとえば,カメラが正立している場合であれば,カメラの傾きは0度となり,315度から45度の傾きをもつ顔画像が検出されるようになる(図2参照)。決定された検出範囲の傾きをもつ顔画像が検出される(ステップ143)。検出範囲外の傾きをもつ顔画像は検出対象とならないので,検出時間が短くなる。
顔画像が検出されると(ステップ144でYES),次の駒の被写体像が顔画像検出対象としてセットされ(ステップ145),顔画像の検出範囲が,検出されているカメラの傾きの前後45度に再び決定される(ステップ142)。顔画像が検出されないと(ステップ144でNO),次の駒の被写体像が顔画像検出対象としてセットされ(ステップ146),カメラの傾きが再び検出され(ステップ141),検出された傾きの前後45度に検出範囲が決定される(ステップ142)。
上述の実施例においては,検出すべき対象画像として顔画像が取り上げられているが顔画像に限らず,目の画像その他の画像を検出すべき対象画像としてもよい。
ディジタル・スチル・カメラの電気的構成を示すブロック図である。 検出された顔画像と顔画像のその後の検出範囲との関係を示している。 被写体像の一例である。 顔画像検出処理手順を示すフローチャートである。 (A)〜(C)は,顔画像の一例である。 顔画像検出処理手順を示すフローチャートである。 被写体像の一例である。 顔画像検出処理手順を示すフローチャートである。 (A)は,ディジタル・スチル・カメラの背面図,(B)は,被写体像の一例である。 (A)は,ディジタル・スチル・カメラの背面図,(B)は,被写体像の一例である。 被写体像の一例である。 顔画像検出処理手順を示すフローチャートである。 顔画像検出処理手順を示すフローチャートである。
符号の説明
1 システム制御回路
19 角度センサ
23 CCD
26 顔抽出回路

Claims (8)

  1. 連続して被写体を撮像することにより得られた複数駒の被写体像のうちの第1の被写体像から複数の対象画像を検出する第1の対象画像検出手段,
    上記第1の対象画像検出手段によって検出された複数の対象画像のX座標位置およびY座標位置のそれぞれの最小値および最大値を検出する座標検出手段,ならびに
    上記複数駒の被写体像のうち上記第1の被写体像と異なる第2の被写体像において,上記座標検出手段によって検出された最小値および最大値にもとづいて決定される矩形領域内において上記対象画像を検出する第2の対象画像検出手段,
    を備えた対象画像検索装置であって,
    上記矩形領域は,上記第1の対象画像検出手段によって検出された複数の対象画像を囲む領域よりも広い領域であって,上記第2の被写体像よりも狭い領域である,
    対象画像検索装置。
  2. 上記第2の対象画像検出手段において,上記矩形領域内において上記対象画像が検出されなかったことにより上記第2の被写体像のすべての領域が検出領域とされて上記対象画像の検出処理が行われる,
    請求項1に記載の対象画像検索装置。
  3. 上記対象画像は顔画像である,請求項1または2に記載の対象画像検索装置。
  4. 請求項1からのうちいずれか一項に記載の対象画像検索装置を備えたディジタル・カメラ。
  5. 第1の対象画像検出手段が,連続して被写体を撮像することにより得られた複数駒の被写体像のうちの第1の被写体像から複数の対象画像を検出し,
    座標検出手段が,検出された複数の対象画像のX座標位置およびY座標位置のそれぞれの最小値および最大値を検出し,
    第2の対象画像検出手段が,上記複数駒の被写体像のうち上記第1の被写体像と異なる第2の被写体像において,検出された上記最小値および上記最大値にもとづいて決定される矩形領域内において上記対象画像を検出する,
    対象画像検索装置の制御方法であって,
    上記矩形領域は,上記第1の対象画像検出手段によって検出された複数の対象画像を囲む領域よりも広い領域であって,上記第2の被写体像よりも狭い領域である,
    対象画像検索装置の制御方法。
  6. 上記第2の対象画像検出手段において,上記矩形領域内において上記対象画像が検出されなかったことにより上記第2の被写体像のすべての領域が検出領域とされて上記対象画像の検出処理が行われる,
    請求項に記載の対象画像検索装置の制御方法。
  7. 上記対象画像は顔画像である,請求項5または6に記載の対象画像検索装置の制御方法。
  8. 請求項からのうちいずれか一項に記載の対象画像検索装置の制御方法を実施するディジタル・カメラの制御方法。
JP2005301133A 2005-10-17 2005-10-17 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法 Expired - Fee Related JP4478093B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005301133A JP4478093B2 (ja) 2005-10-17 2005-10-17 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法
US11/580,829 US7801360B2 (en) 2005-10-17 2006-10-16 Target-image search apparatus, digital camera and methods of controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005301133A JP4478093B2 (ja) 2005-10-17 2005-10-17 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法

Publications (2)

Publication Number Publication Date
JP2007110575A JP2007110575A (ja) 2007-04-26
JP4478093B2 true JP4478093B2 (ja) 2010-06-09

Family

ID=37948196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005301133A Expired - Fee Related JP4478093B2 (ja) 2005-10-17 2005-10-17 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法

Country Status (2)

Country Link
US (1) US7801360B2 (ja)
JP (1) JP4478093B2 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8125526B2 (en) * 2006-02-03 2012-02-28 Olympus Imaging Corp. Camera for selecting an image from a plurality of images based on a face portion and contour of a subject in the image
JP4338047B2 (ja) 2006-07-25 2009-09-30 富士フイルム株式会社 撮像装置
USD609714S1 (en) 2007-03-22 2010-02-09 Fujifilm Corporation Electronic camera
US8064655B2 (en) * 2007-04-20 2011-11-22 Panasonic Corporation Face image detection device, face image detection method and imaging apparatus
JP4796007B2 (ja) * 2007-05-02 2011-10-19 富士フイルム株式会社 撮像装置
EP3462727B1 (en) * 2007-06-14 2020-05-13 FUJIFILM Corporation Photographing apparatus
JP2009237976A (ja) * 2008-03-27 2009-10-15 Seiko Epson Corp 顔画像出力制御装置、顔画像出力制御方法、顔画像出力制御プログラムおよび印刷装置
ITRM20080296A1 (it) * 2008-06-09 2009-12-10 Ugo Nevi Tecniche di salvataggio in tempo reale delle foto scattate per mezzo della fotocamera del telefonino.
JP5293139B2 (ja) * 2008-09-05 2013-09-18 株式会社リコー 撮像装置、撮像方法、プログラムおよび記録媒体
JP5359645B2 (ja) * 2009-07-23 2013-12-04 ソニー株式会社 構図判定装置、撮像システム、構図判定方法、プログラム
JP5218345B2 (ja) * 2009-09-02 2013-06-26 三菱電機株式会社 画像検出装置
US8726161B2 (en) * 2010-10-19 2014-05-13 Apple Inc. Visual presentation composition
EP2490151A1 (en) * 2011-02-17 2012-08-22 Nagravision S.A. Method and device to speed up face recognition
US9104909B2 (en) * 2010-12-15 2015-08-11 Canon Kabushiki Kaisha Image processing apparatus and method of processing image
JP6019567B2 (ja) * 2011-03-31 2016-11-02 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
JP2013074570A (ja) * 2011-09-29 2013-04-22 Sanyo Electric Co Ltd 電子カメラ
US8903163B2 (en) * 2012-08-09 2014-12-02 Trimble Navigation Limited Using gravity measurements within a photogrammetric adjustment
JP6181925B2 (ja) * 2012-12-12 2017-08-16 キヤノン株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP2014187551A (ja) * 2013-03-22 2014-10-02 Casio Comput Co Ltd 画像取得装置、画像取得方法及びプログラム
JP6107844B2 (ja) 2015-01-28 2017-04-05 カシオ計算機株式会社 検出装置、検出制御方法、及びプログラム
CN107948522B (zh) * 2017-12-04 2020-06-26 广州视源电子科技股份有限公司 摄像头选取拍摄人物头像的方法、装置、终端及存储介质

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2921973B2 (ja) 1990-11-29 1999-07-19 株式会社日立製作所 特定物体の画像抽出方法及び画像抽出装置
US6181805B1 (en) * 1993-08-11 2001-01-30 Nippon Telegraph & Telephone Corporation Object image detecting method and system
JP3459950B2 (ja) 1997-04-30 2003-10-27 学校法人立命館 顔検出及び顔追跡方法並びにその装置
US6128397A (en) * 1997-11-21 2000-10-03 Justsystem Pittsburgh Research Center Method for finding all frontal faces in arbitrarily complex visual scenes
JP2001357404A (ja) * 2000-06-14 2001-12-26 Minolta Co Ltd 画像抽出装置
SE518050C2 (sv) * 2000-12-22 2002-08-20 Afsenius Sven Aake Kamera som kombinerar skarpt fokuserade delar från olika exponeringar till en slutbild
JP4597391B2 (ja) 2001-01-22 2010-12-15 本田技研工業株式会社 顔領域検出装置およびその方法並びにコンピュータ読み取り可能な記録媒体
US20040263621A1 (en) * 2001-09-14 2004-12-30 Guo Chun Biao Customer service counter/checkpoint registration system with video/image capturing, indexing, retrieving and black list matching function
JP3979136B2 (ja) * 2002-03-20 2007-09-19 富士ゼロックス株式会社 認識装置および方法
JP4204336B2 (ja) * 2003-01-30 2009-01-07 富士通株式会社 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム
JP4305000B2 (ja) 2003-02-19 2009-07-29 コニカミノルタホールディングス株式会社 画像処理方法、画像処理装置、記憶媒体及びプログラム
US7920725B2 (en) * 2003-09-09 2011-04-05 Fujifilm Corporation Apparatus, method, and program for discriminating subjects
JP4121026B2 (ja) 2004-01-21 2008-07-16 富士フイルム株式会社 撮像装置および方法並びにプログラム
JP4373828B2 (ja) 2004-03-22 2009-11-25 富士フイルム株式会社 特定領域検出方法、特定領域検出装置、およびプログラム
JP4130820B2 (ja) * 2004-08-27 2008-08-06 株式会社豊田中央研究所 顔中心位置検出装置及び方法並びにプログラム
US20060120571A1 (en) * 2004-12-03 2006-06-08 Tu Peter H System and method for passive face recognition
JP2006338329A (ja) * 2005-06-02 2006-12-14 Seiko Epson Corp 顔向き検出方法、顔向き検出装置、顔向き検出プログラムおよびそのプログラムを記録した記録媒体
JP4914045B2 (ja) 2005-09-07 2012-04-11 キヤノン株式会社 撮像装置及び撮像装置の制御方法
JP4450799B2 (ja) * 2006-03-10 2010-04-14 富士フイルム株式会社 対象画像検出装置の制御方法
JP2008117333A (ja) * 2006-11-08 2008-05-22 Sony Corp 情報処理装置、情報処理方法、個人識別装置、個人識別装置における辞書データ生成・更新方法および辞書データ生成・更新プログラム
CN101271515B (zh) * 2007-03-21 2014-03-19 株式会社理光 能识别多角度目标的图像检测装置
EP2104338A3 (en) * 2008-03-19 2011-08-31 FUJIFILM Corporation Autofocus system

Also Published As

Publication number Publication date
US20070086648A1 (en) 2007-04-19
US7801360B2 (en) 2010-09-21
JP2007110575A (ja) 2007-04-26

Similar Documents

Publication Publication Date Title
JP4478093B2 (ja) 対象画像検索装置およびディジタル・カメラならびにそれらの制御方法
US8102465B2 (en) Photographing apparatus and photographing method for photographing an image by controlling light irradiation on a subject
JP4510713B2 (ja) デジタルカメラ
JP4861952B2 (ja) 画像処理装置及び撮像装置
JP6157242B2 (ja) 画像処理装置及び画像処理方法
EP1938577B1 (en) A method and a device for reducing motion distortion in digital imaging
EP2330812B1 (en) Apparatus for generating a panoramic image, method for generating a panoramic image, and computer-readable medium
US20100238325A1 (en) Image processor and recording medium
JP5331128B2 (ja) 撮像装置
JP2008109336A (ja) 画像処理装置および撮像装置
US9628700B2 (en) Imaging apparatus, imaging assist method, and non-transitory recoding medium storing an imaging assist program
JP4127521B2 (ja) ディジタル・カメラおよびその制御方法
JP3971240B2 (ja) アドバイス機能付きカメラ
KR101475684B1 (ko) 디지털 영상 처리기에서 얼굴 영상 개선 장치 및 방법
JP2009124340A (ja) 撮像装置、撮影支援方法、及び撮影支援プログラム
JP4894708B2 (ja) 撮像装置
JP5142825B2 (ja) 画像表示装置及び画像表示方法
JP2011048295A (ja) 複眼撮影装置及びその姿勢検出方法
JP2009105559A (ja) 撮影画像からの認識対象検出処理方法およびカメラ付き携帯型電子機器
JP4632417B2 (ja) 撮像装置、及びその制御方法
JP3858133B2 (ja) 撮像方法および撮像装置
JP4769693B2 (ja) 撮像装置、方法、およびプログラム
JP5289354B2 (ja) 撮像装置
JP2020061760A (ja) 撮像装置
JP2009098850A (ja) 演算装置及びそのプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080709

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20090721

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20090827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090901

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091222

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100303

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100312

R150 Certificate of patent or registration of utility model

Ref document number: 4478093

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130319

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140319

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees