JP5641813B2 - 撮像装置及び撮像方法、画像処理装置及び画像処理方法 - Google Patents

撮像装置及び撮像方法、画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP5641813B2
JP5641813B2 JP2010182589A JP2010182589A JP5641813B2 JP 5641813 B2 JP5641813 B2 JP 5641813B2 JP 2010182589 A JP2010182589 A JP 2010182589A JP 2010182589 A JP2010182589 A JP 2010182589A JP 5641813 B2 JP5641813 B2 JP 5641813B2
Authority
JP
Japan
Prior art keywords
condition
attribute
imaging
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010182589A
Other languages
English (en)
Other versions
JP2012044369A (ja
Inventor
雄司 金田
雄司 金田
克彦 森
克彦 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2010182589A priority Critical patent/JP5641813B2/ja
Priority to US13/207,550 priority patent/US9041828B2/en
Publication of JP2012044369A publication Critical patent/JP2012044369A/ja
Application granted granted Critical
Publication of JP5641813B2 publication Critical patent/JP5641813B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/64Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

本発明は、画像処理技術に関するものであり、特に、所定の処理を実行する際の実行条件を設定するための画像処理技術に関するものである。
従来より、画像に含まれる人物の眼や口等の特徴点を検出し、当該検出した特徴点の配置関係に基づいて当該人物が笑顔であるか否かを判定し、笑顔であると判定した場合に、撮像を行う撮像処理技術が知られている(例えば、特許文献1参照)。また、当該人物の笑顔度のレベルを判定し、笑顔度のレベルが、ユーザが予め設定した所定のレベルに到達したと判定した場合に、撮像を行う撮像処理技術が知られている(例えば、特許文献2参照)。
このように、所定の実行条件を満たした場合に撮像処理を実行するよう構成された撮像装置では、撮像処理を実行するための実行条件(撮像条件)をユーザが予め設定しておく必要がある。
特開2005−266984号公報 特開2008−311819号公報
しかしながら、撮像条件には、“笑顔であること”や、その“レベル”だけでなく、例えば、“眼が開状態であること”や、“視線方向が撮像面の法線方向と一致していること”、といったように、様々な設定項目が含まれる。また、同じ“笑顔”であっても、男性の場合には“口を開けた笑顔であること”を、女性の場合には“口を閉じた品のある笑顔であること”を撮像条件として設定する場合にあっては、笑顔度の“レベル”を、更に対象人物の性別によって変えておく必要がある。
このように、撮像条件には様々な設定項目が含まれ、また、同じ設定項目であっても状況によって最適値が変わってくることから、上述のような撮像装置においては、撮像条件の設定がユーザにとって非常に高い負荷となっている。
また、所定の設定項目に対して最適値を設定しようとしても、意図している画像(撮像したい画像)を文字や数字等を用いて表すことは、ユーザにとって容易なことではない。例えば、笑顔度のレベルの設定において、選択肢として「大」、「中」、「小」の3種類があった場合、“口を閉じた品のある笑顔”が、笑顔度の“レベル”としていずれに該当するのかを判定することは非常に困難だからである。このため、結果として、ユーザが意図したものと異なる画像が撮像されることがあり得る。
このようなことから、撮像条件の設定が容易で、かつ、ユーザの意図する画像に則した撮像処理を実行可能な撮像装置が望まれている。また、実行条件の設定が容易となり、ユーザが意図する画像に則した処理が実行されるようになれば、撮像処理のみならず、例えば、画像を検索するための検索条件として、あるいは画像を合成するための合成条件としても利用できると考えられる。つまり、様々な処理の実行条件の設定に適用することが可能となる。
本発明は上記課題に鑑みてなされたものであり、所定の処理を実行する際の実行条件の設定を容易にするとともに、ユーザの意図に則した処理を実行可能な画像処理技術を提供することを目的とする。
上記の目的を達成するために本発明に係る画像処理装置は以下のような構成を備える。即ち、
ユーザからの指示に基づいて選択された複数の画像より、予め定められたオブジェクトを検出する検出手段と、
前記複数の画像のそれぞれから検出されたオブジェクトの属性を判定する判定手段と、
画像に対して、予め定められた処理を実行する場合の実行条件として、それぞれのオブジェクトについて判定された属性のうち、共通する属性を設定する条件設定手段と
を備えることを特徴とする。
本発明によれば、所定の処理を実行する際の実行条件の設定が容易になるとともに、ユーザの意図に則した処理を実行させることが可能となる。
本発明の一実施形態に係る画像処理装置の全体構成を示す図である。 条件自動設定部の機能構成を示す図である。 条件自動設定処理の流れを示すフローチャートである。 検索画像自動選択部の機能構成を示す図である。 画像自動合成部の機能構成を示す図である。 検索画像自動選択処理及び画像自動合成処理の流れを示すフローチャートである。 本発明の一実施形態に係る撮像装置の全体構成を示す図である。 条件自動設定処理及び条件変更処理の流れを示すフローチャートである。 撮像装置の表示部及び操作部を示した図である。 条件自動設定処理により設定された撮像条件を示した図である。 条件変更処理により変更された撮像条件を示す図である。 自動撮像処理の流れを示すフローチャートである。 2値化(笑顔、非笑顔)判定閾値と笑顔度の推移との関係を示した図である。 条件設定処理の流れを示すフローチャートである。 条件変更処理の流れを示すフローチャートである。 条件変更処理により変更された撮像条件を示す図である。 条件変更処理により変更された属性値を数直線として表示した場合の図である。 撮像条件として設定された視線方向の所定範囲の一例を示した図である。 2値化(笑顔、非笑顔)判定閾値と笑顔の度合いの所定範囲との関係を示した図である。 撮像面の法線方向と、検出された視線方向、設定された視線方向の所定範囲を示した図である。 条件設定処理の流れを示すフローチャートである。 条件変更処理により変更された所定範囲を数値として表示した場合の図である。 条件変更処理により変更された所定範囲を数直線として表示した場合の図である。
以下、図面を参照しながら、本発明の各実施形態について説明する。
[第1の実施形態]
<1.画像処理装置の全体構成>
図1は本発明の一実施形態に係る画像処理装置100の全体構成を示す図である。図1に示すように画像処理装置100は、制御メモリ(ROM)101と、中央演算処理装置102と、メモリ(RAM)103と、入力装置104と、表示装置105と、外部記憶装置106とを備える。
外部記憶装置106には、更に、画像データを格納する画像格納部114と、画像格納部114に格納された画像データ(または不図示の他の記憶媒体に格納された画像データ)を処理する制御プログラムとが備えられている。当該制御プログラム及び画像データは、中央演算処理装置102の制御のもと、バス107を介して適宜メモリ103に取り込まれ、中央演算処理装置102により実行される。これにより、当該制御プログラムは、条件自動設定部111、検索画像自動選択部112、画像自動合成部113として機能する。
<2.条件自動設定部の機能構成>
次に画像処理装置100における条件自動設定部111の機能構成について説明する。条件自動設定部111では、ユーザが指定した画像に基づいて、画像を検索する際の検索条件や画像を合成する際の合成条件等、所定の処理を実行するための実行条件を自動的に設定する。
図2は、条件自動設定部111の機能構成を示す図である。図2に示すように、条件自動設定部111は、画像取得部201と、物体検出部202と、属性検出部203と、条件設定部204とを備える。
画像取得部201では、外部記憶装置106又は他の記憶媒体(メモリ、フロッピ(登録商標)ディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等)から、検索条件や合成条件等の実行条件の自動設定に使用する画像を取得する。
物体検出部202では、画像取得部201で取得した少なくとも1枚の画像に対して、対象物体(オブジェクト)の検出を行う。なお、画像から任意物体を検出する手法としては、例えば、輝度勾配ヒストグラムを使用した手法等が挙げられる。なお、輝度勾配ヒストグラムを使用した手法の詳細は、例えば、P.Felzenszwalb、D.McAllester、D.Ramananらによる「A Discriminatively Trained,Multiscale, Deformable Part Model」(Proceedings of the IEEE CVPR, 2008)に開示されている。
本実施形態では、物体検出部202において、対象物体として人物の顔を検出する。なお、対象物体として人物の顔を検出する手法としては、例えば、ニューラルネットワークを使用する手法や、単純な矩形フィルタを組み合わせる手法等が挙げられる。ニューラルネットワークを使用する手法は、例えば、御手洗祐輔、森克彦、真継優和らによる「選択的モジュール起動を用いたConvolutional Neural Netoworksによる変動にロバストな顔検出システム」(FIT(情報科学技術フォーラム)、Ll−013、2003)に開示されている。また、単純な矩形フィルタを組み合わせる手法は、例えば、P.Viola、M.Jonesらによる「Rapid Object Detection using a Boosted Cascade of Simple Features」(in Proc. Of CVPR、vol.1、pp.511−518、December、2001)に開示されている。
なお、物体検出部202が検出する対象物体は、人物の顔に限られず、例えば、人物の体であってもよいし、あるいは犬や猫などの動物であってもよい。
属性検出部203では、物体検出部202で検出された対象物体の属性を検出する。本実施形態では、対象物体として人物の顔を検出することから、属性検出部203では、顔の属性を検出することとなる。
顔の属性とは、例えば、笑顔、悲しい顔、怒りの顔等の顔の表情、視線の向きや顔の向き、眼の開閉状態、個人を特定する名前などをいう。つまり、属性検出部203では、物体検出部202で検出された顔に対して、笑顔、悲しい顔、怒りの顔等の表情判定処理、視線方向の判定処理、顔の向きの判定処理、眼の開閉状態の判定処理、個人を特定する名前の判定処理等を実行する。以下、それぞれの判定処理の処理内容について概要を説明する。
表情判定処理では、予め用意しておいた参照画像からの変化量に基づいて、表情の尤度(特徴量)を算出するとともに(例えば、特開2005−56388号公報参照)、算出した表情の尤度に対して、予め用意しておいた閾値と比較する閾値処理を行う。そして、例えば、笑顔と非笑顔の2値判定を行うことで、顔の表情を判定する。
視線方向の判定処理では、瞳と眼の特徴点の位置(特徴量)を使用することで視線方向を判定する。また、顔の向きの判定処理では、眼や口の特徴部位を用いて顔の向きを判定する。なお、視線方向の判定処理及び顔の向きの判定処理の詳細は、例えば、特開2008−210239に開示されている。
眼の開閉状態の判定処理では、眉毛と眼間の距離変化や面積比(特徴量)を算出し、予め用意しておいた閾値と比較する閾値処理を行うことで、眼の開閉状態を判定する(例えば、特許第3350296号参照)。
個人を特定する名前の判定処理では、入力画像と登録画像との間の複数の部分領域のパターン間距離(特徴量)を使用することで、登録辞書に存在する名前を判定する(例えば、特許第4161659号参照)。
なお、表情判定処理、視線方向の判定処理、顔の向きの判定処理、眼の開閉状態の判定処理、個人を特定する名前の判定処理についての処理内容は、上述の手法を用いたものに限定されず、他の手法を用いたものであってもよい。また、属性検出部203において実行される判定処理は、上述の判定処理に限定されず、他の判定処理を実行してもよい。
なお、物体検出部202において検出した対象物体が、人物の体であった場合には、属性検出部203では、対象物体の属性として、例えば、姿勢などを検出する。また、対象物体が犬や猫などの動物であった場合には、属性検出部203では、対象物体の属性として、例えば、顔の表情、視線の向き、顔の種類などを検出する。
条件設定部204では、属性検出部203において検出された対象物体の属性に基づいて、画像を検索する際の検索条件や画像を合成する際の合成条件等の実行条件を自動的に設定する。条件設定部204では、例えば、属性と該属性の有無を示すフラグ(ON/OFF)とがペアとなっているテーブルを用意しておき、検出した属性に対応したフラグをONに設定する。
例えば、表情判定処理の結果、笑顔と判定された場合には、当該属性(顔の表情の属性)のフラグをONに設定する。また、視線方向の判定処理の結果、視線方向がカメラ撮像面からの法線方向と一致すると判定された場合には、当該属性(眼の視線方向の属性)のフラグをONに設定する。また、眼の開閉状態の判定処理の結果、眼を開状態であると判定された場合には、当該属性(眼の開閉状態の属性)のフラグをONに設定する。更に、個人を特定する名前の判定処理の結果、A君であると判定された場合には、当該属性(名前の属性)のフラグをONに設定する。一方、判定処理の結果が上記以外の場合には、対応する属性のフラグをONに設定する。
<3.条件自動設定処理の流れ>
次に、図3を用いて、条件自動設定部111における条件自動設定処理の流れについて説明する。図3は、条件自動設定処理の流れを示すフローチャートである。
図3に示すように、条件自動設定処理が開始されると、ステップS300では、ユーザの選択指示に基づいて画像取得部201にて取得した画像の中から、1または複数枚の画像を選択する。具体的には、表示装置105に表示された画像のうち、ユーザにより、検索したい画像として選択された1または複数枚の画像を取得する。
ステップS301では、ステップS300で選択された画像に対して、属性検出部203において属性の検出を行った後、検出された属性のうちの1つを選択する。
ステップS302では、ステップS301で選択された属性の属性検出部203による検出結果と、予め用意しておいた閾値とを比較し、検出結果が閾値以上であるか否かを判定する。閾値以上であると判定された場合には、ステップS303に進み、ステップS301で選択された属性に対応するフラグをONに設定する。一方、閾値以上でないと判定された場合には、ステップS304に進み、ステップS301で選択された属性に対応するフラグをOFFに設定する。
ステップS305では、属性検出部203において検出されたすべての属性についてフラグの設定を行ったか否かを判定し、すべての属性についてフラグの設定を行ったと判定された場合には、ステップS306に進む。一方、フラグの設定を行っていない属性があると判定された場合には、ステップS301に戻り、フラグの設定を行っていない属性を選択し、上記処理を実行する。
ステップS306では、画像取得部201で取得したすべての画像に対して上記処理を実行したか否かを判定し、すべての画像に対して上記処理を実行したと判定された場合には、ステップS307に進む。一方、上記処理を実行していない画像があると判定された場合には、ステップS300に戻り、次の画像を選択し上記処理を実行する。
ステップS307では、画像取得部201で取得した画像が1枚であるか否かを判定する。画像取得部201で取得した画像が1枚であると判定された場合には条件自動設定処理を終了する。
一方、画像取得部201で取得した画像が1枚でないと判定された場合には、画像取得部201で取得したすべての画像についての各属性のフラグを参照し、すべての画像においてフラグがONになっている属性について、共通フラグとしてONを設定する。
例えば、画像取得部201で2枚の画像を取得し、1枚目の画像における属性のうち笑顔のフラグがONで、2枚目の画像における属性のうち笑顔のフラグがOFFであった場合には、共通フラグをOFFに設定する。ただし、画像取得部201で取得した画像が1枚でないと判定された場合の共通フラグの設定処理はこれに限定されない。例えば、画像取得部201で取得した画像枚数に対してフラグがONの画像枚数の割合などを算出し、当該算出結果に基づいて共通フラグを設定するようにしてもよい。具体的には、画像取得部201で10枚の画像を取得した場合にあっては、笑顔のフラグがONの画像枚数が8枚以上であった場合に、共通フラグをONに設定するようにしてもよい。
このように、検索条件や合成条件等の実行条件の設定にあたり、手動で個別に設定するのではなく、ユーザに指定された画像から検出された複数の属性に基づいて自動設定する構成とすることで、ユーザの設定作業の負荷を大幅に軽減させることが可能となる。
<4.検索画像自動選択部の機能構成>
次に、条件自動設定処理により設定された実行条件を検索条件に適用し、画像格納部114またはその他の記憶媒体から画像検索を行う検索画像自動選択処理について説明する。なお、ここでいうその他の記憶媒体には、メモリ、フロッピ(登録商標)ディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等が含まれるものとする。
図4Aは、条件自動設定部111で自動的に設定された検索条件に基づいて、検索画像を自動的に選択する検索画像自動選択部112の機能構成を示す図である。
図4Aに示すように、検索画像自動選択部112は、画像取得部401と、物体検出部402と、属性検出部403と、検索画像選択部404とを備える。
画像取得部401では、画像格納部114またはその他の記憶媒体(メモリ、フロッピ(登録商標)ディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード)から検索画像の選択に使用する画像を取得する。
物体検出部402では、画像取得部401で取得した画像に対して、対象物体の検出を実行する。
属性検出部403では、物体検出部402で検出した対象物体の属性を検出する。本実施形態では、対象物体として人物の顔を検出するため、属性検出部403では、顔の属性を検出する。なお、上述したように、顔の属性とは、笑顔、悲しい顔、怒りの顔等の顔の表情、視線の向きや顔の向き、眼の開閉状態、個人を特定する名前などをいう。対象物体の検出方法、属性の検出方法については既に説明済みであるため、ここでは詳細な説明は省略する。
検索画像選択部404では、属性検出部403での検出結果と、条件自動設定部111で設定された検索条件とに基づいて、画像を選択する。
<5.検索画像自動選択処理の流れ>
次に、図5(A)を用いて、検索画像自動選択部112における検索画像自動選択処理の流れについて説明する。図5(A)は、検索画像自動選択処理の流れを示すフローチャートである。
図5(A)に示すように、検索画像自動選択処理が開始されると、ステップS500では、検索対象の画像の中から条件に合致する1または複数枚の画像を選択する。例えば、対象物体が人物の顔であった場合には、人物の顔が含まれる画像を検索対象の画像とし、その中から、1または複数枚の画像を選択する。また、対象物体が犬であった場合には、犬が含まれる画像を検索対象の画像とし、その中から、1または複数枚の画像を選択する。
ステップS501では、ステップS500で選択された画像が条件自動設定部111で設定された検索条件と一致するか否かを判定する。具体的には、条件自動設定部111で設定された各属性のフラグを参照することで、検索条件に一致するか否かを判定する。
条件自動設定部111で設定された検索条件と一致すると判定された場合には、ステップS502に進み、検索条件に一致する画像名とディレクトリ名とを記憶する。一方、条件自動設定部111で設定された検索条件と一致しないと判定された場合には、ステップS500に戻り、次の画像を選択する。
ステップS503では、検索対象のすべての画像に対して上記処理を実行したか否かを判定する。検索対象のすべての画像に対して上記処理を実行したと判定された場合には、ステップS504に進む。一方、上記処理を実行していない画像があると判定された場合には、ステップS500に戻り、次の画像を選択する。
ステップS504では、検索条件に一致するすべての画像をサムネイル表示などで表示し、検索画像自動選択処理を終了する。
<6.画像自動合成部の機能構成>
次に、条件自動設定処理により設定された実行条件を合成条件に適用し、画像格納部114またはその他の記憶媒体から画像を取得し、合成画像を生成する画像自動合成部の機能構成について説明する。
図4Bは、条件自動設定部111で自動的に設定された合成条件に基づいて、合成画像を生成する画像自動合成部113の機能構成を示す図である。
図4Bに示すように、画像自動合成部113は、画像取得部411と、物体検出部412と、属性検出部413と、画像合成部414とを備える。
画像取得部411では、画像格納部114またはその他の記憶媒体(メモリ、フロッピ(登録商標)ディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード)から合成画像の生成に使用する画像を取得する。
物体検出部412では、画像取得部411で取得した画像に対して、対象物体の検出を行う。
属性検出部413では、物体検出部412で検出した対象物体の属性を検出する。本実施形態では、対象物体として人物の顔を検出するため、属性検出部413では、顔の属性を検出する。なお、上述したように、顔の属性とは、笑顔、悲しい顔、怒りの顔等の顔の表情、視線の向き、顔の向き、眼の開閉状態、個人を特定する名前などをいう。対象物体の検出方法、属性の検出方法については既に説明済みであるため、ここでは詳細な説明は省略する。
画像合成部414では、条件自動設定部111で設定された合成条件に基づいて、画像取得部411で取得した画像に対して合成処理を実施する。合成処理は、例えば、特開2000−137789号公報に開示されているように、予め記憶したテンプレートを使用して実施する。また、例えば、特開平10−91808号公報に開示されているように、平均的な表情モデルを使用して実施する。該手法によれば、例えば、眼を閉じている顔が条件自動設定部111において合成条件として設定されており、かつ開いた眼の画像が合成用に用意されている場合、画像取得部411で取得された眼を閉じている顔の画像から、合成処理によって眼を開いている顔の画像が生成される。
<7.画像自動合成処理の流れ>
次に、図5(B)を用いて、画像自動合成部113における画像自動合成処理の流れについて説明する。図5(B)は、画像自動合成処理の流れを示すフローチャートである。
図5(B)に示すように、画像自動合成処理が開始されると、ステップS510では、合成対象の画像の中から1つの画像を選択する。例えば、対象物体が人物の顔であった場合には、人物の顔が含まれる画像を合成対象の画像とし、その中から、1枚の画像を選択する。
ステップS511では、ステップS510で選択された画像を、条件自動設定部111で設定された合成条件に基づいて、合成処理を行う。ステップS512では、合成対象のすべての画像に対して合成処理を実行したか否かを判定する。合成対象のすべての画像に対して合成処理を実行したと判定された場合には、ステップS513に進む。一方、合成処理を実行していない画像があると判定された場合には、ステップS510に戻り、次の画像を選択する。
ステップS513では、合成画像をサムネイル表示などで表示し、画像自動合成処理を終了する。
以上の説明から明らかなように、本実施形態に係る画像処理装置では、ユーザにより指定された画像について属性を検出し、当該検出された属性に基づいて、画像の検索条件や合成条件等の実行条件の設定を自動的に行う構成とした。
これにより、画像の検索条件や合成条件等の実行条件を設定するにあたり、ユーザは、手動で個別に設定を行う必要がなくなり、所望の画像を指定するだけでよいこととなった。この結果、ユーザの設定作業の負荷を大幅に軽減させることが可能となるとともに、ユーザの意図する検索条件や合成条件等の実行条件を設定することが可能となった。
[第2の実施形態]
上記第1の実施形態では、条件自動設定部を画像処理装置において実現する構成について説明したが、本発明はこれに限定されない。例えば、条件自動設定部を撮像装置において実現するように構成してもよい。
また、上記第1の実施形態では、条件自動設定部において自動設定された実行条件に基づいて検索処理または合成処理を行う構成について説明したが、本発明はこれに限定されず、例えば、自動撮像処理を行う構成としてもよい。以下、本実施形態の詳細について説明する。
<1.撮像装置の全体構成>
図6は本発明の一実施形態に係る撮像装置(電子スチルカメラ)600の全体構成を示す図である。
図6において、601は撮像レンズ群、602は絞り装置及びシャッタ装置を備えた光量調節装置である。603は撮像レンズ群を通過した被写体像としての光束を電気信号に変換するCCDやCMOSの撮像素子、604は撮像素子603のアナログ信号出力にクランプ処理、ゲイン処理を行うアナログ信号処理回路である。605はアナログ信号処理回路604の出力をデジタル信号に変換するアナログ/デジタル(以下、A/Dとする)変換器である。
607はデジタル信号処理回路であり、A/D変換器605からのデータ或いはメモリ制御回路606からのデータに対して所定の画素補間処理や色変換処理を行う。また、このデジタル信号処理回路607は、撮像した画像データを用いて所定の演算を行う。
システム制御回路612でこの演算結果に基づいて露出制御回路613、焦点制御回路614に対する制御を実行するTTL(スルー・ザ・レンズ)方式のAF(オートフォーカス)処理、AE(自動露出)処理、EF(ストロボプリ発光)処理を行う。
また、デジタル信号処理回路607は、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてTTL方式のAWB(オートホワイトバランス)処理も行う。更に、撮像した画像データから、対象物体の検出処理、例えば、人の顔を検出し、検出した顔に対して、表情判定処理、視線方向の判定処理、眼の開閉状態の判定処理、個人を特定する名前の判定処理等の判定処理も実行する。なお、これらの判定処理を含む各種処理を実行する本実施形態における条件自動設定部621及び自動撮像処理部622は、デジタル信号処理回路607内において実現されるものとする。
メモリ制御回路606は、アナログ信号処理回路604、A/D変換器605、デジタル信号処理回路607、メモリ608、デジタル/アナログ(以下、D/Aとする)変換器609を制御する。これにより、A/D変換器605でA/D変換されたデータはデジタル信号処理回路607、メモリ制御回路606を介して、或いはA/D変換器605でA/D変換されたデータが直接メモリ制御回路606を介して、メモリ608に書き込まれる。
メモリ608は表示装置610に表示されるデータを記憶しており、このメモリ608に記録されているデータはD/A変換器609を介してTFT、LCDの表示装置610に出力されて表示される。また、メモリ608は撮像した静止画象や動画像を格納可能であり、所定枚数の静止画像や所定時間分の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮像する連写撮像やパノラマ撮像の場合にも、高速かつ大量の画像書き込みをメモリ608に対して行うことができる。また、このメモリ608はシステム制御回路612の作業領域として使用することも可能である。なお、撮像した静止画像や動画像はインタフェース611を介してCD−ROM、フロッピ(登録商標)ディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカードの記憶媒体に書き込まれてもよい。
表示装置610は、撮像した画像データを逐次表示することで電子ファインダとして機能する。また、表示装置610は、システム制御回路612からの指示により任意に表示をON/OFFさせることが可能であり、表示をOFFにした場合は、ONにした場合と比較して、電力消費を大幅に低減することができる。また、システム制御回路612での制御プログラムの実行に応じて、文字、画像を用いて動作状態やメッセージを表示する。
611はメモリカードやハードディスクの記憶媒体とのインタフェースである。このインタフェース611を用いて、他のコンピュータやプリンタの周辺機器との間で画像データや画像データに付属した管理情報を転送することができる。このインタフェース611がPCMCIAカードやCF(コンパクトフラッシュ(登録商標))カードの規格に準拠したものを用いて構成されていた場合には、各種通信カードが接続されることとなる。この各種通信カードとしては、LANカードやモデムカード、USBカード、IEEE1394カード、P1284カード、SCSIカード、PHSの通信カード等があげられる。
システム制御回路612は撮像装置600全体の動作を制御する。システム制御回路612内のメモリには、このシステム制御回路612の動作用、または判定処理用の定数、変数、プログラム等が記憶されている。なお、CD−ROM、フロッピ(登録商標)ディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカードを使用して、システム制御回路612内のメモリに記憶されているこれらの定数、変数、プログラムを変更することも可能となっている。また、このシステム制御回路612の動作用、または判定処理を行うためのデータやプログラムに関しては、メモリに格納するのではなく、上記記憶媒体から読み取ることにより実行するように構成してもよい。
露出制御回路613は、光量調節装置602の絞り装置、シャッタ装置を制御する。焦点制御回路614は撮像レンズ群601のフォーカシング、ズーミングを制御する。露出制御回路613、焦点制御回路614はTTL方式を用いて制御されており、撮像した画像データをデジタル信号処理回路607が演算処理することにより算出した演算結果を用いて、システム制御回路612によって制御されている。
<2.条件自動設定処理の流れ>
次に、図7乃至図10を用いて、撮像装置600の条件自動設定部621における条件自動設定処理の流れについて説明する。図7は、条件自動設定処理の流れを示すフローチャートであり、図8乃至図10は、撮像装置600のユーザインタフェースを示す図である。
図7に示すように、条件自動設定処理が開始されると、ステップS700では、ユーザの指示に基づいて、撮像条件自動設定モードに移行する。具体的には、ユーザが撮像装置600の表示部801及び操作部802(図8)を使用して、撮像条件を自動的に設定する撮像条件自動設定モードを選択することで、撮像装置600は撮像条件自動設定モードに移行する。
ステップS700において、撮像条件自動設定モード804が選択されると、撮像条件自動設定モードに移行する。そして、CCDやCMOSの撮像素子603からユーザにより撮影された画像を取得する。もしくはメモリカードやハードディスクの記憶媒体とのインタフェース611から、ユーザにより選択された画像を取得する。取得した画像は図8の表示部801に表示される。なお、撮像条件を自動設定する際に使用する画像をCCDやCMOSの撮像素子603から取得するか、メモリカードやハードディスク等の記憶媒体とのインタフェース611から取得するかは、操作部802を介してユーザが任意に選択可能であるものとする。
ステップS702では、ステップS701において取得した画像に対して、対象物体の検出を実行する。ステップS703では、ステップS702において検出された対象物体(顔803)について、属性を検出する。ここで、属性とは、本実施形態では、笑顔、悲しい顔、怒りの顔等の顔の表情、視線の向きや顔の向き、眼の開閉状態、個人を特定する名前などをいう。ただし、属性はこれに限定されるものではない。
ステップS704では、ステップS703において、対象物体(顔803)についての属性の検出結果に基づいて、撮像条件を自動的に設定する。なお、属性や設定されたフラグは、ユーザが確認できるように、図9に示すように、表示部801に文字情報として表示される(901参照)。
このように、撮像条件を設定するにあたり、属性を手動で個別に設定するのではなく、ユーザが選択指示した画像から検出された属性に基づいて自動的に設定する構成とすることで、ユーザにとっては設定作業の負荷を大幅に軽減させることが可能となる。また、ユーザが撮像条件を個別に手動で設定する場合、ユーザは、結果としてどのような画像が撮像されるのかを把握しにくい。これに対して、上述のようにユーザに画像を選択させる構成とすることで、ユーザは、意図する画像を撮像することが可能となる。
ステップS704において、撮像条件の自動設定が終了すると、ステップS705では、自動的に設定された撮像条件を手動で変更するかどうかをユーザに問合せる。具体的には、「撮像条件を変更しますか?」といったメッセージを表示部801上に表示する。
ステップS705において、ユーザが撮像条件の変更を指示した場合には、ステップS706に移行する。ステップS706では、撮像条件について追加、削除等の変更処理(条件変更処理)を行う。例えば、図10に示すように、ユーザがA君以外の人物に対しても顔の表情が笑顔であること、視線方向がカメラ撮像面の法線方向で、かつ眼が開状態であることを撮像条件としたい場合には、名前のフラグをONからOFFに変更する。これにより、すべての人物について、顔の表情が笑顔であり、視線方向がカメラ撮像面の法線方向で、かつ眼が開状態である場合に、自動撮像処理が行われることとなる(1001参照)。
図7(B)は、当該条件変更処理(ステップS706)の詳細な処理の流れを示すフローチャートである。図7(B)に示すように、条件変更処理が開始されると、ステップS710では、撮像条件として追加、削除対象となる属性をユーザが選択したか否かを判定する。
ステップS710において、ユーザが属性を選択したと判定された場合には、ステップS711に進み、ユーザにより選択された属性の現在のフラグがOFFであるか否かを判定する。ステップS711において、選択された属性の現在のフラグがOFFであると判定された場合には、ステップS712に進み、当該属性のフラグをONに変更する。一方、選択された属性の現在のフラグがONである場合には、ステップS713に進み、当該属性のフラグをOFFに変更する。
ステップS714では、条件変更処理を終了するか否かをユーザに問い合わせる。具体的には、「撮像条件の変更モードを終了しますか?」などのメッセージを表示部801に表示する。ステップS714において、条件変更処理を終了する旨の指示を受け付けた場合には、条件変更処理を終了する。一方、条件変更処理を終了する旨の指示を受け付けなかった場合には、ステップS710に戻る。
一方、ステップS705において、ユーザが撮像条件を変更しない旨を指示した場合には、条件自動設定処理を終了する。
<3.自動撮像処理の流れ>
次に、条件自動設定処理が実行されることにより設定された撮像条件に基づいて撮像処理を実行する自動撮像処理の流れについて、図11を用いて説明する。
ステップS1100では、ユーザによる自動撮像処理開始の指示を受け付けたか否かを判定する。自動撮像処理開始の指示とは、例えば、シャッターボタンの半押し操作等を指す。ステップS1100において、自動撮像処理開始の指示を受け付けたと判定された場合には、ステップS1101に進み、CCDやCMOSの撮像素子603から画像を取得する。
ステップS1102では、ステップS701において取得した画像から所定の対象物体を検出する。所定の対象物体として、本実施形態では、人物の顔を検出する。ステップS1103では、ステップS702で検出した対象物体(人物の顔)について属性の検出を行う。
ステップS1104では、ステップS1103で検出された属性が、条件自動設定処理において設定された撮像条件と一致するか否かを判定する。例えば、撮像条件が設定された、属性と該属性の有無を示すフラグ(ON/OFF)がペアとなっているテーブルを参照することで、検出された属性が撮像条件と一致するか否かを判定する。
ステップS1104において、検出された属性と撮像条件とが一致すると判定された場合には、ステップS1101で取得した画像をインタフェース611を通じて、メモリカードに記憶する記憶処理を実行する。一方、ステップS1104において、検出された属性と撮像条件とが一致しないと判定された場合には、ステップS1106に進む。
ステップS1106では、自動撮像処理の終了をユーザが指示したか否かを判定し、指示したと判定された場合には自動撮像処理を終了する。一方、自動撮像処理の終了をユーザが指示していないと判定された場合には、ステップS1101に戻る。
以上の説明から明らかなように、本実施形態に係る撮像装置では、ユーザにより指定された画像について属性を検出し、当該検出された属性に基づいて、画像の撮像条件の設定を自動的に行う構成とした。
これにより、画像の撮像条件を設定するにあたり、ユーザは、手動で個別に設定を行う必要がなくなり、所望の画像を指定するだけでよいこととなった。この結果、ユーザの設定作業の負荷を大幅に軽減させることが可能となるとともに、ユーザの意図する画像を撮像することが可能となった。
[第3の実施形態]
上記第2の実施形態では、条件自動設定処理において、検出された属性が所定の閾値以上であった場合に、当該属性のフラグをONに設定する構成としていた。しかしながら、このように撮像条件が設定された場合、自動撮像処理では、結果的に、検出された属性が、所定の閾値以上であるか否かを判定していることとなる。一方で、検出される属性は、通常、2値データではなく、連続的に変化する多値データであることが多い。このため、撮像条件として設定される値も、(ON/OFFの2値データではなく)多値データであることが望ましい。
そこで、本実施形態では、条件自動設定処理において撮像条件を自動設定するにあたり、多値データを撮像条件として設定できる構成とした。以下、本実施形態の詳細について説明する。なお、本実施形態における撮像装置の全体構成は上記第2の実施形態と同様であるため、ここでは説明を省略する。
<1.条件自動設定処理の流れ>
はじめに、本実施形態における条件自動設定処理の流れについて、図7を参照しながら説明する。
本実施形態における条件自動設定処理において、ステップS700〜S703までの処理は、上記第2の実施形態における条件自動設定処理と同様であるため説明は省略する。
ステップS704では、ステップS703において検出された属性に応じた値(以下、属性値と称す)を撮像条件として設定する。具体的には、検出された属性が笑顔であって、かつ笑顔の度合いが大きい場合には、笑顔の度合いが大きいことを示す属性値を設定する。
図12は、笑顔、非笑顔の2値化判定において使用される予め設定された閾値Sthと、検出した笑顔度S、夫々の笑顔度に対応した顔1200〜1202を示したグラフである。撮像条件として笑顔だけが撮像条件として設定されている場合には、人物の顔が笑顔と判定された時点で撮像される。つまり、笑顔の度合いが小さい顔1201が撮像される可能性がある。
これに対して、属性値が撮像条件として設定されていた場合、笑顔の属性に加えて、その度合いが判定されるため、例えば、笑顔の度合いが大きい顔1202だけを撮像することが可能となる。なお、本実施形態における条件設定処理(ステップS704)の詳細は、後述する。
図7の説明に戻る。ステップS705では、自動的に設定された撮像条件を手動で変更するか否かをユーザに問合せる。ステップS705において、ユーザが撮像条件の変更を指示した場合には、ステップS706に移行する。ステップS706では、撮像条件について追加、削除等の条件変更処理を行う。なお、本実施形態の場合、ステップS704において自動設定された撮像条件には、フラグのON/OFFが設定されている属性と、属性値が設定されている属性とが混在する。したがって、ステップS706における条件変更処理では、それぞれの属性に応じた変更処理が実行される(なお、本実施形態における条件変更処理(ステップS706)の詳細は、後述する)。
一方、ステップS705において、ユーザが撮像条件を変更しない旨を指示した場合には、条件自動設定処理を終了する。
<2.条件設定処理の流れ>
図13は、本実施形態における条件設定処理(ステップS704)の流れを示すフローチャートである。
ステップS1310では、ステップS703で検出された様々な属性の中からユーザにより指示された1つの属性を選択する。
ステップS1311では、ステップS703において検出された属性値を撮像条件として設定するか否かを判定する。ステップS703において検出された属性値を撮像条件として設定する旨の指示が入力された場合には、ステップS1312に進み、撮像条件にステップS703において検出された属性値を設定する。一方、ステップS703において検出された属性値を撮像条件として設定しない旨の指示が入力された場合には、ステップS1313に進む。
ステップS1313では、ステップS703において検出されたすべての属性値を撮像条件として設定したか否かを判定し、撮像条件として設定していない属性値があると判定された場合には、ステップS1310に戻る。一方、すべての属性値を撮像条件として設定したと判定された場合には、条件設定処理を終了する。
<3.条件変更処理の流れ>
図14は、本実施形態における条件変更処理(ステップS706)の流れを示すフローチャートである。
ステップS1411では、追加、削除したい属性、あるいは属性値を変更をしたい属性がユーザにより選択されたか否かを判定する。ステップS1411において、属性が選択されたと判定された場合には、ステップS1412に進む。
ステップS1412では、選択された属性のフラグがOFFであるか否かを判定する。選択された属性のフラグがOFFであると判定された場合には、ステップS1413に進み、当該フラグをONに変更した後、ステップS1414に進む。
ステップS1414では、更に属性値を変更するか否かをユーザに問合せ、当該問合せに対するユーザからの指示を受け付ける。具体的には、「属性値の変更もしますか?」などのメッセージを表示部801に表示し、当該メッセージに対するユーザからの指示を受け付ける。
ステップS1414において、属性値の変更指示を受け付けたと判定された場合には、ステップS1415に進み、属性値を変更する。属性値の変更は、例えば、ステップS703において検出された属性値を用いて変更してもよいし、ユーザが手動で変更してもよい。
一方、ステップS1414において、属性値の変更指示がなかったと判定された場合には、ステップS1419に進む。
一方、ステップS1412において、選択された属性のフラグがOFFでないと判定された場合には、ステップS1416に進む。ステップS1416では、属性値を変更するか否かをユーザに問合せ、当該問合せに対するユーザからの指示を受け付ける。具体的には、「属性値の変更もしますか?」などのメッセージを表示部801に表示し、当該メッセージに対するユーザからの指示を受け付ける。
ステップS1416において、属性値の変更指示を受け付けたと判定された場合には、ステップS1417に進み、属性値を変更する。属性値の変更は、例えば、ステップS703において検出された属性値を用いてもよいし、ユーザが手動で変更してもよい。
なお、ユーザが手動で変更する場合には、例えば、図15に示すように、ユーザが笑顔の度合いなどの属性値を直接変更する(1501参照)。あるいは、図16に示すように、数直線などのグラフと顔文字のようなもの組み合わせた表示を行ったうえで、矢印等の指示子を移動させることで変更するようにしてもよい(1601参照)。このように、ユーザが笑顔の度合いなどの属性値を変更させることで、顔1201より笑顔の度合いが小さい顔や、笑顔の度合いが大きい顔を撮像条件として設定することができる。
一方、ステップS1418において、属性値の変更指示がなかったと判定された場合には、ステップS1418に進み、ステップS1411で選択された属性のフラグをOFFに変更する。
ステップS1419では、条件変更処理を終了するか否かをユーザに問合せ、ユーザからの指示を受け付ける。具体的には、「撮像条件の変更を終了しますか?」などのメッセージを表示部801に表示し、当該メッセージに対するユーザからの指示を受け付ける。ステップS1419において、条件変更処理を終了する旨の指示を受け付けたと判定された場合には、処理を終了する。一方、条件変更処理を継続する旨の指示を受け付けたと判定された場合には、ステップS1411に戻り、次の属性を選択する。
<4.自動撮像処理の流れ>
次に、本実施形態における自動撮像処理の流れについて、図11を参照しながら説明する。本実施形態における自動撮像処理において、ステップS1100〜S1103までの処理は、上記第2の実施形態における自動撮像処理と同様であるため説明は省略する。
ステップS1104では、ステップS1103において検出された属性が、条件自動設定処理において設定された撮像条件、もしくは、条件変更処理において変更された撮像条件と一致するか否かを判定する。具体的には、属性のフラグのON/OFFに加え、属性ごとに設定された属性値と一致するか否かを判定する。
ステップS1104において、設定(または変更)された撮像条件と一致すると判定された場合には、ステップS1101で取得した画像をインタフェース611を通じて、メモリカードに記憶する記憶処理を実行する。一方、ステップS1104において、設定(または変更)された撮像条件とが一致しないと判定された場合には、ステップS1106に進む。
ステップS1106では、自動撮像処理の終了をユーザが指示したか否かを判定し、指示したと判定された場合には自動撮像処理を終了する。一方、自動撮像処理の終了をユーザが指示していないと判定された場合には、ステップS1100に戻る。
以上の説明から明らかなように、本実施形態に係る撮像装置では、撮像条件として属性だけでなく、属性に応じた属性値についても、自動的に設定できる構成とした。
これにより、画像の撮像条件を設定するにあたり、ユーザは、上記第2の実施形態における撮像装置と比較して、よりユーザの意図する撮像条件に近い撮像条件を設定することが可能となった。
なお、本実施形態における条件自動設定処理により設定された実行条件は、撮像条件として利用するだけでなく画像検索条件として利用してもよい。
[第4の実施形態]
上記第3の実施形態では、条件自動設定処理において、撮像条件として、属性に加え、属性値を自動的に設定する構成としたが、本発明はこれに限定されない。例えば、属性値に所定の範囲を設け、当該所定範囲を撮像条件として設定するようにしてもよい。対象物体が人物の顔の場合、例えば、視線方向については、図17の1700〜1704に示すように属性値が所定範囲内にあれば、撮像条件として好ましい設定であるといえるからである。このような撮像条件のもとでは、視線方向がが所定範囲内にある場合には、撮像処理が実行されることとなる。以下、本実施形態の詳細について説明する。
<1.条件自動設定処理の流れ>
はじめに、本実施形態における条件自動設定処理の流れについて、図7を参照しながら説明する。
本実施形態における条件自動設定処理において、ステップS700〜S703までの処理は、上記第2の実施形態における条件自動設定処理と同様であるため説明は省略する。
ステップS704では、ステップS703において検出された属性と、該属性に応じた所定範囲を撮像条件として設定する。具体的には、検出された属性が笑顔であった場合には、図18に示すように、検出した属性値(笑顔度S)に基づいて所定範囲(S±δS)を設定する。
また、検出された属性が視線方向であれば、図19(パン方向のみ表示)に示すように、検出した視線方向θpに基づいて、パン方向の視線方向の所定範囲(θp±δθp)を撮像条件として設定する。同様に、図19において図示していないが、チルト方向の視線方向の所定範囲(θt±δθt)についても撮像条件として設定する。
なお、ステップS704では、個人と特定する名前等、所定範囲を設定することができない属性については、所定範囲の設定は行わない。なお、本実施形態における条件設定処理(ステップS704)の詳細は、後述する。
図7の説明に戻る。ステップS705では、自動的に設定された撮像条件を手動で変更するかどうかをユーザに問合せる。ステップS705において、ユーザが撮像条件の変更を指示した場合には、ステップS706に移行する。ステップS706では、撮像条件について追加、削除等の条件変更処理を行う。ただし、本実施形態の場合、ステップS704において自動設定された撮像条件として、フラグのON/OFFが設定されている属性と、属性値が設定されている属性とが混在する。したがって、ステップS706における条件変更処理では、属性に応じた変更処理が実行される(なお、本実施形態における条件変更処理(ステップS706)の詳細は、後述する)。
一方、ステップS705において、ユーザが撮像条件を変更しない旨を指示した場合には、条件自動設定処理を終了する。
<2.条件設定処理の流れ>
図20は、本実施形態における条件設定処理(ステップS704)の流れを示すフローチャートである。
ステップS2000では、ステップS703で検出された様々な属性の中から1つの属性を選択する。
ステップS2001では、ステップS2000で選択された属性に対応する所定範囲を、予め用意しておいた辞書から読み込む。具体的には、ステップS2000で選択された属性が笑顔であった場合には、δSの値を読み込み、視線方向であった場合には、δθp、δθtの値を読み込む。
ステップS2002では、ステップS703において検出された属性値と、ステップS2001において読み込まれた値とを使用して、ステップS2000で選択された属性に対する所定範囲の設定を行う。具体的には、ステップS2000で選択された属性が笑顔の場合には、笑顔の度合いの所定範囲(S±δS)を設定し、視線方向の場合には、パン及びチルト方向の視線方向の所定範囲(θp±δθp、θt±δθt)を設定する。なお、ステップS703において検出された属性と、当該属性に応じた所定範囲を撮像条件として自動的に設定した結果は、図21の2101に示すように、表示部801上に表示される。
ステップS2003では、ステップS703において検出された全て属性(所定範囲の設定が可能な全ての属性)に対して所定範囲の設定を終了したか否かを判定し、所定範囲の設定を行っていない属性があると判定された場合には、ステップS2000に戻る。一方、すべての属性に対して所定範囲の設定を終了したと判定された場合には、条件設定処理を終了する。
<3.条件変更処理の流れ>
次に、本実施形態における条件変更処理(ステップS706)について、図14を参照しながら説明する。
本実施形態における条件変更処理は、上記第3の実施形態において図14を用いて説明した条件変更処理と基本的には同じである。ただし、ステップSS1417において、ユーザが手動で所定範囲の設定を調整する場合には、図21に示すように、笑顔の度合いのなどの属性値について所定範囲を直接変更するようにしてもよい(2101参照)。あるいは、図22に示すように、数直線などのグラフを表示したうえで、矢印等の指示子を移動させて変更するようにしてもよい(2201参照)。
あるいは、特開2000−137789号公報や特開平10−91808号公報に開示されているように、ステップS701において得られる画像に対して合成処理をし、合成画像を表示させるようにしても良い。なお、撮像条件となる所定範囲の設定を変更する方法は、これらに限定されるものではない。
<3.自動撮像処理の流れ>
次に、本実施形態における自動撮像処理の流れについて、図11を参照しながら説明する。本実施形態における自動撮像処理において、ステップS1100〜S1103までの処理は、上記第2の実施形態における自動撮像処理と同様であるため説明は省略する。
ステップS1104では、ステップS1103で検出された属性が、条件自動設定処理において設定された撮像条件、もしくは、条件変更処理において変更された撮像条件と一致するか否かを判定する。具体的には、属性のフラグのON/OFFに加え、属性ごとに設定された所定範囲に含まれるか否かを判定する。
ステップS1104において、設定(または変更)された撮像条件と一致すると判定された場合には、ステップS1101で取得した画像をインタフェース611を通じて、メモリカードに記憶する記憶処理を実行する。一方、ステップS1104において、設定(または変更)された属性と撮像条件とが一致しないと判定された場合には、ステップS1106に進む。
ステップS1106では、自動撮像処理の終了をユーザが指示したか否かを判定し、指示したと判定された場合には自動撮像処理を終了する。一方、自動撮像処理の終了をユーザが指示していないと判定された場合には、ステップS1100に戻る。
以上の説明から明らかなように、本実施形態に係る撮像装置では、撮像条件として属性だけでなく、属性に応じた所定範囲についても自動的に設定できる構成とした。
これにより、画像の撮像条件を設定するにあたり、ユーザは、上記第2の実施形態における撮像装置と比較して、よりユーザの意図する撮像条件に近い撮像条件を設定することが可能となった。
なお、本実施形態における条件自動設定処理により設定された実行条件は、撮像条件として利用するだけでなく画像検索条件として利用するようにしてもよい。
[他の実施形態]
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。

Claims (10)

  1. 撮像手段において生成された画像を記憶手段に記憶する記憶処理を実行する撮像装置であって、
    前記記憶処理の実行条件を設定するためのモードにおいて、ユーザからの指示に基づいて選択された複数の画像より、人物の顔を検出する検出手段と、
    前記複数の画像のそれぞれから検出された人物の顔の属性を判定する判定手段と、
    前記撮像手段において生成された画像に前記記憶処理を実行する実行条件として、それぞれの顔について判定された属性のうち、共通する属性を設定する条件設定手段と、
    前記実行条件に基づいて記憶処理を実行するモードにおいて、該実行条件に基づいて記憶処理を実行する実行手段と
    を備えることを特徴とする撮像装置。
  2. 前記判定手段は、前記検出された人物の顔の特徴を示す特徴量を、予め定められた閾値と比較することにより、前記属性の有無を判定し、前記条件設定手段は、該判定された属性の有無を、前記記憶処理の実行条件として設定することを特徴とする請求項1に記載の撮像装置。
  3. 前記条件設定手段は、更に、前記特徴量の値または前記特徴量の値を含む所定範囲を、前記記憶処理の実行条件として設定することを特徴とする請求項2に記載の撮像装置。
  4. 前記条件設定手段により設定された前記記憶処理の実行条件を変更する変更手段を更に備えることを特徴とする請求項1乃至3のいずれか1項に記載の撮像装置。
  5. 前記属性には、人物の顔の表情、視線の方向、顔の向き、眼の開閉状態、名前が含まれることを特徴とする請求項1乃至4のいずれか1項に記載の撮像装置。
  6. ユーザからの指示に基づいて選択された複数の画像より、予め定められたオブジェクトを検出する検出手段と、
    前記複数の画像のそれぞれから検出されたオブジェクトの属性を判定する判定手段と、
    画像に対して、予め定められた処理を実行する場合の実行条件として、それぞれのオブジェクトについて判定された属性のうち、共通する属性を設定する条件設定手段と
    を備えることを特徴とする画像処理装置。
  7. 撮像手段において生成された画像を記憶手段に記憶する記憶処理を実行する撮像装置における撮像方法であって、
    検出手段が、前記記憶処理の実行条件を設定するためのモードにおいて、ユーザからの指示に基づいて選択された複数の画像より、人物の顔を検出する検出工程と、
    判定手段が、前記複数の画像のそれぞれから検出された人物の顔の属性を判定する判定工程と、
    条件設定手段が、前記撮像手段において生成された画像に前記記憶処理を実行する実行条件として、それぞれの顔について判定された属性のうち、共通する属性を設定する条件設定工程と、
    実行手段が、前記実行条件に基づいて記憶処理を実行するモードにおいて、該実行条件に基づいて記憶処理を実行する実行工程と
    を備えることを特徴とする撮像装置における撮像方法。
  8. 請求項に記載の撮像方法をコンピュータに実行させるためのプログラム。
  9. 画像処理装置における画像処理方法であって、
    検出手段が、ユーザからの指示に基づいて選択された複数の画像より、予め定められたオブジェクトを検出する検出工程と、
    判定手段が、前記複数の画像のそれぞれから検出されたオブジェクトの属性を判定する判定工程と、
    条件設定手段が、画像に対して予め定められた処理を実行する場合の実行条件として、それぞれの顔について判定された属性のうち、共通する属性を設定する条件設定工程と
    を備えることを特徴とする画像処理方法。
  10. 請求項に記載の画像処理方法をコンピュータに実行させるためのプログラム。
JP2010182589A 2010-08-17 2010-08-17 撮像装置及び撮像方法、画像処理装置及び画像処理方法 Active JP5641813B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010182589A JP5641813B2 (ja) 2010-08-17 2010-08-17 撮像装置及び撮像方法、画像処理装置及び画像処理方法
US13/207,550 US9041828B2 (en) 2010-08-17 2011-08-11 Imaging apparatus, imaging method, image processing apparatus, and image processing method for a set execution condition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010182589A JP5641813B2 (ja) 2010-08-17 2010-08-17 撮像装置及び撮像方法、画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JP2012044369A JP2012044369A (ja) 2012-03-01
JP5641813B2 true JP5641813B2 (ja) 2014-12-17

Family

ID=45870291

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010182589A Active JP5641813B2 (ja) 2010-08-17 2010-08-17 撮像装置及び撮像方法、画像処理装置及び画像処理方法

Country Status (2)

Country Link
US (1) US9041828B2 (ja)
JP (1) JP5641813B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5402409B2 (ja) * 2009-08-31 2014-01-29 ソニー株式会社 撮影条件設定装置、撮影条件設定方法及び撮影条件設定プログラム
JP5615088B2 (ja) 2010-08-18 2014-10-29 キヤノン株式会社 画像処理装置及びその方法、プログラム、並びに撮像装置
US20150166059A1 (en) * 2013-12-18 2015-06-18 Automotive Research & Testing Center Autonomous vehicle driving support system and autonomous driving method performed by the same
KR102155521B1 (ko) * 2014-05-23 2020-09-14 삼성전자 주식회사 카메라를 구비하는 전자 장치의 부가 정보 획득 방법 및 장치
JP6024719B2 (ja) * 2014-09-09 2016-11-16 カシオ計算機株式会社 検出装置、検出方法、及びプログラム
US10091414B2 (en) * 2016-06-24 2018-10-02 International Business Machines Corporation Methods and systems to obtain desired self-pictures with an image capture device
EP3554094B1 (en) * 2016-12-12 2022-07-20 Optim Corporation Remote control system, remote control method, and program
JP2021150760A (ja) * 2020-03-18 2021-09-27 キヤノン株式会社 撮像装置およびその制御方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3350296B2 (ja) 1995-07-28 2002-11-25 三菱電機株式会社 顔画像処理装置
JP2918499B2 (ja) 1996-09-17 1999-07-12 株式会社エイ・ティ・アール人間情報通信研究所 顔画像情報変換方法および顔画像情報変換装置
JP2000137789A (ja) 1998-10-29 2000-05-16 Sharp Corp 画像処理装置
JP4161659B2 (ja) 2002-02-27 2008-10-08 日本電気株式会社 画像認識システム及びその認識方法並びにプログラム
JP2004312244A (ja) * 2003-04-04 2004-11-04 Minolta Co Ltd 撮像装置
JP4612806B2 (ja) 2003-07-18 2011-01-12 キヤノン株式会社 画像処理装置、画像処理方法、撮像装置
JP2005266984A (ja) 2004-03-17 2005-09-29 Konica Minolta Holdings Inc 画像処理システム
JP2007094935A (ja) * 2005-09-30 2007-04-12 Omron Corp 情報処理装置および情報処理方法、情報処理システム、プログラム、並びに、記録媒体
JP4826506B2 (ja) 2007-02-27 2011-11-30 日産自動車株式会社 視線推定装置
JP4600435B2 (ja) 2007-06-13 2010-12-15 ソニー株式会社 画像撮影装置及び画像撮影方法、並びにコンピュータ・プログラム
JP5195120B2 (ja) * 2008-07-25 2013-05-08 株式会社ニコン デジタルカメラ
JP4720880B2 (ja) 2008-09-04 2011-07-13 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
JP5272797B2 (ja) * 2009-02-24 2013-08-28 株式会社ニコン デジタルカメラ
JP4748244B2 (ja) * 2009-03-31 2011-08-17 カシオ計算機株式会社 画像選択装置、画像選択方法及びプログラム
JP5438436B2 (ja) * 2009-08-27 2014-03-12 株式会社日立国際電気 画像検索装置
JP2011087221A (ja) * 2009-10-19 2011-04-28 Nikon Corp カメラ

Also Published As

Publication number Publication date
US9041828B2 (en) 2015-05-26
JP2012044369A (ja) 2012-03-01
US20120075500A1 (en) 2012-03-29

Similar Documents

Publication Publication Date Title
JP5641813B2 (ja) 撮像装置及び撮像方法、画像処理装置及び画像処理方法
US9258482B2 (en) Facial expression recognition apparatus, image sensing apparatus, facial expression recognition method, and computer-readable storage medium
JP4264663B2 (ja) 撮影装置、画像処理装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
US8411997B2 (en) Image capture device and program storage medium
JP4535164B2 (ja) 撮像装置、画像処理装置、これらにおける画像解析方法およびプログラム
US8610812B2 (en) Digital photographing apparatus and control method thereof
JP2012044415A (ja) 撮像装置及びその制御方法、並びにプログラム
JP2005086516A (ja) 撮像装置、印刷装置、画像処理装置およびプログラム
JP6149854B2 (ja) 撮像装置、撮像制御方法及びプログラム
US20160189413A1 (en) Image creation method, computer-readable storage medium, and image creation apparatus
CN113302907A (zh) 拍摄方法、装置、设备及计算机可读存储介质
US20180077298A1 (en) Image-capturing assistance device and image-capturing device
JP2013134735A (ja) 被写体認識装置および辞書データ登録方法
JP6410454B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2010178259A (ja) デジタルカメラ
JP2014186580A (ja) 認証装置、撮像装置、認証用データの登録方法、プログラム、および、記憶媒体
JP5218841B2 (ja) 撮像装置、及びプログラム
JP2019186791A (ja) 撮像装置、撮像装置の制御方法、および制御プログラム
JP5168034B2 (ja) 画像処理装置及びプログラム
JP2009010472A (ja) 撮像装置及びそのプログラム
JP2017147764A (ja) 画像処理装置、画像処理方法及びプログラム
JP5374612B2 (ja) 画像データの識別方法及び撮像装置、プログラム、及び記憶媒体
JP2008103850A (ja) カメラ及び画像検索システム並びに画像検索方法
JP5002311B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、及び記憶媒体
JP2010087572A (ja) 撮像装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141028

R151 Written notification of patent or utility model registration

Ref document number: 5641813

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151