JP4127297B2 - 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム - Google Patents

撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム Download PDF

Info

Publication number
JP4127297B2
JP4127297B2 JP2006160455A JP2006160455A JP4127297B2 JP 4127297 B2 JP4127297 B2 JP 4127297B2 JP 2006160455 A JP2006160455 A JP 2006160455A JP 2006160455 A JP2006160455 A JP 2006160455A JP 4127297 B2 JP4127297 B2 JP 4127297B2
Authority
JP
Japan
Prior art keywords
focusing operation
face
imaging apparatus
imaging device
during
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006160455A
Other languages
English (en)
Other versions
JP2007328215A (ja
Inventor
央 石渡
義人 寺島
哲夫 三瀬
正和 小柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006160455A priority Critical patent/JP4127297B2/ja
Priority to TW096118573A priority patent/TWI356348B/zh
Priority to US11/760,436 priority patent/US7783186B2/en
Priority to CNB200710110220XA priority patent/CN100545728C/zh
Publication of JP2007328215A publication Critical patent/JP2007328215A/ja
Application granted granted Critical
Publication of JP4127297B2 publication Critical patent/JP4127297B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B3/00Focusing arrangements of general interest for cameras, projectors or printers
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18Focusing aids
    • G03B13/20Rangefinders coupled with focusing arrangements, e.g. adjustment of rangefinder automatically focusing camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)

Description

本発明は、撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。さらに、詳細には、目的とする被写体に対する正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムに関する。
昨今の多くのスチルカメラやビデオカメラなどの撮像装置には、被写体に対するフォーカスを自動的に合わせるオートフォーカス(AF)機構が搭載されている。一般的なカメラの撮影においては人間が主要被写体になるケースが非常に多いが、撮影画像における人物の位置は多様であり様々な構図がある。そもそも撮像装置における測距エリアが設定されていない位置に目的被写体がいるケースもある。このような問題に対応するため、撮像装置において画像から顔を認識し、測距エリアを認識された顔の位置に設定することで、どのような構図でも顔にピントを合わせることを可能とした構成が提案されている。例えば、特許文献1にこのような顔認識に基づくフォーカス制御構成が開示されている。この顔認識に基づくフォーカス制御によって様々な構図の撮影において適切なフォーカス制御(ピント合わせ)が可能になる。
フォーカス制御の手法として、レンズを介して取得された撮像データのコントラストの高低を判断する手法が知られている。撮像画像の特定領域をフォーカス制御用の信号取得領域(空間周波数抽出エリア)として設定し、この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動して調整する方式である。このようなフォーカス制御処理構成については、例えば特許文献2に記載されている。
具体的には、特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、フォーカスレンズを複数の位置へと動かしながら複数枚の画像を取得し、各画像の輝度信号に対しハイパスフィルタに代表されるフィルタ処理をすることにより、各画像のコントラスト強度を示すAF評価値を得る。このとき、あるフォーカス位置でピントが合ったジャスピンとなる被写体が存在する場合、フォーカスレンズ位置に対するAF評価値は図1のような曲線を描く。この曲線のピーク位置P1、すなわち画像のコントラスト値が最大となる位置がジャスピンである。この方式では、イメージャに写った画像の情報のみをもとに合焦動作を行うことができ、撮像光学系の他に測距光学系を持つ必要がないことから、今般デジタルスチルカメラにおいて広く行われている。
このように、オートフォーカス制御では、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値(AF評価値)として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。オートフォーカスを行なうためには、上述の評価値を指針としてレンズを駆動させることが必要となる。レンズ駆動機構としては例えばボイスコイルモータなどが利用される。
しかし、このような合焦動作の最中に、合焦対象の被写体より前に別の人物が入り込んできた場合、次のような問題が発生する。図2、図3を参照してこの問題について説明する。図2には、目的とする被写体に対応するAF評価値曲線1、合焦対象の目的被写体より前に入ってきた人物に対応するAF評価値曲線2を示している。
合焦対象の目的被写体より前に入ってきた人物に対応するAF評価値曲線2は、単体で図2の点線2で示すように、もともとの被写体よりも近い位置にピークを持つAF評価値を描く。
このような状況において合焦動作を行い、各レンズ位置でのAF評価値を取得した場合、画像全体としての評価値は図3の太線に示すAF評価値曲線3のようになる。もし、このような評価値形状の変化が合焦動作中に発生すると、カメラの取得する評価値は図3における細線上の値から太線上の値へ、またはその逆へと乗り換わることになる。そのため、カメラの認識する評価値のピーク位置は、目的被写体に対する正しいフォーカスポイント位置とは異なるものとなり、ピントのずれた失敗写真になってしまう。
特に、セルフタイマ撮影では、専ら、主要被写体となる人物自身がシャッターとしてのレリーズボタンを押下することになるため、集合写真など複数人数での撮影を除き、レリーズボタンを半押ししてカメラが合焦動作を行うタイミングでは、主要被写体となる人物が画角内に存在しないことになる。
従って、セルフタイマ撮影における合焦動作と撮影処理のシーケンスを、通常の撮影と同様にレリーズボタンを半押しした時点で合焦動作、深押し操作後一定時間経過したら撮影というシーケンスとしてしまうと、主要被写体にピントの合った写真は撮影できないことになる。
従って、セルフタイマ撮影においては、合焦動作は、主要被写体となる人物が画角内に入っていると予想される撮影直前に行うことが望ましい。このような合焦動作の実行タイミングの制御構成を開示した従来技術として特許文献3がある。特許文献3は、被写体となる人数に応じて、セルフタイマ撮影の際に合焦動作を行うタイミングをユーザが切替えられるようにした構成を開示している。
セルフタイマ撮影においては、撮像装置の操作を実行した時刻と実際に撮影が行われる時刻との間に時間的な開きがあるため、撮影の直前に撮影画角内に意図しない人物が割り込んでしまうケースがしばしばある。この場合、本来の被写体である人物が別の人物に隠れたまま撮影されてしまい、失敗写真となってしまう。
仮に、撮影直前に別の人物がカメラの前を横切ってしまったにも関わらず、撮影の瞬間にはその人物がいなくなっており、本来の被写体を撮影することができた場合でも、合焦動作中に別の人物が横切ってしまっているため、結局ピントのずれた失敗写真になってしまう。
このような、撮影直前に画角内に他人が割り込んでしまうという問題を解決するための技術として、例えば特許文献4は、セルフタイマ撮影の待ち時間中の測光値が変化した場合に撮影を禁止する、または撮影タイミングを遅らせる構成を開示している。さらに、特許文献5は、シャッターボタンであるレリーズ操作時の測距値と撮影直前の測距値に差があった場合に撮影を禁止する構成を開示している。
しかしながら、これらの手法では、測光値が変化検出エラーや、測距値の測定の誤判定が発声すると、本来、正しく撮影できるにもかかわらず撮影中止となってしまう可能性がある。例えば、測光値を手がかりにした場合、例えば、走る車や観覧車など、動きのある風景を背に主要被写体となる人物が立って撮影しようとすると、正常に撮影できるにもかかわらず測光値の変化を検出してしまうために撮影が中止されてしまうことがありうる。測距値を手がかりとする場合には、例えば、レリーズ操作をした撮影者が撮影画角に入った段階で測距値が変わってしまうため、やはり不本意に撮影が中止されてしまう。
特開2003−107335号公報 特開平10−213737号公報 特開平10−293342号公報 特開平6−20222号公報 特開平5−203862号公報
本発明は、このような状況に鑑みてなされたものであり、目的とする被写体に対する迅速で正確なオートフォーカス処理を行なうことを可能とした撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。例えば、合焦動作中に目的被写体の前に第三者が割り込んでしまった場合にも、目的被写体に対応する正しいフォーカス制御を行う撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムを提供することを目的とする。
本発明の第1の側面は、
撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
フォーカスレンズの調整による合焦動作を実行する制御部を有し、
前記制御部は、
合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう構成であることを特徴とする撮像装置にある。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、合焦動作開始前の顔検出数(N1)と、合焦動作中の顔検出数(N2)との比較処理を実行し、N2>N1である場合に、合焦動作開始前の最近接顔の距離(S1)と、合焦動作中の最近接顔の距離(S2)との比較処理を実行し、S2<S1である場合に、合焦動作を中止し、合焦動作の再実行、または中止処理を行なう構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅の確認の後、合焦動作を再実行する制御を行なう構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、合焦動作を再実行する構成であり、合焦動作回数が予め設定された最大リトライ回数に達した場合、合焦動作を中止する制御を行なう構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅を待機し、予め定めたリトライ待ち時間を経過しても、前記新たな顔の消滅が確認されない場合は、合焦動作を中止する制御を行なう構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、セルフタイマ撮影、またはリモコン撮影の設定がなされたことを条件として、前記合焦動作中の顔の検出数と大きさ判定に基づく合焦動作の再実行または中止の判定処理を行なう構成であることを特徴とする。
さらに、本発明の撮像装置の一実施態様において、前記制御部は、フォーカスレンズの移動に対応する評価値を取得してピークを求める合焦動作を制御する構成であることを特徴とする。
さらに、本発明の第2の側面は、
撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
顔検出部において、入力画像から顔領域を検出する顔検出ステップと、
制御部において、フォーカスレンズの調整による合焦動作を実行する合焦動作実行ステップと、
制御部において、合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう処理決定ステップと、
を有することを特徴とする撮像装置制御方法にある。
さらに、本発明の撮像装置制御方法の一実施態様において、前記処理決定ステップは、合焦動作開始前の顔検出数(N1)と、合焦動作中の顔検出数(N2)との比較処理を実行し、N2>N1である場合に、合焦動作開始前の最近接顔の距離(S1)と、合焦動作中の最近接顔の距離(S2)との比較処理を実行し、S2<S1である場合に、合焦動作を中止し、合焦動作の再実行、または中止処理を行なうステップであることを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記処理決定ステップは、合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅の確認の後、合焦動作を再実行する制御を行なうステップを含むことを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記処理決定ステップは、合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、合焦動作を再実行する構成であり、合焦動作回数が予め設定された最大リトライ回数に達した場合、合焦動作を中止する制御を行なうステップを含むことを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記処理決定ステップは、合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅を待機し、予め定めたリトライ待ち時間を経過しても、前記新たな顔の消滅が確認されない場合は、合焦動作を中止する制御を行なうステップを含むことを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記撮像装置制御方法は、さらに、前記制御部において、セルフタイマ撮影、またはリモコン撮影の設定がなされたことを条件として、前記合焦動作中の顔の検出数と大きさ判定に基づく合焦動作の再実行または中止の判定処理を行なうステップを有することを特徴とする。
さらに、本発明の撮像装置制御方法の一実施態様において、前記合焦動作実行ステップは、フォーカスレンズの移動に対応する評価値を取得してピークを求める合焦動作を実行するステップであることを特徴とする。
さらに、本発明の第3の側面は、
撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
顔検出部において、入力画像から顔領域を検出させる顔検出ステップと、
制御部において、フォーカスレンズの調整による合焦動作を実行させる合焦動作実行ステップと、
制御部において、合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なわせる処理決定ステップと、
を実行させることを特徴とするコンピュータ・プログラムにある。
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本発明の一実施例の構成では、撮像装置におけるオートフォーカス処理において、入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出し、合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう。目的被写体より前の位置に第三者が現れたと判断した場合には、合焦動作を中止し、第三者が去ったことの確認の後、再度、合焦処理を実行する。本構成により、目的とする被写体に対するフォーカス調整を確実に実行することが可能となり、フォーカスエラーのない良好な画像の撮影が実現される。
以下、図面を参照しながら本発明の撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラムの詳細について説明する。
本発明は、目的とする被写体に対する迅速で正確なオートフォーカスを可能とした構成を開示するものである。本発明の撮像装置では、フォーカス制御の手法として、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いる。撮像画像の特定領域をフォーカス制御用の信号取得領域(空間周波数抽出エリア)として設定し、この特定領域のコントラストが高いほどフォーカスが合っており、コントラストが低いとフォーカスがずれていると判定し、コントラストをより高くする位置にレンズを駆動して調整する方式である。
具体的には、特定領域の高周波成分を抽出して、抽出した高周波成分の積分データを生成し、生成した高周波成分積分データに基づいてコントラストの高低を判定する方法が適用される。すなわち、コントラストの高低判定のために特定領域の高周波成分積分値を算出して、これを評価値(AF評価値)として利用する。評価値が最大となるようにフォーカスレンズを駆動することでオートフォーカスが実現される。オートフォーカスを行なうためには、上述の評価値を指針としてレンズを駆動させることが必要となる。レンズ駆動機構としては例えばボイスコイルモータなどが利用される。
本発明は、このようなコントラスト識別処理を用いたフォーカス制御において、さらに、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を算出し、フォーカスレンズを移動させてAF評価値を取得する合焦動作中に、算出済みの被写体距離より近い距離を持つ顔の検出がなされた場合に、合焦動作を中止して合焦動作を再度実行することで、合焦動作中に目的被写体の前に第三者が割り込んでしまった場合にも、目的被写体に対応する正しいフォーカス制御を行うことを可能とするものである。
まず、図を参照して、本発明の撮像装置の構成について説明する。図4は、本発明の撮像装置10の外観を示す図である。図4(a)は、撮像装置10の上面図、(b)は正面図、(c)は背面図である。(a)上面図のレンズ部分は断面図として示してある。撮像装置10は、電源スイッチ11、画像取り込みタイミングを設定するトリガ手段、すなわちシャッターとして機能するレリーズスイッチ12、撮像装置によって撮影される画像(スルー画像)や操作情報などを表示するモニタ13、撮像素子(CCD)としてのイメージャ14、ズーム制御を行うためのズームボタン15、各種の操作情報を入力する操作ボタン16、撮像装置によって撮影される画像(スルー画像)を確認するためのビューファインダ17、フォーカス調整において駆動されるフォーカスレンズ18、ズーム調整に際して駆動されるズームレンズ19、撮影モードを設定するためのモードダイアル20、フォーカスレンズ18を駆動するためのフォーカスレンズモータ(M1)21、ズームレンズ19を駆動するためのズームレンズモータ(M2)22を有する。
被写体画像は、ビューファインダ17およびモニタ13に表示される。ビューファインダ17およびモニタ13は例えばLCDによって構成され、レンズを介する被写体画像が動画像として映し出される。この動画像はスルー画と呼ばれる。ユーザは、ビューファインダ17またはモニタ13を確認して、撮影する目標被写体を確認して、シャッターとしてのレリーズスイッチ12を押すことで画像の記録処理が実行されることになる。
図5を参照して本発明の撮像装置100の内部構成について説明する。本発明の撮像装置は、オートフォーカス機能を持つ撮像装置である。フォーカスレンズ101、ズームレンズ102を介する入射光は、例えばCCD(Charge Coupled Device)などの撮像素子103に入力し、撮像素子103において光電変換される。光電変換データは、アナログ信号処理部104に入力され、アナログ信号処理部104においてノイズ除去等の処理がなされ、A/D変換部105においてデジタル信号に変換される。A/D変換部105においてデジタル変換されたデータは、例えばフラッシュメモリなどによって構成される記録デバイス115に記録される。さらに、モニタ117、ビューファインダ(EVF)116に表示される。モニタ117、ビューファインダ(EVF)116には撮影の有無に関わらず、レンズを介する画像がスルー画として表示される。
操作部118は、図4を参照して説明したカメラ本体にあるレリーズスイッチ12、ズームボタン15、各種の操作情報を入力する操作ボタン16、撮影モードを設定するためのモードダイアル20等を含む操作部である。制御部110は、CPUを有し、撮像装置の実行する各種の処理の制御を予めメモリ(ROM)120などに格納されたプログラムに従って実行する。メモリ(EEPROM)119は不揮発性メモリであり、画像データ、各種の補助情報、プログラムなどが格納される。メモリ(ROM)120は、制御部(CPU)110が使用するプログラムや演算パラメータ等を格納する。メモリ(RAM)121は、制御部(CPU)110において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。ジャイロ111は、撮像装置の傾き、揺れなどを検出する。検出情報は、制御部(CPU)110に入力され手ぶれ防止などの処理が実行される。
モータドライバ112は、フォーカスレンズ101に対応して設定されたフォーカスレンズ駆動モータ113、ズームレンズ102に対応して設定されたズームレンズ駆動モータ114を駆動する。垂直ドラバ107は、撮像素子(CCD)103を駆動する。タイミングジェネレータ106は、撮像素子103およびアナログ信号処理部104の処理タイミングの制御信号を生成して、これらの各処理部の処理タイミングを制御する。
顔検出部130は、レンズを介して入力される画像データの解析を行い、画像データ中の人物の顔を検出する。顔検出情報は、制御部110に送られ、制御部110では、検出された顔情報に基づいて、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を推定する。さらに、この推定情報を適用してフォーカス制御範囲を狭めて迅速なフォーカス制御を行なう。さらに、顔の大きさに基づく被写体距離の推定処理に際して、顔の大きさの個人差、人種差、年齢差、性別差などを考慮した処理を行うことで正確な距離推定を実現する。
本発明の撮像装置では、前述したように、フォーカス制御において、レンズを介して取得された撮像データのコントラストの高低を判断する手法を基本として用いるが、さらに、目的被写体としての人物の顔の大きさを判定し、その大きさに基づいて被写体の距離を算出し、フォーカスレンズを移動させてAF評価値を取得する合焦動作中に、算出済みの被写体距離より近い距離を持つ顔の検出がなされた場合に、合焦動作を中止して合焦動作を再度実行する。この処理により、合焦動作中に目的被写体の前に第三者が割り込んでしまった場合にも、目的被写体に対応する正しいフォーカス制御が可能となる。
第三者の割り込みによるフォーカスエラーによる撮影処理は、特にユーザが撮影を直前に停止できないセルフタイマーモードにおいて発生する可能性が高い。以下では、セルフタイマ撮影モードにおける処理例を中心として説明する。まず、本発明の撮像装置において実行する処理の全体概要について説明し、後段で、顔の検出、距離の算出処理などの各処理の詳細を説明する。
(1)全体処理の概要
撮像装置(カメラ)をセルフタイマ撮影モードに設定すると、図6に示すように、撮像装置において取得されている画像(スルー画)の画角内に、オートフォーカス処理におけるAF評価値の取得のための画像領域であるAF用検波領域201と、顔検出処理のための画像領域である顔検出領域202が設定される。この2つの画像領域の設定に併せて、さらに、合焦動作中に人物が割り込んできたことを検出するための処理が開始される。
なお、AF用検波領域201と顔検出領域202は、その用途に従って別々の領域に設定しても良い。通常は、顔検出領域202はAF用検波領域201と同じか、AF用検波領域201を含み、これよりも広い範囲をカバーするよう配置することで、合焦動作中に人物が割り込んできたことを精度良く検出することができる。
セルフタイマーモードに設定の後、シャッターボタンに相当するレリーズボタンが押下されると、タイマカウンタが動作し始め、撮影までの時間をカウントする。この間、例えば図6に示すような顔検出領域202内にある顔を検出し、検出された顔の数[N1]と、検出されたうちで最も近距離となる顔までの距離[S1]を算出し保持する。この顔検出および距離算出の詳細については後述する。
最も近距離となる顔までの距離[S1]と、検出された顔の数[N1]は、予め設定されたタイマカウントの計時まで一定時間間隔で更新しつづける。所定の長さの計時が終わると、合焦動作が開始される。すなわち、先に図1を参照して説明したように、フォーカスレンズを移動させてAF評価値を取得してピークを求める処理である。
例えば、この合焦動作開始後に画角外から別の人物が横切ったとする。具体的には、図7に示すような状態である。合焦動作中、本発明の撮像装置は、一定時間間隔で顔検出処理を行い、検出された顔の数[N2]と合焦動作開始直前まで検出されていた顔の数[N1]を随時比較する。図6、図7の例では、図6が合焦動作開始直前、図7が、合焦動作中とすると、
合焦動作開始直前まで検出されていた顔の数[N1]=1、
合焦動作中に検出された顔の数[N2]=2、
となる。
このように、合焦動作中に検出された顔の数が合焦動作開始前に比べて増加していた場合、合焦動作前と合焦動作中に検出された顔の中でのそれぞれの最小距離[S1]、[S2]を比較し、合焦動作中に検出された顔の最小距離[S2]が、合焦動作前に検出された顔の最小距離[S1]より小さい場合、目的被写体より前の位置を、第三者が横切ったものと判断して、合焦動作をただちに中止し、これまでに取得済みの評価値をすべて破棄して、リトライ待ち処理に移る。
リトライ待ち処理は、割り込んできた人物が画角から出ていったこと、すなわち、撮像手段による撮影画像に含まれなくなったことを検出し、再び、目的被写体のみの画像に基づく合焦動作を開始できるようになったことを判定して合焦動作を再開する許可を出すことを目的とする。具体的には、以下のような処理をする。
リトライ処理に入ると、本発明の撮像装置は、一定時間間隔で検波領域内に存在する顔の個数[Nnow]、および検出された顔の中の最小距離[Snow]を更新する。リトライ開始時と比較し、顔の個数が減少し、且つ最小距離が、予め定めた閾値[Thr]以上大きくなっていたら、割り込んできた人物が去ったと判断し、リトライを許可する。割り込んだ人物がいつまでも立ち去らない場合に備え、リトライ待ち時間を計測するカウンタを用意し、このカウンタが一定以上の値になったら、リトライをキャンセルし、合焦不可能と判断する。
また、繰り返し合焦動作のリトライを実行しても新たな人物が割り込んできて、いつまでたっても撮影されなくなってしまう事態を避けるため、連続でリトライ待ち処理に入る回数自体にも制限を設ける。リトライ待ちがタイムアウトになった場合とリトライ回数が満了してしまった場合は合焦不可能と判断する。合焦不可能と判断し他場合は、例えば予め固定値で指定されている位置へフォーカスレンズを移動し、撮影を行う。
この処理によって、目的とする被写体をフォーカス制御対象とした処理が実行される可能性を向上させ、フォーカスエラーのないピントの合った写真を撮影することが可能となる。なお、セルフタイマ撮影以外の撮影、例えばリモコン撮影においても、上記と同様の処理を行なうことで、高確率でフォーカスエラーのないピントの合った写真を撮影することが可能となる。
以下、本発明の撮像装置において実行される個々の処理の詳細について説明する。本発明の撮像装置では、撮像装置によって撮影される画像データから目的被写体の人物の顔領域を特定し、顔画像に基づく距離算出を実行する。すなわち、顔検出部130による顔領域検出、制御部110による顔までの距離算出を実行する。以下、この処理の具体的な処理構成について説明する。説明は、以下の項目順に行なう。
(1)顔識別処理
(2)顔の大きさに基づく被写体距離算出処理
(1)顔識別処理
まず、顔検出部130の実行する処理、すなわち撮像装置によって取得される画像データから人物の顔領域を特定する手法について説明する。顔の認識、追尾技術としては、既に様々な技術が開示されており、この既存技術を適用することが可能である。例えば特開2004−133637に示されるような、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって実現できる。まず実画像に縮小処理をかけた画像を複数種類用意する。そこに顔を傾けた時に得られる顔の輝度分布情報テンプレート群を用意しておき、それらを順次マッチングさせていく。このテンプレートは、顔3次元直交座標系のXYZ軸の各々に対して傾いたものであり、このテンプレートとのマッチングにより実際の顔の傾きを判定するものである。
縮小された画像に対して2次元平面上をずらしながら順次マッチングさせた時に、ある領域がテンプレートにマッチすれば、その領域が顔の存在する位置ということになり、大きさは、実画像の縮小率から求めることができる。またそのときに用いたテンプレートから直交3軸周りの回転角、ヨー、ピッチ、ロール角を求めることができる。このようにして得られた、顔の大きさ、位置、回転角度を用いて、顔の距離を算出する。
(2)顔までの距離算出方法
以下、具体的な顔までの距離の算出方法について説明する。本発明の撮像装置では、撮像装置によって撮影される画像に含まれる顔の大きさによって顔までの距離を求める。この処理について、図8を参照して説明する。図8には、被写***置301、フォーカスレンズ302、撮像素子303を示している。被写***置301には人物の顔が存在する。顔の大きさ(顔の幅)はWfである。
顔の実際の大きさ(Wf)が分ればレンズの基本的な物理法則から、顔までの距離、すなわち被写体距離(Df)、すなわち、フォーカスレンズ302から被写***置301までの被写体距離(Df)は以下の式で求めることができる。 Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
上記式における各記号の説明を以下に示す。
人間の顔の大きさ基準値:Wref
撮像素子の幅:Wi
焦点距離:f
撮像画像における人の顔の大きさのピクセル数(撮像素子検出値):Wf
人の顔検出に使用した画像の大きさのピクセル数(撮像素子検出値):Ww
人間の顔の大きさ基準値(Wref)は、予め定めた固定値を利用することができる。なお、この顔大きさ基準値(Wref)を、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離推定を実現することが可能となる。
撮像装置は、撮影される画像(スルー画)に基づいて、上述の式(式1.1)を適用して被写体距離(Df)を算出する。
具体的には、合焦動作中に検出された顔の数が合焦動作開始前に比べて増加していた場合、合焦動作前と合焦動作中に検出された顔の中でのそれぞれの最小距離[S1]、[S2]を比較し、合焦動作中に検出された顔の最小距離[S2]が、合焦動作前に検出された顔の最小距離[S1]より小さい場合、目的被写体より前の位置を、第三者が横切ったものと判断して、合焦動作を中止し、これまでに取得済みの評価値をすべて破棄して、リトライ待ち処理に移る。
次に、図9に示すフローチャートを参照して、本発明の撮像装置において実行する処理シーケンスについて説明する。図9に示すフローチャートは、図5に示す撮像装置の制御部110の制御の下に、顔検出部130などの各構成部を制御して実行される。例えば、セルフタイマ撮影やリモコン撮影を設定し、ユーザがレリーズボタンを操作してタイマーがスタートした後の処理として実行される。
例えば、セルフタイマ撮影モードやリモコン撮影モードに設定の後、シャッターボタンに相当するレリーズボタンまたはリモコンの操作がなされると、タイマカウンタが動作し始め、撮影までの時間をカウントする。その後、ステップS101において、例えば図6に示すような顔検出領域202内にある顔を検出し、検出された顔の数[N1]と、検出されたうちで最も近距離となる顔までの距離[S1]を算出し、記憶部に記録保持する。
顔検出処理は、先に説明したように、例えば、顔の輝度分布情報を記録したテンプレートの実画像へのマッチングによって行われ、距離算出処理は、先に、図8を参照して説明したように、以下の被写体距離(Df)算出式で求める。
Df=Wref×(f/Wi)×(Ww/Wf)・・・(式1.1)
なお、顔大きさ基準値(Wref)は、個人差、人種差、年齢差、性別差などを考慮した値に設定した処理を行うことが可能であり、この処理によって、さらに正確な距離算出を実現することが可能となる。
ステップS101では、このような顔検出と距離算出を実行して、検出された顔の数[N1]と、検出されたうちで最も近距離となる顔までの距離[S1]を記憶部に記録保持する。
ステップS102〜S106は、合焦動作ループであり、先に図1を参照して説明したように、フォーカスレンズを移動させて書く移動ポイントにおいて、AF評価値を取得してピークを求める処理が実行される。ステップS103は、フォーカスレンズの1つの移動点におけるAF評価値(=AF検波値)の取得処理である。次のステップS104では、撮像装置において、現在取得されている画像からの顔検出を実行し、合焦動作中に検出された顔の数[N2]と、合焦動作中に検出された顔の中の最小距離[S2]を算出する。
ステップS105では、
合焦動作開始直前に検出された顔の数[N1]と、
合焦動作中に検出された顔の数[N2]と、
の比較を実行する。
N2>N1
上記式が成立しなければ、ステップS106に進み、合焦動作を継続する。すなわち、ステップS103に進み、フォーカスレンズを次の移動ポイントに移動させてAF評価値を取得する。
ステップS105において、
N2>N1
上記式が成立した場合は、合焦動作開始前より顔が増加したことになり、この場合は、ステップS111に進み、合焦動作前と合焦動作中に検出された顔の中でのそれぞれの最小距離[S1]、[S2]を比較する。
S2<S1
上記式が成立した場合は、合焦動作開始前の最近接人物の前に、新たな人物が出現したと判断し、ステップS201〜S207のリトライ処理に移行する。
ステップS111において、
S2<S1
上記式が成立しない場合は、合焦動作開始前の最近接人物の前に、新たな人物が出現しなかったと判断し、ステップS106に進み、合焦動作を継続する。すなわち、ステップS103に進み、フォーカスレンズを次の移動ポイントに移動させてAF評価値を取得する。
合焦ループの実行期間内に、ステップS105がYes、すなわち、
N2>N1
が成立し、かつ、
ステップS111がYes、すなわち、
S2<S1
が成立することがなかった場合は、合焦動作中に、合焦動作開始前の最近接人物の前に、新たな人物が出現することがなかったと判断し、ステップS107に進み、合焦動作中に得られたAF評価値曲線のピークを検出する。
ピークが検出された場合、ステップS108において合焦成功と判断して、ステップS109に進み、合焦位置へフォーカスレンズを設定して、ステップS110において撮影処理を実行する。ピークが検出されなかった場合は、ステップS108において合焦失敗と判断して、ステップS112に進み、予め定められたフォーカスレンズ設定位置へフォーカスレンズを移動させた後、ステップS110において撮影処理を実行する。
一方、合焦ループの実行期間内に、ステップS105がYes、すなわち、
N2>N1
が成立し、かつ、
ステップS111がYes、すなわち、
S2<S1
が成立した場合は、合焦動作中に、合焦動作開始前の最近接人物の前に、新たな人物が出現したと判断し、ステップS201に進みリトライ処理に移行する。
ステップS201では、予め定められたリトライ回数に達しているか否かを判定する。予め定められたリトライ回数に達していると判定されると、ステップS112に進み、予め定められたフォーカスレンズ設定位置へフォーカスレンズを移動させた後、ステップS110において撮影処理を実行する。
ステップS201において、予め定められたリトライ回数に達していないと判定した場合は、ステップS202において、リトライ回数カウント値を1つ増加させて記憶部に記録する。さらに、ステップS203において、リトライ待ち時間のカウントを開始する。次に、ステップS204において、現時点で、取得されている画像から検出される顔の数[Nnow]と、これらの検出顔中、最も近い距離にある顔の距離[Snow]を算出する。
次に、ステップS205では、
合焦動作中に検出された顔の数[N2]と、
現時点で取得されている画像から検出された顔の数[Nnow]と、
の比較を実行する。
N2>Nnow
上記式が成立しなければ、まだ、合焦開始前に検出された顔以外の顔が存在していることになり、ステップS206に進み、
現時点で取得されている画像から検出された顔中の最も近い距離にある顔の距離[Snow]と、合焦動作中に検出された顔の中の最も近い距離にある顔の距離[S2]との差分絶対値[|Snow−S2|]が予め定めた閾値[Thr]より大きいか否かを判定する。
|Snow−S2|>Thr
上記式が成立せず、[|Snow−S2|]が予め定めた閾値[Thr]より大きくない場合は、合焦動作中に新たに検出された顔が、そのまま存在していると判断して、ステップS207に進み、予め定めたリトライ待ちタイムアウトの時間が経過したか否かを判定し、経過していない場合は、ステップS203においてリトライ待ち時間カウントを増加させて、処理ステップS204以下を繰り替えし実行する。
ステップS207において、予め定めたリトライ待ちタイムアウトの時間が経過したと判定した場合は、合焦不可能と判断して、ステップS112に進み、予め定められたフォーカスレンズ設定位置へフォーカスレンズを移動させた後、ステップS110において撮影処理を実行する。
一方、ステップS206において、
|Snow−S2|>Thr
上記式が成立し、[|Snow−S2|]が予め定めた閾値[Thr]より大きいと判定した場合は、合焦動作中に新たに検出された顔が、去ったと判断し、ステップS101に戻り、再度、顔の数のカウント、距離算出、および合焦動作を開始する。この処理の開始に際しては、これまでに取得済みの評価値をすべて破棄した後、新たな処理として実行される。
なお、ステップS108において、合焦成功と判定された場合は、撮像装置のモニタの表示画像に合焦が成功したことを示す合焦枠を提示してユーサに通知する。例えば特定の顔に合焦表示を行なう。合焦表示とは、モニタやビューファインダに表示される画像中に提示する合焦が完了したことを示す識別情報であり、ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。
合焦表示の例を図10に示す。図10に示す例は、撮像装置のカメラのモニタに表示される画像に合焦表示を行なった例である。たとえば上述したAF評価値算出によるピーク検出に成功して、ある人物の顔に対する合焦に成功した場合、例えば、合焦の成功した顔321に、合焦枠331を設定して表示する。さらに、このフォーカスポイントにおいて、顔322、顔323についても、予め設定された許容焦点深度内にあると判定されれば、その顔に合焦枠332,333の表示を行なう。ユーザはこの合焦表示を確認してシャッターを押して撮影することで確実な撮影が可能となる。
以上、説明したように、本発明の撮像装置では、図9に示すフローを参照して説明した処理によって、合焦動作中に検出された顔の最小距離[S2]が、合焦動作前に検出された顔の最小距離[S1]より小さい(近い)場合、目的被写体より前の位置を、第三者が横切ったものと判断して、合焦動作をただちに中止し、第三者が去ったことが確認された後、再度、合焦処理を実行する構成としたので、目的とする被写体に対するフォーカス調整を確実に実行することが可能となり、フォーカスエラーのない良好な画像の撮影が実現される。
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD−ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本発明の一実施例の構成では、撮像装置におけるオートフォーカス処理において、入力画像から顔領域を検出し、検出した顔の大きさに基づいて被写体距離を算出し、合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう。目的被写体より前の位置に第三者が現れたと判断した場合には、合焦動作を中止し、第三者が去ったことの確認の後、再度、合焦処理を実行する。本構成により、目的とする被写体に対するフォーカス調整を確実に実行することが可能となり、フォーカスエラーのない良好な画像の撮影を行なうことを可能とした撮像装置が実現される。
フォーカス制御における合焦動作として実行されるレンズ駆動、AF評価値取得処理例について説明する図である。 合焦動作としてのAF評価値取得処理における複数の人物による影響について説明する図である。 合焦動作としてのAF評価値取得処理における複数の人物による影響について説明する図である。 本発明の撮像装置の外観構成例について説明する図である。 本発明の撮像装置のハードウェア構成例について説明する図である。 AF評価値の取得のための画像領域であるAF用検波領域と、顔検出処理のための画像領域である顔検出領域の設定例について説明する図である。 合焦動作の実行中に第三者が横切った場合のAF用検波領域と、顔検出領域との対応例について説明する図である。 顔の大きさに基づく被写体距離算出処理について説明する図である。 本発明の撮像装置において実行する処理のシーケンスの一例について説明するフローチャートを示す図である。 合焦表示例について説明する図である。
符号の説明
10 撮像装置
11 電源スイッチ
12 レリーズスイッチ
13 モニタ
14 イメージャ
15 ズームボタン
16 操作ボタン
17 ビューファインダ
18 フォーカスレンズ
19 ズームレンズ
20 モードダイアル
21 フォーカスレンズモータ(M1)
22 ズームレンズモータ(M2)
100 撮像装置
101 フォーカスレンズ
102 ズームレンズ
103 撮像素子
104 アナログ信号処理部
105 A/D変換部
106 タイミングジェネレータ(TA)
107 垂直ドライバ
108 デジタル信号処理部
110 制御部
111 ジャイロ
112 モータドライバ
113,114 モータ
115記録デバイス115
116 ビューファインダ(EVF)
117 モニタ
118 操作部
119 メモリ(EEPROM)
120 メモリ(ROM)
121 メモリ(RAM)
201 AF用検波領域
202 顔検出領域
301 被写***置
302 フォーカスレンズ
303 撮像素子
321,322,323 顔(画像)
331,332,333 合焦枠

Claims (15)

  1. 撮像装置において入力する入力画像から顔領域を検出する顔検出部と、
    フォーカスレンズの調整による合焦動作を実行する制御部を有し、
    前記制御部は、
    合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう構成であることを特徴とする撮像装置。
  2. 前記制御部は、
    合焦動作開始前の顔検出数(N1)と、合焦動作中の顔検出数(N2)との比較処理を実行し、
    N2>N1である場合に、
    合焦動作開始前の最近接顔の距離(S1)と、合焦動作中の最近接顔の距離(S2)との比較処理を実行し、
    S2<S1である場合に、
    合焦動作を中止し、合焦動作の再実行、または中止処理を行なう構成であることを特徴とする請求項1に記載の撮像装置。
  3. 前記制御部は、
    合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅の確認の後、合焦動作を再実行する制御を行なう構成であることを特徴とする請求項1に記載の撮像装置。
  4. 前記制御部は、
    合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、合焦動作を再実行する構成であり、合焦動作回数が予め設定された最大リトライ回数に達した場合、合焦動作を中止する制御を行なう構成であることを特徴とする請求項1に記載の撮像装置。
  5. 前記制御部は、
    合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅を待機し、予め定めたリトライ待ち時間を経過しても、前記新たな顔の消滅が確認されない場合は、合焦動作を中止する制御を行なう構成であることを特徴とする請求項1に記載の撮像装置。
  6. 前記制御部は、
    セルフタイマ撮影、またはリモコン撮影の設定がなされたことを条件として、前記合焦動作中の顔の検出数と大きさ判定に基づく合焦動作の再実行または中止の判定処理を行なう構成であることを特徴とする請求項1に記載の撮像装置。
  7. 前記制御部は、
    フォーカスレンズの移動に対応する評価値を取得してピークを求める合焦動作を制御する構成であることを特徴とする請求項1に記載の撮像装置。
  8. 撮像装置において、オートフォーカス制御を実行する撮像装置制御方法であり、
    顔検出部において、入力画像から顔領域を検出する顔検出ステップと、
    制御部において、フォーカスレンズの調整による合焦動作を実行する合焦動作実行ステップと、
    制御部において、合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なう処理決定ステップと、
    を有することを特徴とする撮像装置制御方法。
  9. 前記処理決定ステップは、
    合焦動作開始前の顔検出数(N1)と、合焦動作中の顔検出数(N2)との比較処理を実行し、
    N2>N1である場合に、
    合焦動作開始前の最近接顔の距離(S1)と、合焦動作中の最近接顔の距離(S2)との比較処理を実行し、
    S2<S1である場合に、
    合焦動作を中止し、合焦動作の再実行、または中止処理を行なうステップであることを特徴とする請求項8に記載の撮像装置制御方法。
  10. 前記処理決定ステップは、
    合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅の確認の後、合焦動作を再実行する制御を行なうステップを含むことを特徴とする請求項8に記載の撮像装置制御方法。
  11. 前記処理決定ステップは、
    合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、合焦動作を再実行する構成であり、合焦動作回数が予め設定された最大リトライ回数に達した場合、合焦動作を中止する制御を行なうステップを含むことを特徴とする請求項8に記載の撮像装置制御方法。
  12. 前記処理決定ステップは、
    合焦動作中に、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作を中止し、撮像装置に近い位置に出現した新たな顔の消滅を待機し、予め定めたリトライ待ち時間を経過しても、前記新たな顔の消滅が確認されない場合は、合焦動作を中止する制御を行なうステップを含むことを特徴とする請求項8に記載の撮像装置制御方法。
  13. 前記撮像装置制御方法は、さらに、
    前記制御部において、セルフタイマ撮影、またはリモコン撮影の設定がなされたことを条件として、前記合焦動作中の顔の検出数と大きさ判定に基づく合焦動作の再実行または中止の判定処理を行なうステップを有することを特徴とする請求項8に記載の撮像装置制御方法。
  14. 前記合焦動作実行ステップは、
    フォーカスレンズの移動に対応する評価値を取得してピークを求める合焦動作を実行するステップであることを特徴とする請求項8に記載の撮像装置制御方法。
  15. 撮像装置において、オートフォーカス制御を実行させるコンピュータ・プログラムであり、
    顔検出部において、入力画像から顔領域を検出させる顔検出ステップと、
    制御部において、フォーカスレンズの調整による合焦動作を実行させる合焦動作実行ステップと、
    制御部において、合焦動作中に、合焦動作開始前に検出された顔の最近接位置より、撮像装置に近い位置に新たな顔が出現したか否かを、検出された顔の数と大きさに基づいて判断し、撮像装置に近い位置に新たな顔が出現したとの判断結果に基づいて、合焦動作の再実行、または中止処理を行なわせる処理決定ステップと、
    を実行させることを特徴とするコンピュータ・プログラム。
JP2006160455A 2006-06-09 2006-06-09 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム Expired - Fee Related JP4127297B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006160455A JP4127297B2 (ja) 2006-06-09 2006-06-09 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
TW096118573A TWI356348B (en) 2006-06-09 2007-05-24 Imaging apparatus, imaging apparatus control metho
US11/760,436 US7783186B2 (en) 2006-06-09 2007-06-08 Imaging apparatus, imaging apparatus control method, and computer program
CNB200710110220XA CN100545728C (zh) 2006-06-09 2007-06-08 成像装置,成像装置控制方法及计算机程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006160455A JP4127297B2 (ja) 2006-06-09 2006-06-09 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Publications (2)

Publication Number Publication Date
JP2007328215A JP2007328215A (ja) 2007-12-20
JP4127297B2 true JP4127297B2 (ja) 2008-07-30

Family

ID=38822098

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006160455A Expired - Fee Related JP4127297B2 (ja) 2006-06-09 2006-06-09 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム

Country Status (4)

Country Link
US (1) US7783186B2 (ja)
JP (1) JP4127297B2 (ja)
CN (1) CN100545728C (ja)
TW (1) TWI356348B (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4264660B2 (ja) * 2006-06-09 2009-05-20 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
WO2008131823A1 (en) * 2007-04-30 2008-11-06 Fotonation Vision Limited Method and apparatus for automatically controlling the decisive moment for an image acquisition device
JP2009010777A (ja) * 2007-06-28 2009-01-15 Sony Corp 撮像装置、撮影制御方法、プログラム
JP5004726B2 (ja) * 2007-09-05 2012-08-22 キヤノン株式会社 撮像装置、レンズユニットおよび制御方法
JP4483930B2 (ja) 2007-11-05 2010-06-16 ソニー株式会社 撮像装置、その制御方法およびプログラム
JP4959535B2 (ja) * 2007-12-13 2012-06-27 株式会社日立製作所 撮像装置
JP4843002B2 (ja) 2008-01-25 2011-12-21 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4582152B2 (ja) * 2008-01-25 2010-11-17 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2009223524A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
JP2009223527A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
JP2009223523A (ja) * 2008-03-14 2009-10-01 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理のためのコンピュータプログラム
EP2104339A3 (en) * 2008-03-19 2011-05-11 Fujinon Corporation Autofocus system
US7860385B2 (en) * 2008-03-19 2010-12-28 Fujinon Corporation Autofocus system
JP2009244431A (ja) * 2008-03-28 2009-10-22 Canon Inc 撮像装置
JP5224955B2 (ja) * 2008-07-17 2013-07-03 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム及び記録媒体
US20190215449A1 (en) * 2008-09-05 2019-07-11 Telefonaktiebolaget Lm Ericsson (Publ) Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
US8913176B2 (en) 2008-09-05 2014-12-16 Lg Electronics Inc. Mobile terminal and method of performing multi-focusing and photographing image including plurality of objects using the same
JP4561914B2 (ja) * 2008-09-22 2010-10-13 ソニー株式会社 操作入力装置、操作入力方法、プログラム
TW201023633A (en) * 2008-12-05 2010-06-16 Altek Corp An image capturing device for automatically position indicating and the automatic position indicating method thereof
JP5390871B2 (ja) * 2009-01-26 2014-01-15 キヤノン株式会社 撮像装置、その制御方法
JP2010226558A (ja) 2009-03-25 2010-10-07 Sony Corp 画像処理装置、画像処理方法、及び、プログラム
JP5384172B2 (ja) * 2009-04-03 2014-01-08 富士フイルム株式会社 オートフォーカスシステム
TWI384408B (zh) * 2009-04-30 2013-02-01 Ind Tech Res Inst 影像辨識以及輸出方法與其系統
US8717490B2 (en) * 2009-06-19 2014-05-06 Casio Computer Co., Ltd Imaging apparatus, focusing method, and computer-readable recording medium recording program
TWI399607B (zh) * 2009-08-14 2013-06-21 Primax Electronics Ltd 判斷是否重新執行自動對焦之方法與應用該方法之影像擷取裝置
JP2011257444A (ja) * 2010-06-04 2011-12-22 Olympus Corp 撮像装置
JP5013282B2 (ja) * 2010-08-31 2012-08-29 カシオ計算機株式会社 撮像装置、及びプログラム
JP5182352B2 (ja) * 2010-11-16 2013-04-17 カシオ計算機株式会社 撮像装置、画像合成方法、及びプログラム
JP5834232B2 (ja) * 2011-01-17 2015-12-16 パナソニックIpマネジメント株式会社 撮像画像認識装置、撮像画像認識システム及び撮像画像認識方法
JP5953658B2 (ja) * 2011-05-25 2016-07-20 ソニー株式会社 ロボット制御装置及びロボット装置の制御方法、コンピューター・プログラム、プログラム記憶媒体、並びにロボット装置
JP2013003412A (ja) * 2011-06-17 2013-01-07 Tatsumi Denshi Kogyo Kk 自動写真作成装置、自動写真作成方法およびプログラム
US9049382B2 (en) * 2012-04-05 2015-06-02 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN103018881B (zh) * 2012-12-12 2016-01-27 中国航空工业集团公司洛阳电光设备研究所 一种基于红外图像的自动调焦方法及***
CN104427238A (zh) * 2013-09-06 2015-03-18 联想(北京)有限公司 一种信息处理方法及电子设备
JP5743236B2 (ja) * 2013-09-17 2015-07-01 オリンパス株式会社 撮影機器及び撮影方法
CN104065885B (zh) * 2014-06-27 2018-02-13 宇龙计算机通信科技(深圳)有限公司 一种终端、视频摄像装置及方法
CN108206912B (zh) * 2016-12-20 2020-12-04 北京小米移动软件有限公司 异常提示的方法、装置及可读存储介质
CN108090430B (zh) * 2017-12-08 2020-11-27 杭州魔点科技有限公司 人脸检测的方法及其装置
JP2021032964A (ja) * 2019-08-20 2021-03-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像システム、制御方法、及びプログラム
CN112313943A (zh) * 2019-08-20 2021-02-02 深圳市大疆创新科技有限公司 装置、摄像装置、移动体、方法以及程序
CN110708467B (zh) * 2019-11-08 2021-11-16 苏州精濑光电有限公司 对焦方法、对焦装置和拍照机
US20210291435A1 (en) * 2020-03-19 2021-09-23 Ricoh Company, Ltd. Measuring apparatus, movable apparatus, robot, electronic device, fabricating apparatus, and measuring method
CN114143450B (zh) * 2021-11-19 2024-04-12 惠州Tcl移动通信有限公司 移动终端对焦处理方法、装置、移动终端及存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05203862A (ja) 1992-01-28 1993-08-13 Nikon Corp カメラの自動撮影装置
JP3298072B2 (ja) * 1992-07-10 2002-07-02 ソニー株式会社 ビデオカメラシステム
JPH06202222A (ja) 1992-12-25 1994-07-22 Canon Inc セルフタイマ付カメラ
JP3752510B2 (ja) * 1996-04-15 2006-03-08 イーストマン コダック カンパニー 画像の自動被写体検出方法
JP4004591B2 (ja) 1997-04-18 2007-11-07 オリンパス株式会社 セルフモード機能付カメラ
JP2004133637A (ja) 2002-10-09 2004-04-30 Sony Corp 顔検出装置、顔検出方法及びプログラム、並びにロボット装置
JP4218348B2 (ja) * 2003-01-17 2009-02-04 オムロン株式会社 撮影装置
JP4790329B2 (ja) * 2005-06-21 2011-10-12 オリンパスイメージング株式会社 焦点調節装置を有するカメラ
JP4654974B2 (ja) * 2006-05-23 2011-03-23 富士フイルム株式会社 撮影装置および撮影方法

Also Published As

Publication number Publication date
CN101086599A (zh) 2007-12-12
TW200807311A (en) 2008-02-01
CN100545728C (zh) 2009-09-30
TWI356348B (en) 2012-01-11
US20070286589A1 (en) 2007-12-13
US7783186B2 (en) 2010-08-24
JP2007328215A (ja) 2007-12-20

Similar Documents

Publication Publication Date Title
JP4127297B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4127296B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4218720B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4172507B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
TWI353465B (ja)
JP4732397B2 (ja) 撮像装置及びその合焦制御方法
JP4264660B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP5713055B2 (ja) 撮像装置、撮像方法及びプログラム
JP5003529B2 (ja) 撮像装置および対象物の検出方法
KR20110056099A (ko) 디지털 촬영장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체
JP2003075717A (ja) 距離検出装置
JP2009175478A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
KR20170008608A (ko) 영상 촬영 장치 및 그 동작 방법
JP5925186B2 (ja) 撮像装置及びその制御方法
JP2010109671A (ja) 撮像装置
JP2008282031A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
US10284782B2 (en) Image stabilization apparatus, control method thereof, and image capture apparatus
JP2009290255A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2007328213A (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2009105851A (ja) 撮像装置、その制御方法およびプログラム
US20140293064A1 (en) Image pickup apparatus
JP2010066728A (ja) 撮像装置および撮像装置の制御方法
JP5359150B2 (ja) 撮像装置
JP5938269B2 (ja) 撮像装置およびその制御方法
JP2016161685A (ja) Af機能を備えた撮影装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080422

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080505

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4127297

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110523

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120523

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130523

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees