JP2012039591A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2012039591A JP2012039591A JP2010249541A JP2010249541A JP2012039591A JP 2012039591 A JP2012039591 A JP 2012039591A JP 2010249541 A JP2010249541 A JP 2010249541A JP 2010249541 A JP2010249541 A JP 2010249541A JP 2012039591 A JP2012039591 A JP 2012039591A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- magnification
- face
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Abstract
【課題】 被写体の特定の領域を含む構図で、被写体を撮影する際に、自動的に撮像倍率を決定し、構図の良い画像を容易に撮影可能な撮像装置等を提供すること。
【解決手段】 撮像装置は、ズーム倍率の制御を行う倍率制御部と、撮像部115からの撮像画像を取得する画像取得部125と、画像取得部125が取得した撮像画像における、被写体の第1の画像領域の基準位置及び被写体の第2の画像領域の基準位置と、撮像画像の測定基準位置との相対的な位置関係情報を取得する位置関係取得部162と、を含み、倍率制御部は、位置関係取得部162が取得した位置関係情報に基づいて、ズーム倍率を制御する。
【選択図】 図1
【解決手段】 撮像装置は、ズーム倍率の制御を行う倍率制御部と、撮像部115からの撮像画像を取得する画像取得部125と、画像取得部125が取得した撮像画像における、被写体の第1の画像領域の基準位置及び被写体の第2の画像領域の基準位置と、撮像画像の測定基準位置との相対的な位置関係情報を取得する位置関係取得部162と、を含み、倍率制御部は、位置関係取得部162が取得した位置関係情報に基づいて、ズーム倍率を制御する。
【選択図】 図1
Description
本発明は、撮像装置等に関する。
顔アップ、全身ショットなどの構図の異なる写真を撮影する場合、カメラの光学中心とズーム倍率の両方を調節する必要がある。
監視カメラやパスポート用の自動撮影機などの据え置き型の撮影装置であって、パン、チルト、ズームを制御可能な場合には特許文献1にあるように、カメラや鏡筒の位置や向きとズーム倍率を適切に制御することによって、顔アップ、全身ショットなどの各構図の写真を撮影することが可能となっている。
ところが、ユーザが手持ちで撮影する場合には、カメラの姿勢は、ユーザまかせとなってしまう。この課題に対処するため、特許文献2では、光軸シフト光学系を用意して、光軸シフト量とズーム量を構図が適切になるように制御することを提案している。しかしながら、シフト光学系を用意するのは、コストがかかり、カメラの大きさも大きくなってしまう。
本発明の幾つかの態様によれば、被写体の特定の領域を含む構図で、被写体を撮影する際に、自動的に撮像倍率を決定し、構図の良い画像を容易に撮影可能な撮像装置等を提供できる。
また、本発明の幾つかの態様によれば、シフト光学系などのコストのかかる機構の追加なしに、顔アップ、全身ショットなどの構図で人物を撮影する際のユーザの手間を軽減する撮像装置等を提供できる。
本発明の一態様は、ズーム倍率の制御を行う倍率制御部と、撮像部からの撮像画像を取得する画像取得部と、前記画像取得部が取得した前記撮像画像における、被写体の第1の画像領域の基準位置及び前記被写体の第2の画像領域の基準位置と、前記撮像画像の測定基準位置との相対的な位置関係情報を取得する位置関係取得部と、を含み、前記倍率制御部は、前記位置関係取得部が取得した前記位置関係情報に基づいて、前記ズーム倍率を制御する撮像装置に関係する。
本発明の一態様では、被写体の第1の画像領域の基準位置及び被写体の第2の画像領域の基準位置と、撮像画像の測定基準位置との相対的な位置関係情報に基づいて、ズーム倍率を制御することができる。よって、ズーム倍率が自動で制御されるため、ユーザの操作負担を軽減するとともに、構図のよい画像を容易に撮影すること等が可能になる。
また、本発明の一態様では、前記位置関係取得部は、前記被写体の前記第1の画像領域の前記基準位置と前記撮像画像の前記測定基準位置との距離情報である第1の距離情報と、前記被写体の前記第2の画像領域の前記基準位置と前記撮像画像の前記測定基準位置との距離情報である第2の距離情報とを、前記位置関係情報として取得する距離情報取得部を含み、前記倍率制御部は、前記距離情報取得部が取得した前記第1、第2の距離情報に基づいて、前記ズーム倍率を制御してもよい。
これにより、相対的な位置関係情報として、第1の距離情報及び第2の距離情報を取得し、取得した第1の距離情報及び第2の距離情報に基づいてズーム倍率を制御することが可能になる。
また、本発明の一態様では、前記倍率制御部は、前記距離情報取得部が取得した前記第1の距離情報により表される距離が、第1の閾値よりも小さい場合には、前記第1の画像領域全体が、前記撮像画像に収まる倍率に前記ズーム場合率を設定する制御を行ってもよい。
これにより、第1の距離情報によって表される距離が、第1の閾値よりも小さい場合には、第1の画像領域を撮像するのに適したズーム倍率を設定する制御を行うこと等が可能になる。
また、本発明の一態様では、前記倍率制御部は、前記距離情報取得部が取得した前記第2の距離情報により表される距離が、第2の閾値よりも小さい場合には、前記第2の画像領域全体が、前記撮像画像に収まる倍率に前記ズーム場合率を設定する制御を行ってもよい。
これにより、第2の距離情報によって表される距離が、第2の閾値よりも小さい場合には、第2の画像領域を撮像するのに適したズーム倍率を設定する制御を行うこと等が可能になる。
また、本発明の一態様では、前記被写体は、人物であり、前記被写体の第1の画像領域は、前記人物の顔領域であってもよい。
これにより、人物の顔領域を撮像するのに適したズーム倍率の設定制御等が可能になる。
また、本発明の一態様では、前記画像取得部が取得した撮像画像において、前記人物の顔領域の基準位置及びサイズの特定情報を認識する顔認識部を含んでもよい。
これにより、撮像画像において、顔領域を検出し、検出した顔領域の基準位置及びサイズの特定情報を認識すること等が可能になる。
また、本発明の一態様では、前記倍率制御部は、前記顔認識部が認識した前記特定情報により特定される、前記人物の顔領域の前記基準位置及び前記サイズに基づいて、前記人物の顔領域全体が前記撮像画像に収まる倍率に前記ズーム倍率を設定する制御を行ってもよい。
これにより、顔領域の基準位置及びサイズに基づいて、顔領域を撮像するのに適したズーム倍率を設定する制御を行うこと等が可能になる。
また、本発明の一態様では、前記倍率制御部は、前記人物の顔領域の前記基準位置が、前記撮像画像の前記測定基準位置から遠ざかっていると判定された場合には、前記顔領域全体が前記撮像画像に収まる倍率に前記ズーム倍率を下げる制御を行ってもよい。
これにより、撮像画像から顔領域が外れてしまうことを抑止し、顔領域が撮像画像に収まる可能性を高めるようなズーム倍率の設定制御等が可能になる。
また、本発明の一態様では、前記被写体は、人物であり、前記被写体の第1の画像領域は、前記人物の顔領域であり、前記被写体の第2の画像領域は、前記人物の全身領域であってもよい。
これにより、人物の顔領域及び全身領域を撮像するのに適したズーム倍率の設定制御等が可能になる。
また、本発明の一態様では、前記画像取得部が取得した撮像画像において、前記人物の顔領域の基準位置及びサイズの特定情報を認識する顔認識部と、前記顔認識部が認識した前記特定情報により特定される、前記人物の顔領域の前記サイズに基づいて、前記人物の全身領域の基準位置及びサイズを推定する全身領域推定部と、を含んでもよい。
これにより、顔認識部により認識された顔領域のサイズに基づいて、全身領域の基準位置及びサイズを推定すること等が可能になる。
また、本発明の一態様では、前記倍率制御部は、前記全身領域推定部が推定した前記人物の全身領域の前記基準位置及び前記サイズに基づいて、前記人物の全身領域全体が前記撮像画像に収まる倍率に前記ズーム倍率を設定する制御を行ってもよい。
これにより、全身領域の基準位置及びサイズに基づいて、全身領域を撮像するのに適したズーム倍率を設定する制御を行うこと等が可能になる。
また、本発明の一態様では、前記顔認識部は、前記人物の顔領域における画素の特徴量に基づいて、前記人物の年齢及び性別の少なくとも一方の情報を認識し、前記全身領域推定部は、前記顔認識部が認識した前記人物の年齢及び性別の少なくとも一方の情報と、前記人物の顔領域の前記サイズとに基づいて、前記人物の全身領域の前記基準位置及び前記サイズを推定してもよい。
これにより、全身領域の基準位置及びサイズを推定する際に、人物の年齢及び性別の少なくとも一方の情報を用いることが可能になる。
また、本発明の一態様では、前記撮像部は、ズーム光学系を含み、前記倍率制御部は、前記位置関係取得部が取得した前記位置関係情報に基づいて、前記撮像部のズーム光学系における前記ズーム倍率を制御してもよい。
これにより、光学ズームの自動制御により撮影されるため、デジタルズーム(画像中の領域切り出し)のような画質劣化がなく、ズーム操作を行うことが可能になる。
また、本発明の一態様では、前記第1の画像領域としての、前記被写体の所定部位領域の基準位置と大きさを検出する所定部位検出部と、前記第2の画像領域としての、前記被写体の全体領域の基準位置と大きさを検出する全体検出部と、前記被写体の所定部位領域を中心とする構図とするか、あるいは前記被写体の全体領域を中心とする構図とするかを決定する構図決定部と、決定された構図に含まれる前記被写体の所定部位領域または前記被写体の全体領域が、所望の画像枠内に収まるという条件を満足するズーム倍率を、前記被写体の所定部位領域の大きさ、または前記被写体の全体領域の大きさに基づく演算によって求めるズーム倍率演算部を備えるズーム倍率決定部と、前記位置関係取得部に含まれる前記距離情報取得部は、前記被写体の部位領域および前記被写体の全体領域が検出された場合には、前記撮像画像の中心を原点とし、かつ互いに直交する横座標軸と縦座標軸とによって規定される2次元座標系における、前記所定部位領域の基準位置の座標である第1座標と、前記被写体の全体領域の基準位置の座標である第2座標とを求め、前記被写体の所定部位領域の基準位置と前記測定基準位置との間の距離を示す、前記第1の距離情報としての、前記第1座標の頭身方向成分である前記縦座標軸値の絶対値の情報と、前記被写体の全体領域の基準位置と前記測定基準位置との間の距離を示す、前記第2の距離情報としての、前記第2座標の頭身方向成分である前記縦座標軸値の絶対値の情報とを取得し、前記構図決定部は、前記第1座標の前記縦座標軸値の絶対値と、前記第2座標の前記縦座標軸値の絶対値と、を比較し、前記第1座標の縦座標値の絶対値の方が小さいときは、前記被写体の所定部位領域を中心とする構図を採用し、前記第2座標の縦座標値の絶対値の方が小さいときは、前記被写体の全体領域を中心とする構図を採用し、前記ズーム倍率制御部は、前記ズーム倍率演算部によって求められズーム倍率に基づいて、ズーム倍率を制御する。
本態様では、所定部位検出部と、全体検出部と、構図決定部と、ズーム倍率演算部を備えるズーム倍率決定部と、がさらに設けられる。所定部位検出部が、第1画像領域としての所定部位領域の基準位置と大きさを検出し、また、全体検出部が、第2画像領域としての全体領域の基準位置と大きさを検出する。被写体の所定部位は、被写体の全体の一部であり、被写体の全体とは、撮像画像に含まれる被写体の全体(全部)であり、全体の中身は問わない。被写体の全体は、例えば人の全身であり、また、例えば、人の体の一部が欠けている場合であっても、被写体の全体であることには違いがない。
位置関係取得部に含まれる距離情報取得部は、所定部位領域および全体領域が検出されたときには、撮像画像の中心(画像中心)を原点とする2次元座標系における、所定部位領域の基準位置の座標である第1座標と、全体領域の基準位置の座標である第2座標とを求め、第1座標値および第2座標値の頭身方向成分である縦座標値の絶対値を取得する。例えば、第1座標における縦座標値の絶対値は、所定部位領域の基準位置と、その所定部位領域の基準位置を通る頭身方向の直線が、横座標軸と交わる点である測定基準位置との間の距離(第1の距離情報)を示している。同様に、第2座標における縦座標値の絶対値は、全体領域の基準位置を通る頭身方向の直線が、横座標軸と交わる点である測定基準位置との間の距離(第2の距離情報)を示している。
構図決定部は、第1座標についての距離(縦座標値の絶対値)と、第2座標についての距離(縦座標値の絶対値)を比較する。例えば、第1座標の距離の方が小さいときは、ユーザは、所定部位を画像の中心に置こうとしていると推定できることから、構図決定部は、被写体の所定部位領域を中心とする構図を採用し、第2座標の距離が小さいときは、被写体の全体領域を中心とする構図を採用する。
また、構図の移行に際して、被写体の欠けを防止する必要があることから、ズーム倍率決定部に備わっているズーム倍率演算部は、決定された構図に含まれる被写体の所定部位領域または被写体の全体領域が、所望の画像枠内に収まるという条件を満足するズーム倍率を、被写体の所定部位領域の大きさ、または被写体の全体領域の大きさに基づく演算によって求める。ズーム倍率制御部は、ズーム倍率演算部によって求められズーム倍率に基づいて、ズーム倍率を制御する。本態様によれば、ユーザが、例えば人物を撮影する場合に、被写体の所定部位(例えば顔)の中心を画像中心に置こうとするか、被写体の全体(例えば全身)の中心を画像中心の方に置こうとするかをカメラの内部で判定し、顔アップ、全身ショットなどの構図に合うように、光学系のズーム倍率を制御することができる。ズーム倍率が自動で制御されるため、ユーザの操作負担が軽減され、また、構図のよい画像を容易に撮影すること等が可能となる。
また、本発明の一態様では、前記構図決定部は、前記被写体の所定部位領域は検出されたが、前記被写体の全体領域の検出ができなったときには、前記所定部位領域を中心とする構図を採用し、前記被写体の所定部位領域を検出できず、前記被写体の全体領域は検出できたときには、前記被写体の全体を中心とする構図を採用する。
本態様では、被写体の全体領域のみが検出できたときには、構図決定部は、被写体の全体を中心とする構図を採用する。また、例えば、所定部位領域の検出には、所定サイズ以上の画素領域が必要である場合に、被写体の全体領域のサイズが小さいと、全体領域は検出できたが、所定部位領域は検出できなかった、という事態が生じ得る。構図決定部は、このような場合、被写体の全体を中心とする構図を採用する。本態様によれば、所定部位領域の検出ならびに全体領域の検出の結果に基づいて、スムーズかつ迅速に、構図の決定ならびに構図の移行を行える。
また、本発明の一態様では、前記被写体の所定部位領域および前記被写体の全体領域の双方が検出されなかったときにおいて、前記ズーム倍率決定部は、ズーム倍率が広角端に対応するズーム倍率であるかを確認し、広角端に対応するズーム倍率であれば、ズーム制御を終了し、広角端に対応するズーム倍率でないときは、より低い倍率のズーム倍率を再設定し、前記所定部位検出部は、前記ズーム倍率が再設定される毎に、前記所定部位の検出処理を実行し、前記全体検出部は、前記ズーム倍率が再設定される毎に、前記被写体の全体の検出処理を実行し、前記構図決定部は、前記ズーム倍率が再設定される毎に、前記被写体の所定部位領域を中心とする構図とするか、あるいは前記被写体の全体領域を中心とする構図とするかを決定する処理を実行する。
本態様では、被写体の所定部位領域および被写体の全体領域の双方を検出できないときは、ズーム倍率を、より低い倍率に再設定して、各領域の検出動作を繰り返し実行する。よって、オートズームに成功する可能性が高まる。
また、本発明の一態様では、前記ズーム倍率演算部は、前記構図決定部によって、構図の変更が決定されたとき、下記の式(1)から式(4)を満たし、かつ、下記の式(1)から式(4)のうちの少なくとも一つの等号を満たす、全身または顔の検出枠の中心(xI,yI)と、枠の横幅wIと、枠の高さwIとを求め、求められた結果に基づいて、許容される最大倍率を求め、
前記ズーム倍率決定部は、前記許容される最大倍率を超えない範囲で、ズーム倍率を決定する。
本態様では、ズーム倍率演算部が、式(1)〜式(4)を用いて、許容される最大の倍率を求め、ズーム倍率決定部が、許容される最大倍率を超えない範囲で、ズーム倍率を設定する。これによって、被写体の欠けを確実に防止しつつ、適切なズーム倍率を設定することができる。
また、本発明の一態様では、前記所定部位領域は顔領域であり、前記所定部位検出部は、前記被写体の顔の基準位置と大きさを検出し、前記被写体の全体領域は、被写体の略全身領域または全身領域であり、前記全体検出部は、前記被写体の略全身領域または全身領域の基準位置と大きさを検出する。
本態様によれば、ユーザが、例えば人物を撮影する場合に、被写体の顔の中心を画像中心に置こうとするか、被写体の全身あるいは略全身の中心を画像中心の方に置こうとするかをカメラの内部で判定し、顔アップ、全身ショット(あるいは略全身ショット)などの構図に合うように、光学系のズーム倍率を制御することができる。ズーム倍率が自動で制御されるため、ユーザの操作負担が軽減され、また、構図のよい画像を容易に撮影すること等が可能となる。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
(第1の実施形態)
1.本実施形態の手法
本実施形態の手法について図2(A)、図2(B)を参照して説明する。図2(A)、図2(B)に示したように、被写体(特に人物)を撮影する際には、顔アップや全身ショットといったような、特定の構図を用いるケースが多い。そのため、ユーザの意図に従い、自動的に構図を設定する撮像装置は非常に有用であると考えられる。
1.本実施形態の手法
本実施形態の手法について図2(A)、図2(B)を参照して説明する。図2(A)、図2(B)に示したように、被写体(特に人物)を撮影する際には、顔アップや全身ショットといったような、特定の構図を用いるケースが多い。そのため、ユーザの意図に従い、自動的に構図を設定する撮像装置は非常に有用であると考えられる。
しかし、そのような撮像装置を実現するには、ズーム倍率の調整だけでなく、撮像画像の中心(以下、適宜画像中心と表記する)も適切に調整する必要がある。図2(A)のような全身ショットであれば、全身の中心(腹部のあたり)に画像中心を設定する必要があるし、図2(B)のように顔アップであれば顔の中心(鼻のあたり)に画像中心を設定することが望ましい。
据え置き型の撮像装置、すなわち、ユーザが手で把持していない撮像装置であれば、画像中心を変更することは可能である。しかし、ユーザが手で把持して用いる撮像装置では、撮像画像内で画像中心を変更するにはシフト光学系等の大掛かりなシステムが必要となってしまう。
そこで本出願人は以下のような撮像装置を提案する。撮像装置には、シフト光学系のような画像中心を撮像装置内部で変更する機構は含まれない。つまり、画像中心の変更、設定はあくまでユーザにゆだねることになる。
ユーザの操作により、画像中心が顔中心に近い位置に設定されたと判断された場合には、ユーザは顔アップの画像を撮像しようとしているものとして、図2(B)に示したような顔アップに適したズーム倍率を設定する。また、画像中心が全身中心に近い位置に設定されたと判断された場合には、ユーザは全身ショットを撮像しようとしているものとして、図2(A)に示したように、全身ショットに適したズーム倍率を設定する。
よって、本実施形態の撮像装置は、以下の2点の特徴を持つ。すなわち、ユーザの設定した画像中心の位置と顔中心、全身中心の位置との相対的な位置関係に基づいて、ユーザが撮像したいと考えている構図を推定する点、及び、撮像する構図に適したズーム倍率を自動的に設定する点である。
なお、以上の説明では、構図を推定するにあたって、画像中心、顔中心及び全身中心を基準とするものとしたが、これに限定されない。撮像画像の任意の位置を測定基準位置として採用してもよいし、顔領域の任意の位置、全身領域の任意の位置を基準位置として採用してもよい。
以下、撮像装置の構成例について述べた後、構図及びズーム倍率の設定手法について説明する。さらに顔領域の追跡手法、フローチャートを用いた処理の流れを説明し、最後に変形例について説明する。
2.撮像装置の構成例
図1は、本発明の第1の実施形態に係る撮像装置の概略的構成を説明するブロック図である。撮像装置は、撮像部115と、画像取得部125と、画像処理部130と、I/F部140と、記憶部150と、処理部160と、レンズ駆動モータ(AFモータ、ズームモータ)170と、光学ズーム制御部180と、画像表示部190とを備えている。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
図1は、本発明の第1の実施形態に係る撮像装置の概略的構成を説明するブロック図である。撮像装置は、撮像部115と、画像取得部125と、画像処理部130と、I/F部140と、記憶部150と、処理部160と、レンズ駆動モータ(AFモータ、ズームモータ)170と、光学ズーム制御部180と、画像表示部190とを備えている。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
なお、図示していないが撮像装置100にはフラッシュ機構等の一般のデジタル撮像装置に装備される機器を設けても良い。
撮像部115は、撮影レンズ110(ズーム光学系)と、撮像素子120とを備えている。撮影レンズ110は、CCDあるいはCMOSイメージセンサで構成される撮像素子120の撮像面上に被写体像を形成する焦点距離可変のズームレンズである。本明細書中では、撮像素子120は内部にCDS、A/D変換等の処理ブロックを有してデジタルの画像信号を出力可能なCMOSイメージセンサであるものとして説明をする。
撮像素子120から出力されるデジタルの画像信号は、記憶部150に一時的に保管される。記憶部150は、画像処理部130が画像処理を行う際のバッファメモリとしても用いられるので、書き込み・読み出しの速度が速いことが望ましく、例えばDRAM、SRAM等で構成することが可能である。記憶部150へは、システムバスを介して撮像素子120、画像処理部130、I/F部140、処理部160、がアクセス可能に構成される。記憶部150は、上述した構成要素からのメモリアクセス要求を調停する機能を有する。
画像取得部125は、撮像素子120から画像信号を取得し、画像処理部130に出力する。なお、画像信号は、撮像素子120からではなく、記憶部150から、記憶部150に一時的に保管されたものを取得してもよい。
画像処理部130は、特定用途向けの集積回路(ASIC)等で構成することが可能である。この画像処理部130は、画像取得部125から入力されたデジタルの画像信号に同時化(デモザイク処理)、ホワイトバランス調整、階調・レベル補正、アンシャープマスク、シェーディング補正等の処理をしてデジタルの画像データを生成する。
画像処理部130は、電子ズーム処理部132(倍率制御部)を含む。電子ズーム処理部132は画像信号の画素数を変換するための信号処理を行う。画素間の補完、間引きを行うことで電子的に画像の拡大、縮小を行い、これにより電子ズーム処理を実現する。
処理部160は、撮像装置100を動作させるための種々の処理を行う。
処理部160は、位置関係取得部162と、顔認識部164と、全身領域推定部166と、倍率決定部168とを含む。なお、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
位置関係取得部162は、被写体の第1の画像領域の基準位置、被写体の第2の画像領域の基準位置及び撮像画像の測定基準位置との相対的な位置関係を取得する。
また、位置関係取得部162は、距離情報取得部163を含む。距離情報取得部は、相対的な位置関係として、被写体の第1の画像領域の基準位置と撮像画像の測定基準位置との距離である第1の距離情報を取得する。また、被写体の第2の画像領域の基準位置と撮像画像の測定基準位置との距離である第2の距離情報を取得する。
顔認識部164は、撮像画像の中から被写体(人物)の顔を認識し、顔のサイズと基準位置を取得する。
全身領域推定部166は、顔認識部が認識した顔のサイズに基づいて、被写体(人物)の全身領域のサイズと基準位置を推定する。
倍率決定部168は、位置関係取得部162が取得した相対的な位置関係(具体的には例えば距離情報取得部163が取得した距離情報)に基づいて、ズーム倍率を決定する。決定されたズーム倍率は倍率制御部(電子ズーム処理部132あるいは光学ズーム制御部180)に送られる。
レンズ駆動モータ170は、AFモータやズームモータから構成される。ズームモータは、光学ズーム制御部180からの制御情報を受け、適切なズーム倍率になるように撮影レンズ110の位置を調整する。また、AFモータは画角調整の終了後に、被写体に対して自動的にフォーカスをあわせるAF(オートフォーカス)を実行する。具体的にはズームモータと同様に撮影レンズ110の位置を調整する。
光学ズーム制御部180は、光学ズームの倍率を調整するための制御信号を生成する。生成した制御信号は、レンズ駆動モータ170に出力される。
画像表示部190は、液晶表示素子上での画像表示を制御する。カラー液晶表示(LCD)パネルまたは有機EL(OEL)ディスプレイパネルなどで構成される表示素子と、ライブビュー処理を行う不図示の表示制御部とを有する。
3.構図及びズーム倍率の設定
図2(A)のように全身が写っている構図や図2(B)の顔がアップで写っている構図を顔の位置、大きさ、画像中心位置の関係からカメラ内で自動判定することが本実施形態の特徴となっているが、以下では、具体的な実施形態について説明する。
図2(A)のように全身が写っている構図や図2(B)の顔がアップで写っている構図を顔の位置、大きさ、画像中心位置の関係からカメラ内で自動判定することが本実施形態の特徴となっているが、以下では、具体的な実施形態について説明する。
まず、画像取得部125において、撮影時のスルー画像が取得される。次に、顔認識部164において、画像中に顔があるか否かの判定を行い、顔がある場合には、図3に示したように、顔の中心(Bx,By)、及び大きさF(t)を求める。
続いて、距離情報取得部163において、画像中心と顔の中心との時刻tでの距離D1(t)を求める。画像サイズをM×N(例えば、スルー画像の場合M=640,N=480のVGAサイズ)とすれば、画像の中心座標(Ax,Ay)は、下式(1)で表される。
(Ax,Ay)=(M/2,N/2) ・・・・・(1)
そこで、画像中心(Ax,Ay)と顔の中心(Bx,By)との時刻tでの距離D1(t)は、下式(2)のように表される。これを図示したものが図3である。
そこで、画像中心(Ax,Ay)と顔の中心(Bx,By)との時刻tでの距離D1(t)は、下式(2)のように表される。これを図示したものが図3である。
次に、倍率決定部168において、D1(t)が所定の閾値ε1より小さいか否かを判定し、ε1より小さいと判定した場合には、S105で、顔アップの構図に好適となるようズーム光学系の倍率を定める。以下、この倍率の定め方について具体的に説明する。
上記D1(t)の値が0に近くなった時、つまり、ある小さな閾値ε1があって、D(1)とε1が下式(3)を満たすとき、画像中心と顔中心は近くにあると判定する。
D1(t)<ε1 ・・・・・(3)
そして、画像サイズM×Nに対し、時刻tでの画像中での顔の大きさF(t)の比率(α<1)が、顔アップの構図に好適となるよう、下式(4)を満たすようにズーム倍率を決定する。
そして、画像サイズM×Nに対し、時刻tでの画像中での顔の大きさF(t)の比率(α<1)が、顔アップの構図に好適となるよう、下式(4)を満たすようにズーム倍率を決定する。
F(t)=α×Min(M,N) ・・・・・(4)
ここで、Min(M,N)は、M,Nの小さい方の値をとることを意味する。このようにすることで、撮像画像が縦長であっても、横長であっても対応することができる。尚、比率αの値は、事前に、顔アップの構図の定義として、カメラ内で定めておく。
ここで、Min(M,N)は、M,Nの小さい方の値をとることを意味する。このようにすることで、撮像画像が縦長であっても、横長であっても対応することができる。尚、比率αの値は、事前に、顔アップの構図の定義として、カメラ内で定めておく。
次に、全身領域推定部166において、顔の中心・大きさ・上下の向き、頭身比の情報から、全身の中心と大きさを推定する手順について、図4を用いて具体的に説明する。
まず、全身中心とは、頭頂から足先までの全身の2等分線と、身体の左右対称軸の交点と表現できる。全身中心の推定方法について説明する。顔中心の座標を(Bx,By)とし、時刻tでの画像上の顔の大きさをF(t)とする。
ここで、顔の大きさとは、図5に示すように、顔検出の結果出力される矩形枠の縦の長さで近似して扱うため頭の大きさとは異なってくる。この点、後で頭身比を用いて画像上での全身の身長を推定する際には、顔と頭の長さの比を考慮に入れる必要がある。ここでは簡単のため、顔の大きさ=頭の大きさ、顔の中心=頭の中心としておくが、人の顔と頭の平均的な比率を求めておき、換算しなおすことが望ましい。
顔の上下の向きが、画像の縦軸に平行とし、顔の下方に全身があると仮定し、さらに、頭身比をRとすると、全身中心の座標(Cx,Cy)は、図4を参照すれば(ただし、図4は縦撮影に対応する図であることに注意)、下式(5)により算出される。
(Cx,Cy)=(Bx,By+(R−1)*F(t)/2) ・・・・・(5)
ただし、顔の下方向を画像座標の正方向とした。ここでは例えば、頭身比R=8、つまり8頭身などと仮定して算出する。
ただし、顔の下方向を画像座標の正方向とした。ここでは例えば、頭身比R=8、つまり8頭身などと仮定して算出する。
縦撮りの場合には、顔の上下の向きは、画像の横軸に平行となり、図4を参照して下式(6)で算出される。
(Cx,Cy)=(Bx+(R−1)*F(t)/2,By) ・・・・・(6)
ただし、顔の下方向を画像座標の正方向とした。
ただし、顔の下方向を画像座標の正方向とした。
なお、顔検出技術だけでなく、歩行者検出などの全身検出技術を用いると全身の中心と大きさの推定精度の向上も期待できる。以上で、全身領域推定部166において、顔の中心・大きさ・上下の向き、頭身比の情報から、全身の中心と大きさを推定する手順について説明した。
次に、距離情報取得部163において、顔の中心と全身の中心の時刻tでの距離D2(t)を算出する。具体的には、画像中心(Ax,Ay)と全身中心(Cx,Cy)との時刻tでの距離D2(t)は、下式(7)で表される。
続いて、倍率決定部168において、S110で、D2(t)が所定の閾値ε2より小さいか否かを判定し、ε2より小さいと判定した場合には、S111で、全身撮影の構図に好適なズーム光学系の倍率を決定する。この倍率の決定の方法について説明する。
D2(t)の値が0に近くなった時、つまり、ある小さな閾値ε2があって、D2(t)とε2が下式(8)の関係を満たすとき、画像中心と全身中心は近くにあると判定する。
D2(t)<ε2 ・・・・・(8)
そして、画像サイズM×Nに対し、画像上での身長(≒R×F)の比率(β<1)が、全身撮影の構図にふさわしくなるよう、下式(9)を満たすようにズーム倍率を決定する。
そして、画像サイズM×Nに対し、画像上での身長(≒R×F)の比率(β<1)が、全身撮影の構図にふさわしくなるよう、下式(9)を満たすようにズーム倍率を決定する。
R×F(t)=β×Min(M,N) ・・・・・(9)
尚、比率βの値は、事前に、全身撮影の構図の定義として、カメラ内で定めておく。
尚、比率βの値は、事前に、全身撮影の構図の定義として、カメラ内で定めておく。
最後に、倍率制御部において、オートズームの終了命令がなければ、画像取得に戻る一方、終了命令があれば、オートズームを終了する。ここでオートズームの終了命令とは、例えば、撮影者が、ズームを微調整したい場合などにズームレバーに手をかけることによって発動されるようになっている。
なお、以上の説明におけるε1とε2の設定については複数の手法が考えられる。例えば図6(A)に示したように、顔中心と全身中心との間の点(例えば中点)を設け、顔中心と間の点との距離をε1、全身中心と間の点との距離をε2としてもよい。このように設定することで、顔中心と全身中心との間に画像中心がある場合には、必ず顔アップか全身ショットかどちらかの構図に決定される。また、図6(B)に示したように、顔アップにも、全身ショットにもならない不定領域を持たせる手法もある。図6(A)、図6(B)のどちらの手法を用いてもよく、ユーザに使いやすい手法を選択させてもよい。
以上の本実施形態では、図1に示すように、撮像装置は倍率制御部(電子ズーム処理部132、光学ズーム制御部180)と、画像取得部125と、位置関係取得部162とを含む。倍率制御部はズーム倍率の制御を行う。画像取得部125は撮像部115から撮像画像を取得する。位置関係取得部162は、被写体の第1の画像領域の基準位置と、被写体の第2の画像領域の基準位置と、撮像画像の測定基準位置との相対的な位置関係情報を取得する。そして、倍率制御部は、位置関係取得部162が取得した位置関係情報に基づいて、ズーム倍率を制御する。
ここで、倍率制御部とは、具体的には、電子ズーム処理部132や光学ズーム制御部180のことである。すなわち、ここでのズームは、光学ズームやデジタルズームのことである。
これにより、撮像画像を取得した上で、撮像画像における被写体の第1の画像領域の基準位置、被写体の第2の画像領域の基準位置及び撮像画像の測定基準位置との相対的な位置関係情報に基づいて、ズーム倍率を制御することが可能になる。よって、撮像画像における被写体の画像領域の位置関係に対応した構図を決定することができる。具体的には例えば、後述するように、第1の画像領域全体が撮像画像に収まるような構図等を決定する。
また、図1に示すように、位置関係取得部は、相対的な位置関係情報として、第1の距離情報と第2の距離情報を取得する距離情報取得部163を含んでもよい。そして、取得した距離情報に基づいてズーム倍率を制御してもよい。
ここで、第1の距離情報とは、被写体の第1の画像領域の基準位置と、撮像画像の測定基準位置との距離を表す情報であり、第2の距離情報とは、被写体の第2の画像領域の基準位置と、撮像画像の測定基準位置との距離を表す情報である。
これにより、相対的な位置関係情報として、第1の距離情報及び第2の距離情報を取得し、第1、第2の距離情報に基づいてズーム倍率を制御することが可能になる。距離を表す距離情報という測定(算出)が容易な情報を、ズーム倍率制御の基準とすることで、構図決定における処理を簡単化することができる。
また、倍率制御部は、距離情報取得部163が取得した第1の距離情報により表される距離が第1の閾値よりも小さい場合には、第1の画像領域全体が撮像画像に収まる倍率に、ズーム倍率を設定する制御を行う。同様に、第2の距離情報により表される距離が第2の閾値よりも小さい場合には、第2の画像領域全体が撮像画像に収まる倍率に、ズーム倍率を設定する制御を行う。
ここで、第1の閾値とは、上述した式(3)におけるε1を表し、第2の閾値とは、上述した式(8)におけるε2を表す。具体的には、図6(A)及び図6(B)のような例が考えられる。
これにより、撮像画像の測定基準位置が第1の画像領域の基準位置に近い場合には、第1の画像領域全体が撮像画像に収まるような倍率が設定され、撮像画像の測定基準位置が第2の画像領域の基準位置に近い場合には、第2の画像領域全体が撮像画像に収まるような倍率が設定されることになる。よって、それぞれ、第1の画像領域、第2の画像領域を撮影するにあたって適切な構図(ズーム倍率)を設定することができる。
また、被写体とは例えば人物であり、第1の画像領域とは人物の顔領域であってもよい。そして、撮像装置は、撮像画像において人物の顔領域の基準位置及びサイズの特定情報を認識する顔認識部164を含んでもよい。さらに、倍率制御部は、顔認識部164が認識した特定情報により特定される顔領域の基準位置及びサイズに基づいて、人物の顔領域全体が撮像画像に収まる倍率にズーム倍率を設定する制御を行ってもよい。
これにより、人物を撮影するにあたって、顔領域の基準位置とサイズを認識することが可能になる。そして、顔領域の基準位置とサイズに基づいて、顔領域全体が撮像画像に収まる倍率にズーム倍率を設定する制御を行うことで、顔アップに好適な構図を設定することが可能になる。
ここで、「顔領域全体が撮像画像に収まる」とは、例えば図7(A)のように、撮像画像いっぱいに顔領域が表示されているケースでもよいし、図7(B)のように、顔領域全体を含みつつ、その他の領域(例えば首や肩等)を含んでもよい。また、顔領域とは必ずしも、頭頂部からあごの先までを含む領域である必要はない。例えば、顔領域として、額から口までの領域を設定しておけば、図7(C)に示したような撮像画像が得られる。つまり、顔領域とは顔に基づく領域であれば十分であり、本実施形態は図7(C)のようなケースも含みうる。
また、被写体とは例えば人物であり、第1の画像領域とは人物の顔領域であるとともに、第2の画像領域は人物の全身領域であってもよい。そして、撮像装置は、撮像画像において人物の顔領域の基準位置及びサイズの特定情報を認識する顔認識部164と、顔認識部が認識した特定情報により特定される顔領域の基準位置及びサイズに基づいて、人物の全身領域の基準位置とサイズを推定する全身領域推定部166を含んでもよい。さらに、倍率制御部は、全身領域推定部166が推定した全身領域の基準位置及びサイズに基づいて、人物の全身領域全体が撮像画像に収まる倍率にズーム倍率を設定する制御を行ってもよい。
これにより、人物を撮影するにあたって、全身領域の基準位置とサイズを認識することが可能になる。そして、全身領域の基準位置とサイズに基づいて、全身領域全体が撮像画像に収まる倍率にズーム倍率を設定する制御を行うことで、全身ショットに好適な構図を設定することが可能になる。
ここで、「全身領域全体が撮像画像に収まる」とは、上述した顔領域の例と同様、様々なケースが考えられる。図8(A)のように、撮像画像いっぱいに全身(頭頂部から足先まで)が表示されていてもよいし、図8(B)のように、余白(背景)にあたる領域があってもよい。また、全身領域とは、頭頂部から足先までではなく、例えば膝上までの領域であってもよく、その場合は図8(C)のように表示される。顔領域と同様、本実施形態においては、全身領域とは全身に基づく領域であれば十分である。
4.顔領域の追跡
本実施形態では、基本的に顔検出技術にのみに基づいた処理を対象として説明しているので、例えば、顔アップの構図から、ユーザがカメラ中心を上下左右のどちらかにシフトもしくはチルトさせて移動させた場合などに、顔を見失ってしまわないような機構が必要となる。
本実施形態では、基本的に顔検出技術にのみに基づいた処理を対象として説明しているので、例えば、顔アップの構図から、ユーザがカメラ中心を上下左右のどちらかにシフトもしくはチルトさせて移動させた場合などに、顔を見失ってしまわないような機構が必要となる。
そのため、顔検出が可能なように、顔検出枠が、画像内に収まる範囲内でズーム倍率を定める機構を備えている。すなわち、倍率決定部168において、画像中心が顔の中心から遠ざかっているか否かをD1(t)<D1(t+1)によって判定し、遠ざかっていると判定した場合には、顔が画像内に収まるようズーム光学系の倍率を決定する。以下この処理について具体的に説明する。
今、時刻tと時刻t+1において、画像中心と顔中心の距離がD1(t)およびD1(t+1)であり、下式(10)を満たすとき、すなわち、画像中心から顔中心が離れたと判断された場合に対処すればよい。
D1(t+1)>D1(t) ・・・・・(10)
このとき、離れていく速度が一定、すなわち、加速度0を仮定すると、画像中心と顔中心の距離をD(t+2)とするとき、下式(11)が成り立つ。
このとき、離れていく速度が一定、すなわち、加速度0を仮定すると、画像中心と顔中心の距離をD(t+2)とするとき、下式(11)が成り立つ。
D1(t+2)−D1(t+1)=D1(t+1)−D1(t) ・・・・・(11)
時刻t+2での画像上での顔の大きさをF(t+2)とし、M×Nの画像の中に、顔が収まるためには、図9を参照すると、下式(12)を満たす必要がある。
時刻t+2での画像上での顔の大きさをF(t+2)とし、M×Nの画像の中に、顔が収まるためには、図9を参照すると、下式(12)を満たす必要がある。
D1(t+2)+F(t+2)/2≦min(M,N)/2 ・・・・・(12)
上記の2式からD1(t+2)を消去すると下式(13)を得る。
F(t+2)≦min(M,N)+4×D1(t+1)−2×D1(t)・・・(13)
すなわち、時刻t+2において、上式(13)を満たすような顔の大きさF(t+2)となるようズーム倍率を決定すれば、画像内に顔が収まることになる。
上記の2式からD1(t+2)を消去すると下式(13)を得る。
F(t+2)≦min(M,N)+4×D1(t+1)−2×D1(t)・・・(13)
すなわち、時刻t+2において、上式(13)を満たすような顔の大きさF(t+2)となるようズーム倍率を決定すれば、画像内に顔が収まることになる。
以上の本実施形態では、倍率制御部は、人物の顔領域の基準位置が、撮像画像の測定基準位置から遠ざかっていると判定された場合には、図9に示したように、顔領域全体が撮像画像に収まる倍率にズーム倍率を下げる制御を行う。
ここで、顔領域の基準位置が撮像画像の測定基準位置から遠ざかっているとは、上述した式(10)が成り立つ場合であり、その場合には上述した式(13)で決められる顔の大きさF(t+2)が撮像画像に収まるようにズーム倍率を設定する制御を行う。
これにより、時刻t+1の段階において、時刻t+2での顔領域の移動を予測し、時刻t+2において、顔領域全体が撮像画像に収まるような倍率にズーム倍率を設定する制御を行うことが可能になる。よって、顔領域を追跡することができるため、顔アップの構図を決定することが可能になるし、また、全身領域の基準位置とサイズを推定し、全身ショットの構図を決定することも可能になる。
5.フローチャート
次に、処理の流れについて図10を用いて説明する。画像取得部125において、S101で、撮影時のスルー画像を取得する。次に、顔認識部164において、S102で、画像中に顔があるか否かの判定を行い、顔がある場合には、顔の中心、大きさを求める。
次に、処理の流れについて図10を用いて説明する。画像取得部125において、S101で、撮影時のスルー画像を取得する。次に、顔認識部164において、S102で、画像中に顔があるか否かの判定を行い、顔がある場合には、顔の中心、大きさを求める。
続いて、距離情報取得部163において、S103で、画像中心と顔の中心との時刻tでの距離D1(t)を求める。倍率決定部168において、S104で、D1(t)が所定の閾値ε1より小さいか否かを判定し、ε1より小さいと判定した場合には、S105で、顔アップの構図に好適となるようズーム光学系の倍率を定める。
さらに、倍率決定部168において、S106で、画像中心が顔の中心から遠ざかっているか否かをD1(t)<D1(t+1)によって判定し、遠ざかっていると判定した場合には、S107で、顔が画像内に収まるようズーム光学系の倍率を決定する。
続いて、全身領域推定部166において、S108で、顔の中心・大きさ・上下の向き、頭身比の情報から、全身の中心と大きさを推定する。次に、距離情報取得部163において、S109で、顔の中心と全身の中心の時刻tでの距離D2(t)を算出する。倍率決定部168において、S110で、D2(t)が所定の閾値ε2より小さいか否かを判定し、ε2より小さいと判定した場合には、S111で、全身撮影の構図に好適なズーム光学系の倍率を決定する。倍率制御部において、S112で、オートズームの終了命令がなければ、S101の画像入力に戻る一方、終了命令があれば、オートズームを終了する。
6.変形例
このように、カメラを顔や全身の中心に向けるだけで、顔アップと全身撮影に好適なズーム倍率に自動設定される。なお、構図は顔アップと全身ショットの2つに限定されるものではない。顔アップと全身撮影の中間として、例えば、バストショットの構図を定義しておき、この構図にオートズームできるようにしても良い。
このように、カメラを顔や全身の中心に向けるだけで、顔アップと全身撮影に好適なズーム倍率に自動設定される。なお、構図は顔アップと全身ショットの2つに限定されるものではない。顔アップと全身撮影の中間として、例えば、バストショットの構図を定義しておき、この構図にオートズームできるようにしても良い。
また、これまで、顔や全身の中心を基準にして説明してきたが、基準が必ずしも顔や全身の領域中心である必要はなく、例えば、顔や全身の領域中心からずれた基準位置をユーザに指定してもらい、その基準位置と画像中心を比較するようにしてもよい。また、撮像画像の基準位置も画像中心である必要はなく、画像中心からずれた位置を測定基準位置としてユーザに指定してもらうようにしても構わない。
また、全身サイズの推定では、Rを一定とした(全ての人物をR等身とした)が、これに限定されるものではない。人物の顔領域の情報から、年齢や性別を推定し、推定した年齢、性別に基づいて等身を決定してもよい。具体的には例えば、幼い子供は等身が低く設定され、大人は等身が高く設定される。また、高齢者は場合によっては等身を低くしてもよい。
また、顔認識部164で認識した顔情報を用いて、個人認証を行ってもよい。記憶部150は、人物データベースを保持しておき、人物の顔領域の特徴量を記憶する。そして、被写体が特定の人物であると判定された場合には、その人物に関連づけられた等身情報を用いて全身サイズを推定する。もしくは、全身サイズ情報そのものを記憶しておいてもよい。この際、人物に関連づけられた等身情報もしくは全身サイズ情報は、予めユーザにより入力されたものでもよいし、過去の撮影の際に用いた値を記憶しておいてもよい。
また、全身領域推定部166における推定には、姿勢検出の手法を併用してもよい。つまり、被写体が直立しているのか、いすに座っているのか、床にしゃがんでいるのか等を認識した上で、等身を推定してもよい。この場合、直立に比べていすに座っている場合の方が等身は低く、いすに座っている場合に比べて床にしゃがんでいる方がさらに等身が低い。また、姿勢検出及び全身検出の精度が高いことが期待されるのであれば、等身情報ではなく、直接全身サイズ情報を求めてもよい。
また、本実施形態では、ズーム手法は光学ズームでもよいし、デジタルズームでもよいものとして説明したがこれに限定されるものではない。光学ズームのみを用いてズームを行ってもよいし、デジタルズームのみを用いてズームを行ってもよい。
また、被写体が動いている場合には、倍率を保ったまま追尾しようとしている可能性が高いため、ここで提案したオートズームは、被写体が静止している場合を検知して働くことが望ましい。被写体の静止状態の判定には、現状のデジタルカメラの被写体ブレ検知機能などを用いれば良い。
以上の本実施形態においては、顔認識部164は人物の顔領域の画素の特徴量に基づいて、人物の年齢及び性別の少なくとも一方の情報を認識し、全身領域推定部166は、年齢及び性別の少なくとも一方の情報と、人物の顔領域のサイズとに基づいて、人物の全身領域の基準位置及びサイズを推定してもよい。
これにより、上述したように、年齢や性別に基づいて、等身を変化させることが可能になり、より全身領域の基準位置及びサイズの推定を正確にすることができる。
また、撮像部115は、ズーム光学系110を含み、倍率制御部は、位置関係取得部162が取得した位置関係情報に基づいて、ズーム光学系110におけるズーム倍率を制御してもよい。
これにより、光学ズームのみに基づいて、顔アップや全身ショット等の構図に適したズーム倍率を設定する制御を行うことが可能になる。よって、画質を劣化させることなくズームを行うことができる。
(第2の実施形態)
図11〜図16を用いて、第2の実施形態について説明する。本実施形態も、前掲の実施形態と同様に、ユーザが、被写体のどの部分を画像の中心に置こうとしているかを、カメラ等の撮像装置が自動的に判定し、ユーザが望む顔アップや全身ショット等の構図に合うように、光学系のズーム倍率を自動的に制御する。但し、本実施形態では、部位検出部と、全体検出部と、構図決定部と、ズーム倍率演算部を備えるズーム倍率決定部と、がさらに設けられ、正確なオートズーム制御が可能である。
図11〜図16を用いて、第2の実施形態について説明する。本実施形態も、前掲の実施形態と同様に、ユーザが、被写体のどの部分を画像の中心に置こうとしているかを、カメラ等の撮像装置が自動的に判定し、ユーザが望む顔アップや全身ショット等の構図に合うように、光学系のズーム倍率を自動的に制御する。但し、本実施形態では、部位検出部と、全体検出部と、構図決定部と、ズーム倍率演算部を備えるズーム倍率決定部と、がさらに設けられ、正確なオートズーム制御が可能である。
図11は、第2の実施形態の撮像装置の構成例を示す図である。全体構成は、図1に示される撮像装置と同様である。但し、本実施形態では、所定部位検出部165と、全体検出部167と、構図決定部171と、ズーム倍率演算部169を備えるズーム倍率決定部(倍率決定部)168と、が設けられている。
所定部位検出部165は、第1画像領域としての、被写体の所定部位領域の基準位置と大きさを検出する。また、全体検出部167は、第2画像領域としての、被写体の全体領域の基準位置と大きさを検出する。
ここで、被写体の所定部位は、被写体の全体の一部であり、例えば、人の顔や胸が、被写体の所定部位となり得る。また、被写体の全体とは、撮像画像に含まれる被写体の全体(全部)であり、全体の中身は問わない。例えば、被写体の全体は、例えば人の全身であり、また、例えば、人の体の一部が欠けている場合(例えば、足首以下が欠けているような場合)であっても、被写体の全体ということができる。
また、構図決定部171は、被写体の所定部位領域を中心とする構図とするか、あるいは被写体の全体領域を中心とする構図とするかを決定する。
また、ズーム倍率決定部168に含まれるズーム倍率演算部169は、決定された構図に含まれる被写体の所定部位領域または被写体の全体領域が、所望の画像枠内に収まるという条件を満足するズーム倍率を、被写体の所定部位領域の大きさ、または被写体の全体領域の大きさに基づく演算によって求める。
図13(A)は全身領域を撮像する際の構図、図13(B)は顔領域を撮像する際の構図を示す図である。被写体が人であるとき、例えば人の全身を撮影するときは、図13(A)に示されるように、全身が写っている構図が採用される。また、人の顔をアップで撮影する場合には、図13(B)に示されるように、顔アップで写っている構図が採用される。このような構図の決定は、人の全身領域(人の全体領域)ならびに人の顔領域(所定部位領域)の大きさや、各領域の基準位置の位置関係等に基づいて、カメラ内で自動的に行われる。以下、具体的に説明する。
図12は、第2実施形態の処理を説明するためのフローチャートである。図12の処理において、被写体の所定部位は、人の顔であり、被写体の全体は、人の全身(あるいは略全身であってもよい)としている。但し、これは一例であり、この例に限定されるものではなく、例えば、被写体が植物である場合もあり得る。
図12の処理において、撮像部115によって撮像された画像が入力されると(ステップS201)、全体検出部167は、被写体である人の全身を検出する(ステップS202)。次に、所定部位検出部165は、被写体である人の顔を検出する(ステップS203)。
構図決定部171は、人の顔(人の顔領域)を中心とする構図とするか、あるいは人の全身(人の全身領域)を中心とする構図とするかを決定する処理を実行する(ステップS204〜ステップS208)。構図決定部171による構図決定の処理は、顔および全身の有無によって、4つの場合(第1のケース〜第4のケース)に場合分けされる(ステップS204)。
第1のケースは、顔無し、全身無しの場合であり(ステップS205)、第2のケースは、顔あり、全身無しの場合であり(ステップS206)、第3のケースは、顔あり、全身ありの場合であり(ステップS207)、第4のケースは、顔なし、全身ありの場合である(ステップS208)。
第1のケース(顔無し、全身無しの場合)は、現在のズーム倍率の設定が適切ではないことが原因と考えられることから、ズーム倍率決定部(倍率決定部)168は、ズーム倍率の再設定処理を実行する。すなわち、ズーム倍率決定部(倍率決定部)168は、ズーム倍率が広角端に対応するズーム倍率でないかを確認し(S209)、広角端に対応するズーム倍率であれば、オートズーム終了命令によってオートズーム制御を終了する(ステップS218)。
広角端に対応するズーム倍率でないときは、より低い倍率のズーム倍率を再設定する(ステップS209)。この場合、全体検出部167は、ズーム倍率が再設定される毎に、人の全身の検出処理を実行し(ステップS202)、また、所定部位検出部165は、ズーム倍率が再設定される毎に、顔の検出処理を実行する(ステップS203)。また、構図決定部171は、ズーム倍率が再設定される毎に、人の顔(人の顔領域)を中心とする構図とするか、あるいは人の全身(人の全身領域)を中心とする構図とするかを決定する処理を実行する(ステップS204〜S208)。このような処理が、第1のケース(顔無し、全身無しの場合)が生じなくなるまで繰り返し実行される。この処理によって、オートズームに成功する可能性が高まる。
また、人の顔は検出されたが、人の全身の検出ができなったときには(第3のケース:ステップS207)、ユーザは、顔アップの構図による撮像を望んでいると推定できる。よって、構図決定部171は、顔を中心とする構図を採用する。すなわち、顔アップの構図への移行を開始する(ステップS214)。
また、人の顔を検出できず、人の全身は検出できたときには(第4のケース:ステップS208)、構図決定部171は、人の全身を中心とする構図を採用する。第4のケースが生じる場合としては、例えば、以下の場合がある。すなわち、顔の検出には、例えば、所定サイズ以上、例えば、20画素×20画素が必要である。人の全身が、10画素相当の横幅、80画素相当の縦幅のサイズで検出できたとき、顔のサイズは、八頭身では、縦幅、横幅は共に、10画素程度の幅となってしまう。したがって、この場合は、全身は検出できるが、顔のサイズは小さすぎることから、顔の検出はできないことになる。
構図決定部171は、このような場合、全身を中心とする構図を採用する。すなわち、全身ショットの構図への移行を開始する(ステップS216)。このような処理によって、顔の検出ならびに全身の検出の結果に基づいて、スムーズかつ迅速に、構図の決定ならびに構図の移行を行える。
また、顔あり、全身ありの場合(第3のケース:ステップS207)、構図決定部171は、顔中心の構図とするか、全身中心の構図とするかを、位置関係取得部162に含まれる距離情報取得部163によって取得される距離情報(第1の距離情報、第2の距離情報)に基づいて決定する(ステップS211〜S213)。
すなわち、位置関係取得部162に含まれる距離情報取得部163は、顔および全身の双方が検出されたときには、撮像画像の中心(画像中心)を原点とする2次元座標系における、顔の基準位置(顔中心)の座標である第1座標と、全身の基準位置(全身中心)の座標である第2座標とを求める。ここで、第1座標を(xa,ya)とし、第2座標を、(Xc,Yc)とする。ステップS211では、第2座標(xc,yc)の頭身方向成分である縦座標値の絶対値(|yc|)の情報が取得される。ステップS212では、第1座標(xa,ya)の頭身方向成分である縦座標値の絶対値(|ya|)の情報が取得される。ここで、縦座標値の絶対値を求めるのは、「座標値」は負の極性となることもあるが、「距離」は常に正の極性であるからである。つまり、第1座標や第2座標における縦座標値の絶対値は、測定基準点からの距離を表している。
第1座標(xa,ya)における縦座標値の絶対値(|ya|)は、顔の基準位置(顔中心)と、その顔の基準位置(顔中心)を通る頭身方向の直線が、横座標軸と交わる点である測定基準位置との間の距離(第1の距離情報)を示している。同様に、第2座標(xc,yc)における縦座標値の絶対値(|yc|)は、全身の基準位置(全身中心)を通る頭身方向の直線が、横座標軸と交わる点である測定基準位置との間の距離(第2の距離情報)を示している。
構図決定部171は、第1座標(xa,ya)についての距離(縦座標値の絶対値(|ya|))と、第2座標(xc,yc)についての距離(縦座標値の絶対値(|yc|))を比較し、小さい方に対応する構図を採用する(ステップS213)。
例えば、第1座標の距離(縦座標値の絶対値(|ya|))の方が小さいときは、ユーザは、顔を画像の中心に置こうとしていると推定できることから、構図決定部171は、顔を中心とする構図を採用し、顔アップの構図への移行を開始する(ステップS214)。また、第2座標(xc,yc)の距離(縦座標値の絶対値(|yc|))の方が小さいときは、構図決定部171は、全身を中心とする構図を採用し、全身ショットの構図への移行を開始する(ステップS216)。
また、構図の移行に際して、被写体(人)の欠けを防止する必要があることから、ズーム倍率決定部(倍率決定部)168に備わっているズーム倍率演算部169は、決定された構図に含まれる人の顔または全身が、所望の画像枠内に収まるという条件を満足するズーム倍率を、顔(顔領域)の大きさ、または全身(全身領域)の大きさに基づく演算によって求める。
すなわち、顔アップの構図への移行が開始されると(ステップS214)、ズーム倍率演算部169は、例えば、顔が所望の画像枠内に収まるという条件を満足する、許容される最大のズーム倍率(許容倍率)を求める。ズーム倍率決定部(倍率決定部)168は、ズーム倍率演算部169によって求められズーム倍率に基づいて、ズーム倍率を制御する。すなわち、ズーム倍率決定部(倍率決定部)168は、許容される最大倍率(許容倍率)の範囲でズーム倍率を変更する。例えば、顔が欠けない倍率までズーム倍率を増大させる(ステップS215)。
また、全身ショットの構図への移行が開始されると(ステップS216)、ズーム倍率演算部169は、例えば、全身が所望の画像枠内に収まるという条件を満足する、許容される最大のズーム倍率(許容倍率)を求める。ズーム倍率決定部(倍率決定部)168は、ズーム倍率演算部169によって求められズーム倍率に基づいて、ズーム倍率を制御する。すなわち、ズーム倍率決定部(倍率決定部)168は、許容される最大倍率(許容倍率)の範囲でズーム倍率を変更する。例えば、全身が欠けない倍率までズーム倍率を減少させる(ステップS217)。
以上の動作は、オートズーム終了命令によって終了する(ステップS218)。オートズーム終了命令は、例えば、ズーム倍率決定部169が出力する。
このように、ユーザが、例えば人物を撮影する場合に、人の所定部位(例えば顔)の中心を画像中心に置こうとするか、人の全体(例えば全身)の中心を画像中心の方に置こうとするかをカメラの内部で判定し、顔アップ、全身ショットなどの構図に合うように、光学系のズーム倍率を制御することができる。ズーム倍率が自動で制御されるため、ユーザの操作負担が軽減され、また、構図のよい画像を容易に撮影すること等が可能となる。
次に、図14〜図16を参照して、構図決定処理ならびに許容される最大のズーム倍率の演算処理、ズーム倍率の決定処理について、具体的に説明する。
図14は、2次元座標系における顔の大きさと、顔の中心位置と、顔の中心位置と測定基準位置との間の距離について説明するための図である。上述のとおり、位置関係取得部162に含まれる距離情報取得部163は、顔および全身の双方が検出されたときには、撮像画像の中心(画像中心)を原点とする2次元座標系における、顔の基準位置(顔中心)の座標である第1座標と、全身の基準位置(全身中心)の座標である第2座標とを求める。図14では、説明の便宜上、2次元座標系には顔のみを記載している。なお、撮像画像に顔と全身が共に含まれる例については、図15および図16を用いて後述する。
図14において、撮像画像(以下、単に画像という)は、所望の画像枠G内に表示される。ここで、カメラの画像中心(Ax,Ay)を、2次元座標系の原点(0,0)とする。そして、この原点(0,0)を通り、かつ互いに直交する横座標軸(X軸)と縦座標軸(Y軸)とによって、2次元座標系(すなわち、x,y座標系)が規定(定義)される。また、画像枠Gの横幅をMとし、画像枠の高さ(縦の長さ)をNとする。例えば、入力される画像が、撮像部115で撮像されたスルー画像である場合、画像枠Gは、M=640、N=480のVGAサイズとすることができる。
上述したとおり、全体検出部167は、入力された画像に含まれる被写体(人)の顔の大きさと、顔の基準位置(顔中心)とを求める。図14に示される例では、顔のサイズは、太線で囲まれる四角形の面積で示される。すなわち、図14の例では、顔の横幅はWaであり、顔の高さ(縦幅)はhaである。また、顔の基準位置(顔中心)の座標(第1座標)を(xa1,ya1)とする。第1座標の、頭身方向成分である縦座標軸(y軸)の値の絶対値(|ya1|)は、測定基準位置Q(三角形で示される)と、第1座標(xa1,ya1)との間の距離L1を示している。
ここで、頭身方向とは、頭と足を結ぶ方向であり、図14の例では、縦座標軸(y軸)方向に一致する。尚、縦位置での撮影も考慮して、全身検出を3方向に対して適応してもよい。
また、測定基準位置Qは、第1座標(xa1,ya1)を通る、頭身方向の直線が、横座標軸(X軸)と交わる点に位置する。第1実施形態では、画像中心(Ax,Ay)を測定基準位置としていたが、第2実施形態では、点Qを、測定基準位置としている。ユーザが、顔アップの構図や全身ショットの構図を採用するとき、光学系の光軸の位置は、y軸方向に沿ってシフトされるのが通常である。この点に着目して、第1座標(xa1,ya1)と同じx座標を有し、かつ、第1座標を、y軸方向に沿ってシフトさせたときにy軸と交わる点であるQ点(xa1,0)を、本実施形態では測定基準位置とする。
図15は、画像に顔、上半身ならびに全身が含まれるときにおける、構図決定方法について説明するための図である。図15に示されるように、画像枠G内の画像には、顔領域(広義には第1部位領域)と、上半身領域(広義には第2部位領域)と、全身領域(広義には全体領域)と、が含まれる。顔領域(第1部位領域)の大きさを示す枠がk1であり、上半身領域(第1部位領域)の大きさを示す枠がk2であり、全身領域(全体領域)の大きさを示す枠がk3である。
また、顔中心(広義には、第1部位の基準位置)を(xa1,ya1)とし、上半身中心(広義には、第2部位の基準位置)を(xb1,yb1)とし、全身中心(広義には、全体領域の基準位置)を(xb1,yb1)とする。顔中心、上半身中心ならびに全身中心の各々は、頭身方向(すなわちy軸方向)に沿って直線状に配置されている。
測定基準位置Qと、顔中心(xa1,ya1)との間の距離(つまり、顔中心の頭身方向成分の絶対値|ya1|)をL1とする。また、測定基準位置Qと、上半身中心(xb1,yb1)との間の距離(つまり、上半身中心の頭身方向成分の絶対値|yb1|)をL2とする。また、測定基準位置Qと、全身中心(xc1,yc1)との間の距離(つまり、全身中心の頭身方向成分の絶対値|yc1|)をL3とする。|ya1|>|yb1|>|yc1|である。つまり、L3>L2>L1である。このような場合、ユーザは、画像の中心に、全身を置こうとしていると推定することができる。
そこで、構図決定部171は、各座標の頭身方向成分の絶対値を比較して、小さい方に対応する構図を採用する。すなわち、構図決定部171は、まず、|ya1|と|yb1|とを比較する。|ya1|>|yb1|であることから、|yb1|が選ばれる。次に、|yb1|と|yc1|とを比較する。|yb1|>|yc1|であることから、|yc1|が選ばれる。そして、|yc1|に対応する構図は、全身中心の構図(広義には、全体領域を中心とする構図)である。よって、構図決定部171は、全身中心の構図(全体領域を中心とする構図)を採用する(図12におけるステップS213,S216)。
次に、図16(A)および図16(B)を参照する。図16(A)および図16(B)は、構図移行に伴うズーム倍率決定方法の一例を説明するための図である。先に示した図15の例では、測定基準位置Qと全身中心(xc1,yc1)との間の距離L3(|yc1|)が最も小さかった。これに対して、図16(A)の例では、測定基準位置Qと顔中心(xa1,ya1)との間の距離L1(|ya1|)が最も小さくなっている。これは、ユーザが、顔アップの構図とするために、光学系の光軸を、y軸に沿って移動させたためである。
図16(A)の例では、構図決定部171は、距離L1(|ya1|)が最も小さいと判定し、顔アップの構図への移行処理を実行する(図12のステップS213,S214)。この結果、図16(B)に示されるように、画像枠G内の画像は、図16(A)の全身中心の構図の画像から、図16(B)の顔アップの構図の画像へとシフトする。但し、この構図移行に際して、被写体の一部が欠けないように、適切なズーム倍率を設定することが必要となる。
そこで、先に図12を用いて説明したように、ズーム倍率決定部(倍率決定部)168に備わっているズーム倍率演算部169は、構図決定部171によって決定された構図に含まれる人の顔または全身が、所望の画像枠G内に収まるという条件を満足するズーム倍率(許容される最大の倍率)を、顔(顔領域)の大きさ、または全身(全身領域)の大きさに基づく演算によって求め、ズーム倍率決定部(倍率決定部)168は、求められた許容される最大の倍率を超えない範囲で、ズーム倍率を設定する(ステップS215,S217)。
ズーム倍率演算部169は、例えば、下記の式(1)から式(4)を満たし、かつ、下記の式(1)から式(4)のうちの少なくとも一つの等号を満たす、全身または顔の検出枠の中心(xI,yI)と、枠の横幅wIと、枠の高さwIとを求め、求められた結果に基づいて、許容される最大の倍率を求める。
この点について、図16(B)を参照して説明する。なお、画像枠Gの右端部のx軸値は、M/2であり、画像枠Gの左端部のx軸値は、−M/2である。また、画像枠Gの上端部のy軸値は、N/2であり、画像枠Gの下端部のy軸値は、−N/2である。
まず、顔アップ画像の中心(顔中心)の座標を決定する。例えば、図16(B)に示される例では、顔アップ画像における顔中心の座標は、(xa1,yd1)である。つまり、顔アップ画像における顔中心の座標(xa1,yd1)は、図16(A)における、構図移行前の顔中心の座標(xa1,ya1)と、x座標が同じで、y座標が異なる座標である。なお、これは一例であり、構図移行後の顔中心の座標は、自由に設定することができる。例えば、原点(0,0)を、構図移行後の顔中心の座標としてもよい。
次に、構図移行後の顔中心(xa1,yd1)を基準として、顔の大きさを示す枠k1の横幅Waと高さhaとの比を同じに維持しつつ、枠k1を拡大していく。ここで、拡大された枠をk1’とし、この拡大された枠k1’の横幅をwIとし、高さをhIとする。すると、まず、上述の式(1)における等号が満足される状態となる。これが、図16(B)に示される状態である。枠k1’をこれ以上、拡大すると、顔の一部は、所望の画像枠Gから逸脱してしまうことから、図16に示される状態における拡大された枠k1’が、顔アップの構図における最大の顔サイズを示していることになる。つまり、上述の式(1)から式(4)を満たし、かつ、上述の式(1)から式(4)のうちの少なくとも一つ(ここでは、式(1))の等号を満たす、全身または顔の検出枠の中心(xI,yI)と、枠k1’の横幅wIと、枠k1’の高さwIとが求められたことになる。
ここで、図16(A)に示される、構図移行前の顔の大きさを示す枠k1と、図16(B)に示される拡大された枠k1’との比較(つまり、横幅または高さの比較)から、許容される最大の倍率が求まる。ズーム倍率演算部169は、このようにして、許容される最大の倍率を求める。
ズーム倍率決定部(倍率決定部)168は、許容される最大の倍率を超えない範囲で、ズーム倍率を設定する。例えば、許容される最大の倍率を、そのまま実際のズーム倍率として採用することができる。なお、画角(表示されている画像の範囲)と、設定されるズーム倍率とは、1:1に対応する。このようなズーム倍率制御によって、被写体の欠けを確実に防止しつつ、適切なズーム倍率を設定することができる。
このように、本実施形態によれば、ユーザは、撮影したい関心領域である顔や全身の中心にカメラを向ければ、それに応じてカメラ側で、光学ズームが自動制御されるので、ユーザのカメラ操作の負担を軽減できるという効果が得られる。また、光学ズームの自動制御により撮影されるため、デジタルズーム(画像中の領域切り出し)のような画質劣化がないという効果が得られる。
なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。
100 撮像装置、110 撮影レンズ、115 撮像部、120 撮像素子、
125 画像取得部、130 画像処理部、132 電子ズーム処理部、
140 I/F部、150 記憶部、160 処理部、162 位置関係取得部、
163 距離情報取得部、164 顔認識部、166 全身領域推定部、
168 倍率決定部、170 レンズ駆動モータ、180 光学ズーム制御部、
190 画像表示部
125 画像取得部、130 画像処理部、132 電子ズーム処理部、
140 I/F部、150 記憶部、160 処理部、162 位置関係取得部、
163 距離情報取得部、164 顔認識部、166 全身領域推定部、
168 倍率決定部、170 レンズ駆動モータ、180 光学ズーム制御部、
190 画像表示部
Claims (18)
- ズーム倍率の制御を行う倍率制御部と、
撮像部からの撮像画像を取得する画像取得部と、
前記画像取得部が取得した前記撮像画像における、被写体の第1の画像領域の基準位置及び前記被写体の第2の画像領域の基準位置と、前記撮像画像の測定基準位置との相対的な位置関係情報を取得する位置関係取得部と、
を含み、
前記倍率制御部は、
前記位置関係取得部が取得した前記位置関係情報に基づいて、前記ズーム倍率を制御することを特徴とする撮像装置。 - 請求項1において、
前記位置関係取得部は、
前記被写体の前記第1の画像領域の前記基準位置と前記撮像画像の前記測定基準位置との距離情報である第1の距離情報と、前記被写体の前記第2の画像領域の前記基準位置と前記撮像画像の前記測定基準位置との距離情報である第2の距離情報とを、前記位置関係情報として取得する距離情報取得部を含み、
前記倍率制御部は、
前記距離情報取得部が取得した前記第1、第2の距離情報に基づいて、前記ズーム倍率を制御することを特徴とする撮像装置。 - 請求項2において、
前記倍率制御部は、
前記距離情報取得部が取得した前記第1の距離情報により表される距離が、第1の閾値よりも小さい場合には、前記第1の画像領域全体が、前記撮像画像に収まる倍率に前記ズーム倍率を設定する制御を行うことを特徴とする撮像装置。 - 請求項2において、
前記倍率制御部は、
前記距離情報取得部が取得した前記第2の距離情報により表される距離が、第2の閾値よりも小さい場合には、前記第2の画像領域全体が、前記撮像画像に収まる倍率に前記ズーム倍率を設定する制御を行うことを特徴とする撮像装置。 - 請求項1において、
前記被写体は、人物であり、
前記被写体の第1の画像領域は、前記人物の顔領域であることを特徴とする撮像装置。 - 請求項5において、
前記画像取得部が取得した撮像画像において、前記人物の顔領域の基準位置及びサイズの特定情報を認識する顔認識部を含むことを特徴とする撮像装置。 - 請求項6において、
前記倍率制御部は、
前記顔認識部が認識した前記特定情報により特定される、前記人物の顔領域の前記基準位置及び前記サイズに基づいて、前記人物の顔領域全体が前記撮像画像に収まる倍率に前記ズーム倍率を設定する制御を行うことを特徴とする撮像装置。 - 請求項7において、
前記倍率制御部は、
前記人物の顔領域の前記基準位置が、前記撮像画像の前記測定基準位置から遠ざかっていると判定された場合には、前記顔領域全体が前記撮像画像に収まる倍率に前記ズーム倍率を下げる制御を行うことを特徴とする撮像装置。 - 請求項1において、
前記被写体は、人物であり、
前記被写体の第1の画像領域は、前記人物の顔領域であり、
前記被写体の第2の画像領域は、前記人物の全身領域であることを特徴とする撮像装置。 - 請求項9において、
前記画像取得部が取得した撮像画像において、前記人物の顔領域の基準位置及びサイズの特定情報を認識する顔認識部と、
前記顔認識部が認識した前記特定情報により特定される、前記人物の顔領域の前記サイズに基づいて、前記人物の全身領域の基準位置及びサイズを推定する全身領域推定部と、
を含むことを特徴とする撮像装置。 - 請求項10において、
前記倍率制御部は、
前記全身領域推定部が推定した前記人物の全身領域の前記基準位置及び前記サイズに基づいて、前記人物の全身領域全体が前記撮像画像に収まる倍率に前記ズーム倍率を設定する制御を行うことを特徴とする撮像装置。 - 請求項10において、
前記顔認識部は、
前記人物の顔領域における画素の特徴量に基づいて、前記人物の年齢及び性別の少なくとも一方の情報を認識し、
前記全身領域推定部は、
前記顔認識部が認識した前記人物の年齢及び性別の少なくとも一方の情報と、前記人物の顔領域の前記サイズとに基づいて、前記人物の全身領域の前記基準位置及び前記サイズを推定することを特徴とする撮像装置。 - 請求項1において、
前記撮像部は、
ズーム光学系を含み、
前記倍率制御部は、
前記位置関係取得部が取得した前記位置関係情報に基づいて、前記撮像部のズーム光学系における前記ズーム倍率を制御することを特徴とする撮像装置。 - 請求項2において、
前記第1の画像領域としての、前記被写体の所定部位領域の基準位置と大きさを検出する所定部位検出部と、
前記第2の画像領域としての、前記被写体の全体領域の基準位置と大きさを検出する全体検出部と、
前記被写体の所定部位領域を中心とする構図とするか、あるいは前記被写体の全体領域を中心とする構図とするかを決定する構図決定部と、
決定された構図に含まれる前記被写体の所定部位領域または前記被写体の全体領域が、所望の画像枠内に収まるという条件を満足するズーム倍率を、前記被写体の所定部位領域の大きさ、または前記被写体の全体領域の大きさに基づく演算によって求めるズーム倍率演算部を備えるズーム倍率決定部と、
前記位置関係取得部に含まれる前記距離情報取得部は、前記被写体の部位領域および前記被写体の全体領域が検出された場合には、前記撮像画像の中心を原点とし、かつ互いに直交する横座標軸と縦座標軸とによって規定される2次元座標系における、前記所定部位領域の基準位置の座標である第1座標と、前記被写体の全体領域の基準位置の座標である第2座標とを求め、
前記被写体の所定部位領域の基準位置と前記測定基準位置との間の距離を示す、前記第1の距離情報としての、前記第1座標の頭身方向成分である前記縦座標軸値の絶対値の情報と、前記被写体の全体領域の基準位置と前記測定基準位置との間の距離を示す、前記第2の距離情報としての、前記第2座標の頭身方向成分である前記縦座標軸値の絶対値の情報とを取得し、
前記構図決定部は、前記第1座標の前記縦座標軸値の絶対値と、前記第2座標の前記縦座標軸値の絶対値と、を比較し、前記第1座標の縦座標値の絶対値の方が小さいときは、前記被写体の所定部位領域を中心とする構図を採用し、前記第2座標の縦座標値の絶対値の方が小さいときは、前記被写体の全体領域を中心とする構図を採用し、
前記ズーム倍率制御部は、前記ズーム倍率演算部によって求められズーム倍率に基づいて、ズーム倍率を制御することを特徴とする撮像装置。 - 請求項14において、
前記構図決定部は、
前記被写体の所定部位領域は検出されたが、前記被写体の全体領域の検出ができなったときには、前記所定部位領域を中心とする構図を採用し、
前記被写体の所定部位領域を検出できず、前記被写体の全体領域は検出できたときには、前記被写体の全体を中心とする構図を採用することを特徴とする撮像装置。 - 請求項15において、
前記被写体の所定部位領域および前記被写体の全体領域の双方が検出されなかったときにおいて、
前記ズーム倍率決定部は、
ズーム倍率が広角端に対応するズーム倍率であるかを確認し、広角端に対応するズーム倍率であれば、ズーム制御を終了し、広角端に対応するズーム倍率でないときは、より低い倍率のズーム倍率を再設定し、
前記所定部位検出部は、前記ズーム倍率が再設定される毎に、前記所定部位の検出処理を実行し、
前記全体検出部は、前記ズーム倍率が再設定される毎に、前記被写体の全体の検出処理を実行し、
前記構図決定部は、前記ズーム倍率が再設定される毎に、前記被写体の所定部位領域を中心とする構図とするか、あるいは前記被写体の全体領域を中心とする構図とするかを決定する処理を実行することを特徴とする撮像装置。 - 請求項14〜請求項17のいずれかにおいて、
前記所定部位領域は顔領域であり、前記所定部位検出部は、前記被写体の顔の基準位置と大きさを検出し、
前記被写体の全体領域は、被写体の略全身領域または全身領域であり、前記全体検出部は、前記被写体の略全身領域または全身領域の基準位置と大きさを検出することを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010249541A JP2012039591A (ja) | 2010-07-15 | 2010-11-08 | 撮像装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010160623 | 2010-07-15 | ||
JP2010160623 | 2010-07-15 | ||
JP2010249541A JP2012039591A (ja) | 2010-07-15 | 2010-11-08 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012039591A true JP2012039591A (ja) | 2012-02-23 |
Family
ID=45851026
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010249541A Withdrawn JP2012039591A (ja) | 2010-07-15 | 2010-11-08 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012039591A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014178228A1 (ja) | 2013-04-30 | 2014-11-06 | ソニー株式会社 | クライアント端末、表示制御方法、プログラム、およびシステム |
JP2015118287A (ja) * | 2013-12-18 | 2015-06-25 | 株式会社デンソー | 顔画像撮影装置、および運転者状態判定装置 |
JP2016122875A (ja) * | 2014-12-24 | 2016-07-07 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体 |
JP2016122874A (ja) * | 2014-12-24 | 2016-07-07 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体 |
JP2016192593A (ja) * | 2015-03-30 | 2016-11-10 | キヤノン株式会社 | ズーム制御装置、ズーム制御装置の制御方法 |
WO2017026193A1 (ja) * | 2015-08-12 | 2017-02-16 | ソニー株式会社 | 画像処理装置と画像処理方法とプログラムおよび画像処理システム |
JP2020039165A (ja) * | 2014-12-24 | 2020-03-12 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム |
US10701274B2 (en) | 2014-12-24 | 2020-06-30 | Canon Kabushiki Kaisha | Controlling zoom magnification based on image size |
CN113691777A (zh) * | 2021-08-18 | 2021-11-23 | 浙江大华技术股份有限公司 | 球机的变倍跟踪方法及装置、存储介质及电子装置 |
-
2010
- 2010-11-08 JP JP2010249541A patent/JP2012039591A/ja not_active Withdrawn
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9635249B2 (en) | 2013-04-30 | 2017-04-25 | Sony Corporation | Client terminal, display control method, program, and system |
WO2014178228A1 (ja) | 2013-04-30 | 2014-11-06 | ソニー株式会社 | クライアント端末、表示制御方法、プログラム、およびシステム |
US9967458B2 (en) | 2013-04-30 | 2018-05-08 | Sony Corporation | Controlling a client terminal to automatically determine image settings |
US10019638B2 (en) | 2013-12-18 | 2018-07-10 | Denso Corporation | Face image capturing device and driver condition determination device |
JP2015118287A (ja) * | 2013-12-18 | 2015-06-25 | 株式会社デンソー | 顔画像撮影装置、および運転者状態判定装置 |
JP2016122874A (ja) * | 2014-12-24 | 2016-07-07 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体 |
JP2016122875A (ja) * | 2014-12-24 | 2016-07-07 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体 |
JP2020039165A (ja) * | 2014-12-24 | 2020-03-12 | キヤノン株式会社 | ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム |
US10701274B2 (en) | 2014-12-24 | 2020-06-30 | Canon Kabushiki Kaisha | Controlling zoom magnification based on image size |
US11172133B2 (en) | 2014-12-24 | 2021-11-09 | Canon Kabushiki Kaisha | Zoom control device, control method of zoom control device, and recording medium |
JP2016192593A (ja) * | 2015-03-30 | 2016-11-10 | キヤノン株式会社 | ズーム制御装置、ズーム制御装置の制御方法 |
WO2017026193A1 (ja) * | 2015-08-12 | 2017-02-16 | ソニー株式会社 | 画像処理装置と画像処理方法とプログラムおよび画像処理システム |
JPWO2017026193A1 (ja) * | 2015-08-12 | 2018-05-31 | ソニー株式会社 | 画像処理装置と画像処理方法とプログラムおよび画像処理システム |
US10867365B2 (en) | 2015-08-12 | 2020-12-15 | Sony Corporation | Image processing apparatus, image processing method, and image processing system for synthesizing an image |
CN113691777A (zh) * | 2021-08-18 | 2021-11-23 | 浙江大华技术股份有限公司 | 球机的变倍跟踪方法及装置、存储介质及电子装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11172133B2 (en) | Zoom control device, control method of zoom control device, and recording medium | |
JP2012039591A (ja) | 撮像装置 | |
CN109194876B (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
KR102143456B1 (ko) | 심도 정보 취득 방법 및 장치, 그리고 이미지 수집 디바이스 | |
TWI425826B (zh) | 影像選擇裝置、影像選擇方法 | |
US7801432B2 (en) | Imaging apparatus and method for controlling the same | |
US9025044B2 (en) | Imaging device, display method, and computer-readable recording medium | |
KR101811717B1 (ko) | 줌 제어 방법 및 장치와, 디지털 촬영 장치 | |
US8934040B2 (en) | Imaging device capable of setting a focus detection region and imaging method for imaging device | |
US20160191810A1 (en) | Zoom control device, imaging apparatus, control method of zoom control device, and recording medium | |
JP2006211139A (ja) | 撮像装置 | |
JP5963606B2 (ja) | 撮像装置及びその制御方法 | |
KR101788740B1 (ko) | 피사체 검출 방법 및 장치와, 디지털 촬영 장치 | |
KR101352206B1 (ko) | 영상구도를 자동조정하는 영상촬영 장치 및 방법 | |
JP5703788B2 (ja) | 撮像装置、画像処理装置、画像処理プログラム | |
US11206357B2 (en) | Shooting control apparatus, image capture apparatus, and shooting control method | |
KR101094648B1 (ko) | 구도결정을 하는 사진사 로봇 및 그 제어방법 | |
JP4807582B2 (ja) | 画像処理装置、撮像装置及びそのプログラム | |
JP5393877B2 (ja) | 撮像装置および集積回路 | |
WO2023072030A1 (zh) | 镜头自动对焦方法及装置、电子设备和计算机可读存储介质 | |
JP5550325B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2004234010A (ja) | 焦点距離の関数として合焦の測度を示すカメラ | |
JP5958082B2 (ja) | 画像処理装置、画像処理方法 | |
TW201236448A (en) | Auto-focusing camera and method for automatically focusing of the camera | |
US11064109B2 (en) | Shooting control apparatus, image capture apparatus, and shooting control method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140204 |