JP5375846B2 - 撮像装置、自動焦点調整方法、およびプログラム - Google Patents
撮像装置、自動焦点調整方法、およびプログラム Download PDFInfo
- Publication number
- JP5375846B2 JP5375846B2 JP2011022225A JP2011022225A JP5375846B2 JP 5375846 B2 JP5375846 B2 JP 5375846B2 JP 2011022225 A JP2011022225 A JP 2011022225A JP 2011022225 A JP2011022225 A JP 2011022225A JP 5375846 B2 JP5375846 B2 JP 5375846B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- distance
- image
- imaging
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Description
コントラスト方式AFでは、録画中にある程度はフォーカスレンズを動かして走査(スキャン)しなければコントラストピークを検出することができない(つまり、フォーカスレンズを「遠い方」と「近い方」の間を行き来するように常に動かしていないとコントラストピークを検出できないため常にピントが変化する)ので、この合焦方式により撮像した動画を録画し、再生すると、図16に示すように再生画像は、ピントが合う(人物161−1)→ピントがぼける(人物161−2)→ピントが合う(人物161−3)→ピントがぼける(人物1681−4)→、・・・を繰り返す映像となる。
多くのビデオカメラやデジタルカメラではコントラスト方式AFを採用しているため、上述したような映像になるといった課題があった。
これにより、人物の顔を認識し、その人物像の撮像範囲における高さを検出してカメラと被写体人物との推計距離を得てフォーカスレンズを移動させることから、コントラスト方式のオートフォーカスの場合のようにレンズ位置を合焦位置に収斂させるためのレンズ走査を必要としないので動画撮影中にピントがふらつくようなことが生じない。
これにより、動画撮像中に被写体人物がカメラに近づきすぎてその全身像がフレーム内に収まらなくなったような場合にも被写体人物との距離を推計できるので、近距離の場合も被写体に追従して合焦させることができる。
これにより、被写体人物が複数の場合でもそのうちの一人の動きに追従してピントを合わせることができる。
これにより、被写体人物が複数であっても略全員のシャープな映像を撮像することができる。
これにより、前側被写界深度と後側被写界深度が少し重複した被写界深度テーブルを用いることにより、ピントの急激な変化が生じないので不自然感がなく、コントラスト方式のオートフォーカスにより動画を撮像する際に生じる「ピントがふらふらする」感じをより低減することができる。
また、請求項6に記載の発明では、前記動画撮像手段によって動画を撮像する際に前記顔検出手段によって顔が検出され、合致する特徴データが前記記憶手段によって記憶されていない場合は、前記撮像サイズ取得手段によって人物像の高さを取得し、前記距離測定手段によって被写体までの距離測定を行い、前記特徴データ取得手段によって特徴データの取得を行い、前記人物像サイズ推計手段によって人物像サイズの推計を行い、前記記憶手段に前記特徴データ取得手段によって取得された特徴データ及び前記人物像サイズ推計手段によって推計された人物像の実サイズデータを対応付けて記憶させる記憶制御手段と、を更に備えることを特徴とする請求項1に記載の撮像装置を提供する。
これにより、記憶手段に特徴データ人物像の実サイズデータが対応付けて記憶されていない場合であっても、容易に記憶させることができる。
これにより、人物の顔を認識し、その人物像の撮像範囲における高さを検出してカメラと被写体人物との推計距離を得てフォーカスレンズを移動させることから、コントラスト方式のオートフォーカスの場合のようにレンズ位置を合焦位置に収斂させるためのレンズ走査を必要としないので動画撮影中にピントがふらつくようなことが生じない。
これにより、人物の顔を認識し、その人物像の撮像範囲における高さを検出してカメラと被写体人物との推計距離を得てフォーカスレンズを移動させることから、コントラスト方式のオートフォーカスの場合のようにレンズ位置を合焦位置に収斂させるためのレンズ走査を必要としないので動画撮影中にピントがふらつくようなことが生じない。
図1は、本発明に係る撮像装置の一実施例としてのデジタルカメラの外観を示す図であり、ここでは主として正面(図1(a))及び背面(図1(b))の外観を示す。デジタルカメラ100は、図1(a)に示すように正面側に撮像レンズ(レンズ群)2を有している。また、デジタルカメラ100の背面には図1(b)に示すように、モードダイアル3、液晶モニタ画面4、カーソルキー5、SETキー6、ズームボタン7(Wボタン7−1、Tボタン7−2)、メニューキー10等が設けられている。また、上面にはシャッターキー8、電源ボタン9が設けられている。なお、側部には図示されていないが、パーソナルコンピュータ(以下、パソコン)やモデム等の外部装置とUSBケーブルに接続する場合に用いるUSB端子接続部が設けられている。
また、AF駆動部11−2は図示しないフォーカスレンズ駆動モータを駆動してフォーカスレンズ12−2を移動させる。
そして、上記撮像レンズ2を構成する光学系12の撮像光軸後方に配置された撮像素子であるCCD13が、タイミングジェネレータ(TG)14、垂直ドライバ15によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を1フレーム分出力する。
また、高画素数から低画素数にも対応している。例えば、SXGA(1600×1200)、XGA(1024×786)、SVGA(800×600)、VGA(640×480)、QVGA(320×240)等と呼ばれる画素サイズがある。
上記図5のフローチャートに示した例では、ステップS14若しくはステップS18で抽出した人物の輪郭61が図7に示すようにフレーム内に収まらない場合は身長を基にした被写体人物との距離Lを推計できないこととなる。このような場合には顔62の縦サイズを基に距離Lを推計することができる。この場合、認識データベース33は図3(b)に示すように、顔の特徴データ41、顔の縦サイズ42、および身長43を含む認識データからなるものとする。
上記図5のフローチャートに示した例では、被写体人物が1人の場合を例としたが、本発明の被写体認識による自動焦点調整方法は被写体人物が複数の場合にも適用することができる。
図9は被写体人物が複数の場合の自動焦点調整方法の説明図であり、複数の人物のうち最もカメラに近い人に選択的に焦点を合わせる例を示す。図9の例で、人物91、92、93のうちカメラとの距離が2mで最も近い人物92に自動的に焦点を合わせるようにする。具体的には図5のフローチャートのステップS4で複数の顔を抽出した場合は抽出した人数分ステップS5〜S15の処理を繰り返してそれぞれの人物とカメラとの距離を求め、ステップS16で算出された最も短い推計距離lに該当するレンズステップ位置(=レンズアドレス(図4参照))までフォーカスレンズ12−2を移動させてステップS21に進むようにし、ステップS17では上記ステップS16で合焦したカメラに最も近い人物(つまり、モット裳大写しになっている人物)を抽出するようにする。
上記図9に示した例では複数の人物のうち最もカメラに近い人に選択的に焦点を合わせるようにしたが、複数の人物とカメラとの平均的距離に選択的に焦点を合わせるようにしてもよい。例えば、図10に示す人物91、92、93の3人とカメラとの距離をそれぞれ2m、3.3m、4.1mとするとき、カメラとの距離範囲2m〜4.1mができるだけ被写界深度に収まるような位置(=2.7m)に自動的に焦点を合わせるようにする。具体的には、図5のフローチャートのステップS4で複数の顔を抽出した場合は抽出した人数分ステップS5〜S15の処理を繰り返してそれぞれの人物とカメラとの距離を求め、ステップS15でそれらの距離のうちから更にカメラとの距離範囲(最遠距離と最近距離)を取得し、図4に示したような被写界深度対応テーブル(図4の例では被写界深度対応テーブル50)を参照して、カメラとの距離範囲が被写界深度に収まるようなレンズアドレスを求め、ステップS16でそのレンズステップ位置(=レンズアドレス)までフォーカスレンズ12−2を移動させてステップS21に進むようにし、ステップS17〜S25でも同様の動作を繰り返すようにする。このようにすることにより、複数の人物のシャープな映像を撮像することができる。
上記図5のフローチャートでは、CCD13中で被写体人物の大きさが変化するとそれに基づいて推計距離Lを算出し、直ちにステップS20で、算出された推計距離Lに該当するレンズステップ位置(=レンズアドレス)までフォーカスレンズ12−2を移動させるようにしたが、直ちにはフォーカスレンズ12−2の移動を行わず、被写界深度から外れそうになった場合に低速でフォーカスレンズの移動を行うようにしてもよい。また、その制御にある程度のヒステリシス特性を持たせるようにしてもよい。
図11(a)に示すように被写体人物111とカメラとの距離Lが1.8mとすると距離Lは図11(d)に示すように被写界深度2m〜3m内にある。次に、図11(b)に示すようにカメラ視野内の被写体人物111の大きさが変化して距離L=2.8mになると、距離Lは図11(e)に示すように被写界深度2m〜3mの範囲内にあるが被写体人物131の大きさがこのまま変化すると被写界深度をはみ出しそうである。そこで、図11(c)に示すように距離L=2.8mの時点で距離Lを含む次の被写界深度(図11(f)の被写界深度2.5m〜4.4mのレンズステップ位置(=レンズアドレス)までフォーカスレンズ12−2を移動させるようにする。
上記実施形態1およびその各変形例では人物のみを被写体とし、顔や身体を自動認識してその縦方向のサイズを基にCCD13中の被写体人物の縦サイズを求め、それを基に被写体との推計距離Lを算出し、算出された推計距離Lに該当するレンズステップ位置にフォーカスレンズ12−2を移動させるようにしたが、本発明はその一部を変更することにより被写体が人物以外の場合にも適用することができる。
12−1 ズームレンズ
12−2 フォーカスレンズ
13 CCD
21 DRAM
22 制御部
26 LCD
27 データ圧縮・伸張部
29 メディアコントローラ
30 記録メディア
32 認識部
33 認識データベース
34 輪郭抽出部
61 被写体人物
62 顔
100 デジタルカメラ
131 被写体
151 枠
Claims (8)
- 動画を撮像する動画撮像手段と、
前記動画撮像手段によって動画を撮像する際に撮像される動画像の中から人物の顔を検出する顔検出手段と、
前記動画撮像手段によって動画を撮像する際に該動画撮像手段の撮像範囲における前記顔を含む人物像の高さを取得する撮像サイズ取得手段と、
前記動画撮像手段によって動画を撮像する際に被写体までの距離を測定する距離測定手段と、
前記動画撮像手段によって動画を撮像する際に前記顔検出手段によって検出された人物の顔の特徴データを取得する特徴データ取得手段と、
前記距離測定手段によって測定された前記被写体までの距離及び前記撮像サイズ取得手段によって取得された前記人物像の高さを基に前記人物像の実サイズを推計する人物像サイズ推計手段と、
前記特徴データ取得手段によって取得された特徴データ及び前記人物像サイズ推計手段によって推計された人物像の実サイズデータを対応付けて記憶する記憶手段と、
前記動画撮像手段によって動画を撮像する際に前記顔検出手段によって顔が検出され、合致する特徴データが前記記憶手段によって記憶されている場合は、該特徴データに対応付けて記憶されている実サイズ及び前記撮像サイズ取得手段によって取得された前記人物像の高さを基に被写体距離を推計する被写体距離推計手段と、
前記動画撮像手段によって動画を撮像する際に前記顔検出手段によって顔が検出され、合致する特徴データが前記記憶手段によって記憶されている場合は、前記被写体距離推計手段により推計された被写体距離を合焦位置と決定し、記憶されていない場合は、前記距離測定手段により測定された被写体までの距離を合焦位置と決定する合焦位置決定手段と、
前記合焦位置決定手段によって決定された合焦位置に対応する位置にフォーカスレンズを移動する合焦位置調整制御手段と、
を備えたことを特徴とする撮像装置。 - 前記撮像サイズ取得手段によって取得された人物像の高さと前記動画撮像手段の撮像範囲の高さを比較する撮像サイズ比較手段を備え、
前記撮像サイズ比較手段により前記人物像の高さが前記動画撮像手段の撮像範囲を超えると判定されたとき、前記被写体距離推計手段は前記撮像範囲における前記人物像の顔の高さを基に被写体距離を推計することを特徴とする請求項1に記載の撮像装置。 - 前記被写体検出手段は、前記動画撮像手段によって動画を撮像する際に撮像される動画像の中から複数の人物像を検出し、
前記撮像サイズ取得手段は、前記被写体検出手段によって検出された複数の人物像のうち被写体距離が最も短い人物像の前記動画撮影手段の撮像範囲における高さを取得し、
前記被写体距離推計手段は、前記被写体距離が最も短い人物像の前記撮像範囲における高さを基に被写体距離を推計することを特徴とする請求項1に記載の撮像装置。 - 前記被写体検出手段は、前記動画撮像手段によって動画を撮像する際に撮像される動画像の中から複数の人物像を検出し、
前記被写体距離推計手段は、前記複数の人物像との被写体距離をそれぞれ推計し、
前記合焦位置調整制御手段は、前記被写体距離推計手段によって推計された各被写体距離の平均値を範囲に含む被写界深度に対応するフォーカスレンズの位置を表す指標であるレンズアドレスにフォーカスレンズを移動することを特徴とする請求項1に記載の撮像装置。 - 前記被写体距離推計手段によって推計された被写体距離を範囲とする被写界深度に対応するフォーカスレンズの位置を表す指標であるレンズアドレスが複数存在するときに、該被写体距離が増加したか減少したかを判定する距離増減判定手段を備え、
前記合焦位置調整制御手段は、被写体距離が増加した場合には前記複数のレンズアドレスに対応する被写界深度の後側被写界深度から被写体距離を差し引いた値が最大の被写界深度に対応するレンズアドレスにフォーカスレンズを移動し、被写体距離が減少した場合には、前記被写体距離から前記複数のレンズアドレスに対応する被写界深度の前側被写界深度を差し引いた値が最大の被写界深度に対応するレンズアドレスにフォーカスレンズを移動することを特徴とする請求項1に記載の撮像装置。 - 前記動画撮像手段によって動画を撮像する際に前記顔検出手段によって顔が検出され、合致する特徴データが前記記憶手段によって記憶されていない場合は、前記撮像サイズ取得手段によって人物像の高さを取得し、前記距離測定手段によって被写体までの距離測定を行い、前記特徴データ取得手段によって特徴データの取得を行い、前記人物像サイズ推計手段によって人物像サイズの推計を行い、前記記憶手段に前記特徴データ取得手段によって取得された特徴データ及び前記人物像サイズ推計手段によって推計された人物像の実サイズデータを対応付けて記憶させる記憶制御手段と、を更に備えることを特徴とする請求項1に記載の撮像装置。
- 動画撮像時に、撮像される動画を表示する工程と、
前記動画を撮像する際に表示される画像の中から人物の顔を検出する工程と、
動画を撮像する際に撮像素子の撮像範囲における前記顔を含む人物の高さを取得する工程と、
動画を撮像する際に被写体までの距離を測定する工程と、
動画を撮像する際に検出された人物の顔の特徴データを取得する工程と、
前記被写体までの距離及び前記人物像の高さを基に前記人物像の実サイズを推計する工程と、
取得された特徴データ及び推計された人物像の実サイズデータを対応付けて記憶手段に記憶する工程と、
動画を撮像する際に顔が検出され、合致する特徴データが前記記憶手段によって記憶されている場合は、該特徴データに対応付けて記憶されている実サイズ及び前記人物像の高さを基に被写体距離を推計する工程と、
動画を撮像する際に顔が検出され、合致する特徴データが前記記憶手段によって記憶されている場合は、前記推計された被写体距離を合焦位置と決定し、記憶されていない場合は、前記測定された被写体までの距離を合焦位置と決定する工程と、
前記決定された合焦位置に対応する位置にフォーカスレンズを移動する工程と、
を備えたことを特徴とする自動焦点調整方法。 - コンピュータに、
動画を撮像する機能と、動画を撮像する際に撮像される動画像の中から人物の顔を検出する機能と、
前記動画を撮像する際に撮像素子の撮像範囲における前記顔を含む人物像の高さを取得する機能と、
動画を撮像する際に被写体までの距離を測定する機能と、
動画を撮像する際に検出された人物の顔の特徴データを取得する機能と、
前記被写体までの距離及び前記人物像の高さを基に前記人物像の実サイズを推計する機能と、
取得された特徴データ及び推計された人物像の実サイズデータを対応付けて記憶手段に記憶する機能と、
動画を撮像する際に顔が検出され、合致する特徴データが前記記憶手段によって記憶されている場合は、該特徴データに対応付けて記憶されている実サイズ及び前記人物像の高さを基に被写体距離を推計する機能と、
動画を撮像する際に顔が検出され、合致する特徴データが前記記憶手段によって記憶されている場合は、前記推計された被写体距離を合焦位置と決定し、記憶されていない場合は、前記測定された被写体までの距離を合焦位置と決定する機能と、
前記決定された合焦位置に対応する位置にフォーカスレンズを移動する機能と、
を実行させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011022225A JP5375846B2 (ja) | 2011-02-04 | 2011-02-04 | 撮像装置、自動焦点調整方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011022225A JP5375846B2 (ja) | 2011-02-04 | 2011-02-04 | 撮像装置、自動焦点調整方法、およびプログラム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006076382A Division JP4839908B2 (ja) | 2006-03-20 | 2006-03-20 | 撮像装置、自動焦点調整方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011128643A JP2011128643A (ja) | 2011-06-30 |
JP5375846B2 true JP5375846B2 (ja) | 2013-12-25 |
Family
ID=44291232
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011022225A Expired - Fee Related JP5375846B2 (ja) | 2011-02-04 | 2011-02-04 | 撮像装置、自動焦点調整方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5375846B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6004371B2 (ja) * | 2011-11-16 | 2016-10-05 | パナソニックIpマネジメント株式会社 | 撮像装置 |
JP2013113922A (ja) * | 2011-11-25 | 2013-06-10 | Eastman Kodak Co | 撮像装置 |
JP5882726B2 (ja) * | 2011-12-27 | 2016-03-09 | キヤノン株式会社 | 焦点調節装置 |
JP6164978B2 (ja) * | 2013-08-21 | 2017-07-19 | キヤノン株式会社 | 焦点調整装置、その制御方法、および制御プログラム、並びに撮像装置 |
CN113056907A (zh) * | 2020-07-28 | 2021-06-29 | 深圳市大疆创新科技有限公司 | 拍摄方法、拍摄装置及存储介质 |
JP7296164B1 (ja) * | 2022-08-12 | 2023-06-22 | 株式会社MuuMu | 情報処理装置、方法、コンテンツ作成プログラム、およびコンテンツ再生プログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001215403A (ja) * | 2000-02-01 | 2001-08-10 | Canon Inc | 撮像装置および焦点の自動検出方法 |
JP4254467B2 (ja) * | 2003-10-10 | 2009-04-15 | 株式会社ニコン | デジタルカメラ |
JP2006018246A (ja) * | 2004-06-03 | 2006-01-19 | Canon Inc | 撮像装置及び撮像方法 |
JP4644883B2 (ja) * | 2006-02-27 | 2011-03-09 | 富士フイルム株式会社 | 撮像装置 |
-
2011
- 2011-02-04 JP JP2011022225A patent/JP5375846B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2011128643A (ja) | 2011-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4839908B2 (ja) | 撮像装置、自動焦点調整方法、およびプログラム | |
JP4645685B2 (ja) | カメラ、カメラ制御プログラム及び撮影方法 | |
JP4577252B2 (ja) | カメラ、ベストショット撮影方法、プログラム | |
US8089527B2 (en) | Image capturing apparatus, image capturing method and storage medium | |
TWI399082B (zh) | Display control device, display control method and program | |
JP4973098B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5050465B2 (ja) | 撮像装置、撮影制御方法、およびプログラム | |
JP5375846B2 (ja) | 撮像装置、自動焦点調整方法、およびプログラム | |
JP4802884B2 (ja) | 撮像装置、撮像画像記録方法、及び、プログラム | |
US20100246968A1 (en) | Image capturing apparatus, image processing method and recording medium | |
JP2010171797A (ja) | 撮像装置及びプログラム | |
JP4640198B2 (ja) | 電子カメラ、多数ポイント同時合焦枠表示方法、及びプログラム | |
JP5266701B2 (ja) | 撮像装置、被写体分離方法、およびプログラム | |
JP4992215B2 (ja) | 撮像装置、及びプログラム | |
JP2009290819A (ja) | 撮影装置、撮影制御プログラム、並びに画像再生装置、画像再生プログラム | |
JP5168320B2 (ja) | カメラ、ベストショット撮影方法、プログラム | |
JP2007228453A (ja) | 撮像装置、再生装置、プログラム、および記憶媒体 | |
JP4609315B2 (ja) | 撮像装置、ズーム時の画角枠表示方法、およびプログラム | |
JP2008172395A (ja) | 撮像装置、画像処理装置、方法およびプログラム | |
JP5423131B2 (ja) | 撮影画像処理装置、撮影画像処理プログラム及び撮影画像処理方法 | |
JP5267645B2 (ja) | 撮像装置、撮影制御方法、およびプログラム | |
JP2013081136A (ja) | 画像処理装置および制御プログラム | |
JP5170217B2 (ja) | カメラ、カメラ制御プログラム及び撮影方法 | |
JP2009089083A (ja) | 年齢推定撮影装置及び年齢推定撮影方法 | |
JP2009212867A (ja) | 撮影画像処理装置、撮影制御プログラム及び撮影制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120918 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130312 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130827 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130909 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5375846 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |