JP2012095183A - 撮影装置 - Google Patents
撮影装置 Download PDFInfo
- Publication number
- JP2012095183A JP2012095183A JP2010241882A JP2010241882A JP2012095183A JP 2012095183 A JP2012095183 A JP 2012095183A JP 2010241882 A JP2010241882 A JP 2010241882A JP 2010241882 A JP2010241882 A JP 2010241882A JP 2012095183 A JP2012095183 A JP 2012095183A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image data
- image
- unit
- auxiliary light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
Abstract
【課題】低照度の環境下等にある被写体を、その場の雰囲気を活かして動画像撮影することを可能としつつ、より高精度の焦点調節を可能とする。
【解決手段】撮像素子130は、撮影レンズ140により形成された被写体像を撮像する撮像動作を繰り返し行い、撮像動作のそれぞれに対応して撮像素子インターフェース回路132から画像データが時系列に出力される。この画像データは、画像振り分け処理部110で第1の時系列画像データと第2の時系列画像データとにフレーム単位又はフィールド単位で振り分けられる。発光タイミング制御部120は、第1の時系列画像データに対応する画像データを出力するための撮像動作が撮像素子130で行われるタイミングに同期して発光するように補助光発光装置150を制御する。動画像データ生成処理部112は、第2の時系列画像データをもとに動画像データを生成する。
【選択図】図1
【解決手段】撮像素子130は、撮影レンズ140により形成された被写体像を撮像する撮像動作を繰り返し行い、撮像動作のそれぞれに対応して撮像素子インターフェース回路132から画像データが時系列に出力される。この画像データは、画像振り分け処理部110で第1の時系列画像データと第2の時系列画像データとにフレーム単位又はフィールド単位で振り分けられる。発光タイミング制御部120は、第1の時系列画像データに対応する画像データを出力するための撮像動作が撮像素子130で行われるタイミングに同期して発光するように補助光発光装置150を制御する。動画像データ生成処理部112は、第2の時系列画像データをもとに動画像データを生成する。
【選択図】図1
Description
本発明は、撮影装置に関し、特に補助光源を用いて被写体を照明しながら動画撮影を行うことが可能な撮影装置に関する。
暗所での焦点調節の精度や焦点調節動作の速度を高めることを目的として、AF(自動焦点調節)用補助光を照射可能な電子カメラが知られている。また、動画撮影中に被写体に向けて照明光を照射するものとしてムービーライト、あるいはビデオライトなどと称される装置が知られている。
特許文献1には、低照度環境において被写体の明るさの変化に応じて適応的に照明装置の発光量を調整できる動画撮像装置が開示される。この動画撮像装置では、照明光をパルス発光させ、その際の発光タイミングが、撮像素子で繰り返し行われる撮像動作に同期するように制御される。
特許文献2には、被写体にAF補助光を照射する際に、そのAF補助光の発光に要する消費電力の低減を可能とする技術が開示される。AF補助光の発光に要する消費電力を低減するため、AF補助光の発光は間欠的に行われる。より具体的には、焦点調節のためのレンズ移動と、撮像手段から出力される画像信号に基づいて被写体のコントラスト成分に応じた評価値を得ることとを交互に繰り返し、その際に撮影レンズが所定量移動するごとにAF補助光を発光させる。
特許文献3には、LED(発光ダイオード)を光源に用いた撮影用照明装置において、消費電力を抑えつつ、背景が暗い状況における撮影前の被写体構図の確認を容易にする技術が開示される。特許文献3に開示されるのは静止画撮影用のデジタルカメラであり、露光動作前のモニタ期間中、撮像素子の撮像動作に同期させて予発光が照射される。このとき、CCDが露光される第1および第2露光期間TB1、TB2において、照明装置から、パルス光である予発光L1〜L3が照射される。予発光L1〜L3は第1および第2露光期間TB1、TB2に同期して照射される。
低照度条件下での動画撮影時、撮影者は必ずしも補助光を使うことを望まない。例えば、蝋燭の光により照明された室内等において人物を撮影するような状況で、その場の雰囲気を活かした動画撮影をしようとした場合、撮影者は補助光の照射をしないで撮影することを望む場合がある。
動画撮影時、被写体と撮影者との間の相対距離が変化しうる状況では、焦点調節動作を継続して行う必要がある。AFの方式がいわゆるコントラストAFであっても位相差検出式AFであっても、撮像素子やAFセンサで蓄積動作が行われる。このとき、被写界輝度が低いと、蓄積動作に時間を要することがある。また、蓄積動作に時間をかけたとしても、被写体輝度が低いと、ノイズの影響が相対的に増してAFの速度や精度の低下を招く場合がある。つまり、補助光を照射しないことにより、雰囲気のある画像が得られる一方で、より正確かつ高速な焦点調節を実現することが困難となる場合がある。
また、撮影者が撮影装置の背面に設けられる液晶表示パネルやEVF(電子ビューファインダ)に表示されるライブビュー画像を観ながら手動操作で焦点調節(MF操作)を行う場合も、被写界輝度が低いと精度よく焦点調節を行うことが難しい。何故なら、暗めでノイズの比較的多い画像を観ても、像が最も鮮鋭となる焦点調節位置を把握することが難しいからである。また、ライブビュー画像が暗いと、的確なフレーミングを行うのが困難となることがある。
撮影者が補助光を用いての撮影を望まない状況において焦点調節の精度や速度を維持したり、あるいは正確なフレーミングをしたりするのが難しくなることに関して、特許文献1から3のいずれにも開示も示唆も無く、当然、その課題を解決するための開示も示唆も無い。
本発明は上記の課題に鑑み、なされたもので、低照度の環境下等にある被写体を、その場の雰囲気を活かして動画像撮影することを可能としつつ、より高精度の焦点調節を可能とすることを目的とする。
(1) 本発明のある態様によれば、撮影装置が、
撮影レンズにより形成された被写体像を撮像する撮像動作を繰り返し行い、前記撮像動作のそれぞれに対応して画像データを時系列に出力可能な撮像部と、
前記撮像部から時系列に出力される前記画像データを、第1の時系列画像データと第2の時系列画像データとにフレーム単位またはフィールド単位で振り分ける振り分け処理部と、
被写体に向けて照明光を出射する補助光発光装置が、前記第1および第2の時系列画像データのうち、前記第1の時系列画像データに対応する画像データを出力するための撮像動作を前記撮像部が行うタイミングに同期して発光するように制御する発光タイミング制御部と、
前記第2の時系列画像データをもとに動画像データを生成する動画像データ生成部と
を備える。
撮影レンズにより形成された被写体像を撮像する撮像動作を繰り返し行い、前記撮像動作のそれぞれに対応して画像データを時系列に出力可能な撮像部と、
前記撮像部から時系列に出力される前記画像データを、第1の時系列画像データと第2の時系列画像データとにフレーム単位またはフィールド単位で振り分ける振り分け処理部と、
被写体に向けて照明光を出射する補助光発光装置が、前記第1および第2の時系列画像データのうち、前記第1の時系列画像データに対応する画像データを出力するための撮像動作を前記撮像部が行うタイミングに同期して発光するように制御する発光タイミング制御部と、
前記第2の時系列画像データをもとに動画像データを生成する動画像データ生成部と
を備える。
本発明によれば、被写体に補助光が照射されない、その場の雰囲気を活かした動画像を得ることと、高精度の焦点調節を行うこととを両立することが可能となる。
図1は、本発明の実施の形態に係る撮影装置の概略的構成を説明するブロック図である。撮影装置は、システムコントローラ100と、撮像素子130と、撮像素子インターフェース回路(図1においては「撮像素子I/F回路」と表記される)132と、シャッタ駆動部134と、表示駆動部170と、画像表示部172と、表示用発光素子174と、フラッシュメモリ176と、SDRAM(シンクロナス・ダイナミック・ランダム・アクセス・メモリ)180と、操作部190とを備える。
撮影装置はまた、撮影レンズ140と、補助光発光装置150とを備える。撮影レンズ140は、撮影装置に組み込まれていてもよいし、交換レンズとして撮影装置に取り外し可能に装着されていてもよい。補助光発光装置150もまた、撮影装置に組み込まれていてもよいし、アクセサリとして撮影装置に対して取り外し可能に装着されていてもよい。
補助光発光装置150が外付け式に構成される場合、撮影装置にはアクセサリシュー、あるいは他の締結装置が設けられていて、これらのアクセサリシューや締結装置を介して補助光発光装置150を撮影装置に装着することが可能である。あるいは、撮影装置と補助光発光装置150との間で有線あるいは無線の形態で制御信号の授受が可能な場合、補助光発光装置150は必ずしも撮影装置に直接取り付けられていなくてもよい。
システムコントローラ100は、CPU102と、画像処理部104と、圧縮・伸張部106と、被写体認識処理部108と、画像振り分け処理部110と、動画像データ生成処理部112と、焦点検出処理部114と、焦点調節制御部116と、輝度検出処理部118と、発光タイミング制御部120と、照射範囲制御部122とを備える。
本実施の形態において、システムコントローラ100はCPU102とDSP(デジタル・シグナル・プロセッサ)とを備えて構成され、画像処理部104、圧縮・伸張部106、被写体認識処理部108、画像振り分け処理部110、動画像データ生成処理部112はDSPに備えられる機能として実現されるものとする。また、フラッシュメモリ176中に記憶されるファームウェアとしてのプログラムコードがSDRAM180に読み込まれ、CPU102によって逐次解釈・実行されることにより、焦点検出処理部114、焦点調節制御部116、輝度検出処理部118、発光タイミング制御部120、照射範囲制御部122が実現されるものとする。無論、これらの処理ブロックはハードウェアロジック等により構成されるものであってもよいし、システムコントローラ100全体が一つのASIC(特定用途向け集積回路)あるいはFPGA(フィールド・プログラマブル・ゲート・アレイ)などによって構成されるものであってもよい。
操作部190は、電源スイッチ190aと、モード設定スイッチ190bと、レリーズスイッチ190cと、動画撮影スイッチ190dと、アップスイッチ190eと、ダウンスイッチ190fと、補助光スイッチ190gとを備える(図1において、各スイッチは「Sw」と表記される)。
撮影レンズ140は、絞り駆動部142と、焦点調節駆動部144と、フォーカシングレンズ146とを備える。補助光発光装置150は、補助光制御部152と、照射角制御部160と、配光レンズ162と、LEDアレイ164とを備える。
撮影装置で生成された画像データ等を記録するためのメモリカードMCは、撮影装置に対して取り外し可能に装着される。
本明細書においては、構成要素の動く方向や配列の方向等に関して理解を容易にすることを目的として、以下のように三次元の座標軸をとり、説明をする。すなわち、撮影レンズ140の光軸が図1の紙面に平行で左右方向に延在するものとし、この光軸と平行な方向にX軸をとる。また、図1の紙面に平行かつX軸と直交する向き(図1の上下方向)にY軸をとり、図1の紙面に直交する向きにZ軸をとる。このとき、Z軸は、図1の紙面表側から裏側に向かう方向に座標値が増すように向きが定められている。X軸は図1の紙面に沿って右方向に、Y軸は図1の紙面に沿って上方向に、それぞれ座標値が増すように向きが定められている。
撮像素子130は、CCD(電荷結合素子)イメージセンサ、あるいはCMOS(相補型金属酸化膜半導体)イメージセンサ等の、二次元イメージセンサである。撮像素子130は、ダイクロイックプリズムなどの分光光学系と複数のモノクロ撮像素子とを備えて構成される、いわゆる多板式のものであっても、B(青)、G(緑)、R(赤)等のオンチップカラーフィルタが受光面上に形成される、いわゆる単板式のものであってもよい。本実施の形態において、撮像素子130はB、G、Rのオンチップカラーフィルタが受光面上に形成された単板式のCMOSイメージセンサであり、内部にCDS(相関二重サンプリング)回路、アンプ、A/Dコンバータ等を備えてデジタル画像信号を出力可能に構成されるものとして説明をする。
ところで、CMOSイメージセンサには、いわゆるローリングシャッタ方式のものとグローバルシャッタ方式のものとがある。ローリングシャッタ方式のCMOSイメージセンサは、XYアドレス方式で各画素を選択し、光電変換部および電荷蓄積部分の電荷クリア、露光開始、露光停止、信号読み出しといった一連の露光動作を画素ごとに(線順次に)行う。したがって、露光(蓄積)の同時性が無い。つまり、露光が、一画面内で同時には行われない。それが理由で、以下に説明する、補助光の照射を伴う撮像動作による時系列画像データと補助光の照射を伴わない撮像動作による時系列画像データとを取得することができない。従って、本実施の形態で用いられるCMOSイメージセンサは、CCDイメージセンサが有するのと同様の、グローバルシャッタ方式での露光機能を有するものとする。
撮像素子インターフェース回路132は、撮像素子130による撮像動作の制御(撮像タイミング制御、光電変換時間の制御、全画素読み出しや間引き読み出し等の画像信号読み出しの制御等)を行う。
シャッタ駆動部134は、フォーカルプレンシャッタやレンズシャッタ等のシャッタ機構と、このシャッタ機構を駆動するためのアクチュエータやドライバ等を備える。シャッタ駆動部134は、ノーマリオープン、ノーマリークローズいずれのタイプのシャッタを備えていても良い。本実施の形態において、シャッタ駆動部はノーマリーオープンタイプのフォーカルプレンシャッタを備えるものとする。シャッタ駆動部134は、システムコントローラ100から出力される制御信号に基づき、撮像素子130の受光面上で所定の時間長の露光が与えられるようにシャッタを開閉動作して静止画撮影を行うことが可能である。シャッタ駆動部134はまた、シャッタを開放状態に維持して、ライブビュー画像表示(モニタ画像表示、スルー画像表示)や動画撮影を行うことが可能に構成される。なお、シャッタ駆動部134については撮影装置の仕様等によっては省略することも可能である。
CPU102は、撮影者による操作を受け付け、動作モードの切り替え、撮影動作、画像データ記録動作等、撮影装置の動作を統括的に制御する。CPU102はさらに、先にも説明したように焦点検出処理部114、焦点調節制御部116、輝度検出処理部118、発光タイミング制御部120、そして照射範囲制御部122として機能する。
画像処理部104は、撮像素子インターフェース回路132を介して撮像素子130から入力したデジタル画像信号にガンマ補正、色変換、デモザイク、ノイズ低減、シェーディング補正等の処理を施し、B、G、Rの三つのカラープレーンからなる画像データを生成する。画像処理部104はまた、撮影装置が撮影準備状態(撮影装置を撮影者が被写体に向けて構図決定や焦点調節等を行う状態)にあるときに、後述する画像表示部172にライブビュー画像を表示するための処理も必要に応じて行う。
圧縮・伸張部106は、画像処理部104で生成された画像データに対し、必要に応じてJPEGやMPEG、H264等の画像圧縮技術を用いて圧縮処理をする。圧縮・伸張部106はまた、メモリカードMC等から読み出された画像ファイルに含まれる圧縮画像データに伸張処理を施し、画像表示部172に静止画像や動画像を表示するための画像データを生成する処理をする。
被写体認識処理部108は、画像処理部104で生成される画像データを解析し、画像内における被写体の位置や大きさ等を検出する処理を行う。被写体認識処理部108で行われる処理としては、例えば以下のようなものとすることが可能である。
被写体認識処理部108で行われる処理の第1の例として、画像内にける主要被写体と目されるものが写っている領域を導出する処理がある。この処理は、画像を解析して、画像内における空間周波数、彩度、あるいは明度の高さ等を判定基準として、主要被写体と目されるものが写っている領域を導出する処理である。
ある領域の空間周波数が他の領域の空間周波数に比して高い、ということは、ある領域に焦点が合っている可能性が高い、あるいは目立つ被写体が写っている可能性が高い、と考えることが可能である。したがって、画面をいくつかの領域に分割し、それぞれの領域の空間周波数成分を導出して比較することにより、画面内のどこに主要被写体が写っているかを導出することが可能となる。
ある領域の彩度が他の領域の彩度に比して高い、ということは、ある領域に花などの目立つ被写体が写っている可能性が高いと考えることが可能である。したがって、画像データを例えばLabやHSL等の色空間で規定される画像データに変換し、a、b値やS値が比較的高い領域を導出することにより、画面内のどこに主要被写体が写っているかを導出することが可能となる。
例えば画面の上部に明度の比較的高い領域があれば、その領域には空等の明るい背景が写っていて、その領域よりも下側の領域に主要被写体が写っている可能性が高い、と考えることが可能である。あるいは、比較的暗めの画面中に明度の高めの領域があれば、夜の屋外あるいは暗い室内等において主要被写体が人工光によって照明されているような状況にある、と考えることが可能である。このように、画面内における明度の高い領域の位置、あるいは明度の分布等を解析して主要被写体の写る位置を導出することが可能である。
画面内における主要被写体の写る位置を導出する方法として以上に説明した空間周波数、彩度、明度に基づく方法に関し、これらの方法のうちのいずれか一つの方法を用いても、複数の方法を組み合わせて用いてもよい。
被写体認識処理部108で行われる処理の第2の例として、画像内において人や動物等の顔が写る領域を導出する、いわゆる顔認識処理がある。この顔認識処理は、例えば眉毛、眼、鼻、口等の、顔が有する画像的な特徴に基づいて予め作成された複数のテンプレートを用い、解析対照の画像中から上記テンプレートとのマッチング度の高い領域を導出する処理とすることが可能である。そして、テンプレートとのマッチング度の高い画像の写る領域を画面内において顔の写る領域とすることが可能である。
被写体認識処理部108で行われる処理の第3の例として、動きベクトルにより主要被写体が写る位置を導出する処理がある。この処理では、撮像素子130から時系列的に出力され、画像処理部104で生成された画像が逐次処理されて、動きベクトルが導出される。この動きベクトルの大きさやパターンに基づき、画面内における要被写体の写る領域を導出することができる。
例えば、主要被写体としての動き回る子どもが常に画面内に位置するよう、撮影者が撮影装置をパンし続けた場合、得られる画像中の子どもが写る部分の動きベクトルに比して、周囲の部分(周辺部)の動きベクトルは大きくなる。例えば、撮影装置に手ぶれを検出するためのセンサが内蔵されている場合、そのセンサからの出力を検出することにより、撮影装置がほぼ静止状態にあるのか、あるいは上述のようにパンしているのかを弁別することが可能である。撮影装置がパンされている状況のもと、画面内において動きベクトルの相対的に低い領域があれば、その領域に写る被写体が主要被写体と見なすことが可能である。
あるいは、撮影装置がほぼ静止状態にあり、画面内において動きベクトルの相対的に高い領域があれば、逆にその領域に写る被写体が主要被写体であると見なすことが可能である。また、動きベクトルの大小だけではなく、動きベクトルの経時的な変化のパターンの違いから、主要被写体の写る位置を推定することも可能である。
被写体認識処理部108では、上述したもの以外の被写体認識処理が行われてもよい。例えば、画像表示部172に表示されるライブビュー画像中で撮影者がタッチパネルの操作等によって被写体を特定した後、その被写体の像をテンプレートとしてテンプレートマッチング処理を行い、一致度の高い部分を主要被写体の写る位置とすることも可能である。また、画像内に写る被写体と撮影装置との間の距離を導出して、画面内で最も近い位置にある被写体の写る位置を主要被写体の写る位置とすることも可能である。被写体認識処理部108では、以上に説明した処理例のうち、いずれかの処理が行われても、複数の処理が組み合わせて行われてもよい。
画像振り分け処理部110は、撮像素子130から時系列的に出力され、画像処理部104で処理されて生成される複数フレームからなる一連の画像データ(以下ではこの一連の画像データを「画像ストリーム」と称する)を二つの時系列画像データに振り分ける処理をする。本明細書において、これら二つの時系列画像データを第1の時系列画像データ、第2の時系列画像データと称する。画像振り分け処理部110における画像データ振り分けの処理は、一番単純には、画像ストリームをフレームごとに交互に振り分ける処理とすることが可能である。
画像ストリームは、撮影装置が動作を開始してから、撮像素子130から一番目に出力された画像信号、二番目に出力された画像信号、三番目に出力された画像信号、…、n番目に出力された画像信号に基づいて生成された画像データを含む。撮像素子130は、インターレーススキャンが可能であってもよいし、プログレッシブスキャンが可能であってもよいが、本実施の形態においてはプログレッシブスキャン方式で撮像が行われるものとする。また、本明細書では説明の便宜上、撮像動作開始後、撮像素子130から奇数番目に出力された画像信号から生成された画像データを奇数フレーム(奇数番目のフレーム)と称する。同様に、撮像素子130から偶数番目に出力された画像信号から生成された画像データを偶数フレームと称する。つまり、画像振り分け処理部110は、一連の画像ストリームを奇数フレームの画像データと偶数フレームの画像データとに振り分ける処理を行う。本明細書では、画像振り分け処理部110で振り分けられた奇数フレームの画像データを第1の時系列画像データと称し、偶数フレームの画像データを第2の時系列画像データと称する。
以上では、画像振り分け処理部110が画像ストリームを交互に振り分ける処理をするものとして説明をしたが、例えば一つのフレームの画像データを第1の時系列画像データに振り分け、上記一つのフレームに続いて出力される、連続するnフレームの画像データを第2の時系列画像データに振り分ける、と云ったことを繰り返して不等配分することも可能である。ここで、nは2以上の整数である。
また、撮像素子130においてインターレーススキャン方式で撮像が行われる場合、画像振り分け処理部110は、撮像素子130から交互に出力される奇数フィールドおよび偶数フィールドの画像信号に基づいて生成される各画像データを振り分けることが可能である。この場合、例えば奇数フィールドの画像信号に基づく画像データを第1の時系列画像データに、偶数フィールドの画像信号に基づく画像データが第2の時系列画像データに振り分けることが可能である。無論、偶数フィールドの画像信号に基づく画像データが第1の時系列画像データに、奇数フィールドの画像信号に基づく画像データが第2の時系列画像データに振り分けられてもよい。
ところで、画像振り分け処理部110は、上述した画像振り分けの処理を常に行うようにしてもよいし、ある撮影状況においては画像振り分けの処理を行わず、必要なときにのみ画像振り分けの処理を行うようにしてもよい。画像振り分け処理部110で画像振り分け処理が行われない場合、動画像データ生成処理部112は、画像処理部104で生成される画像ストリーム(画像振り分けの処理が行われない一連の画像データ)に基づいて動画像データを生成することも可能に構成される。
また、撮像素子130がプログレッシブスキャンおよびインターレーススキャンの両方式のうち、いずれかの方式に切り換えて撮像動作を行うことが可能に構成される場合、画像処理部110で画像振り分け処理が行われる、あるいは行われない場合に対応して、撮像動作の方式を切り換えるようにしてもよい。すなわち、画像処理部110で画像振り分け処理が行われない場合、撮像素子130ではプログレッシブスキャンによる撮像動作が行われ、画像処理部110で振り分け処理が行われる場合には撮像素子130ではインターレーススキャンで撮像動作が行われるように構成されていてもよい。そしてインターレーススキャンにより生成される、奇数フィールドおよび偶数フィールドに対応する各画像を第1の時系列画像データおよび第2の時系列画像データに振り分けるようにすればよい。この場合、撮像素子130がインターレーススキャンの方式で動作すると垂直解像度が低下するが、垂直解像度が維持されるように補間処理を行うことも可能である。
焦点検出処理部114は、画像処理部104により生成されて逐次出力される画像データ中、画面内の所定領域(フォーカシングエリア)に対応する画像データを解析してコントラスト値を導出する処理(焦点検出処理)を繰り返し行う。例えば、撮影レンズ140の結像位置を少しずつ動かしながらコントラスト値の変化を見ることにより、撮影レンズ140の結像位置は望ましい(像がより鮮鋭となる)方向に移動しているのか否かを知ることができる。
焦点調節制御部116は、焦点検出処理部114による焦点検出処理結果に基づき、撮影レンズ140の結像位置の移動方向および移動量を導出し、後述する焦点調節駆動部144に制御信号を出力する。
輝度検出処理部118は、画像処理部104により生成されて逐次出力される画像データを解析して被写体の輝度(あるいは被写界輝度)を導出する。
ここで図2を参照し、第1および第2の時系列画像データの用途について説明する。図2は、本発明の実施の形態に係る撮影装置の要部を示すブロック図である。画像処理部104から出力される一連の画像ストリームが、画像振り分け処理部110によって第1の時系列画像データと第2の時系列画像データとに振り分けられる様子が図2に示されている。図2において、画像信号あるいは画像データの流れが破線で示されている。
画像振り分け処理部110が一連の画像ストリームを第1の時系列画像データと第2の時系列画像データとに振り分ける処理を行う場合、動画像データ生成処理部112は第2の時系列画像データに基づいて動画像データを生成する。同じく、画像振り分け処理部が上記のように画像データを振り分ける処理を行う場合、被写体認識処理部108および焦点検出処理部114は第1の時系列画像データを用いてそれぞれの処理を行う。このとき、画像表示部172には必要に応じてライブビュー画像を表示することができる。ライブビュー画像の表示を行う場合、表示駆動部170は第1および第2の時系列画像データのうち、いずれかの画像データに基づくライブビュー画像表示用データを画像振り分け処理部110から受信してライブビュー画像を画像表示部172に表示する。第1および第2の時系列画像データのうち、どちらの画像データに基づくライブビュー画像表示が行われるかは撮影状況による。これについては後で詳しく説明する。
再び図1を参照して補助光発光装置150について説明する。補助光発光装置150は、被写体の輝度が低いときに、被写体に向けて補助光を照射する装置である。先にも説明したように、補助光発光装置150は撮影装置に内蔵されていてもよいし、アクセサリとして撮影装置に着脱可能に装着されてもよい。すなわち、外付け式に構成されていてもよい。補助光発光装置150が撮影装置に内蔵される場合、電力は撮影装置の電源から供給される。補助光発光装置150が外付け式に構成されるものである場合、補助光発光装置150内に電池等の電源を内蔵していても、撮影装置から電力が供給されるものであってもよい。
本発明の実施の形態において、撮影装置を用いて動画撮影をする際に、補助光発光装置150は、撮影目的に応じて二つの動作モードのうちのいずれかで動作可能に構成される。一つは、補助光発光装置150から出射された補助光により照明された被写体の画像が写るように動作するモードである。この動作モードを、本明細書中ではAモードと称する。Aモードにおいては、動画撮影中に補助光発光装置150から連続して補助光が出射されるようにしてもよいし、撮像素子130の撮像動作(蓄積動作)に同期するように間欠的に出射されてもよい。もう一つの動作モードは、動画撮影中、動画像データとしては記録されない画像データを生成するための撮像動作(蓄積動作)のタイミングに同期して発光する動作モードである。この動作モードを、本明細書中ではBモードと称する。
補助光発光装置150がAモードで動作して動画撮影が行われると、補助光によって照明された被写体を撮影することができる。一方、補助光発光装置150がBモードで動作して動画撮影が行われると、記録される動画像データ中の被写体は補助光が照射されていないので、例えば被写体としての人物が蝋燭の光で照らされているような状況でその場の雰囲気を活かした画像を記録することが可能となる。
図3は、補助光発光装置150がBモードで動作し、画像振り分け処理部110において一連の画像ストリームを第1および第2の時系列画像データに振り分ける処理が行われる際のシーケンスが概念的に示されている。撮像素子130で時系列に逐次行われる撮像動作中、奇数フレームの画像データを生成するための露光動作に同期して補助光発光装置150は点灯し、補助光が出射される。そして奇数フレームの画像データが第1の時系列画像データに、偶数フレームの画像データが第2の時系列画像データに振り分けられる。第1の時系列画像データは被写体認識処理部108および焦点検出処理部114に入力され、第2の時系列画像データは動画像データ生成処理部112に入力される。
従って、補助光発光装置150から出射された補助光によって照明された比較的明るい画像によって被写体認識処理、焦点検出処理を行うことが可能となり、比較的暗い状況においても、被写体認識処理および焦点検出処理の精度を高めることが可能となる。
以上のように動作可能な補助光発光装置150は、図1に示されるように、補助光制御部152と、照射角制御部160と、配光レンズ162と、照明光源としてのLEDアレイ164とを備える。LEDアレイ164は、複数のLED(発光ダイオード)L11…L15、L21…L25、L31…L35が平面上に配列されて構成される。以下ではこれらのLEDを参照する際に、「LED(L11〜L35)」と表記する。本実施の形態においては15個のLEDが配列されるものとする。
図1においては、図示の都合により、LED(L11〜L35)はXY平面上に沿って配列されたかたちで描かれているが、実際にはYZ平面に平行な面上に沿ってY軸方方向に3行、X軸方向に5列の格子状に配列されている。無論、これらの配列方法および配列個数については用途や仕様に応じて様々に変更することが可能である。また、LEDアレイ164を構成する各LED(L11〜L35)は、必ずしも平面上に配列される必要はなく、円筒面、球面、非球面等の曲面や階段状の不連続面に沿うように配列されていてもよい。
各LED(L11〜L35)は、互いに独立して点灯、消灯および点灯時の発光量を制御可能に構成される。配光レンズ162は、LEDアレイ164から被写体に向けて出射される光の照射角を調節するための拡散または集光作用を有するフレネルレンズ等を含んで構成され、その主面がYZ平面に平行となるように配置される。なお、LEDアレイ164の配列方向および配光レンズ162の向きは一例を示したに過ぎず、ミラーやプリズム等の光路屈曲用の光学素子を配設することにより、様々な配列方向および向きに配列することが可能である。
照射角制御部160は、配光レンズ162とLEDアレイ164との間の距離を変化させることにより、LEDアレイ(L11〜L35)から出射される光の照射角度を、撮影レンズ140の画角に応じて変化させる機構を備える。例えば、ネジ機構、ヘリコイド機構、ラック・アンド・ピニオン機構等によって配光レンズ162とLEDアレイ164との間の距離を変化させることが可能である。
補助光制御部152は、補助光コントローラ154と、電流制御部156と、点灯制御部158とを備える。電流制御部156は、LED(L11〜L35)のそれぞれに供給する電流を制御する電流制御回路I11…I15、I21…I25、I31…I35を備える。以下ではこれらの電流制御回路を参照する際に、「電流制御回路(I11〜I35)」と表記する。点灯制御部158は、LED(L11〜L35)のそれぞれに対して電流の供給を制御する半導体スイッチS11…S15、S21…S25、S31…S35を備える。以下ではこれらの半導体スイッチを参照する際に、「半導体スイッチ(S11〜S35)」と表記する。
上述した電流制御回路(I11〜I35)のそれぞれは、補助光コントローラ154によって独立して制御可能に構成される。また、半導体スイッチ(S11〜S35)のそれぞれも、補助光コントローラ154によって独立して制御可能に構成される。補助光コントローラ154は、システムコントローラ100から出力される制御信号に基づき、電流制御回路(I11〜I35)、半導体スイッチ(S11〜S35)、照射角制御部160を制御する。その結果、LEDアレイ(L11〜L35)中の任意のLEDを選択的に発光させて照度(光量)、照射範囲、および照射角度を変化させ、撮影範囲中の一部の被写体だけに補助光を照射することが可能に構成される。
なお、LEDアレイ(L11〜L35)から出射される補助光の照度(光量)を制御する方法としては、電流制御部156による電流制御に代えて、比較的高い周波数でパルス通電をしながらLEDアレイ(L11〜L35)中の任意のLEDに電力を供給し、その際のデューティー比を変化させる方法によってもよい。ここで、比較的高い周波数とは、パルス通電の一周期が、撮像素子130で1フレーム分の蓄積動作が行われる際の時間長に対して十分短くなるような(例えば1フレーム分の蓄積動作中に複数回のパルス通電が行われるような)周波数を意味する。また、LEDアレイ(L11〜L35)中の任意のLEDを撮像素子130での蓄積動作に同期して発光させる際に、照度の制御は行わずに一定照度で発光させ、その際の点灯時間を変化させることにより等価的に積算光量が変化するようにしてもよい。さらには、照度の調節と上記点灯時間の制御とを併用してもよい。
以上では、補助光発光装置150が光源としてLEDアレイ164を備える例について説明したが、断続的に発光可能であれば他の光源を備えるものであってもよい。例えば、複数の独立した発光部がマトリクス状に配列された有機EL(エレクトロ・ルミネッセンス)発光素子等を用いることも可能である。
また、照射角の変更を可能とする構成として、配光レンズ162が固定されていて、LEDアレイ164が配光レンズ162に対して移動可能に構成されていてもよい。あるいは、配光レンズ162およびLEDアレイ164が固定されていて、LEDアレイ164の周囲等に設けられるリフレクタが移動可能に構成されていてもよい。さらに、配光レンズ162およびリフレクタが固定されていて、LEDアレイ164が移動可能に構成されていてもよい。
発光タイミング制御部120および照射範囲制御部122の説明をする。発光タイミング制御部120は、撮像素子130で露光動作(撮像動作、蓄積動作)が行われるのに同期して補助光発光装置150からパルス状の補助光が照射されるよう(補助光が断続的に出射されるよう)、補助光コントローラ154に制御信号を出力する。
照射範囲制御部122は、撮影レンズ140の画角と、被写体認識処理部108で導出された主要被写体の位置とに基づき、撮影範囲内における補助光照射範囲および補助光照射角度に関する制御信号を出力する。このとき、照射範囲制御部122は、補助光発光装置150の発光照度に関する制御信号を出力してもよい。その場合、補助光制御部152は、受信した制御信号に基づいて、LEDアレイ(L11〜L35)中で選択されたLEDに電流を供給する際の電流値を制御する。
図4は、撮影範囲内の被写体がLEDアレイ(L11〜L35)によって照明される様子を概念的に描いた図であり、撮影装置の側から被写体の側を観た様子を示している。従って、図4の紙面に平行な面上にYZ平面が存在し、紙面に直交する方向にX軸が延在している。このとき、X軸は紙面裏側から表側に向かって座標値が増す向きとなっている。また、Y軸は図の紙面に沿って上側に、Z軸は図4の紙面に向かって右側に、それぞれ座標値が増える向きとなっている。
図4(a)は、撮影範囲内におけるLEDアレイ(L11〜L35)のそれぞれの照射範囲を示している。図4(b)は、被写体認識処理部108で導出された主要被写体の位置に対応して、LEDアレイ(L11〜L35)中、四つのLED(L22、L23、L32、L33)のみが発光するように制御され、認識された主要被写体が照射されている様子を示している。このとき、補助光発光装置150はBモードで動作している。つまり、動画撮影中において動画像データとしては記録されない画像データ(第1の時系列画像データ)を生成するための撮像動作(蓄積動作)のタイミングに同期して発光する動作モードで動作している。
補助光発光装置150がBモードで動作している場合には、上述のように必要な範囲のみを照射するようにして、補助光発光に伴う電力の消費を抑制することが可能となる。なお、図3を参照して説明したように、本発明の実施の形態において第1の時系列画像データは被写体認識処理にも用いられる。被写体の動きが激しかったり、あるいは撮影装置が急にパンされたりしたときには、補助光照射範囲から主要被写体が外れる可能性がある。そのような場合、照射範囲制御部122は、LEDアレイ(L11〜L35)中の発光するLEDの数を漸次増したり、一時的に全LEDを発光させたりするように補助光制御部152に制御信号を発することが望ましい。あるいは、補助光発光装置150がBモードで作動しているときに、LEDアレイ(L11〜L35)中の全LEDを点灯させるようにし、このとき選択されたLEDから出射される光の量に比して、選択されなかったLEDから出射される光の量を減じる、といった制御をすることも可能である。
再び図1を参照し、画像表示部172は、TFT(シン・フイルム・トランジスタ)カラー液晶表示素子とバックライトとを備えていて、カラー画像を表示可能に構成される。あるいは、自発光式の有機ELディスプレイ装置を備えて構成されていてもよい。画像表示部172には、静止画像および動画像の再生表示に加え、ライブビュー画像も表示可能に構成される。画像表示部172は、撮影装置の背面等に備えられる、いわゆるモニタ表示装置としての形態を有するものであっても、EVF(電子ビューファインダ)の形態を有するものであってもよい。あるいは両方を備えていてもよい。
表示駆動部170は、画像処理部104により生成され、SDRAM180内のVRAM(ビデオ・ランダム・アクセス・メモリ)エリアに一時的に記憶された表示用画像データに基づく画像を画像表示部172に表示する。
表示用発光素子174は、1または複数のLED等の発光部を備えて構成されるインジケータである。表示用発光素子174により、撮影装置の電源のオン/オフ、動画撮影モード、静止画撮影モード、あるいは再生モード等の動作モード、メモリカードMCへのアクセス状態等を表示することができる。
フラッシュメモリ176は、書き換え可能な不揮発性メモリであり、CPU102により実行されるファームウェア(プログラムコード)が記憶される。フラッシュメモリ176にはまた、撮影装置に電力が供給されていない状態でも保持する必要のある制御パラメータ、撮影装置の製造工程で個々の撮影に対応して記録された調整パラメータ、そして撮影者により選択された動作設定や動作ステータス情報等が記憶される。さらに、必要に応じて画像データをフラッシュメモリ176に記憶することが可能に構成されていてもよい。
SDRAM180は、比較的高速のアクセス速度を有するメモリであり、フラッシュメモリ176に記憶されるプログラムコードをCPU102が実行する際のワークエリアとして使用される。SDRAM180はまた、画像処理部104、被写体認識処理部108等からもアクセス可能に構成され、これら画像処理部104、被写体認識処理部108等が画像処理をする際のワークエリア、画像表示部172に画像を表示する際のVRAMエリアとしても用いられる。
操作部190は、電源スイッチ190a、モード設定スイッチ190b、レリーズスイッチ190c、動画撮影スイッチ190d、アップスイッチ190e、ダウンスイッチ190f、補助光スイッチ190gに対する撮影者の操作を検出し、検出結果をシステムコントローラ100に出力する。これらのスイッチ190a〜190gとしては、タッチパネル、プッシュスイッチ、スライドスイッチ、ダイヤルスイッチ、撮影レンズ140の鏡胴にヘリコイドリングを模して設けられたリング状の操作部材(操作環)の回転方向および回転量を検出可能なスイッチ等のうちのいずれであってもよい。また、撮影装置に与えられる揺動や加振等の向きや大きさ、パターン等を検出可能なセンサをスイッチとして用いることも可能である。さらに、撮影者が操作するリモートコントローラからのコマンドを操作部190が受信してもよい。
電源スイッチ190aは、撮影装置の電源をオン/オフするためのスイッチである。モード設定スイッチ190bは、撮影装置の動作モードを設定するためのスイッチである。レリーズスイッチ190cは、静止画を撮影する際に操作されるスイッチである。動画撮影スイッチ190dは、動画撮影を開始/停止する際に操作されるスイッチである。
アップスイッチ190e、ダウンスイッチ190fは、シャッタ速度や絞り値等の設定を変更する際に操作されるスイッチとすることも可能であるが、本発明の実施の形態においては手動で焦点調節をする際に操作されるスイッチであるものとする。つまり、撮影者が操作をして焦点調節をすることが可能なモードに撮影装置が設定されているときに、アップスイッチ190e、ダウンスイッチ190fを撮影者が操作することにより、撮影レンズ140の結像位置を調節可能に構成されるものとする。
上記構成は、パワーフォーカスなどと称される。この構成により、アップスイッチ190e、ダウンスイッチ190fを撮影者が操作するのに応じて、結像位置が撮像素子130の受光面に対して前側または後ろ側の方向(結像位置が被写体に近づく方向または被写体から遠ざかる方向)に移動するように撮影レンズ140内の焦点調節用光学素子が駆動される。撮影者は、画像表示部172に表示されるライブビュー画像を観ながらアップスイッチ190e、ダウンスイッチ190fを操作することにより、手動で焦点調節を行うことができる。
ところで、撮影装置が撮影レンズを交換可能に構成されるものにおいて、当該の撮影装置とは異なる撮影装置向けに製造された撮影レンズが、マウントアダプタを介して装着される場合がある。また、レンズマウントの互換性は有しているので当該の撮影装置に直接装着することが可能ではあるものの、マニュアルフォーカス専用の撮影レンズであるために上述したパワーフォーカスの操作ができない場合がある。このような場合にはアップスイッチ190e、ダウンスイッチ190fの操作による焦点調節はできないので、撮影者は画像表示部172に表示されるライブビュー画像が鮮鋭となるようにレンズのヘリコイド環を操作する。
補助光発光装置150は、被写体が所定の輝度値を下回る場合、自動的に発光を開始することも可能であるが、ユーザが判断して発光を開始するようにしてもよい。補助光スイッチ190gは、補助光発光装置150を発光させることが必要と判断した場合に操作するスイッチである。
撮影レンズ140は、絞り駆動部142と、焦点調節駆動部144と、焦点調節用光学素子としてのフォーカシングレンズ146とを備える。図1においてフォーカシングレンズ146は一枚の凸レンズとして描かれているが、凹レンズであってもよい。フォーカシングレンズ146また、複数のレンズエレメントを備えていてもよく、その場合、全体として正の集光作用(パワー)を有していても、負の集光作用を有していてもよい。また、撮影レンズ140の光学系を構成する全レンズ中、どの位置にフォーカシングレンズ146が配置されてもよい。あるいは、撮影光学系全体が光軸に沿って移動する、全体繰り出しによるフォーカシングが行われるものであってもよい。
絞り駆動部142は、撮影レンズ140中を透過する光の量を調節するための光彩絞り機構と、この光彩絞り機構を駆動するための絞りアクチュエータと、システムコントローラ100からの絞り指令値に基づいて絞りアクチュエータを駆動し、光彩絞り機構の開口径を変化させる絞り制御部とを備える。
焦点調節駆動部144は、フォーカシングレンズ146を駆動するためのフォーカシングアクチュエータと、システムコントローラ100からのフォーカシング指令値に基づいてフォーカシングアクチュエータを駆動し、撮影レンズ140の結像面を移動させるフォーカシング制御部とを備える。
撮影レンズ140は、単焦点レンズであっても可変焦点レンズであってもよい。撮影レンズ140が可変焦点レンズである場合、撮影者が焦点距離変更用の操作環を操作して焦点距離を変化させる手動式変倍機構を撮影レンズ140は備える。あるいは、変倍用のモータやレンズ駆動機構を内蔵していて、操作部190中に備えられる焦点距離変更用のスイッチを撮影者が操作するのに応じて電動で焦点距離が変更されるように構成されていてもよい。
上述したいずれかの方法で撮影レンズ140の焦点距離が変更された場合に、設定されている焦点距離に関連する情報が撮影レンズ140からシステムコントローラ100に送出されることが望ましい。照射範囲制御部122は、焦点距離に関連する情報を取得して補助光発光装置150から出射される補助光の照射角度を制御する信号を補助光制御部152に出力する。
図5は、撮影装置で動画撮影または静止画撮影が行われる際にシステムコントローラ100によって実行される処理手順を概略的に説明するフローチャートである。図5に示される処理は、撮影装置の電源が投入されて動作モードが撮影モードに切り替えられたときに実行が開始される。また、図5に示される処理がシステムコントローラ100により実行される際の前提は次のとおりである。撮影装置は、補助光発光装置150によって照明されていない状態の被写体を撮影するモード、すなわち補助光オフモードに設定されている。また、補助光発光装置150の動作モードはBモードに設定されている。
以下、図5とともに図1、図2を適宜参照して説明をする。S500においてシステムコントローラ100は、ライブビュー動作を開始する。このとき、画像振り分け処理部110は画像振り分けの処理を開始していない。従って、画像処理部104で生成され、出力される一連の画像ストリームは振り分けられることなく、被写体認識処理部108、焦点検出処理部114、表示駆動部170に出力される。なお、S500の処理が実行される時点では撮影モードの区別(静止画撮影モードか、動画撮影モードか)が確定していないので、動画像データ生成処理部112へは画像データが出力されていない。
S502においてシステムコントローラ100は、静止画撮影モードが選択されたか否かを判定する。S502の判定が否定された場合の分岐先であるS504においてシステムコントローラ100は、動画撮影モードが選択されたか否かを判定する。S504の判定が否定されるとS502に戻り、静止画撮影モードおよび動画撮影モードのうちのいずれかの撮影モードが選択されるまでの間、S502、S504の判定処理を繰り返し行う。
S504の判定が肯定される、すなわち動画撮影モードが選択されたと判定された場合の分岐先であるS506においてシステムコントローラ100は、撮影者が動画撮影の開始操作をしたか否かを判定する。S506の判定が否定される間、S506の判定処理を繰り返し行う。S506の判定が肯定されるとS508に進む。
S508においてシステムコントローラ100は、画像振り分け処理部110の動作を許可する。その結果、画像振り分け処理部110では、画像処理部104から受け取る一連の画像ストリームを逐次第1および第2の時系列画像データに振り分ける処理を開始する。
S510においてシステムコントローラ100は、動画像データ生成処理部112の動作を許可する。その結果、動画像データ生成処理部112は、画像振り分け処理部110から受け取る第2の時系列画像データをもとに動画像データを生成する処理を開始する。
S512においてシステムコントローラ100は、第2の時系列画像データに基づく画像をライブビュー表示するように設定する。この設定を受け、画像振り分け処理部110から表示駆動部170へは、第2の時系列画像データに基づくライブビュー表示用画像データが出力される。その結果、画像表示部172では第2の時系列画像データに基づくライブビュー画像の表示が開始される。撮影者はこのライブビュー画像を観ながら動画撮影をすることにより、どのような動画像が記録されているかを知ることができる。
S514においてシステムコントローラ100は、被写体認識処理部108における被写体認識処理の開始を許可する。被写体認識処理部108は、画像振り分け処理部110から受け取った第1の時系列画像データを用いて被写体認識処理を行うことを開始する。被写体認識処理としては、先に説明した複数の処理内容のうち、いずれか一つまたは複数の組み合わせとすることが可能である。
S516においてシステムコントローラ100は、焦点検出処理部114における焦点検出処理の開始を許可する。焦点検出処理部114は、画像振り分け処理部110から受け取った第1の時系列画像データを用いて焦点検出処理を行うことを開始する。焦点検出処理は、画面内において予め設定された部分領域に対応する画像データを解析してコントラスト値を算出することを逐次繰り返し、時間経過に伴うコントラスト値の変化を導出する処理とすることが可能である。
S518においてシステムコントローラ100は、自動焦点調節モードが選択されているか否かを判定し、この判定が肯定されるとS520(図5B)に進み、否定されるとS560に分岐する。S520から始まる処理がオートフォーカスの処理であり、S560から始まる処理がマニュアルフォーカス(パワーフォーカス)の処理である。
S520においてシステムコントローラ100は、輝度検出処理部118から受信した信号をもとに、現状の被写体輝度が補助光の発光を必要とする輝度であるか否かを判定する。S520の判定が肯定されるとS540に進む一方、否定されるとS522に進む。
補助光の発光は必要ではないとS520で判定された場合の分岐先であるS522において、システムコントローラ100は補助光発光装置150が発光動作中であるか否かを判定し、この判定が肯定されるとS524に、否定されるとS526に進む。
システムコントローラ100は、被写界輝度が比較的高く(明るく)、補助光の発光は不要な状況のもとで補助光発光装置150が発光動作中であるとS522で判定した場合、S524において補助光発光装置150の発光動作を停止し、S526に進む。一方、補助光発光装置150は発光していないとS522で判定された場合、システムコントローラ100はS524の処理をスキップしてS526に進む。
補助光の発光が必要であるとS520で判定された場合の分岐先であるS540において、システムコントローラ100は補助光発光装置150が発光動作中であるか否かを判定し、この判定が肯定されるとS526に、否定されるとS542に進む。
システムコントローラ100は、被写界輝度が比較的低く(暗く)、補助光の発光が必要な状況のもとで補助光発光装置150が発光動作していないとS540で判定すると、S542において補助光発光装置150の発光動作を許可し、S526に進む。一方、補助光発光装置150は既に発光動作中であるとS540で判定された場合、システムコントローラ100はS542の処理をスキップしてS526に進む。
上述したS542の処理が行われると、補助光発光装置150が第1の時系列画像データ取得のための蓄積動作に同期して補助光を出射するようにタイミング制御される。つまり、Bモードでの発光動作が開始される。
S526においてシステムコントローラ100は、被写体認識処理部108で被写体認識処理が行われて生成された情報として被写***置情報を取得する。この被写***置情報は、画面中のどこに主要被写体が写っているかを特定可能な情報である。
システムコントローラ100はS528において、S526で取得した被写***置情報に基づき、補助光発光装置150から補助光を出射する場合の照射範囲を特定する情報を補助光制御部152に出力する。ところで、補助光発光装置150が撮影装置に内蔵される場合、LEDアレイ164を構成するLEDの行方向、列方向の配列数をシステムコントローラ100は把握可能である。その場合、システムコントローラ100は照射範囲を特定する情報として、発光すべきLEDを指定する情報を出力してもよい。あるいは、補助光制御部152とシステムコントローラ100との間で事前に通信を行い、補助光発光装置150が行、列それぞれの方向にいくつずつのLED(発光部)を備えているか分かっている場合も、発光すべきLEDを指定する情報を出力可能である。
システムコントローラ100はS530において、焦点調節状態検出処理を行う。つまり、直近の過去に行われた焦点検出処理の結果を焦点検出処理部114から受け取る。そして、直近の過去に行われていた焦点調節動作による結像面の移動方向と、コントラスト値の変化傾向(増加傾向/減少傾向)とから、次に結像面を移動させる際の方向と移動量とを決定する処理を行う。ここで、結像面の移動方向とは、撮影レンズ140の結像面が被写体に近づく方向および被写体から遠ざかる方向を意味する。
S532においてシステムコントローラ100は、焦点調節制御を行う。つまり、焦点調節制御部116から撮影レンズ140の焦点調節駆動部144に焦点調節のための制御信号を出力する処理を行う。
S534でシステムコントローラ100は、動画撮影終了の操作を撮影者がしたか否かを判定する。S534での判定が否定される間、S520からS532まで、およびS540、S542の一連の処理が継続して行われる。一方、S534の判定が肯定されると、システムコントローラ100はS536に進み、動画撮影終了の処理を行う。この処理に伴い、動画撮影に関連する回路の動作を停止する処理が行われる。また、メモリカードMCに記録される動画像ファイルをクローズする処理が行われ、一連の撮影動作が完了する。このとき、システムコントローラ100は、補助光発光装置150が点灯中であれば消灯するための制御信号を補助光制御部152に出力する。
次に、図5AのS518の判定が否定された場合、つまり、撮影装置は現状でマニュアルフォーカスによる動画撮影モードに設定されていると判定された場合の処理について図5Cを参照して説明する。
S560においてシステムコントローラ100は、第1の時系列画像データに基づく画像をライブビュー表示するように設定する。この設定を受け、画像振り分け処理部110から表示駆動部170へは、第1の時系列画像データに基づくライブビュー表示用画像データが出力される。その結果、画像表示部172では第1の時系列画像データに基づくライブビュー画像の表示が開始される。
S562においてシステムコントローラ100は、輝度検出処理部118から受信した信号をもとに、現状の被写体輝度が補助光の発光を必要とする輝度であるか否かを判定する。S562の判定が肯定されるとS580に進む一方、否定されるとS564に進む。
補助光の発光は必要ではないとS562で判定された場合の分岐先であるS564において、システムコントローラ100は補助光発光装置150が発光動作中であるか否かを判定し、この判定が肯定されるとS566に、否定されるとS568に進む。つまり、システムコントローラ100は、被写界輝度が比較的高く(明るく)、補助光の発光は不要な状況のもとで補助光発光装置150が発光動作中であるとS564で判定した場合、S566において補助光発光装置150の発光動作を停止し、S568に進む。一方、補助光発光装置150は発光していないとS564で判定された場合、システムコントローラ100はS566の処理をスキップしてS568に進む。
補助光の発光が必要であるとS562で判定された場合の分岐先であるS580において、システムコントローラ100は補助光発光装置150が発光動作中であるか否かを判定し、この判定が肯定されるとS568に、否定されるとS582に進む。つまり、システムコントローラ100は、被写界輝度が比較的低く(暗く)、補助光の発光が必要な状況のもとで補助光発光装置150が発光動作していないとS580で判定した場合、S582において補助光発光装置150の発光動作を許可し、S568に進む。一方、補助光発光装置150は既に発光動作中であるとS580で判定した場合、システムコントローラ100はS582の処理をスキップしてS568に進む。
上述したS582の処理が行われると、補助光発光装置150が第1の時系列画像データ取得のための蓄積動作に同期して補助光を出射するようにタイミング制御される。つまり、Bモードでの発光動作が開始される。また、S560では第1の時系列画像データに基づく画像がライブビュー表示されるように切り換えられているので、ライブビュー表示される画像中の被写体は補助光発光装置150により照明された状態にある。
S568においてシステムコントローラ100は、撮影者によるアップスイッチ190eの操作が検出されたか否かを判定する。S568の判定が肯定されるとS590に進み、否定されるとS570に進む。
S568の判定が肯定された場合の分岐先であるS590においてシステムコントローラ100は、撮影レンズ140の結像面が被写体に近づく方向(より近い位置の被写体にピントが合う方向)にフォーカシングレンズ146が所定量移動するように焦点調節駆動部144に制御信号を出力する。このとき、焦点調節制御部116から焦点調節駆動部144に制御信号が出力される。ところで、撮影レンズ140がいわゆるインナーフォーカス方式で焦点調節を行うものである場合、フォーカシングレンズ146の光軸方向に沿う移動量とそれに伴う結像面の移動量との比率は様々である。したがって、上記の所定量もまた様々である。この所定量の例としては、結像面が20μm、50μm、あるいは100μm移動するのに必要な量、などとすることが可能である。S590の処理の後、S572の処理に進む。
S568の判定が否定された場合の分岐先であるS570においてシステムコントローラ100は、撮影者によるダウンスイッチ190fの操作が検出されたか否かを判定する。S570の判定が肯定されるとS592に進み、否定されるとS572に進む。
S570の判定が肯定された場合の分岐先であるS592においてシステムコントローラ100は、撮影レンズ140の結像面が被写体から遠ざかる方向(より遠い位置の被写体にピントが合う方向)にフォーカシングレンズ146が所定量移動するように焦点調節駆動部144に制御信号を出力する。このとき、焦点調節制御部116から焦点調節駆動部144に制御信号が出力される。ここでの所定量も先に説明したのと同様とすることが可能である。S592の処理の後、S572の処理に進む。
S572でシステムコントローラ100は、動画撮影終了の操作を撮影者がしたか否かを判定する。S572での判定が否定される間、S560からS570まで、およびS580、S582、S590、S592の一連の処理が継続して行われる。一方、S572の判定が肯定されると、システムコントローラ100はS536(図5B)に進み、先に説明した動画撮影終了の動作を行う。
図5Aを参照し、S502での判定が肯定された場合に実行される静止画撮影処理について説明する。システムコントローラ100はS550において、一連の静止画撮影処理を行う。この、一連の静止画撮影処理には、ライブビュー表示動作、撮影者のレリーズ操作を検出する動作、焦点調節動作、露出決定動作、撮影レンズ140の絞りを調節する動作、シャッタ開閉を行う動作、撮像素子130から画像信号を読み出して画像処理を行い、静止画像ファイルを生成する動作等が含まれる。なお、シャッタが開いている状態のときに、必要に応じて補助光発光装置150を作動させて被写体を照明することも可能である。
S552においてシステムコントローラ100は、静止画撮影の動作を終了する操作を撮影者がしたか否かを判定する。S552での判定が否定される間、システムコントローラ100はS550の静止画撮影の処理を継続して行う。S552での判定が肯定されると、システムコントローラ100はS554に進み、静止画撮影の終了処理を行う。この処理に伴い、静止画撮影に関連する回路の動作を停止する処理が行われる。そして、一連の撮影動作が完了する。
以上に説明したように、本発明の実施の形態によれば、記録される動画像は撮影シーン内の光を活かして雰囲気のあるものとすることができる一方で、焦点検出精度や被写体認識処理などの精度を高めることが可能となる。
また、撮影者がマニュアルフォーカス操作をする際には、被写体に補助光を照射して得られる画像がライブビュー画像として表示されるので、比較的暗い撮影シーンにおいても焦点調節やフレーミングを行うことが容易となる。
以上では、動画撮影中に補助光の発光が必要と判定されている間は補助光発光装置150をBモードで常時点灯させる例について説明したが、補助光の発光が必要と判定され、かつ焦点調節動作が行われている間のみ、補助光発光装置150がBモードで発光動作するようにしてもよい。このとき、撮影装置がマニュアルフォーカスモードで動作している場合には、撮影者がアップスイッチ190eまたはダウンスイッチ190fを操作している間および操作終了後の所定時間にわたりBモードで発光動作するようにしてもよい。また、マニュアルフォーカスレンズが撮影装置に装着されているときには、撮影者が補助光スイッチ190gを操作しながら焦点調節操作をするようにして、補助光スイッチ190gが操作されている間、Bモードで発光動作するようにしてもよい。このように発光動作を制御することにより、補助光発光装置150の発光に伴う電力消費を抑制することが可能となる。
補助光の発光に関しては、上述したように被写界輝度に基づいてシステムコントローラ100補助光発光/非発光の判定を行う、いわゆる低輝度自動発光の制御をしてもよいし、撮影者が補助光の発光を必要とするときのみ発光する(撮影者が補助光の発光を選択しないときには発光しない)ようにしてもよい。その場合、システムコントローラ100は、補助光スイッチ190gを撮影者が操作したことを検出したとき、かつ、被写界輝度が所定の輝度よりも低いときに、補助光発光装置150をBモードで作動させながら動画撮影を行う処理を行うことができる。
本発明の実施の形態では、焦点検出処理部114がコントラスト値を検出する方式で焦点検出処理を行う例について説明したが、位相差検出の方式で焦点検出処理を行うものであってもよい。位相差検出は、撮影レンズ140中の異なる瞳位置を透過して、撮影装置内に設けられる一対または複数対のAF(自動焦点検出)センサアレイ上に形成される像の位相差に基づいて撮影レンズ140の焦点調節状態を検出する方式である。
動画撮影動作中に焦点調節を継続するためには、位相差検出の方式で焦点検出処理を行う場合も撮影動作中に焦点検出を行うことが可能に構成されることが望ましい。そのための方法としては、撮影レンズ140を透過した光を、ハーフミラー等の光路分割手段を用いて複数の光路に沿って進む光に分割し、一方を撮像素子130に、他方を位相差検出用のAFセンサアレイに導くことが可能である。あるいは、撮像素子130の受光面の適宜の箇所に位相差検出用素子(画素)を埋め込み、この埋め込み式の位相差検出用素子で位相差を検出することにより、上述した光路分割手段は不要となる。
撮像素子130内に埋め込まれた、あるいは別体の位相差検出用素子で光電変換動作が行われるのと同時に、撮像素子130では第1の時系列画像データを得るための撮像動作を行うことができる。そして、動画像記録用の画像データ(第2の時系列画像データ)を得るための撮像動作が撮像素子130で行われるタイミングでは補助光を照射せず、撮像素子130内に埋め込まれた、あるいは別体の位相差検出用素子で蓄積動作が行われるのに同期して補助光を照射することが可能である。
以上の実施の形態の説明では、画像振り分け処理部110で画像振り分け処理が行われる際の撮像フレームレート、動画記録フレームレート等について触れていないが、様々な方式で撮像および動画像の記録が可能である。
例えば、撮像素子130は常時60fps(フレーム/秒)で撮像動作を続け、画像振り分け処理部110が作動する場合に、上述したように奇数フレームの画像を第1の時系列画像データに、偶数フレームの画像第2の時系列画像データに振り分けることが可能である。無論、奇数フレーム、偶数フレームの区別は説明の便宜上用いただけであるので、偶数フレームの画像を第1の時系列画像データに、奇数フレームを第2の時系列画像データに振り分けてもよい。
また、撮像素子130は、画像振り分け処理部110が作動しない状態では例えば30fpsで撮像動作を行い、画像振り分け処理部110が作動するときに撮像フレームレートを高める(例えば60fpsにする)ことも可能である。
あるいは、撮像素子130は画像振り分け処理部110が動作する/しないによらず一定の撮像フレームレートで作動し、以下のように振り分けの処理が行われても良い。画像振り分け処理部110で振り分け処理が行われると、第1の時系列画像データに振り分けられた画像の撮像タイミングで得られる画像が第2の時系列画像データ中では欠けてしまうことになる。この、欠けたフレームについては、第2の時系列画像データ中の、欠けたフレームに対して時間的に前後するフレームの画像データを用い、補間処理によって生成するようにしてもよい。これは撮像動作がプログレッシブスキャンの方式、インターレーススキャンの方式、いずれの方式で行われる場合であっても同様である。ところで、動画撮影が行われる際に、プログレッシブスキャンが行われるか、インターレーススキャンが行われるかによって、1秒あたりの画像更新回数はフレームレート、フィールドレートと称される。本明細書において、これらのフレームレート、フィールドレートを総称して撮像レートと称する。
画像振り分け処理部110で行われる振り分け処理は、先にも説明したように、画像ストリームを第1および第2の時系列画像データに交互に振り分けても、不等配分することも可能である。
補助光発光装置150から出射される光の分光特性に関しては、いわゆる白色光や、A光源、B光源等に似せた、様々な特性(色温度)のものとすることが可能である。また、補助光発光装置150の用途が焦点検出専用であるときには、いわゆる単色光の光が出射されるようにしてもよい。このとき、可視域外ではあるけれども撮像素子130や位相差検出用のAFセンサでは検出可能な波長の光(例えば近赤外光等)を出射することにより、美術館や劇場等、可視光の出射が憚られる状況でも補助光発光装置150を用いることができる。
100 … システムコントローラ
102 … CPU
104 … 画像処理部
108 … 圧縮・伸張部
110 … 画像振り分け処理部
112 … 動画像データ生成処理部
114 … 焦点検出処理部
116 … 焦点調節制御部
118 … 輝度検出処理部
120 … 発光タイミング制御部
130 … 撮像素子
132 … 撮像素子インターフェース回路
140 … 撮影レンズ
144 … 焦点調節駆動部
146 … フォーカシングレンズ
150 … 補助光発光装置
152 … 補助光制御部
154 … 補助光コントローラ
156 … 電流制御部
158 … 点灯制御部
160 … 照射角制御部
162 … 配光レンズ
164 … 補助光発光装置
170 … 表示駆動部
172 … 画像表示部
176 … フラッシュメモリ
180 … SDRAM
190 … 操作部
102 … CPU
104 … 画像処理部
108 … 圧縮・伸張部
110 … 画像振り分け処理部
112 … 動画像データ生成処理部
114 … 焦点検出処理部
116 … 焦点調節制御部
118 … 輝度検出処理部
120 … 発光タイミング制御部
130 … 撮像素子
132 … 撮像素子インターフェース回路
140 … 撮影レンズ
144 … 焦点調節駆動部
146 … フォーカシングレンズ
150 … 補助光発光装置
152 … 補助光制御部
154 … 補助光コントローラ
156 … 電流制御部
158 … 点灯制御部
160 … 照射角制御部
162 … 配光レンズ
164 … 補助光発光装置
170 … 表示駆動部
172 … 画像表示部
176 … フラッシュメモリ
180 … SDRAM
190 … 操作部
Claims (11)
- 撮影レンズにより形成された被写体像を撮像する撮像動作を繰り返し行い、前記撮像動作のそれぞれに対応して画像データを時系列に出力可能な撮像部と、
前記撮像部から時系列に出力される前記画像データを、第1の時系列画像データと第2の時系列画像データとにフレーム単位、またはフィールド単位で振り分ける振り分け処理部と、
被写体に向けて照明光を出射する補助光発光装置が、前記第1および第2の時系列画像データのうち、前記第1の時系列画像データに対応する画像データを出力するための撮像動作を前記撮像部が行うタイミングに同期して発光するように制御する発光タイミング制御部と、
前記第2の時系列画像データをもとに動画像データを生成する動画像データ生成部と
を備えることを特徴とする撮影装置。 - 前記第1の時系列画像データを逐次解析してコントラスト値を導出し、前記撮影レンズの焦点調節状態を検出する第1の焦点検出処理部と、
前記第1の焦点検出処理部による前記検出の結果に基づいて、前記撮像部の受光面上に形成される前記被写体像がより鮮鋭となるように前記撮影レンズの焦点調節に係る動作を制御する第1の焦点調節制御部と
をさらに備えることを特徴とする請求項1に記載の撮影装置。 - 前記補助光の点灯に同期して光電変換動作を行うことが可能な一対または複数対のセンサアレイから信号を読み出し、前記撮影レンズ中の異なる瞳位置を経て入射した被写体光により前記一対または複数対のセンサアレイ上に形成される像の位相差に基づいて前記撮影レンズの焦点調節状態を検出する第2の焦点検出処理部と、
前記第2の焦点検出処理部による前記撮影レンズの焦点調節状態の検出結果に基づいて、前記撮像部の受光面上に形成される前記被写体像がより鮮鋭となるように前記撮影レンズの焦点調節に係る動作を制御する第2の焦点調節制御部と
をさらに備えることを特徴とする請求項1に記載の撮影装置。 - 撮影者による焦点調節用操作部の操作である焦点調節操作を検出する焦点調節操作検出部と、
前記焦点調節操作検出部で前記焦点調節操作が検出されるのに応じ、前記撮影レンズ内に備えられる1または複数の焦点調節用光学素子を駆動して前記撮影レンズの結像面を前記撮像部の受光面に対して前方向または後方向に移動させるための制御を行う第3の焦点調節制御部と
をさらに備えることを特徴とする請求項1に記載の撮影装置。 - 撮影者による補助光発光用操作部の操作である補助光発光操作を検出する補助光発光操作検出部をさらに備え、
前記発光タイミング制御部は、前記補助光発光操作検出部で前記補助光発光操作が検出されたときに、前記第1の時系列画像データに対応する画像データを出力するための撮像動作を前記撮像部が行うタイミングに同期して前記補助光発光装置が発光するように制御を行うことを特徴とする請求項1に記載の撮影装置。 - 前記第1の時系列画像データまたは前記第2の時系列画像データに基づく画像をライブビュー画像として表示可能な画像表示部をさらに備え、
焦点調節を自動的に行う自動焦点調節モード、および撮影者が手動で焦点調節を行う手動焦点調節モードのうち、いずれかの焦点調節モードを撮影者が選択可能に構成され、
前記自動焦点調節モードが選択されているときには前記第2の時系列画像データに基づく画像を、前記手動焦点調節モードが選択されているときには前記第1の時系列画像データに基づく画像を、それぞれライブビュー画像として表示するように構成されることを特徴とする請求項4または5に記載の撮影装置。 - 前記撮像部は、撮像動作時のフレームレートまたはフィールドレートである撮像レートとして、第1の撮像レートと、前記第1の撮像レートよりも高い撮像レートである第2の撮像レートとを含む複数種類の撮像レートのうち、いずれかの撮像レートで前記撮像動作を行うことが可能に構成され、
前記撮像部は、前記補助光発光装置が発光しない場合には前記第1の撮像レートで前記撮像動作を行う一方、前記補助光発光装置が発光する場合には前記第2の撮像レートで前記撮像動作を行い、
前記振り分け処理部は、前記撮像部で前記第2の撮像レートで前記撮像動作が行われて時系列に出力される画像データを、前記第1の時系列画像データおよび前記第2の時系列画像データに、交互に振り分ける
ことを特徴とする請求項1から6のいずれか一つに記載の撮影装置。 - 前記動画像データ生成部はさらに、前記振り分け処理部において前記第1の時系列画像データに振り分けられたフレームまたはフィールドに相当する画像データを補間処理によって生成し、生成された当該の画像データと前記第2の時系列画像データとから前記動画像データを生成することを特徴とする請求項1から6のいずれか一つに記載の撮影装置。
- 前記補助光発光装置は、複数の発光部を備えていて、前記複数の発光部のうち、一部の発光部を選択的に発光させることにより、光の照射範囲を変えることが可能に構成され、
前記撮像部から出力される画像データを処理し、撮影範囲中の、主要被写体が写る位置を導出する被写体認識処理部と、
前記被写体認識処理部で導出された前記主要被写体が写る位置を照射するように前記補助光発光装置の前記光の照射範囲を制御する照射範囲制御部と
をさらに備えることを特徴とする請求項1または2に記載の撮影装置。 - 前記補助光発光装置は、複数の発光部を備えていて、前記複数の発光部のうち、一部の発光部を選択的に発光させることにより、光の照射範囲を変えることが可能に構成され、
前記撮像部から出力される画像データを処理し、撮影範囲中の、顔が写る位置を導出する顔認識処理部と、
前記顔認識処理部で導出された前記顔が写る位置を照射するように前記補助光発光装置の前記光の照射範囲を制御する照射範囲制御部と
をさらに備えることを特徴とする請求項1または2に記載の撮影装置。 - 前記補助光発光装置は、複数の発光部を備えていて、前記複数の発光部のうち、一部の発光部を選択的に発光させることにより、光の照射範囲を変えることが可能に構成され、
前記撮像部から時系列的に出力される画像データを逐次処理して動きベクトルを導出し、当該の動きベクトルを解析して撮影範囲中で主要被写体が写る位置を導出する動きベクトル導出処理部と、
前記動きベクトル導出処理部で導出された前記主要被写体が写る位置を照射するように前記補助光発光装置の前記光の照射範囲を制御する照射範囲制御部と
をさらに備えることを特徴とする請求項1または2に記載の撮影装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010241882A JP2012095183A (ja) | 2010-10-28 | 2010-10-28 | 撮影装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010241882A JP2012095183A (ja) | 2010-10-28 | 2010-10-28 | 撮影装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012095183A true JP2012095183A (ja) | 2012-05-17 |
Family
ID=46388031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010241882A Pending JP2012095183A (ja) | 2010-10-28 | 2010-10-28 | 撮影装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012095183A (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017501625A (ja) * | 2013-12-06 | 2017-01-12 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | カメラを用いた窓ガラス上にある雨滴を検出するための照明 |
JP2019204047A (ja) * | 2018-05-25 | 2019-11-28 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
-
2010
- 2010-10-28 JP JP2010241882A patent/JP2012095183A/ja active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017501625A (ja) * | 2013-12-06 | 2017-01-12 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | カメラを用いた窓ガラス上にある雨滴を検出するための照明 |
JP2019204047A (ja) * | 2018-05-25 | 2019-11-28 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
JP7102231B2 (ja) | 2018-05-25 | 2022-07-19 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9426350B2 (en) | Image capturing apparatus and control method thereof | |
US7539403B2 (en) | Image-taking apparatus | |
US7920205B2 (en) | Image capturing apparatus with flash device having an LED array | |
US7796182B2 (en) | Image-taking apparatus and focusing method | |
US8098317B2 (en) | High speed photographic device, method for controlling high speed photographic device, and computer program | |
JP2005128413A (ja) | 照明制御装置 | |
CN102879975B (zh) | 具有焦点检测装置的照相机 | |
JP2007135140A (ja) | 撮像装置 | |
JP2008070611A (ja) | 撮像装置、露出条件調整方法及びプログラム | |
JP2012212145A (ja) | 撮影用照明装置および撮像装置 | |
JP2019161499A (ja) | 撮像装置 | |
JP2014232972A (ja) | 撮像装置およびフリッカ検出方法、ならびに情報処理装置 | |
JP2011135185A (ja) | 撮像装置 | |
US20140226054A1 (en) | Variable magnification viewfinder device and method for changing luminance of displayed information | |
JP2007017503A (ja) | 撮影装置 | |
JP2009169282A (ja) | 撮像装置及びそのプログラム | |
JP5943561B2 (ja) | 撮像装置、その制御方法、および制御プログラム | |
JP2012119788A (ja) | 撮影装置、画像処理装置、撮影方法及び画像処理方法 | |
JP2009265269A (ja) | 撮影用照明装置、撮影装置 | |
JP2012095183A (ja) | 撮影装置 | |
JP2007049572A (ja) | 撮影装置 | |
US8681263B2 (en) | Imager capturing an image with a rolling shutter using flicker detection | |
JP2013223038A (ja) | 撮像装置及び撮像のための照明方法 | |
JP4872421B2 (ja) | 撮像装置、オートフォーカスaf補助光発光方法、およびプログラム | |
JP6561146B2 (ja) | 撮影装置及びその制御方法 |