JP2019022139A - 撮像装置およびその制御方法 - Google Patents
撮像装置およびその制御方法 Download PDFInfo
- Publication number
- JP2019022139A JP2019022139A JP2017140851A JP2017140851A JP2019022139A JP 2019022139 A JP2019022139 A JP 2019022139A JP 2017140851 A JP2017140851 A JP 2017140851A JP 2017140851 A JP2017140851 A JP 2017140851A JP 2019022139 A JP2019022139 A JP 2019022139A
- Authority
- JP
- Japan
- Prior art keywords
- image
- motion vector
- accumulation
- time
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
- Adjustment Of Camera Lenses (AREA)
Abstract
【課題】静止画と動画を同時撮影しながら、動画撮影に適応する動きベクトルの算出精度を向上することを目的とする。【解決手段】撮像装置は、第1の画像と、蓄積開始から終了までの時間が第1の画像より長い第2の画像と、を連続的に取得可能な撮像手段184と、複数の第1の画像から動きベクトルを算出する演算手段601と、動きベクトルを用いて、第2の画像から生成される動画像の画像処理を行う画像処理手段603と、を有する。【選択図】図11
Description
本発明は、撮像装置およびその制御方法に関し、特に、撮像素子からの同期した蓄積期間の異なる複数の映像を出力する撮像装置に関する。
動画と静止画の同時撮影を一台のカメラで行うことができると、撮影シーンを動画として視聴するとともに、その動画の中の決定的なシーンを静止画としても楽しむことができ、撮影された映像の価値を大きく高めることが可能になる。また、通常のフレームレートの動画と高フレームレートの動画を一台のカメラで同時に撮影することができると、特定のシーンをスローモーション映像に切り替えつつ高品位な作品として楽しむこともでき、視聴者に対して動感を豊かに伝えることが可能になる。ここで、一般に、再生された動画に一種のコマ送り的なパラパラ感があると品位が大きく失われてしまう。パラパラ感が出ないようにするためには、一連の撮影において1フレーム期間に近い蓄積時間を設定する必要がある。すなわち、フレームレートが30fpsであれば、1/30秒とか1/60秒といった比較的長い蓄積時間が適切となる。特に、空撮などのカメラの姿勢が不安定な状況においてはこの設定が重要である。
一方、静止画においては、一瞬を写し止めた鮮鋭さが求められるので、ストップモーション効果を得るために、例えば、1/1000秒程度の短い蓄積時間を設定する必要がある。また、高フレームレートの動画では1フレーム期間が短いので、例えば、フレームレートが120fpsであれば、1/125秒や1/250秒といった必然的に短い蓄積時間を設定することとなる。ここで、特許文献1の撮像装置は、撮像素子の各画素に非対称な一対のフォトダイオードを備える技術を開示したものである。特許文献1において、一方のフォトダイオードの受光効率が高く、他方のフォトダイオードの受光効率が低くなっている。従って、特許文献1では、蓄積期間の異なる二つの映像を同時に撮影することができることを示唆している。一方、動画撮影において、撮影者の手振れによって生じる撮影画像のブレを低減するために、過去フレームと現フレームを比較演算して算出した動きベクトルを用いて、振れ補正を行うことがある。また、算出された動きベクトルは、動画像の圧縮や被写体追尾に用いることも可能である。
しかしながら、前述のように、動画の品位を確保するために、動画の蓄積時間は比較的長い。そのため、蓄積時間中の被写体や撮像装置の動きのため、各フレーム画像にブレが生じて先鋭度が低くなる。したがって、フレーム間比較によって算出される動きベクトルの精度が低下し、ひいては、振れ補正、動画像の圧縮、被写体追尾などの性能が劣化する。
本発明は、上記課題を鑑みて、静止画と動画を同時撮影しながら、動画撮影に適応する動きベクトルの算出精度を向上する撮像装置を提供することを目的とする。
上記の課題を解決するために、本発明の撮像装置は、第1の画像と、蓄積開始から終了までの時間が前記第1の画像より長い第2の画像と、を連続的に取得可能な撮像手段と、複数の前記第1の画像から動きベクトルを算出する演算手段と、前記動きベクトルを用いて、前記第2の画像から生成される動画像の画像処理を行う画像処理手段と、を有することを特徴とする。
本発明によれば、静止画と動画を同時撮影しながら、動画撮影に適応する動きベクトルの算出精度を向上する撮像装置を提供することができる。
以下、本発明を実施するための最良の形態について図面などを参照して説明する。
(第1実施形態)
映像処理装置に撮像のための撮影光学系等を加えた撮像装置を本発明の好適な実施の形態として以下に説明する。図1は、本実施形態に係る撮像装置としてのデジタルスチルモーションカメラの外観図であり、図1(A)は、撮像装置の正面図、図1(B)は、撮像装置の背面図である。図1を参照して、本実施形態に係る撮像装置は、内部に撮像素子やシャッター装置を収納した撮像装置本体151と、内部に絞りを有した撮影光学系152と、撮影情報や映像を表示するための可動式表示部153とを備える。また、主に静止画の撮影を行うために使用するスイッチST154と、動画撮影を開始および停止するための釦であるスイッチMV155とを備える。表示部153は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。また、撮影モードを選択するための撮影モード選択レバー156と、撮像装置の機能設定を行う機能設定モードへ移行するためのメニュー釦157と、各種の設定値を変更するためのアップダウンスイッチ158および159とを備える。また、各種の設定値を変更するためのダイアル160と、撮像装置本体内に収納されている記録媒体に記録されている映像を表示部153上で再生する再生モードへ移行するための再生ボタン161を備える。また、空中からの撮影を行うために撮像装置を空中に浮上させるためのプロペラ162とを備える。
映像処理装置に撮像のための撮影光学系等を加えた撮像装置を本発明の好適な実施の形態として以下に説明する。図1は、本実施形態に係る撮像装置としてのデジタルスチルモーションカメラの外観図であり、図1(A)は、撮像装置の正面図、図1(B)は、撮像装置の背面図である。図1を参照して、本実施形態に係る撮像装置は、内部に撮像素子やシャッター装置を収納した撮像装置本体151と、内部に絞りを有した撮影光学系152と、撮影情報や映像を表示するための可動式表示部153とを備える。また、主に静止画の撮影を行うために使用するスイッチST154と、動画撮影を開始および停止するための釦であるスイッチMV155とを備える。表示部153は、ダイナミックレンジの広い映像もその輝度範囲を抑制することなく表示できるだけの表示輝度範囲を有している。また、撮影モードを選択するための撮影モード選択レバー156と、撮像装置の機能設定を行う機能設定モードへ移行するためのメニュー釦157と、各種の設定値を変更するためのアップダウンスイッチ158および159とを備える。また、各種の設定値を変更するためのダイアル160と、撮像装置本体内に収納されている記録媒体に記録されている映像を表示部153上で再生する再生モードへ移行するための再生ボタン161を備える。また、空中からの撮影を行うために撮像装置を空中に浮上させるためのプロペラ162とを備える。
図2は、本実施形態に係る撮像装置151の概略構成を示すブロック図である。なお、本実施形態に係る撮像装置151の範囲を点線で示す。同図において、撮像素子(撮像手段)184は、撮影光学系(光学系)152を介して結像された被写体の光学像を電気的な映像信号に変換する。撮影光学系152は、被写体の光学像を撮像素子184に結像させる。光軸180は、撮影光学系152の光軸である。絞り181は、撮影光学系152を通る光の量を調節するための絞りであり、絞り制御部182により制御される。光学フィルター183は、撮像素子184に入射する光の波長および撮像素子184に伝達する空間周波数を制限する。撮像素子184は、Ultra High Definition Televisionの規格を満たすに十分な画素数、信号読み出し速度、色域、ダイナミックレンジを有している。
デジタル信号処理部187は、撮像素子184より出力されたデジタル映像データに各種の補正を行った後に、映像データを圧縮する。タイミング発生部(制御手段)189は、撮像素子184、デジタル信号処理部187に各種タイミング信号を出力する。システム制御CPU(制御手段)178は、各種演算とデジタルスチルモーションカメラ全体を制御する。
映像メモリ190は、映像データを一時的に記憶し、表示インターフェース部191は、撮影された映像を表示する。表示部153は、液晶ディスプレイ等の表示装置である。記録媒体193は、映像データや付加データ等を記録するための半導体メモリ等の着脱可能な記録媒体である。記録インターフェース部192は、記録媒体193に記録または読み出しを行うためのインターフェースであり、外部インターフェース部196は、外部コンピュータ197等と通信するためのインターフェースである。プリンタ195は、小型インクジェットプリンタ等のプリンタであり、プリントインターフェース部194は、撮影された映像をプリンタ195に出力し印刷するためのインターフェース部である。コンピュータネットワーク199は、インターネットなどのコンピュータネットワークであり、無線インターフェース部198は、ネットワーク199と通信するためのインターフェース部である。スイッチ入力手段179は、スイッチST154やスイッチMV155や各種モードの切り替えを行う複数のスイッチを含む。飛行制御装置200は、空中からの撮影を行うための飛行制御装置である。
図3は、撮像素子184の一部回路図である。同図において、撮像素子184の多数の画層要素のうち、1行1列目(1,1)の画素要素と最終行であるm行1列目(m,1)の画素要素を示している。1行1列目(1,1)の画素要素とm行1列目(m,1)の画素要素の同じ構成要素は同じ番号で付番している。本実施形態に係る撮像素子184の1つの画素要素は、1つのフォトダイオード500に対して2つの信号保持部507A、507Bを有している。信号保持部を有する撮像素子184の基本構造は、本出願人により特開2013−172210号公報にて開示されているのでその説明は省略する。
図3の回路図において、1つの画素要素は、フォトダイオード500と、第1の転送トランジスタ501Aと、第1の信号保持部507Aとを備える。また、第2の転送トランジスタ502Aと、第3の転送トランジスタ501Bと、第2の信号保持部507Bと、第4の転送トランジスタ502Bとを有する。さらに1つの画素要素は、第5の転送トランジスタ503と、フローティングディフュージョン領域508と、リセットトランジスタ504と、増幅トランジスタ505と、選択トランジスタ506とを有している。
また、第1の転送トランジスタ501Aは、転送パルスφTX1Aにて制御され、第2の転送トランジスタ502Aは、転送パルスφTX2Aにて制御される。また、第3の転送トランジスタ501Bは、転送パルスφTX1Bにて制御され、第4の転送トランジスタ502Bは、転送パルスφTX2Bにて制御される。また、リセットトランジスタ504は、リセットパルスφRESで制御され、選択トランジスタ506は、選択パルスφSELで制御される。さらに、第5の転送トランジスタ503は、転送パルスφTX3にて制御される。ここで、各制御パルスは、不図示の垂直走査回路から送出される。
さらに、図3には、電源線520と、電源線521と、信号出力線523が含まれる。本実施形態に係る撮像装置を構成する撮像素子184は、1つのフォトダイオード500に対して2つの信号保持部507A、507Bを有しているため、第1の画像である静止画と第2の画像である動画とを同時に撮影することが可能となっている。そのため、S/Nの低下を伴わずに蓄積期間の異なる二つの画像を読み出すことが可能となっている。
図4は、撮像装置本体151における静止画(picture A)と動画(picture B)の撮影条件の設定画面を説明するための図である。撮影モード選択レバー156を時計方向に回転させることによって2つの映像を同時に撮影することができるデュアル映像モードに入る。表示部153には、その時の被写体の輝度に応じたBv値321、Fナンバー322、静止画(picture A)と動画(picture B)それぞれのISO感度323、324、シャッタースピード325、326が表示される。また、静止画(picture A)と動画(picture B)のそれぞれについて現在設定されているピクチャーモード327、328が表示される。ピクチャーモードはアップダウンスイッチ158、159、およびダイアル160を用いて複数の選択肢の中から撮影の目的に合ったものを選択することができる。
図5は、本実施形態に係るデュアル映像モードにおけるプログラムAE(Automatic Exposure)線図である。横軸がTv値とそれに対応するシャッタースピード、縦軸はAv値とそれに対応する絞り値、斜め方向が等Bv線となっている。ゲイン表記領域356は、静止画(picture A)のBv値とISO感度の関係を表しゲイン表記領域357は、動画(picture B)のBv値とISO感度の関係を表す。高輝度から低輝度になるに従って、シャッタースピード、絞り値、ISO感度がどのように変化するかを説明する。本実施形態に係る撮影装置は、第1の画像である静止画と第2の画像である動画とを同時に撮影するため、プログラムAE線図は、同じ被写体輝度に対して同じ絞り値になるように設定されている。
まず、輝度Bv14のときは、静止画ではISO感度はISO100に設定される。静止画の等Bv線は、静止画のプログラム線図の線358と点351で交差し、点351からシャッタースピード1/4000秒、絞り値F11と定まる。一方、動画ではISO感度はISO1に設定される。動画(picture Bの等Bv線は、動画のプログラム線図の線359と点352で交差し、点352からシャッタースピード1/60秒、絞り値F11と定まる。
輝度Bv11のときは、静止画ではISO感度は1段分上昇してISO200に設定される。静止画の等Bv線は静止画のプログラム線図の線358と点353で交差し、点353からシャッタースピード1/1000秒、絞り値F11と定まる。一方、動画ではISO感度はISO12に設定される。動画の等Bv線は、動画のプログラム線図の線359と点352で交差し、点352からシャッタースピード1/60秒、絞り値F11と定まる。
輝度Bv7のときは、静止画ではISO感度は、ISO200に設定される。静止画の等Bv線は、静止画のプログラム線図の線358と点354で交差し、点354からシャッタースピード1/1000秒、絞り値F2.8と定まる。一方、動画ではISO感度は、ISO12に設定される。動画の等Bv線は、動画のプログラム線図の線359と点355で交差し、点355からシャッタースピード1/60秒、絞り値F2.8と定まる。
輝度Bv6のときは、静止画ではISO感度は、1段分上昇してISO400に設定される。静止画の等Bv線は、静止画のプログラム線図の線358と点354で交差し、点354からシャッタースピード1/1000秒、絞り値F2.8と定まる。一方、動画ではISO感度はISO25に設定される。動画の等Bv線は、動画のプログラム線図の線359と点355で交差し、点355からシャッタースピード1/60秒、絞り値F2.8と定まる。以降、輝度が下がるにつれて静止画、動画ともにシャッタースピードと絞り値は変化せずにゲインアップしISO感度が上昇していく。
このプログラムAE線図に示した露光動作を行うことにより、表記した全輝度範囲において静止画は1/1000秒以上のシャッタースピードを保ち、動画は全輝度範囲で1/60秒のシャッタースピードを保っている。そのため、静止画ではストップモーション効果を得つつ、動画ではコマ送り的なパラパラ感の無い高品位な動画を得ることができる。
ところで、同じ絞り値で同時に撮影される静止画と動画は、ISOが異なるように制御されるが、静止画が適正露出になるように露出制御を行うと、動画は飽和してしまいISO制御をすることができない。そこで、本実施形態に係る撮像装置では、動画のフレームレートに相当するシャッタースピード1/60秒の間で均等の時間間隔で短い蓄積をNp(Np>1)回加算して動画を生成することにより、実質的にISOが小さくなるようにしている。
本実施形態では、動画のシャッタースピード1/60秒を蓄積期間、静止画のシャッタースピード1/1000秒を蓄積時間と称し、動画の蓄積時間は静止画の蓄積時間と同じになるように制御される。すなわち、短い蓄積を撮像素子184の信号保持部507にてNp(Np>1)回加算して生成された動画の全蓄積時間は静止画の蓄積時間と同じで、同じ撮影周期に撮影された静止画と同じISOで制御するようにしている。例えば、輝度Bv7のとき、シャッタースピード1/60秒の周期中に16回に分けて蓄積加算することにより動画を生成する場合、静止画のISO200と同様のISO制御をするために、動画を生成するための1回の蓄積時間は1/16000秒に設定される。
図6は、本実施形態に係る撮像装置において、第1の画像である静止画と第2の画像である動画と同時に撮影するための、撮像素子184における蓄積、読み出しタイミングを説明するための図である。ここで、蓄積とは、フォトダイオード500で発生した電荷を信号保持部507に転送することにより実行される。また、読み出しとは、信号保持部507に保持された電荷をフローティングディフュージョン領域508を介して撮像素子184の外部に出力することを指している。
図6において、本実施形態に係る撮像装置は、垂直同期信号550の1周期中に静止画と動画を読み出せるようになっている。また、図6では便宜的に16行のタイミングを図示しているが、実際の撮像素子184は、数千行を有し、本実施形態では、最終行をm行としている。さらに、第1の画像である静止画は、垂直同期信号550の1周期(時間Tf)中に全行同時に1回の蓄積(561)で生成され、第2の画像である動画は、全行Np(Np>1)回に分割された蓄積(563)を信号保持部に加算して生成される。本実施形態では、第2の画像である動画の1周期中に行われる蓄積の回数は16回で、1周期中に均等の時間間隔で蓄積加算が行われる。垂直同期信号550の間隔Tfは、動画のフレームレートに相当し、本実施形態では、1/60秒である。
その結果、動画と静止画を同時に撮影することが可能で、かつ静止画は、撮影者の意図する蓄積時間の短いブレのない画像を取得可能で、一方、動画は、パラパラ感のない滑らかな画像を取得可能となっている。図6の蓄積、読み出しタイミングの説明図の撮影周期1において、静止画の蓄積時間(561)は、撮影者によって設定されたシャッタースピードT1に設定されている。本実施形態では、T1=1/2000秒である。静止画の蓄積終了時間は、全行固定(垂直同期信号550からTaの時間)で、第1行目の静止画の読み出し(565)開始直前に蓄積が終了するように設定されている。静止画の蓄積終了時間は、全行固定のため、静止画のシャッタースピードT1に応じて、垂直同期信号550に対する静止画の蓄積開始時間が設定されるようになっている。ここで、静止画の蓄積終了時間Taは、垂直同期信号550の間隔Tfの半分以下に設定される。
一方、動画の蓄積は1周期中に均等の時間間隔で行われ、各行の動画の読み出し(566)開始直前までに、本実施形態では、16回に分割された蓄積が終了するように時間間隔が設定される。このとき、動画の蓄積の時間間隔は、水平同期信号551の間隔Thの整数倍に設定される。その結果、各行の動画の蓄積タイミングが同じになるようになっている。図6では、動画の蓄積の時間間隔は、便宜的に水平同期信号間隔Thの2倍になるように図示されている。通常は、動画の蓄積の時間間隔は、撮像素子184の行数をm、1周期中の動画の蓄積回数をNpとすると、m/Npを超えない整数に水平同期信号551の間隔Thを掛けた値に設定される。また、動画の1回の蓄積時間はT1/16(=1/32000秒)に設定される。ここで、各行の動画の蓄積開始時間は、垂直同期信号550に対して固定で、撮影者によって設定された静止画のシャッタースピードT1に応じて、動画の1回の蓄積終了時間が垂直同期信号550に対して設定されるようになっている。
一方、被写体輝度が低いときに撮影者が静止画のシャッタースピードT2を長めに設定(例えば、T2=1/500秒)した例を示したのが、図6の蓄積、読み出しタイミングの説明図の撮影周期2の部分である。上記撮影周期1で説明したように、静止画の蓄積終了時間は、全行固定(垂直同期信号550からTaの時間)で、第1行目の静止画の読み出し(565)開始直前に蓄積が終了するように設定されている。静止画の蓄積終了時間は全行固定のため、静止画のシャッタースピードT1に応じて、垂直同期信号550に対する静止画の蓄積開始時間が設定されるようになっている。
撮影周期1と同様に、動画の蓄積は、1周期中に均等の時間間隔で行われ、各行の動画の読み出し(566)開始直前までに16回に分割された蓄積が終了するように時間間隔が設定される。このとき、動画の蓄積の時間間隔は、水平同期信号551の間隔Thの整数倍に設定される。その結果、各行の動画の蓄積タイミングが同じになるようになっている。また、動画の1回の蓄積時間はT2/16(=1/8000秒)に設定される。ここで、各行の動画の蓄積開始時間は、垂直同期信号550に対して固定で、撮影者によって設定された静止画のシャッタースピードT2に応じて、動画の1回の蓄積終了時間が垂直同期信号550に対して設定されるようになっている。図6の蓄積、読み出しタイミングの説明図の撮影周期2では、静止画の蓄積時間T2が長いため、1周期中の動画の蓄積回数Npは、14回になっている。そのため、撮影周期2で生成された動画は、撮影周期2で生成された静止画を用いて補正を行っている。
次に、図7のタイミングチャートを用いて、図6の蓄積、読み出しタイミングの説明図の撮影周期2における第1の画像である静止画と第2の画像である動画を撮影可能な撮像素子184の制御方法を説明する。図7のタイミングチャートにおいて、垂直同期信号φVの立ち上がり時刻t1は、図6の蓄積、読み出しタイミングの説明図の撮影周期2が始まる垂直同期信号550の時刻1と同じである。
本実施形態に係る撮像素子184は、垂直方向にm行の画素列があり、図7では第1行と最終行の第m行のタイミングを示している。まず、時刻t1において、タイミング発生部189にて垂直同期信号φVがハイレベルになり、同時に水平同期信号φHがハイレベルになる。垂直同期信号φVがハイレベルになるのに同期した時刻t2において、第1行のリセットパルスφRES(1)がローレベルとなると第1行のリセットトランジスタ504がオフとなって、フローティングディフュージョン領域508のリセット状態が解除される。同時に、第1行の選択パルスφSEL(1)がハイレベルとなると第1行の選択トランジスタ506がオンとなって、第1行の画像信号の読み出しが可能となる。
時刻t3において、第1行の転送パルスφTX2B(1)がハイレベルとなると第1行の第4の転送トランジスタ502Bがオンとなる。そして、直前の撮影周期(図6における撮影周期1)中に信号保持部507Bの加算蓄積された動画の信号電荷がフローティングディフュージョン領域508に転送される。さらに、フローティングディフュージョン領域508の電位の変化に応じた出力が増幅トランジスタ505及び選択トランジスタ506を介して信号出力線523に読み出さる。そして、不図示の読み出し回路に供給されて第1行の動画信号として外部に出力される(図6では動画読み出し(566)で図示)。
時刻t4において、第1行の転送パルスφTX2B(1)、及び全行の転送パルスφTX2A(図7においては、φTX2A(1)、φTX2A(m))がハイレベルとなる。すると、第1行の第4の転送トランジスタ502B、全行の第2の転送トランジスタ502Aがオンとなる。このとき、既に全行のリセットパルスφRESがハイレベルになり、リセットトランジスタ504がオン状態になっている。そのため、全行のフローティングディフュージョン領域508、全行の静止画の信号保持部507A、第1行の動画の信号保持部507Bがリセットされる。また、時刻t4には、第1行の選択パルスφSEL(1)は、ローレベルになっている。
時刻t5において、全行の転送パルスφTX3がローレベルとなると、全行の第5の転送トランジスタ503がオフとなる。そして、全行のフォトダイオード500のリセットが解除されて全行のフォトダイオード500での動画の信号電荷の蓄積が開始される(図6では蓄積(563)で図示)。ここで、垂直同期信号φVのハイレベルとなる時刻t1と全行のフォトダイオード500での動画の信号電荷の蓄積開始時刻t5との時間間隔Tbは固定である。
ところで、図7のタイミングチャートの時刻t5での第1行の動画の蓄積開始は、図6に示す撮影周期2中の動画の蓄積開始を表し、時刻t5での第m行の動画の蓄積開始は、図6の撮影周期1中の動画の蓄積開始を表している。本実施形態の図6において、撮影周期1と撮影周期2の静止画及び動画の蓄積時間は異なり、撮影周期1の蓄積時間は撮影周期2の蓄積時間より短いため、撮影周期1中の第m行の動画蓄積が先に終了する。
時刻t6の直前に、第m行の転送パルスφTX1B(m)がハイレベルとなると、第m行の第3の転送トランジスタ501Bがオンとなる。そして、第m行のフォトダイオード500に蓄積された信号電荷は、第m行の動画の電荷を保持する信号保持部507Bに転送される(図6では動画転送(564)で図示)。さらに、時刻t6において、第m行の転送パルスφTX1B(m)がローレベルとなると、第m行の第3の転送トランジスタ501Bがオフとなり、フォトダイオード500に蓄積された信号電荷の信号保持部507Bへの転送が終了する。
ここで、時刻t5から時刻t6が、図6の撮影周期1における動画の1回の蓄積時間(=T1/16)に相当する。また、時刻t6において、第m行の転送パルスφTX3(m)がハイレベルとなり、第m行の第5の転送トランジスタ503がオンとなって、第m行のフォトダイオード500がリセット状態になる。
時刻t7の直前に、第1行の転送パルスφTX1B(1)がハイレベルとなると、第1行の第3の転送トランジスタ501Bがオンとなる。そして、第1行のフォトダイオード500に蓄積された信号電荷は、第1行の動画の電荷を保持する信号保持部507Bに転送される。さらに、時刻t7において、第1行の転送パルスφTX1B(1)がローレベルとなると、第1行の第3の転送トランジスタ501Bがオフとなり、第1行のフォトダイオード500に蓄積された信号電荷の第1行の信号保持部507Bへの転送が終了する。ここで、時刻t5から時刻t7が、図6の撮影周期2における動画の1回の蓄積時間(=T2/16)に相当する。また、時刻t7において、第1行の転送パルスφTX3(1)がハイレベルとなり、第1行の第5の転送トランジスタ503がオンとなって、第1行のフォトダイオード500がリセット状態になる。
時刻t1から始まる撮影周期における第1回目の動画の蓄積開始時刻t5から、水平同期信号間隔Thの2倍の時間がたった時刻t8に第2回目の動画の蓄積が開始される。時刻t8から始まり時刻t10に終了する第2回目の動画の蓄積動作は、前述の時刻t5から始まり時刻t7に終了する第1回目の動画の蓄積動作と同様なので説明は省略する。
ここで、第1回目、第2回目の動画の蓄積動作において、2回の蓄積期間の動画の信号電荷が信号保持部507Bに加算して保持される。さらに、時刻t11から第6回目の動画の蓄積が開始される。そして、第6回目の動画の蓄積開始時刻t11は、垂直同期信号φVのハイレベルとなる時刻t1から、T=6×2×Th+Tbの時間に設定されている。ここで、Thは、水平同期信号φHの時間間隔、Tbは、垂直同期信号φVのハイレベルとなる時刻t1とフォトダイオード500での第1回目の動画の信号電荷の蓄積開始時刻t5との時間間隔である。時刻t11から始まり時刻t13に終了する第6回目の動画の蓄積動作は、前述の時刻t5から始まり時刻t7に終了する第1回目の動画の蓄積動作と同様なので説明は省略する。
次に、時刻t14から第1の画像である静止画の蓄積が実行される。本実施形態では、1撮影周期中の静止画の蓄積回数は1回である。垂直同期信号φVに対する静止画の読み出し(図6では静止画読み出し(565)で図示)の開始時間は固定のため、垂直同期信号φVに対する静止画の蓄積終了時間(図6の時間Ta)は固定で、静止画の蓄積は、時刻t19に終了するように設定されている。撮影者によって静止画のシャッタースピードT2が設定されると、本実施形態に係る撮像装置では、静止画の蓄積開始時間が制御される。
静止画の蓄積終了時刻t19より時間T2さかのぼった時刻t14において、全行の転送パルスφTX3がローレベルとなると、全行の第5の転送トランジスタ503がオフとなる。そして、全行のフォトダイオード500のリセットが解除されて全行のフォトダイオード500での静止画の信号電荷の蓄積が開始される(図6では静止画蓄積(561)で図示)。
また、静止画の信号電荷の蓄積中に、撮影周期1の第m行の動画の読み出しが終了する。まず、時刻t15において、第m行のリセットパルスφRES(m)がローレベルとなると第m行のリセットトランジスタ504がオフとなって、フローティングディフュージョン領域508のリセット状態が解除される。同時に、第m行の選択パルスφSEL(m)がハイレベルとなると第m行の選択トランジスタ506がオンとなって、第m行の画像信号の読み出しが可能となる。
時刻t16において、第m行の転送パルスφTX2B(m)がハイレベルとなると第m行の第4の転送トランジスタ502Bがオンとなる。そして、直前の撮影周期(図6における撮影周期1)中に信号保持部507Bの加算蓄積された動画の信号電荷がフローティングディフュージョン領域508に転送される。さらに、フローティングディフュージョン領域508の電位の変化に応じた出力が増幅トランジスタ505及び選択トランジスタ506を介して信号出力線523に読み出される。そして、不図示の読み出し回路に供給されて第m行の動画信号として外部に出力される(図6では動画読み出し(566)で図示)。このとき、撮影周期1の第2の画像である動画の読み出しが完了し、次に撮影周期2の第1の画像である静止画の読み出しが行われる(図6では動画読み出し(566)で図示)。
時刻t17において、第m行の転送パルスφTX2B(m)がハイレベルとなると、第m行の第4の転送トランジスタ502Bがオンとなる。このとき既に第m行のリセットパルスφRES(m)がハイレベルになりリセットトランジスタ504がオン状態になっているため、第m行のフローティングディフュージョン領域508、第m行の動画の信号保持部507Bがリセットされる。また時刻t17には、第m行の選択パルスφSEL(m)は、ローレベルになっている。
時刻t18において、第1行のリセットパルスφRES(1)がローレベルとなると第1行のリセットトランジスタ504がオフとなって、フローティングディフュージョン領域508のリセット状態が解除される。同時に、第1行の選択パルスφSEL(1)がハイレベルとなると第1行の選択トランジスタ506がオンとなって、第1行の画像信号の読み出しが可能となる。
時刻t19の直前に、全行の転送パルスφTX1Aがハイレベルとなると、全行の第1の転送トランジスタ501Aがオンとなる。そして、全行のフォトダイオード500に蓄積された信号電荷は全行の静止画の電荷を保持する信号保持部507Aに転送される(図6では静止画転送(562)で図示)。さらに、時刻t19において、全行の転送パルスφTX1Aがローレベルとなると、全行の第1の転送トランジスタ501Aがオフとなり、全行のフォトダイオード500に蓄積された信号電荷の信号保持部507Aへの転送が終了する。ここで、時刻t14から時刻t19が、図6の撮影周期2における静止画の蓄積時間T2に相当する。
時刻t20において、第1行の転送パルスφTX2A(1)がハイレベルとなると第1行の第2の転送トランジスタ502Aがオンとなり、第1行の信号保持部507Aに蓄積された静止画の信号電荷がフローティングディフュージョン領域508に転送される。さらに、フローティングディフュージョン領域508の電位の変化に応じた出力が第1行の増幅トランジスタ505及び選択トランジスタ506を介して信号出力線523に読み出される。そして、不図示の読み出し回路に供給されて第1行の静止画信号として外部に出力される(図6では静止画読み出し(565)で図示)。
さらに、時刻t21から第7回目の動画の蓄積が開始される。ここで、第7回目の動画の蓄積開始時刻t21は、垂直同期信号φVのハイレベルとなる時刻t1から、T=(7+2)×2×Th+Tbの時間に設定されている。本実施形態では、2回の動画の蓄積期間が静止画の蓄積期間(図6では静止画蓄積(561)で図示)と重なっているため、第7回目の動画の蓄積開始時刻t21は、撮影周期1の第9回目の蓄積開始時間と同等になっている。
時刻t21から始まり時刻t23に終了する第7回目の動画の蓄積動作は、前述の時刻t5から始まり時刻t7に終了する第1回目の動画の蓄積動作と同様なので説明は省略する。さらに、時刻t24から撮影周期2の最後の第14回目の動画の蓄積が開始される。ここで、第14回目の動画の蓄積開始時刻t24は、垂直同期信号φVのハイレベルとなる時刻t1から、T=(14+2)×2×Th+Tbの時間に設定されている。時刻t24から始まり時刻t26に終了する第14回目の動画の蓄積動作は、前述の時刻t5から始まり時刻t7に終了する第1回目の動画の蓄積動作と同様なので説明は省略する。
時刻t27において、第m行のリセットパルスφRES(m)がローレベルとなると第m行のリセットトランジスタ504がオフとなって、フローティングディフュージョン領域508のリセット状態が解除される。同時に、第m行の選択パルスφSEL(m)がハイレベルとなると第m行の選択トランジスタ506がオンとなって、第m行の画像信号の読み出しが可能となる。
時刻t28において、第m行の転送パルスφTX2A(m)がハイレベルとなると第m行の第2の転送トランジスタ502Aがオンとなり、第m行の信号保持部507Aに蓄積された静止画の信号電荷がフローティングディフュージョン領域508に転送される。さらに、フローティングディフュージョン領域508の電位の変化に応じた出力が第m行の増幅トランジスタ505及び選択トランジスタ506を介して信号出力線523に読み出される。そして、不図示の読み出し回路に供給されて第m行の静止画信号として外部に出力される(図6では静止画読み出し(565)で図示)。
時刻t29において、タイミング発生部189にて垂直同期信号φVがハイレベルになり、撮影周期3が開始される。以上のように、本実施形態に係る撮像装置では、静止画の蓄積終了時間を垂直同期信号に対して固定とし、1撮影周期中に複数回行われる動画の蓄積の蓄積開始時間は、垂直同期信号に対して固定にする。これにより、同一撮影周期内に動画と静止画を読み出せるようにしている。
また、本実施形態に係る撮像装置は、第1の画像であるところの静止画と、蓄積開始から終了までの時間が第1の画像より長い第2の画像であるところの動画と、を連続的に取得可能である。ここで、蓄積開始から終了までの時間とは、複数の第1の画像であるところの複数の静止画においては蓄積時間、第2の画像であるところの動画においては蓄積期間を表す。その結果、撮影者によって静止画のシャッタースピードの変更があっても、1撮影周期中に蓄積時間の短いブレのない静止画とパラパラ感のない動画を同時に撮影することができる。すなわち、静止画と動画を高品位で同時撮影することができる。
ここで、本実施形態に係る振れ補正処理について説明する。図11は、本実施形態に係る振れ補正処理部600の構成を示す図である。振れ補正処理部600は、デジタル信号処理部187に設けられ、撮像素子184の静止画の出力をもとに動画の振れ補正処理を行い、振れ補正済みの動画を出力する。
動きベクトル算出部(演算手段)601は、撮像素子184の出力のうち、静止画に対し過去フレームと現フレームの相関演算を行い、動きベクトルを出力する。過去フレームは、図6の撮影周期1における静止画の読み出し(565)で得られた画像であり、現フレームは、図6の撮影周期2における静止画の読み出し(565)で得られた画像である。すなわち、本実施形態では、第1の画像であるところの静止画から動きベクトルを算出する。動きベクトル補正部(演算手段)602は、静止画から算出された動きベクトルに対し、動画に適応するために以下の補正((1)解像度、(2)フレーム間隔、(3)蓄積タイミング)を行い、補正動きベクトルとして出力する。
(1)解像度
動画は4Kなど規定のフォーマットに合わせるため、撮像素子184の出力を間引くなどして解像度の調整を行うことがある。動きベクトル補正部602は、静止画の解像度と動画の解像度が異なる場合、解像度の比率に合わせて動きベクトルを拡大縮小する。
(2)フレーム間隔
動画のフレーム間隔はTfで一定である。一方、静止画において、過去フレームの露光時間の中心と現フレームの露光時間の中心との間をフレーム間隔とすると、フレーム間隔は一定ではない。
(1)解像度
動画は4Kなど規定のフォーマットに合わせるため、撮像素子184の出力を間引くなどして解像度の調整を行うことがある。動きベクトル補正部602は、静止画の解像度と動画の解像度が異なる場合、解像度の比率に合わせて動きベクトルを拡大縮小する。
(2)フレーム間隔
動画のフレーム間隔はTfで一定である。一方、静止画において、過去フレームの露光時間の中心と現フレームの露光時間の中心との間をフレーム間隔とすると、フレーム間隔は一定ではない。
切り出し処理部(画像処理手段)603は、算出された補正動きベクトルを用いて、撮像素子184の動画の出力に対して切り出し処理を行う。切り出し処理とは、撮像素子184の全画素から、指定された、ある領域の画素のみを出力する処理である。
動きベクトルの算出手法としては、ブロックマッチング法を用いる。ここで、図12は、ブロックマッチング法を説明する図である。図12(A)に示すように、現フレーム701にN×N画素の基準ブロック702を複数配置する。任意の基準ブロック703(不図示)に対して、図12(B)に示す過去フレーム705内に対応するブロック704を設定するとともに、ブロック704の周辺に(N+2M)×(N+2M)画素の探索範囲705を設定する。本実施形態では、MはNより大きい。基準ブロック703と探索範囲705に存在するN×Nブロック内の画素について相関演算を行い、最も相関の高いブロック706の位置を動きベクトル707とする。
図13は、図6と同様の、撮像素子184における蓄積と読み出し、振れ補正処理部600の振れ補正処理のタイミングを説明するための図である。領域801は、静止画蓄積を示し、領域802は、動画蓄積を示す。例えば、撮影周期1と撮影周期2の間の静止画のフレーム間隔Tfs2は以下のように表せる。
Tfs2 = Tf − (T2−T1)/2
Tfs2 = Tf − (T2−T1)/2
従って、過去フレームと現フレームで静止画のシャッタースピードが異なる場合、静止画と動画のフレーム間隔が異なる。動きベクトルは、フレーム間の画像の移動量を示すものであるため、フレーム間隔が異なれば補正が必要になる。動きベクトル補正部602は、静止画のフレーム間隔と動画のフレーム間隔が異なる場合、その比率に合わせて動きベクトルを補正する。撮影周期2で得られた静止画から算出された動きベクトルをAs2としたとき、フレーム間隔を補正した動きベクトルAS2´は以下のように算出される。
AS2´= As2 * Tf / Tfs2
Ts2 = Tf − (T2−T1)/2
AS2´= As2 * Tf / Tfs2
Ts2 = Tf − (T2−T1)/2
また、動きベクトル補正部602は、(3)蓄積タイミングの補正を行い、補正動きベクトルとして出力する。
(3)蓄積タイミング
本実施形態では、動画と静止画で蓄積シーケンスが異なるため、画像の中心が蓄積されるタイミングが異なる。ある撮影周期において、動画の蓄積開始から、画像の中心である(m+1)/2行目の蓄積期間の中心までの時間を蓄積タイミングTmとする。撮影周期1における静止画の蓄積タイミングTms1、動画の蓄積タイミングTmm1は、図13のように示すことができ、以下の式で表される。
Tms1 = Ta − T1/2
Tmm1 = Th * (m+1)/2 + Tf/2
(3)蓄積タイミング
本実施形態では、動画と静止画で蓄積シーケンスが異なるため、画像の中心が蓄積されるタイミングが異なる。ある撮影周期において、動画の蓄積開始から、画像の中心である(m+1)/2行目の蓄積期間の中心までの時間を蓄積タイミングTmとする。撮影周期1における静止画の蓄積タイミングTms1、動画の蓄積タイミングTmm1は、図13のように示すことができ、以下の式で表される。
Tms1 = Ta − T1/2
Tmm1 = Th * (m+1)/2 + Tf/2
また、撮影周期1における静止画と動画の蓄積タイミングのずれdTm1は、以下の式で表される。
dTm1 = Tmm1 − Tms1
同様に、撮影周期2における静止画の蓄積タイミングTms2、動画の蓄積タイミングTmm2、静止画と動画の蓄積タイミングのずれdTm2は、以下の式で表される。
Tms2 = Ta − T2/2
Tmm2 = Tmm1
dTm2 = Tmm2 − Tms2
dTm1 = Tmm1 − Tms1
同様に、撮影周期2における静止画の蓄積タイミングTms2、動画の蓄積タイミングTmm2、静止画と動画の蓄積タイミングのずれdTm2は、以下の式で表される。
Tms2 = Ta − T2/2
Tmm2 = Tmm1
dTm2 = Tmm2 − Tms2
動きベクトルを算出した静止画の蓄積タイミングと、補正対象である動画の蓄積タイミングが異なるため、動きベクトルの補正が必要になる。動きベクトル補正部602は、静止画と動画の蓄積タイミングが異なる場合、そのずれ量に合わせて動きベクトルを補正する。撮影周期1、撮影周期2で得られた静止画から算出された動きベクトルをそれぞれAS1、AS2としたとき、蓄積タイミングを補正した動きベクトルAS2´´は、線形補間を利用して以下のように算出される。
AS2´´= (As2−As1) / Tfs2 * dTm2
AS2´´= (As2−As1) / Tfs2 * dTm2
図14は、切り出し処理部603の切り出し処理を説明するための図である。撮像素子184で取得された全画素からなる画像901に対して、過去フレームでは領域902の画素のみを出力する。現フレームでは、領域902を補正動きベクトル903だけシフトさせた領域904の画素を出力する。補正動きベクトル903は、動きベクトル算出部601から出力された動きベクトルに対して、動きベクトル補正部602によって動画に適応するための補正を行ったものである。
また、動画で適応するための補正として、前述の解像度、フレーム間隔、蓄積タイミングの3つの補正のうち、少なくとも一つの補正を行うことで、動きベクトルの算出精度が向上できる。また、上記3つの補正をすべて行うことが望ましく、その場合は動画により適応するように動きベクトルが補正でき、動きベクトルの算出精度が向上できる。切り出し処理により、動きベクトルとして算出された振れに応じて動画の切り出し位置をシフトさせることができ、撮影者の手振れなどによって生じる撮影画像のブレを低減することができる。
以上説明したように、本実施形態に係る撮像装置は、第1の画像である静止画と、蓄積開始から終了までの時間が第1の画像より長い第2の画像である動画と、を取得可能である。また、振れ補正処理部600は、複数の第1の画像であるところの複数の静止画から算出した動きベクトルを用いて、第2の画像であるところの動画から生成される動画像の画像処理であるところの振れ補正処理を行う。
前述のように、本発明の撮像装置では、蓄積開始から終了までの時間は動画に対して静止画の方が短い。そのため、静止画の方が、被写体の動きや手振れなどによるカメラの動きによって生じる画像の劣化が小さく、先鋭度が高い画像が得られる。したがって、動画に対してフレーム間の相関演算を行った場合に対して、静止画に対してフレーム間の相関演算を行った場合の方が演算の精度が高くできて、動きベクトルの算出精度が向上する。
図13に示すように、撮影周期1において、動画読み出しが終了する前に、静止画読み出しが終了する。また、動画読み出しが終了する前に、動きベクトル算出部601によって動きベクトルの算出が開始される。これは、他の撮影周期においても同様である。すなわち、本実施形態の撮像装置では、撮像素子184が第2の画像であるところの動画の読み出しを終了する前に、第1の画像であるところの静止画の読み出しを終了して、演算手段であるところの動きベクトル算出部601が動きベクトルの算出を開始する。
従来は、動画読み出しが終了してから動きベクトルの算出が開始されていたのに対して、本実施形態では、動きベクトルの開始タイミングが早くなり、処理の高速化が可能である。動画に対して静止画の画素数が大きい場合や、基準ブロックや探索範囲が大きい場合には、動きベクトルの算出時間が増大する傾向にあるため、この効果がより顕著となる。
図8は、撮像装置に電源を投入した後のライブビュー表示中の表示部153の様子を表す図である。撮影光学系152を通して捉えられた人物163のスポーツシーンが表示部153上に表示されている。それとともに、撮影モード選択レバー156が時計方向に回動した位置にあるので、デュアル映像モードでの静止画(picture A)と動画(picture B)のシャッタースピード491、492とFナンバー493が表示されている。
デジタルスチルモーションカメラの表示部153上では、図9に示すように、再生ボタン161が操作されたときに、静止画(picture A)496と動画(picture B)497の両方を並べて表示できるようにする。このようにすれば、映像を比較することでストップモーション効果のレベルを確認することができる。なお、この処理は、映像データを、ネットワークを介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータがプログラムを読み出して実行するように構成してもよい。
図10は、タブレット端末、パーソナルコンピュータ、テレビモニタなどでの、静止画(picture A)と動画(picture B)の活用例を示す図である。静止画(picture A)と動画(picture B)のデータファイルは、ネットワーク上のストレージ等に格納されている。図10において、フレーム群581は、MP4ファイルに格納された静止画(picture A)のフレーム群であり、フレーム群571は、別のMP4ファイルに格納された動画(picture B)のフレーム群である。これらのMP4ファイルには、撮影時に同じCLIP−UMIDが設定され、関連付けがなされている。
まず、動画の再生をスタートすると、動画(picture B)のフレーム群571の先頭フレーム572から決められたフレームレートで順次フレームが再生される。動画(picture B)は、シャッタースピードが過度に速くならないような設定(本実施形態では、1/60秒)で撮影されているため、再生された映像はコマ送りのようなパラパラ感の無い高品位なものである。
フレーム573まで再生が進んだ時点で使用者が一時停止の操作を行うと、自動的に動画(picture B)に対応する静止画(picture A)のデータファイルから同一タイムコードのフレーム582が検索され、表示される。静止画(picture A)は、ストップモーション効果が得られやすい高速シャッタースピード(本実施形態では、1/1000秒)で撮影されており、スポーツシーンの一瞬を写し止めた迫力のある映像である。静止画(picture A)と動画(picture B)の2つの映像が異なる蓄積期間(シャッタースピード)の設定で撮影されながらも、静止画(picture A)についてゲインアップするのではなく、撮像素子で同程度の信号電荷を得ている。そのため、どちらもSNの良好なノイズ感の無い映像となっている。
ここで、印刷の指示を行うと、静止画(picture A)のフレーム582のデータがプリントインターフェース部194を介してプリンタ195に対して出力される。従って、印刷物もストップモーション効果がある迫力のあるものとなる。使用者が一時停止を解除すると、自動的に動画(picture B)のフレーム群571に戻って、フレーム574から再生が再開する。このとき、再生される映像はコマ送りのようなパラパラ感の無い高品位なものである。
以上説明したように、本実施形態に係る撮像装置では、静止画と動画を高品位で同時撮影しながら、動画撮影に適応する動きベクトルの算出精度を向上することができる。また、本実施形態の構成は、上記に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。例えば、算出された動きベクトルを振れ補正以外の画像処理、例えば、動画像の圧縮や、被写体の追尾などに利用してもよい。本実施形態と同様に動きベクトルの算出精度が向上でき、性能の向上が可能である。
(第2実施形態)
次に、第2実施形態について説明する。第1実施形態と同じ部分については同じ番号を付すことで説明を省略する。第1実施形態に対する主な相違点は、光学系の一部を動かして振れ補正を行うことである。
次に、第2実施形態について説明する。第1実施形態と同じ部分については同じ番号を付すことで説明を省略する。第1実施形態に対する主な相違点は、光学系の一部を動かして振れ補正を行うことである。
図15は、本実施形態に係る撮像装置151を示すブロック図である。なお、撮像装置151の範囲を点線で示す。。補正レンズ1001は、撮影光学系152の一部であり、不図示の保持機構によって光軸180に直交する面内で移動可能に保持されている。補正レンズ1001が移動することで、撮像素子184上の被写体像の位置を光軸180に直交する面内で移動させることが可能である。振れ補正制御部(光学系制御手段)1002は、デジタル信号処理部の出力に応じて、補正レンズを光軸180に直交する面内で移動するように駆動制御する。
図16は、本実施形態に係る振れ補正処理部1003の構成を示す図である。動きベクトル算出部1004は、第1実施形態における動きベクトル算出部601と同様に、静止画に対し過去フレームと現フレームの相関演算を行い、動きベクトルを出力する。第1実施形態とは異なり、動きベクトル算出部1004で算出された動きベクトルは、振れ補正制御部1002に出力される。振れ補正制御部1002は、算出された動きベクトルを撮像装置の振れ量とみなし、撮像装置の振れをキャンセルするのに必要な補正レンズ1001の移動量を算出する。さらに、算出された移動量だけ補正レンズ1001が移動するように駆動制御する。
以上により、動きベクトルとして算出された振れに応じて補正レンズ1001が光軸180に直交する面内で移動し、撮像素子184上の被写体像の振れが補正される。すなわち、本実施形態では、光学系制御手段であるところの振れ補正制御部1002が、第1の画像であるところの静止画から算出した動きベクトルを用いて、光学系の制御を行う。また、本実施形態に係る振れ補正は、撮影周期毎に更新され、動画撮影時の振れを補正することができる。従って、第1実施形態と同様に、動画撮影に適応する動きベクトルの算出精度を向上することができる。
なお、本実施形態では、撮影光学系152の一部を移動させることにより光学的な振れ補正を行ったが、撮影光学系152の全体を移動させたり、撮像素子184を移動させたりして光学的な振れ補正を行ってもよい。
なお、本実施形態では、撮影光学系152の一部を移動させることにより光学的な振れ補正を行ったが、撮影光学系152の全体を移動させたり、撮像素子184を移動させたりして光学的な振れ補正を行ってもよい。
(第3実施形態)
次に、第3実施形態について説明する。第1実施形態と同じ部分については同じ番号を付すことで説明を省略する。第1実施形態に対する主な相違点は、静止画の蓄積時間によって適応する動きベクトルを変更することである。
次に、第3実施形態について説明する。第1実施形態と同じ部分については同じ番号を付すことで説明を省略する。第1実施形態に対する主な相違点は、静止画の蓄積時間によって適応する動きベクトルを変更することである。
図17は、本実施形態に係る振れ補正処理部1100の構成を示す図である。動きベクトル選択部(選択手段)1101は、静止画の撮影条件に応じて、動きベクトル算出部1102と動画動きベクトル算出部1104のどちらで動きベクトルを算出するかを選択する。動きベクトル算出部1102は、第1実施形態における動きベクトル算出部601と同様に、静止画に対し過去フレームと現フレームの相関演算を行い、動きベクトルを出力する。
動きベクトル補正部1103は、第1実施形態における動きベクトル補正部602と同様に、静止画から算出された動きベクトルに対し、動画に適応するために補正を行い、補正動きベクトルとして出力する。動画動きベクトル算出部(第2演算手段)1104は、第2の画像であるところの動画を用いて、動画動きベクトルを算出する。動きベクトル算出部1104は、動きベクトル算出部1102と同様に、動画に対し過去フレームと現フレームの相関演算を行い、動画動きベクトルを出力するが、動きベクトル補正部1103に相当するような動画に適応するための補正は行わない。切り出し処理部1105は、動きベクトル選択部1101の選択に基づき、補正動きベクトルもしくは動画動きベクトルを用いて、撮像素子184の動画の出力に対して切り出し処理を行う。
図18は、本実施形態に係る振れ補正処理部1100の動作を示すフローチャートである。まず、ステップS1201で、振れ補正処理が開始されると、ステップS1202で静止画の蓄積時間と動画の蓄積期間を比較する。前述のように、静止画の蓄積時間は、撮影者によって設定されたシャッタースピードに相当するTであり、図6中のT1、T2で示すように変更可能である。すなわち、第1の画像であるところの静止画の蓄積開始から終了までの時間が変更可能である。また、動画の蓄積期間はフレームレートに相当するTfであり、1/60秒で固定されている。
次に、ステップS1202で、静止画の蓄積時間Tが動画の蓄積期間Tf以下であるか否かを判定する。静止画の蓄積時間Tが動画の蓄積期間Tf以下である場合(Yes)、ステップS1203に進み、動きベクトル算出部1102で動きベクトルが算出される。その後、ステップS1204に進み、動きベクトル補正部1103で補正動きベクトルが算出されてステップS1206に進む。一方、ステップS1202で静止画の蓄積時間Tが動画の蓄積期間Tfより長い場合(No)、ステップS1205に進み、動画動きベクトル算出部1104で動画動きベクトルが算出されてステップS1206に進む。次に、ステップS1206で、ステップS1204から入力された補正動きベクトルまたはステップS1205から入力された動画動きベクトルを基に、切り出し処理部1105で切り出し処理が行われた後、ステップS1207に進んで振れ補正処理が終了する。蓄積開始から終了までの時間が短い方が、被写体の動きや手振れなどによるカメラの動きによって生じる画像の劣化が小さく、先鋭度が高い画像が得られる。
本実施例では、第1の画像である静止画の蓄積開始から終了までの時間が、第2の画像である動画の蓄積開始から終了までの時間より長いときは、第2の画像である動画から算出した動きベクトルを用いて動画の振れ補正処理を行う。従って、静止画と動画のうち、蓄積開始から終了までの時間が短いほうの画像、すなわち先鋭度が高い画像から動きベクトルを算出でき、動画撮影に適応する動きベクトルの算出精度が向上する。
(第4実施形態)
次に、第4実施形態について説明する。第3実施形態と同じ部分については同じ番号を付すことで説明を省略する。第3実施形態に対する主な相違点は、動きベクトルの信頼度によって適応する動きベクトルを変更することである。
次に、第4実施形態について説明する。第3実施形態と同じ部分については同じ番号を付すことで説明を省略する。第3実施形態に対する主な相違点は、動きベクトルの信頼度によって適応する動きベクトルを変更することである。
動きベクトルを算出すると同時に、算出した動きベクトルの信頼度を算出する方法が公知である(例えば、特開2015−111764中の動きベクトル検出部103に相当する)。後述する本実施形態に係る動きベクトル算出部1302と動画動きベクトル算出部1304は、探索範囲上の基準ブロックの位置と相関値の関係から信頼度を算出することが可能である。信頼度は、別に設けられたジャイロセンサの出力との乖離の大小などから算出してもよい。
図19は、本実施例の振れ補正処理部1300の構成を示す図である。動きベクトル算出部1302は、動きベクトルと、動きベクトルの信頼度(以下、信頼度Rsと定義する)を出力する。動画動きベクトル算出部1304は、動画動きベクトルと、動画動きベクトルの信頼度(以下、信頼度Rmと定義する)を算出する。動きベクトル選択部1301は、動きベクトルの信頼度と動画動きベクトルの信頼度を比較して、動きベクトルと動画動きベクトルのどちらかを選択して出力する。
図20は、本実施形態に係る振れ補正処理部1300の動作を示すフローチャートである。まず、ステップS1401で、振れ補正処理が開始されると、ステップS1402において、動きベクトル算出部1302で動きベクトルおよび信頼度が算出される。これとほぼ同時に、ステップS1403において動きベクトル補正部1303で補正動きベクトルが算出される。次に、ステップS1404で、動画動きベクトル算出部1304において動画動きベクトルおよび信頼度が算出される。次に、ステップS1405で、動きベクトルの信頼度Rsと動画動きベクトルの信頼度Rmを比較する。そして、ステップS1405で動きベクトルの信頼度Rsが動画動きベクトルの信頼度Rm以上である場合(Yes)、ステップS1406で、動きベクトル選択部1301から補正動きベクトルが出力される。一方、ステップS1405で動きベクトルの信頼度Rsが動画動きベクトルの信頼度Rmより小さい場合(No)、ステップS1407で、動きベクトル選択部1301から動画動きベクトルが出力される。その後、ステップS1408で、切り出し処理が行われた後、ステップS1409に進んで振れ補正処理が終了する。
本実施形態では、第1演算手段であるところの動きベクトル算出部601と動きベクトル補正部602は、複数の第1の画像である複数の静止画から算出した動きベクトルの信頼度Rmを算出可能である。また、第2演算手段であるところの動画動きベクトル算出部1304は、複数の第2の画像である複数の動画から算出した動きベクトルの信頼度Rmを算出可能である。さらに、画像処理手段であるところの振れ補正処理部1300は、信頼度Rsが信頼度Rmより小さいときは、第2演算手段であるところの動画動きベクトル算出部1304が算出した動きベクトルを用いて動画の振れ補正処理を行う。従って、静止画と動画から算出された動きベクトルのうち、信頼度が高い方の動きベクトルを選択でき、動画撮影に適応する動きベクトルの算出精度が向上する。
本発明の構成は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。例えば、撮像素子184上の領域を分割し、ある領域では静止画を撮像し、他の領域では動画を撮像する構成であってもよい。また、複数の撮像素子を備えており、ある撮像素子で静止画を撮像し、他の撮像素子で動画を撮像する構成であってもよい。その際、途中で光路を分割して異なる撮像面上に複数の撮像素子を配置してもよく、同一撮像面上に複数の撮像素子を配置してもよい。上記の構成であれば、静止画と動画の蓄積を同時に行うことができ、撮像シーケンスの自由度が高くできる。
また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
184 撮像素子
601 動きベクトル算出部
603 切り出し処理部
601 動きベクトル算出部
603 切り出し処理部
Claims (8)
- 第1の画像と、蓄積開始から終了までの時間が前記第1の画像より長い第2の画像と、を連続的に取得可能な撮像手段と、
複数の前記第1の画像から動きベクトルを算出する演算手段と、
前記動きベクトルを用いて、前記第2の画像から生成される動画像の画像処理を行う画像処理手段と、
を有する
ことを特徴とする撮像装置。 - 第1の画像と、蓄積開始から終了までの時間が前記第1の画像より長い第2の画像と、を連続的に取得可能な撮像手段と、
被写体の光学像を前記撮像手段に結像させる光学系と、
複数の前記第1の画像から動きベクトルを算出する演算手段と、
前記動きベクトルを用いて、前記光学系の制御を行う光学系制御手段と、
を有する
ことを特徴とする撮像装置。 - 前記撮像手段が前記第2の画像の読み出しを終了する前に、前記撮像手段が前記第1の画像の読み出しを終了して、前記演算手段が動きベクトルの算出を開始する
ことを特徴とする請求項1または2に記載の撮像装置。 - 前記演算手段は、前記第2の画像の動きベクトルと、前記第1の画像と前記第2の画像のそれぞれの動きベクトルの信頼度をさらに算出し、
前記画像処理手段または前記光学系制御手段は、前記算出した第1の画像の動きベクトルの信頼度が、前記算出した第2の画像の動きベクトルの信頼度より小さい場合、前記第2の画像の動きベクトルを用いる
ことを特徴とする請求項3に記載の撮像装置。 - 第1の画像と、前記第1の画像と蓄積時間の異なる第2の画像とを連続的に取得可能な撮像手段と、
複数の前記第1の画像から動きベクトルを算出する第1演算手段と、
複数の前記第2の画像から動きベクトルを算出する第2演算手段と、
前記第1演算手段が算出した動きベクトルと前記第2演算手段が算出した動きベクトルを選択する選択手段と
を有し、
前記選択手段は、前記第1の画像の蓄積開始から終了までの時間が、前記第2の画像の蓄積開始から終了までの時間より長い場合、前記第2の画像から算出した動きベクトルを選択する
ことを特徴とする撮像装置。 - 第1の画像と、蓄積開始から終了までの時間が前記第1の画像より長い第2の画像と、を連続的に取得可能な撮像手段を備える撮像装置の制御方法であって、
複数の前記第1の画像から動きベクトルを算出する演算工程と、
前記動きベクトルを用いて、前記第2の画像から生成される動画像の画像処理を行う画像処理工程と、
を有する
ことを特徴とする撮像装置の制御方法。 - 第1の画像と、蓄積開始から終了までの時間が前記第1の画像より長い第2の画像と、を連続的に取得可能な撮像手段と被写体の光学像を前記撮像手段に結像させる光学系を備える撮像装置の制御方法であって、
複数の前記第1の画像から動きベクトルを算出する演算工程と、
前記動きベクトルを用いて、前記光学系の制御を行う光学系制御工程と、
を有する
ことを特徴とする撮像装置の制御方法。 - 第1の画像と、前記第1の画像と蓄積時間の異なる第2の画像とを連続的に取得可能な撮像手段を備える撮像装置の制御方法であって、
複数の前記第1の画像から動きベクトルを算出する第1演算工程と、
複数の前記第2の画像から動きベクトルを算出する第2演算工程と、
前記第1の画像から算出した動きベクトルと前記第2の画像から算出した動きベクトルを選択する選択工程と
を有し、
前記選択工程では、前記第1の画像の蓄積開始から終了までの時間が、前記第2の画像の蓄積開始から終了までの時間より長い場合、前記第2の画像から算出した動きベクトルを選択する
ことを特徴とする撮像装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017140851A JP2019022139A (ja) | 2017-07-20 | 2017-07-20 | 撮像装置およびその制御方法 |
US16/031,470 US20190026902A1 (en) | 2017-07-20 | 2018-07-10 | Imaging apparatus and control method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017140851A JP2019022139A (ja) | 2017-07-20 | 2017-07-20 | 撮像装置およびその制御方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2019022139A true JP2019022139A (ja) | 2019-02-07 |
Family
ID=65355819
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017140851A Pending JP2019022139A (ja) | 2017-07-20 | 2017-07-20 | 撮像装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2019022139A (ja) |
-
2017
- 2017-07-20 JP JP2017140851A patent/JP2019022139A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8848097B2 (en) | Image processing apparatus, and method, for providing special effect | |
JP2013046259A (ja) | 映像機器、制御方法およびプログラム | |
US20140286593A1 (en) | Image processing device, image procesisng method, program, and imaging device | |
JP6321990B2 (ja) | 撮像装置および撮像方法 | |
JP2009124661A (ja) | 撮像装置 | |
JP6758946B2 (ja) | 撮像装置及び再生装置 | |
JP6261397B2 (ja) | 撮像装置及びその制御方法 | |
US11516414B2 (en) | Imaging device and method of controlling the same | |
US20130002952A1 (en) | Image synthesizing apparatus that synthesizes multiple images to obtain moving image, control method therefor, and storage medium | |
JP2013110754A (ja) | カメラ装置、及びその撮影方法とプログラム | |
JP4865648B2 (ja) | 撮影装置 | |
JP4860567B2 (ja) | 撮影装置 | |
JP2010193324A (ja) | カメラ装置、及びその撮影方法とプログラム | |
JP2017112596A (ja) | 撮像装置及びその制御方法 | |
US20190026902A1 (en) | Imaging apparatus and control method | |
JP7013254B2 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP2019041170A (ja) | 撮像装置およびその制御方法 | |
JP7271155B2 (ja) | 撮像装置およびその制御方法 | |
JP2019022139A (ja) | 撮像装置およびその制御方法 | |
JP7234015B2 (ja) | 撮像装置およびその制御方法 | |
JP2012099887A (ja) | 撮像装置 | |
CN111917947A (zh) | 摄像设备及其控制方法和机器可读介质 | |
JP6674225B2 (ja) | 撮像装置及び画像歪検出方法 | |
JP2018125697A (ja) | 撮像装置及びその制御方法 | |
US11832020B2 (en) | Image pickup apparatus, image pickup method, and storage medium |