JP4404823B2 - 撮像装置 - Google Patents

Description

本発明は、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置に関する。

動画と静止画を同時に撮影し記録できる撮像装置が既に提案されている。この種の撮像装置は、動画の１フレームのみを抜き出して静止画用処理を施すことにより、動画撮影中の静止画を作成していた。或いは、動画撮影を一旦中断して静止画撮影を行い、静止画撮影終了後に動画撮影を再開するようにしていた。

また、下記特許文献１には、静止画撮影が指示されたときに、動画撮影時の絞りの開口値から閉鎖させるよう絞りを制御し、絞りの閉鎖動作の開始後であって絞りが完全閉鎖する前に、撮像素子の電荷の掃出しを行わせるよう制御する手段を備えた撮像装置が開示されている。

特許第３３０８７１６号公報

動きの激しいシーンを静止画で撮影する場合、本来はシャッタスピードを速めて被写体の動きを止めるように撮影することが望ましい。一方、動画撮影では、動いているものの動きを滑らかに表現するために動画の１フレーム期間を亘って露光されるように撮影することが望ましい。

しかしながら、動画の１フレームを抜き出して静止画用処理を施す従来の方式では、動画の１フレーム期間に亘る露光時間が被写体の動きに対して長くなって被写体ぶれ（動体ぶれ）が大きくなり、撮影者の望んでいる被写体の動きの止まった鮮明な静止画を得ることができない。この問題は、動きの速い被写体の静止画を得ようとする場合に顕著となる。また、動画撮影を一旦中断する方式では、動画が途切れて見苦しくなってしまう。尚、上記特許文献１に記載の技術では、上記のような問題を十分に解決することはできない。

そこで本発明は、動画撮影中に静止画撮影を行った場合でも、適切な静止画を得ることができると共に静止画撮影に起因する動画の品質劣化の抑制を可能とする撮像装置を提供することを目的とする。

上記目的を実現するために本発明に係る撮像装置は、入射した光学像を光電変換する撮像素子と、前記撮像素子からの信号を増幅して出力する増幅回路と、前記増幅回路の出力信号から得られる画像データを処理する信号処理部と、前記撮像素子の露光設定を制御するとともに前記光学像の撮影を制御する主制御部と、を備え、動画と静止画を撮影可能な撮像装置において、動画撮影中に静止画の撮影を行う場合、前記主制御部は前記露光設定を動画撮影用から静止画撮影用に変更した上で前記静止画の撮影を行い、前記信号処理部はその静止画の撮影によって得られた画像データである静止画用データを用いてその静止画撮影中の動画フレームデータを作成することを特徴とする。

これにより、動画撮影中であっても適切な静止画を得ることが期待できる。また、上記静止画用データを用いて静止画撮影中の動画フレームデータが作成されるため、静止画撮影に起因する動画の品質劣化の抑制が期待できる。

例えば、動画撮影中に静止画の撮影を行う場合に前記主制御部が制御する前記露光設定には、前記撮像素子の露光時間と、前記撮像素子への単位時間当たりの入射光量を特定する絞りの開口量及び／又は前記増幅回路の増幅度と、が含まれる。

また例えば、前記信号処理部は、前記静止画用データに含まれる被写体の動きによる被写体ぶれ量を前記動画撮影用の露光時間と前記静止画撮影用の露光時間との差異に応じて補正し、その補正後の静止画用データに基づいて静止画撮影中の前記動画フレームデータを作成する。

これにより、動画に適した被写体ぶれを静止画撮影中の動画フレームデータに付与し、滑らかな動画を得ることが可能となる。

具体的には例えば、前記信号処理部は、前記静止画用データと前記静止画用データを得るための撮影の前後の撮影によって得られた画像データとの差分に基づいて、前記被写体の動きがある被写体ぶれ領域を求める被写体ぶれ領域特定部を備え、前記動画撮影用の露光時間と前記静止画撮影用の露光時間との差異に由来する被写体ぶれの変動分を前記静止画用データ中の前記被写体ぶれ領域に対応するデータに付与することにより、前記被写体ぶれ量の補正を行う

また例えば、動画撮影中に前記静止画の撮影を行う場合に前記主制御部が制御する前記露光設定には、前記露光時間と前記絞りの開口量が少なくとも含まれ、動画撮影中に前記静止画の撮影を行う場合において、前記絞りの開口量を静止画撮影用に変更するための時間が動画撮影の１フレーム期間以上必要となるとき、前記主制御部は複数のフレーム期間を用いて前記絞りの開口量を静止画撮影用に変更してから前記静止画の撮影を行い、前記信号処理部は前記複数のフレーム期間中に得られた各画像データに含まれる被写体の動きによる各被写体ぶれ量を前記動画撮影用の露光時間と前記複数のフレーム期間中に用いた各露光時間との差異に応じて補正し、これによって前記複数のフレーム期間中の各動画フレームデータを作成する。

上記のように構成すれば、絞りの開口量を静止画撮影用に変更するための時間が動画撮影の１フレーム期間以上必要となる場合であっても、適切な静止画の取得及び静止画撮影に起因する動画の品質劣化の抑制が期待できる。

また例えば、動画撮影中の前記静止画の撮影を動画撮影の１フレーム期間より長い期間をかけて行う場合、前記信号処理部は、前記静止画用データと前記静止画用データを得るための撮影の前または後の撮影によって得られた画像データとを加重加算合成することにより、静止画撮影中の前記動画フレームデータを作成し、その加重加算における重み付け係数は加重加算合成の対象となる前記画像データの撮影タイミングと前記静止画用データの撮影タイミングとによって決定される。

上記の加重加算合成を行って静止画撮影中の動画フレームデータを作成すれば、その動画フレームデータが表す動画に含まれる被写体ぶれ量は、本来あるべき被写体ぶれ量に近似するようになり、動きの滑らかな動画を得ることが可能となる。

この際、例えば、前記信号処理部は、加重加算合成の対象となる前記画像データと前記静止画用データとの差分が所定の閾値以上となる部分のみを対象として加重加算合成を行うようにしてもよい。

また例えば、動画撮影中に前記静止画の撮影を行う場合に前記主制御部が制御する前記露光設定には、前記撮像素子の露光時間と前記増幅回路の増幅度が含まれ、動画撮影中に前記静止画の撮影を行う場合において、前記主制御部による前記露光設定の変更によって前記露光時間を定められた上限値に設定しても露光が不足していると判断されるとき、
前記主制御部は前記増幅度を増加させることによって露光不足を補った上で前記静止画の撮影を行う。

また例えば、動画画撮影中に前記静止画の撮影を行う場合において、前記主制御部による前記露光設定の変更によって前記露光時間を定められた上限値に設定しても露光が不足していると判断されるとき、前記主制御部は前記露光時間を前記上限値以下に設定した上で複数の画像の撮影を行い、前記信号処理部は前記複数の画像の撮影によって得られた複数の画像データを合成することにより動画撮影中に撮影されるべき前記静止画を表すデータを作成する。

これにより、ノイズの少ない良好な静止画を得ることが可能なる。

また例えば、前記信号処理部は、前記増幅回路の出力信号に基づいて、撮影した動画及び静止画の夫々の明るさを検出する明るさ検出部と、動画撮影中に前記静止画の撮影が行われる場合において、その静止画の明るさとその静止画の前又は後の動画の明るさとの差が小さくなるように前記静止画用データを補正する明るさ補正部と、を更に備え、その補正後の静止画用データを用いて静止画撮影中の前記動画フレームデータを作成する。

これにより、静止画撮影のための露光設定変更に伴う静止画用データとその前又は後ろの動画との明るさの変動が原因で生じる動画の明るさのちらつきが抑制可能となる。

この際、例えば、前記明るさ補正部は、動画撮影中に前記静止画の撮影が行われる場合、その静止画とその静止画の前又は後の動画内の同じ位置に設定した単一または複数の領域の平均輝度が、前記静止画と前記前又は後の動画との間で一致するように前記静止画用データを補正することにより、前記静止画の明るさと前記前又は後の動画の明るさとの差を小さくする。

また例えば、動画撮影中に前記静止画の撮影を行う場合に前記主制御部が制御する前記露光設定には、前記露光時間と前記絞りの開口量が少なくとも含まれ、前記信号処理部は、動画と静止画の撮影間の前記絞りの開口量の変更に伴う周辺光量の低下の変動を補正する周辺光量補正部を、前記明るさ補正部の前段に備えるようにしてもよい。

これにより、動画撮影中に静止画撮影を行った場合に発生しうる、動画の画像周辺部のちらつきを抑制可能となる。

上述した通り、本発明に係る撮像装置によれば、動画撮影中に静止画撮影を行った場合でも、適切な静止画を得ることができると共に静止画撮影に起因する動画の品質劣化の抑制が可能となる。

＜＜第１実施形態＞＞
以下、本発明に係る撮像装置の第１実施形態につき、図面に沿って具体的に説明する。図１は、第１実施形態に係る撮像装置１の全体ブロック図である。撮像装置１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどである。

撮像装置１は、光学系１１と、絞り１２と、撮像素子１３と、前処理部１４と、ドライバ１７と、タイミングジェネレータ１８と、主制御部１９と、信号処理部２０と、フレームメモリバッファ４０と、外部メモリ４１と、操作部４２と、を有して構成される。撮像装置１は、動画と静止画の双方を（同時に）撮影可能な撮像装置である。

光学系１１は、例えば複数枚のレンズから構成され、撮像対象からの入射光は該レンズ及び絞り１２を介して撮像素子１３に入射する。ドライバ１７は、主制御部１９からの制御信号に基づいて光学系１１を制御し、光学系１１のズーム倍率や焦点距離を制御する。また、ドライバ１７は、主制御部１９からの制御信号に基づいて絞り１２の開口量（開口部の大きさ）を制御する。光学系１１に入射する光学像が同じである場合、絞り１２の開口量が大きくなるに従って、撮像素子１３への単位時間当たりの入射光量は増大する。

撮像素子１３は、例えばＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等からなる。撮像素子１３は、光学系１１及び絞り１２を介して入射した光学像を光電変換し、該光電変換によって得られた電気信号を前処理部１４に出力する。より具体的には、撮像素子１３は、マトリクス状に二次元配列された複数の画素（受光画素；不図示）を備え、各撮影において、各画素は露光時間に応じた電荷量の信号電荷を蓄える。各画素は、蓄えた信号電荷の電荷量に比例した大きさを有する電気信号を後段の前処理部１４に順次出力する。光学系１１に入射する光学像が同じであり且つ絞り１２の開口量が同じである場合、撮像素子１３からの電気信号の大きさ（強度）は上記露光時間に比例して増大する。

撮像素子１３には、電子シャッタ機能が備えられており、上記露光時間は、タイミングジェネレータ１８からの電子シャッタ制御信号によって制御される。主制御部１９は、タイミングジェネレータ１８の動作を制御するものであるため、主制御部１９とタイミングジェネレータ１８は、上記露光時間を制御する露光時間制御部として機能する。上記露光時間によって、電子シャッタ制御におけるシャッタスピードが特定される。

前処理部１４は、増幅回路１５とＡ／Ｄ変換器（アナログ−デジタル変換器）１６等から構成される。増幅回路１５は、撮像素子１３の出力信号であるアナログ信号を指定された増幅度で増幅して出力する。Ａ／Ｄ変換器１６は、タイミングジェネレータ１８からの信号に従って増幅回路１５の出力信号をデジタル信号に変換する。前処理部１４は、このデジタル信号に必要に応じて更に適切な処理を施し、撮影した画像を表す画像データを出力する。前処理部１４が出力する画像データは信号処理部２０に与えられる。

増幅回路１５における上記増幅度は、通常、所謂オートゲインコントロールに従って制御される。しかしながら、本発明の特徴的な点として、該増幅度はタイミングジェネレータ１８を介し主制御部１９によっても制御される。その制御手法については、後に詳説する。

タイミングジェネレータ１８は、撮影のタイミングに従って、撮像素子１３及び前処理部１４の各動作のタイミングを制御する。具体的には、例えば、撮像素子１３からの出力信号を読み出すタイミング（撮像素子１３からの出力信号を前処理部１４に与えるタイミング）や、前処理部１４によるデータの出力タイミングを制御する。

信号処理部２０は、画素数変換部２１と、動き検出部２２と、動画処理部２３と、動画圧縮部２４と、静止画処理部２５と、静止画圧縮部２６と、を有して構成される。前処理部１４が出力する画像データは、画素数変換部２１、動き検出部２２及び静止画処理部２５に与えられる。以下、前処理部１４が出力する画像データを、特に原画像データと呼ぶ。

画素数変換部２１は、前処理部１４からの原画像データを入力データとして受ける。画素数変換部２１は、入力データとして受けた原画像データに対して切り出し処理、フィルタ処理や間引き処理等を施すことにより、原画像データの画像サイズを縮小する。この縮小によって得られた画像データは、動画処理部２３に与えられる。動画処理部２３は、画素数変換部２１からの画像データに必要な映像処理を施す。この映像処理には、例えば、輝度信号及び色差信号の生成、ガンマ補正、輪郭強調処理等が含まれる。動画処理部２３は、この映像処理を経て得られた画像データを動画圧縮部２４に出力する。動画圧縮部２４は、動画処理部２３からの画像データにＭＰＥＧ（Moving Picture Experts Group）等の所定の圧縮方式を用いた圧縮を施し、その圧縮後の画像データを外部メモリ４１に出力する。

静止画処理部２５は、前処理部１４からの原画像データを入力データとして受ける。静止画処理部２５は、入力データとして受けた原画像データに必要な映像処理を施す。この映像処理には、例えば、輝度信号及び色差信号の生成、ガンマ補正、輪郭強調処理等が含まれる。静止画処理部２５は、この映像処理を経て得られた画像データを静止画圧縮部２６に出力する。静止画圧縮部２６は、静止画処理部２５からの画像データにＪＰＥＧ（Joint Photographic Experts Group）等の所定の圧縮方式を用いた圧縮を施し、その圧縮後の画像データを外部メモリ４１に出力する。

動き検出部２２は、前処理部１４からの原画像データを入力データとして受ける。動き検出部２２は、動画撮影中に次々と前処理部１４から送られてくる原画像データに基づき、周知の代表点マッチング法等を用いて被写体の動きベクトルを検出する。動画撮影中において、画素数変換部２１や動画処理部２３は動き検出部２２が検出した動きベクトルを参照し、必要な処理（例えば、所謂手ぶれ補正）を行う。

フレームメモリバッファ４０は、ＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリから成り、データの読み書きが可能となっている。信号処理部２０を構成する各部位は、一時的に記録しておくべきデータをフレームメモリバッファ４０に書き込むとともに参照すべきデータをフレームメモリバッファ４０から読み出す。外部メモリ４１は、半導体メモリやメモリカード等の記録媒体である。

主制御部１９は、ＣＰＵ（Central Processing Unit）等から成り、撮像装置１内の各部位の動作を統括的に制御する。入力キー（不図示）等から構成された操作部４２を使用者が操作することにより、その操作内容を表す信号が主制御部１９に伝達される。その信号に応じて主制御部１９がドライバ１７、タイミングジェネレータ１８及び信号処理部２０等を制御することにより、静止画の撮影及び記録や動画の撮影及び記録が行われる。

操作部４２への操作に応じて動画撮影を行う場合、主制御部１９は、ドライバ１７及びタイミングジェネレータ１８を制御して撮像素子１３の露光設定（撮像装置１の露光設定）を動画撮影用にする。動画撮影用の露光設定は、動画の撮影に適した（望ましくは、最適な）露光設定となっている。動画撮影中、所定のフレームレートで（即ち、所定の間隔をおいて）次々と原画像データが前処理部１４から出力される。撮影した動画を表すこれらの原画像データは、画素数変換部２１、動画処理部２３及び動画圧縮部２４の所定の処理を経つつ、次々と外部メモリ４１に送られ、外部メモリ４１に記録される。これにより、動画の撮影及び撮影した動画の記録が行われる。

操作部４２への操作に応じて静止画撮影を行う場合、主制御部１９は、ドライバ１７及びタイミングジェネレータ１８を制御して撮像素子１３の露光設定（撮像装置１の露光設定）を静止画撮影用にする。静止画撮影用の露光設定は、静止画の撮影に適した（望ましくは、最適な）露光設定となっている。静止画の撮影によって得られた原画像データは、静止画処理部２５及び静止画圧縮部２６の所定の処理を経て外部メモリ４１に送られ、外部メモリ４１に記録される。これにより、静止画の撮影及び撮影した静止画の記録が行われる。

動きの速い被写体の一瞬の動きを静止画として撮影する場合、露光時間を短くして（シャッタスピードを速くして）撮影を行う。露光時間が被写体の動きに対して十分に短い場合は、図２の画像６１に示す如く、所謂「被写体ぶれ」（動体ぶれ）のない鮮明な画像が得られる。他方、動画撮影において全てのフレームを高速シャッタで撮影すると、動画フレームの１コマ１コマが動きのない鮮明な画像となり、動きが不自然で滑らかさに欠ける動画となってしまう。言い換えると、動いている部分の連続性が表現できなくなってしまう。

そこで、動画撮影においては、被写体の動きを滑らかに再現するために露光時間をできるだけ長くして撮影を行う。例えば、動画撮影のフレームレートが６０フレーム／秒の場合、露光時間を１／６０秒にできるだけ近づけて撮影を行うようにする。そうすると、図２の画像６０に示す如く、露光時間に対して動きが速い部分に所謂「被写体ぶれ」（動体ぶれ）が生じることになり、これによって動きの滑らかな動画が得られる。

このように、「被写体ぶれ」は撮像素子１３を構成する各画素に信号電荷を蓄えていく露光期間（この露光期間の長さは上記露光時間に等しい）に被写体が動くことで起きるぶれであるが、動画撮影においてはこの「被写体ぶれ」を積極的に取り入れることにより、被写体の動きを滑らかに再現することができる。

撮像装置１は、この「被写体ぶれ」の大小（或いは有無）を調整することによって、動画撮影中に静止画撮影した場合の撮影画像の品質向上を実現するものであり、以下、本発明の特徴的な部分について説明をする。

［第１動作例］
まず、撮像装置１の動作の第１動作例を説明する。第１動作例は、例えば、運動会などの動きの速いシーンの動画撮影中に静止画撮影を行うことを想定している。図３は、第１動作例の制御概念を示す図であり、動画撮影中に静止画撮影を行った場合における、絞り１２の開口量と、撮像素子１３の電荷蓄積量と、露光時間と、前処理部１４から読み出された原画像データと、動画処理部２３が出力する画像データとの関係を示す図である。尚、動画を表す動画処理部２３の出力データを、以下、「動画フレームデータ」と呼ぶ。また、以下の記述において、文章の煩雑化を避けるため、画素数変換部２１、動画圧縮部２４及び静止画処理部２５及び静止画圧縮部２６による処理を無視したかのような表現を用いる場合がある。

動画撮影は、フレームＦＬ１、ＦＬ２、ＦＬ３、ＦＬ４、ＦＬ５、ＦＬ６、ＦＬ７の順番で行われるものとする。そして、動画撮影中において、操作部４２に対する静止画撮影の操作に応じてフレームＦＬ４に相当する期間に静止画の撮影を行う場合を想定する。このため、動画撮影のフレームＦＬ４は実際には存在しないと考えることもできるが、便宜上、動画撮影のフレームＦＬ４は存在すると考える。この場合、フレームＦＬ１〜ＦＬ３及びＦＬ５〜ＦＬ７における露光設定は動画撮影用に設定され、フレームＦＬ４における露光設定のみ静止画撮影用に設定される。

具体的には、静止画撮影時の露光時間を静止画撮影に適した露光時間にするべく、フレームＦＬ４における露光時間をフレームＦＬ１〜ＦＬ３及びＦＬ５〜ＦＬ７における露光時間よりも短くする一方で、露光時間の短縮による露光不足を補償すべく、フレームＦＬ４における絞り１２の開口量をフレームＦＬ１〜ＦＬ３及びＦＬ５〜ＦＬ７におけるそれらよりも大きくする。この露光時間と絞り１２の開口量の調整によって、フレームＦＬ１〜ＦＬ７における電荷蓄積量は適正レベル６３に均一化される。つまり、静止画の明るさが動画の明るさと（略）同じになる。ここで、「電荷蓄積量」は、撮像素子１３を構成する全ての画素の電荷蓄積量の平均でも良いし、撮像素子１３の撮像面の中央部に位置する画素の電荷蓄積量の平均でも良い。また、撮像素子１３の撮像面の複数領域に位置する画素の電荷蓄積量の平均でも良い。また、これらの平均を重み付け平均としても構わない。

また、絞り１２の開口量の調整を行う代わりに増幅回路１５の増幅度を調整し、これによってフレームＦＬ１〜ＦＬ７における電荷蓄積量を適正レベル６３に均一化してもよい。この場合、フレームＦＬ４における増幅回路１５の増幅度は、フレームＦＬ１〜ＦＬ３及びＦＬ５〜ＦＬ７におけるそれらよりも大きくされる。

また、露光時間、絞り１２の開口量及び増幅回路１５の増幅度の調整を全て行い、これによってフレームＦＬ１〜ＦＬ７における電荷蓄積量を適正レベル６３に均一化してもよい。例えば、静止画撮影時の露光時間を静止画撮影に適した露光時間にするべく、フレームＦＬ４における露光時間をフレームＦＬ１〜ＦＬ３及びＦＬ５〜ＦＬ７における露光時間よりも短くする一方で、露光時間の短縮による露光不足を補償すべく、フレームＦＬ４における絞り１２の開口量及び増幅回路１５の増幅度をフレームＦＬ１〜ＦＬ３及びＦＬ５〜ＦＬ７におけるそれらよりも大きくする。

このように、動画撮影中に静止画の撮影を行う場合に主制御部１９によって調整される露光設定には、露光時間と、絞り１２の開口量及び増幅回路１５の増幅度の内の少なくとも一方と、が含まれる。

上記のような撮影によって得られた全ての原画像データは、信号処理部２０に送られる。フレームＦＬ１〜ＦＬ３及びＦＬ５〜ＦＬ７については、各原画像データに基づいた各動画フレームデータが画像処理部２３によって得られ、それらの動画フレームデータは所定の処理を経て動画を表すデータとして外部メモリ４１に格納される。フレームＦＬ４にて撮影された静止画に対応する原画像データは、「静止画用データ」として扱われ、静止画処理部２５及び静止画圧縮部２６による処理を経て静止画を表すデータとして外部メモリ４１に格納される。また、静止画撮影中のフレームＦＬ４に対応する動画フレームデータは、上記静止画用データを用いて作成され、動画を表すデータとして外部メモリ４１に格納される。このため、動画撮影中に静止画撮影を行っても、動画が一瞬止まったりコマ落ちしたりすることはない。

静止画用データを用いて動画フレームデータを生成する場合において、被写体の動きが遅いときや動画撮影用の露光時間と静止画撮影用の露光時間との差が小さいときは、上記静止画用データをそのまま動画フレームデータとして採用しても、上記静止画用データとその前後の動画フレームとの被写体ぶれ量の差が小さいため、動画の動きに不自然さが感じられることはない。しかしながら、上記の被写体ぶれ量の差が大きい場合、上記静止画用データをそのまま動画フレームデータとして採用すると、そのフレームだけ画像が鮮明に見えるため、ちらつきのような不自然さが生じる場合がある。

このような不自然さを抑制すべく、動画処理部２３は、静止画用データを用いて動画フレームデータを生成する際、静止画用データに含まれる（フレームＦＬ４にて撮影した静止画に含まれる）被写体の動きによる被写体ぶれ量を露光時間の差異に応じて補正し、これによって静止画撮影中の動画フレームデータを作成するようにしている。

動画処理部２３による、静止画用データを用いた静止画撮影中の動画フレームデータの作成手法を図４〜図１０を用いて説明する。図４は、静止画用データから動画フレームデータを作成することに関連する部位のみを表した動画処理部２３の内部構成図である。また、図４〜図１０を用いた具体例の説明において、説明の簡略化上、画素数変換部２１の存在は無視する。即ち、前処理部１４からの原画像データが動画処理部２３に直接与えられるものとする。

今、フレームレートを６０フレーム／秒とし、図５に示す如く、フレームＦＬ２、ＦＬ３及びＦＬ５等における動画撮影用の露光時間をＴ、フレームＦＬ４における静止画撮影用の露光時間をｔとする。露光時間Ｔ及びｔは、夫々１／６０秒及び１／１８０秒とし、フレームＦＬ４の露光期間の中間時点はフレームＦＬ４のフレーム期間の中間時点と一致するものとする。そして、図６に示す如く、背景が全て黒の画像中に１画素分の大きさを有する輝点Ｐが、一定輝度を保ちつつ右方向に一定速度で移動している状況を想定する。この輝点Ｐは、露光時間Ｔが経過する間に３画素分、右方向に移動しているものとする。そして、フレームＦＬ２〜ＦＬ５の間に輝点Ｐが通る、右方向に連続する画素群を考える。この画素群は、図７に示す如く、合計１２個の画素（ｎ＋ｋ）から成り（但し、ｎは自然数であり、ｋは０〜１１の整数）、ｋの数が大きい画素ほど右側に配置されているものとする。

上記の想定の下において、フレームＦＬ２、ＦＬ３、ＦＬ４及びＦＬ５における原画像データを画像として表現した場合、それらは、夫々図８の画像７０、７１、７２及び７３のようになる。

画像７０においては、輝点Ｐの右方向の移動に伴い、画素ｎ〜画素（ｎ＋２）に対応する画素データのみが「１０」となり、他の画素に対応する画素データは全て「０」となっている。同様に、画像７１においては、画素（ｎ＋３）〜画素（ｎ＋５）に対応する画素データのみが「１０」となり、他の画素に対応する画素データは全て「０」となっている。同様に、画像７３においては、画素（ｎ＋９）〜画素（ｎ＋１１）に対応する画素データのみが「１０」となり、他の画素に対応する画素データは全て「０」となっている。このように、フレームＦＬ２、ＦＬ３及びＦＬ５に対応する画像７０、７１及び７３においては、１画素分の大きさを有する輝点Ｐが３画素間でぼやけて存在しているかのように見える。つまり、被写体ぶれが生じている。

尚、各画素データを、露光時間中に蓄積した電荷量に比例した値を有するデータ（即ち、輝度に比例するデータ）と仮定している。従って、輝点Ｐに対応する入射光を受けていない部分の画素についての画素データは、全て「０」となっている。全ての画素についての画素データをまとめて呼んだものが「画像データ」である。

フレームＦＬ４に対応する画像７２においては、露光時間が他のフレームの１／３であり且つ絞り１２の開口量（及び／又は増幅回路１５の増幅度）が大きくなっていることに起因して、画素（ｎ＋７）に対応する画素データのみが「３０」となり、他の画素に対応する画素データは全て「０」となっている。このように、フレームＦＬ４における原画像データを画像として表現した画像７２においては、被写体ぶれが生じていない。

動画処理部２３は、動画と静止画間の被写体ぶれの差異が小さくなるように、フレームＦＬ４の静止画の撮影にて得られた画像データ（即ち、静止画用データ）に補正処理を施し、フレームＦＬ４に対応する動画フレームデータを作成する。動画処理部２３は（図４参照）、今回の撮影によって得られた画像データとその撮影の直前及び直後の撮影によって得られた画像データとの差分を演算して出力する差分演算部３１と、差分演算部３１の出力データに基づいて被写体ぶれが生じている領域或いは被写体ぶれが生じるべき領域を特定する被写体ぶれ領域特定部３２と、露光時間に関する情報及び動きベクトルに関する情報に基づきつつ、被写体ぶれ領域特定部３２によって特定された領域（被写体ぶれ領域）にぼかし処理を施すぼかし処理部３３を含んで構成される。

上記の具体例に沿って動画処理部２３の動作を説明する。繰り返すが、説明の簡略化上、画素数変換部２１の存在は無視する。即ち、前処理部１４からの原画像データが動画処理部２３に直接与えられるものとして説明を行う。差分演算部３１は、フレームＦＬ４の撮影によって得られた原画像データ（即ち、静止画用データ）と、フレームＦＬ３及びＦＬ５の撮影によって得られた原画像データとの差分を演算し、その差分値を出力する。具体的には、フレームＦＬ４の撮影によって得られた原画像データから、フレームＦＬ３及びＦＬ５の撮影によって得られた原画像データを差し引く。勿論、この差分演算は、同一の画素に対応する画素データ同士の間で行われる。これにより、画素ｎ〜（ｎ＋１１）に対応する差分値は、図９に示す如く、それぞれ０、０、０、−１０、−１０、−１０、０、３０、０、−１０、−１０、−１０となる。

被写体ぶれ領域特定部３２は、各画素に対応する差分値の大きさと予め定められた閾値とを比較し、被写体ぶれ領域（即ち、被写体ぶれが生じている領域或いは被写体ぶれが生じるべき領域）を特定する。例えば、閾値を「５」と設定した場合、差分値の大きさが５以上となる画素（ｎ＋３）〜（ｎ＋５）、（ｎ＋７）及び（ｎ＋９）〜（ｎ＋１１）が被写体ぶれ領域とされる。

ぼかし処理部３３は、動画撮影用の露光時間Ｔと静止画撮影用の露光時間ｔとの差異に応じて、フレームＦＬ４の撮影によって得られた原画像データ（即ち、静止画用データ）にぼかし処理を施す。この際、フレームＦＬ４の静止画の撮影タイミング近辺の動きベクトルが参照される。例えば、フレームＦＬ２からＦＬ３の間の動きベクトルとフレームＦＬ５からＦＬ６の間の動きベクトルの平均の動きベクトルが参照される。フレームＦＬ２からＦＬ３の間の動きベクトルとフレームＦＬ５からＦＬ６の間の動きベクトルの向き及び大きさは、双方「右向き」及び「３画素分」であるため、その平均の動きベクトルの向き及び大きさは、「右向き」及び「３画素分」となる。

この場合、露光時間がＴであったならば向き及び大きさが「右向き」及び「３画素分」となっていた移動は、露光時間を静止画撮影用のｔにしたことに起因して、静止画用データでは、（３画素）×ｔ／Ｔの移動、即ち、右向きの１画素分の移動として捉えられている。つまり、２画素分（なぜならば、３−１＝２）の被写体ぶれが静止画用データには表れていない。この静止画用データに含まれる被写体ぶれ量（静止画用データにて表される画像に含まれる被写体ぶれの量）は、ゼロであると言うことができる。

これを考慮し、ぼかし処理部３３は、不足している２画素分の被写体ぶれを意図的に静止画用データに付加するぼかし処理を行う。つまり、被写体ぶれ領域と特定された画素の周辺画素を用いて画素データの平均化を行う。この平均化に用いられる「周辺画素」は、上記平均の動きベクトルの向き及び大きさに応じて設定される。つまり、今の場合、被写体ぶれ領域と特定された各画素における画素データは、隣接する左右の２画素の画素データとの間で平均化される。

これにより、画素（ｎ＋７）に対応する画素データのみが「３０」であって且つ他の画素に対応する画素データが全て「０」となっていたぼかし処理前の静止画用データは、図１０に示す如くぼかし処理後において、画素（ｎ＋６）〜（ｎ＋８）に対応する画素データのみが「１０」となり且つ他の画素に対応する画素データが全て「０」となる。このぼかし処理後の静止画用データに含まれる被写体ぶれ量（ぼかし処理後の静止画用データにて表される画像に含まれる被写体ぶれの量）は、ぼかし処理前のそれよりも大きく、数値として例えば「２」と表現することができる。

このように、ぼかし処理部３３は、露光時間をＴからｔに短くしたことに由来する被写体ぶれの減少分を意図的に静止画用データ中の被写体ぶれ領域に対応するデータに付与する。つまり、被写体ぶれ領域に対応する画像が露光時間Ｔとｔとの差異に応じてぼかされるように、被写体ぶれ領域に対応するデータを補正する。そして、この補正を施した後の画像データを、フレームＦＬ４に対応する静止画撮影中の動画フレームデータとして出力する。これにより、静止画撮影のタイミングで動画が一瞬ちらついたりすることがなくなり、滑らかな動画を生成することが可能となる。

尚、ぼかし処理における上記平均化において、適宜重み付け係数を付与してもよい。また、差分演算の対象となる画素データとして輝度に比例するデータを例示したが、各画素に対応する色差信号値や各画素に対応するＲ（赤）、Ｇ（緑）又はＢ（青）信号値等を、画素データとして採用しても構わない。また、ぼかし処理部３３による上記のぼかし処理は一例であって、被写体ぶれ領域に対応する画像が露光時間Ｔとｔとの差異に応じてぼかされるのであれば、どのような手法を採用しても構わない。

また、動画及び静止画の各撮影において、露光期間のちょうど中間のタイミングを、その撮影の撮影タイミング（基準タイミング）と呼ぶとすると、上述の第１動作例においては、図１１に示す如く、隣り合う撮影タイミングの間隔は常に一定となっている。尚、図１１及び図１２において、黒い三角印は動画及び静止画の撮影タイミングを表している。これにより、各フレーム画像間の平均時間間隔（撮影タイミング間隔）が一定となり、より滑らかな動画を得ることができる。このような制御は、フレーム期間との関係において露光期間終了のタイミングを一定にすることを要求されない高速読み出しが可能な撮像素子を用いた場合に適用できる。撮像素子１３として、一般的なＣＣＤ等を用いる場合は、信号読み出しスピードと制御の制約から、各フレームにおいてフレーム期間との関係における露光期間終了のタイミングを一定にする。例えば、図１２に示す如く、各フレームにおいて、フレーム期間終了のタイミングと露光期間終了のタイミングとが常に一致するように制御する。この場合、隣り合う撮影タイミングの間隔は変動しうる。

［第２動作例］
次に、撮像装置１の動作の第２動作例を説明する。第２動作例も、第１動作例と同様、例えば、運動会などの動きの速いシーンの動画撮影中に静止画撮影を行うことを想定している。但し、絞り１２の開口量を動画撮影用から静止画撮影用に変更するための時間が動画撮影の複数フレーム期間以上必要となる場合を想定している。

動画撮影中のシャッタスピードより速いシャッタスピードで静止画撮影を行うとき、絞り１２の開口量を変化させずに増幅回路１５の増幅度を増大させることによって画像の明るさを一定に保つことも可能である。しかしながら、増幅度の増大によって明るさを確保する場合、同時にノイズも増大することになる。このため、動画撮影中のシャッタスピードより速いシャッタスピードで静止画撮影を行うときにおいては、画像の明るさを一定に保つべく、シャッタスピードの変化に応じて絞り１２を大きく開けることが望ましい。しかしながら、動画撮影のフレームレートが比較的高い場合、絞り１２の開口量を動画撮影用から静止画撮影用に変更するために、動画の１フレーム期間以上の時間を必要とする場合もある。第２動作例は、このような状況を想定している。

図１３は、第２動作例の制御概念を示す図であり、動画撮影中に静止画撮影を行った場合における、絞り１２の開口量と、撮像素子１３の電荷蓄積量と、露光時間と、前処理部１４から読み出された原画像データと、動画処理部２３が出力する画像データ（動画フレームデータ）との関係を示す図である。

動画撮影は、フレームＦＬ１１、ＦＬ１２、ＦＬ１３、ＦＬ１４、ＦＬ１５、ＦＬ１６、ＦＬ１７の順番で行われるものとする。そして、動画撮影中において、操作部４２に対する静止画撮影の操作に応じてフレームＦＬ１４に相当する期間に静止画の撮影を行う場合を想定する。このため、動画撮影のフレームＦＬ１４は実際には存在しないと考えることもできるが、便宜上、動画撮影のフレームＦＬ１４は存在すると考える。第２動作例においては、絞り１２の開口量が動画撮影用から静止画撮影用まで変化するために動画撮影の３フレーム期間に相当する時間が必要となることを想定している。同様に、絞り１２の開口量が静止画撮影用から動画撮影用まで変化するために動画撮影の３フレーム期間に相当する時間が必要となるものとする。

この場合、フレームＦＬ１１及びＦＬ１７における露光設定は動画撮影用に設定され、フレームＦＬ１４における露光設定のみ静止画撮影用に設定される。そして、フレームＦＬ１２、ＦＬ１３、ＦＬ１５及びＦＬ１６における露光設定は動画撮影用と静止画撮影用の間に設定されることになる。

具体的には、フレームＦＬ１１、ＦＬ１２、ＦＬ１３、ＦＬ１４の順番で絞り１２の開口量を徐々に大きくし、フレームＦＬ１４、ＦＬ１５、ＦＬ１６、ＦＬ１７の順番で絞り１２の開口量を徐々に小さくする。一方で、絞り１２の開口量の増大による露光量の増大を打ち消すようにフレームＦＬ１１、ＦＬ１２、ＦＬ１３、ＦＬ１４の順番で露光時間を徐々に小さくし、絞り１２の開口量の減少による露光量の減少を打ち消すようにフレームＦＬ１４、ＦＬ１５、ＦＬ１６、ＦＬ１７の順番で露光時間を徐々に大きくする。この露光時間と絞り１２の開口量の調整によって、フレームＦＬ１１〜ＦＬ１７における電荷蓄積量は適正レベル６３に均一化される。つまり、フレームＦＬ１１〜ＦＬ１７の撮影にて得られる画像の明るさが全て（略）同じになる。

尚、上記のような制御で画像の明るさを全て同じにするのが理想ではあるが、機械的に動作する絞り１２の開口量の制御精度の制約等から、それらの明るさを完全に一定に保つことは難しい。そこで、後段の信号処理において、最終的にそれらの明るさが一定になるように増幅処理等を加えればよい。この処理の具体例については、第２及び第３実施形態で後述する。

実際の静止画撮影は、絞り１２の開口量が完全に変化し終わったタイミング、即ち、フレームＦＬ１４に相当する期間で行われる。静止画撮影後、絞り１２の開口量は動画撮影用に戻される。

上記のような撮影によって得られた全ての原画像データは、信号処理部２０に送られる。フレームＦＬ１１及びＦＬ１７については、各原画像データに基づいた各動画フレームデータが画像処理部２３によって得られ、それらの動画フレームデータは所定の処理を経て動画を表すデータとして外部メモリ４１に格納される。フレームＦＬ１４にて撮影された静止画に対応する原画像データは、「静止画用データ」として扱われ、静止画処理部２５及び静止画圧縮部２６による処理を経て静止画を表すデータとして外部メモリ４１に格納される。

また、静止画撮影中のフレームＦＬ１４に対応する動画フレームデータは、上記静止画用データを用いて作成され、動画を表すデータとして外部メモリ４１に格納される。静止画用データを用いてフレームＦＬ１４に対応する動画フレームデータを生成する際、静止画用データに含まれる（フレームＦＬ１４にて撮影した静止画）に含まれる被写体の動きによる被写体ぶれ量を露光時間の差異に応じて補正し、これによって静止画撮影中の動画フレームデータを作成するようにしている。動画処理部２３による、静止画用データを用いた静止画撮影中の動画フレームデータの作成手法は、第１動作例で説明したものと同様である。

また、フレームＦＬ１２、ＦＬ１３、ＦＬ１５及びＦＬ１６における露光時間は、動画撮影用の露光時間より短いため、フレームＦＬ１２、ＦＬ１３、ＦＬ１５及びＦＬ１６の撮影によって得られた原画像データを画像として表した場合に、それらの画像に含まれる被写体ぶれ量は、露光時間を動画撮影用に設定した場合よりも小さくなる。そこで、フレームＦＬ１２、ＦＬ１３、ＦＬ１５及びＦＬ１６の撮影によって得られた各原画像データについても被写体ぶれ量の補正を行い、その補正を経て得られた各画像データをフレームＦＬ１２、ＦＬ１３、ＦＬ１５及びＦＬ１６の各動画フレームデータとする。フレームＦＬ１２、ＦＬ１３、ＦＬ１５及びＦＬ１６の各動画フレームデータは、それらのフレームに対応する動画を表すデータとして外部メモリ４１に格納される。これにより、それらのフレームに対応する動画がちらついたりすることがなく、滑らかな動画を得ることができる。

フレームＦＬ１２、ＦＬ１３、ＦＬ１５及びＦＬ１６に対応する被写体ぶれ量の補正手法は、基本的にフレームＦＬ１４に対応する被写体ぶれ量の補正手法と同じであり、その補正処理を行う動画処理部２３の内部構成は図４に示したものと同じである。図４を参照し、例としてフレームＦＬ１２に着目して、この被写体ぶれ量の補正手法を説明する。但し、説明の簡略化上、画素数変換部２１の存在は無視する。即ち、前処理部１４からの原画像データが動画処理部２３に直接与えられるものとして説明を行う。

差分演算部３１は、フレームＦＬ１２の撮影によって得られた原画像データと、フレームＦＬ１１及びＦＬ１３の撮影によって得られた原画像データとの差分を演算し、その差分値を出力する。具体的には、フレームＦＬ１２の撮影によって得られた原画像データから、フレームＦＬ１１及びＦＬ１３の撮影によって得られた原画像データを差し引く。被写体ぶれ領域特定部３２は、各画素に対応する差分値の大きさと予め定められた閾値とを比較し、被写体ぶれ領域を特定する。

ぼかし処理部３３は、動画撮影用の露光時間と着目しているフレーム（即ち、フレームＦＬ１２）における露光時間との差異に応じて、フレームＦＬ１２の撮影によって得られた原画像データにぼかし処理を施す。この際、第１動作例にて説明したのと同様に、フレームＦＬ１２の動画の撮影タイミング近辺の動きベクトルが参照される。

例えば、動画撮影用の露光時間及びフレームＦＬ１２における露光時間がそれぞれ１／６０秒及び１／１２０秒である場合、１／１２０秒（なぜならば、１／６０−１／１２０＝１／１２０）の露光時間分の被写体ぶれを、フレームＦＬ１２の撮影によって得られた原画像データに意図的に付与する（或いは追加する）。つまり、フレームＦＬ１２における露光時間を１／６０秒としていたならば生じていたと推定される被写体ぶれ量がフレームＦＬ１２に対応する動画フレームデータに含まれるように、ぼかし処理を行う。このぼかし処理を経たデータは、フレームＦＬ１２に対応する動画フレームデータとして出力され、所定の処理を経て外部メモリ４１に格納される。

フレームＦＬ１２に着目して被写体ぶれ量の補正手法を説明したが、フレームＦＬ１３、ＦＬ１５及びＦＬ１６についても、同様の手法で被写体ぶれ量の補正が行われる。

［第３動作例］
次に、撮像装置１の動作の第３動作例を説明する。第３動作例は、例えば、室内などの暗いシーンの動画撮影中に静止画撮影を行うことを想定している。

暗いシーンの動画撮影においては、動画撮影の１フレーム期間の全てを用いて露光を行っても露光量が適正レベルに達しない場合がある。この場合、一般的には信号処理における増幅度を増大させることで明るい画像を生成する。しかしながら、そのような増幅度の増大によってノイズも一緒に増大してしまう。これに着目し、第３動作例では、暗いシーンの動画撮影中に静止画撮影を行う場合、ノイズの増大を抑制すべく、露光時間を動画の１フレーム期間よりも長くすることで上記増幅度の過度の増大を抑制する。

動画撮影中に１フレーム期間より長い期間をかけて静止画を撮影する場合、静止画の露光時間に応じた分の動画フレームの欠如を補填する必要がある。動画フレームの欠如を補填するために、その直前の動画フレームを繰り返し表示したり、黒フレームを挿入したりしていたのでは、動画が見苦しくなる。これを考慮し、第３動作例では、静止画の撮影によって得られた画像データと該静止画の前後の撮影によって得られた画像データとを用いて、静止画撮影に起因して欠如する動画フレームを生成する。以下、この手法について詳説する。

図１４は、第３動作例の制御概念を示す図であり、動画撮影中に静止画撮影を行った場合における、絞り１２の開口量と、撮像素子１３の電荷蓄積量と、露光時間と、増幅回路１５におけるゲインアップ量と、前処理部１４から読み出された原画像データと、動画処理部２３が出力する画像データ（動画フレームデータ）との関係を示す図である。

途中で静止画撮影がなかったならば動画撮影は、フレームＦＬ２１、ＦＬ２２、ＦＬ２３、ＦＬ２４、ＦＬ２５、ＦＬ２６、ＦＬ２７の順番で行われるものとする。そして、動画撮影中において、操作部４２に対する静止画撮影の操作に応じてフレームＦＬ２３及びＦＬ２４に相当する期間に静止画の撮影を行う場合を想定する。このため、動画撮影のフレームＦＬ２３及びＦＬ２４は実際には存在しないと考えることもできるが、便宜上、動画撮影のフレームＦＬ２３及びＦＬ２４は存在すると考える。尚、図１４において、ｔ１は、フレームＦＬ２１、ＦＬ２２、ＦＬ２５、ＦＬ２６及びＦＬ２７の動画撮影の露光時間を表しており、ｔ１×２（即ち、ｔ１の２倍）は、フレームＦＬ２３及びＦＬ２４を用いた静止画撮影の露光時間を表している。

図１４に示す例では、動画撮影において、絞り１２の開口量を最大にし且つ１フレーム期間中露光しても、露光量が適正レベル６３に達しない。このため、動画撮影では、信号処理において２倍のゲインアップを行っている。即ち、フレームＦＬ２１、ＦＬ２２、ＦＬ２５、ＦＬ２６及びＦＬ２７の動画撮影において、増幅回路１５の増幅度は基準ゲインの２倍とされている。一方において、静止画はＦＬ２３及びＦＬ２４の略２フレーム期間分の露光時間にて撮影を行っており、信号処理においてゲインアップを行わずとも露光量が適正レベル６３に達している。即ち、フレームＦＬ２３及びＦＬ２４に相当する期間を用いた静止画撮影において、増幅回路１５の増幅度は基準ゲインの１倍とされている。このため、ノイズの少ない良好な静止画を得ることが可能となる。尚、フレームＦＬ２１〜ＦＬ２７における絞り１２の開口量は、例えば一定（最大の開口量）に維持されている。

上記のような撮影によって得られた全ての原画像データは、信号処理部２０に送られる。フレームＦＬ２１、ＦＬ２２、ＦＬ２５、ＦＬ２６及びＦＬ２７については、各原画像データに基づいた各動画フレームデータが画像処理部２３によって得られ、それらの動画フレームデータは所定の処理を経て動画を表すデータとして外部メモリ４１に格納される。フレームＦＬ２３及びＦＬ２４に相当する期間を用いて撮影された静止画に対応する原画像データは、「静止画用データ」として扱われ、静止画処理部２５及び静止画圧縮部２６による処理を経て静止画を表すデータとして外部メモリ４１に格納される。

フレームＦＬ２３及びＦＬ２４に相当する期間を用いて静止画の撮影を行うと、フレームＦＬ２３に対応すべき動画フレーム（動画フレームデータ）が欠如することになる。一方において、上記静止画用データには、欠如している動画フレームの情報が含まれている。従って、動画のフレームレートが被写体の動きに対して十分に大きい場合は、静止画用データにて表される画像を２フレーム連続して動画として表示しても動きが一瞬止まるように認識されることはなく、動画の滑らかさは損なわれない。しかしながら、動画のフレームレートが被写体の動きに対して十分に大きいと言えない場合においては、静止画用データにて表される画像を２フレーム連続して表示すると、動きが一瞬止まって見えてしまう。

そこで、第３動作例においては、動画のフレームレートに依らず滑らかな動画を得るために、フレームＦＬ２３及びＦＬ２４に相当する期間を用いて撮影された静止画を表す原画像データ（即ち、静止画用データ）と、フレームＦＬ２２及びＦＬ２５を用いて撮影された画像を表す２つの原画像データを使って、静止画撮影中の動画フレームデータを生成する。滑らかな動きの再生を実現する動画を得るためには、本来動画に含まれるべき被写体ぶれに近い被写体ぶれを、生成する動画フレームデータに付与し、且つ同じ画像が連続して表示されないようにすればよい。

このような主旨に基づいた、フレームＦＬ２３及びＦＬ２４に対応する動画フレームデータの作成手法の一例を、図１５を用いて説明する。但し、説明の簡略化上、画素数変換部２１の存在は無視する。即ち、前処理部１４からの原画像データが動画処理部２３に直接与えられるものとして説明を行う。また、図１５を用いた説明においては、図１４の図示と若干異なるが、フレームＦＬ２２及びＦＬ２５における露光時間の長さはそれぞれ動画撮影の１フレーム期間の長さと一致しているものとし、且つ、フレームＦＬ２３及びＦＬ２４を用いた静止画の撮影の露光時間は動画撮影の２フレーム期間の長さと一致しているものとする。

そして、動画及び静止画の各撮影において、露光期間のちょうど中間のタイミングを、その撮影の撮影タイミング（基準タイミング）と呼ぶことにする。フレームＦＬ２２及びＦＬ２５における動画の撮影タイミングを夫々α₂₂及びα₂₅とし、フレームＦＬ２３及びＦＬ２４を用いた静止画の撮影タイミングをβ₁とする。また、その静止画の撮影がなかったならばフレームＦＬ２３及びＦＬ２４において撮影されていた動画の撮影タイミングを、夫々α₂₃及びα₂₄とする。

フレームＦＬ２３に対応する動画フレームデータは、フレームＦＬ２３及びＦＬ２４を用いて撮影された静止画を表す原画像データ（即ち、上記静止画用データ）と、フレームＦＬ２２の撮影によって得られた原画像データとを加重加算合成することにより作成される。この加重加算合成における重み付け係数は、撮影タイミングα₂₂、α₂₃及びβ₁に基づいて決定される。即ち、フレームＦＬ２３及びＦＬ２４を用いて撮影した静止画用データを構成する画素データの夫々に２／３を乗じたものに、フレームＦＬ２２に対応する原画像データを構成する画素データの夫々に１／３を乗じたものを加算し、この加算によって得られる画像データをフレームＦＬ２３に対応する動画フレームデータとする。勿論、画素データの上記加算は、同一の画素に対応する画素データ同士の間で行われる。

上記の重み付け係数としての「２／３」は、「撮影タイミングα₂₂とα₂₃間の時間の長さ」を「撮影タイミングα₂₂とβ₁間の時間の長さ」で割ることにより算出される。上記の重み付け係数としての「１／３」は、「撮影タイミングα₂₃とβ₁間の時間の長さ」を「撮影タイミングα₂₂とβ₁間の時間の長さ」で割ることにより算出される。フレームＦＬ２３における画像情報は、静止画用データ側により多く含まれているため、上記のように重み付け係数を決定することで、より滑らかな動画を再現可能となる。

例えば、上記静止画用データに対応する或る画素ｎの画素データを「６０」とし且つフレームＦＬ２２に対応する該画素ｎの画素データを「３０」とした場合、フレームＦＬ２３に対応する動画フレームデータを構成する該画素ｎについての画素データは、６０×２／３＋３０×１／３＝５０より、「５０」となる。

同様に、フレームＦＬ２４に対応する動画フレームデータは、フレームＦＬ２３及びＦＬ２４を用いて撮影された静止画を表す原画像データ（即ち、上記静止画用データ）と、フレームＦＬ２５の撮影によって得られた原画像データとを加重加算合成することにより作成される。この加重加算合成における重み付け係数は、撮影タイミングβ₁、α₂₄及びα₂₅に基づいて決定される。即ち、フレームＦＬ２３及びＦＬ２４を用いて撮影した静止画用データを構成する画素データの夫々に２／３を乗じたものに、フレームＦＬ２５に対応する原画像データを構成する画素データの夫々に１／３を乗じたものを加算し、この加算によって得られる画像データを、フレームＦＬ２４に対応する動画フレームデータとする。勿論、画素データの上記加算は、同一の画素に対応する画素データ同士の間で行われる。

上記の重み付け係数としての「２／３」は、「撮影タイミングα₂₄とα₂₅間の時間の長さ」を「撮影タイミングβ₁とα₂₅間の時間の長さ」で割ることにより算出される。上記の重み付け係数としての「１／３」は、「撮影タイミングβ₁とα₂₄間の時間の長さ」を「撮影タイミングβ₁とα₂₅間の時間の長さ」で割ることにより算出される。フレームＦＬ２４における画像情報は、静止画用データ側により多く含まれているため、上記のように重み付け係数を決定することで、より滑らかな動画を再現可能となる。

上記の加重加算合成を行って静止画撮影中の動画フレームデータを作成すれば、それらの動画フレームデータが表す動画に含まれる被写体ぶれ量は、本来あるべき被写体ぶれ量に近似するようになる。即ち、静止画用データを基準に被写体ぶれ量が調整された動画フレームデータが作成されることになり、動きの滑らかな動画を得ることができる。

また、静止画撮影の露光時間が１フレーム期間より長く必要となるときの静止画の撮影タイミングは、図１６に示す如く、その前後の動画フレームの撮影タイミング間のちょうど中間に位置するように制御されることが望ましい。これにより、各フレーム画像間の平均時間間隔（撮影タイミング間隔）が一定となり、より滑らかな動画を得ることができるからである。図１５に示した例も、これに従っている。即ち、静止画の撮影タイミングβ₁は、その前後の動画フレームの撮影タイミングα₂₂とα₂₅との間のちょうど中間に位置するように制御されている。尚、図１６及び図１７において、黒い三角印は動画及び静止画の撮影タイミングを表しており、白い三角印は静止画用データを用いて生成される動画フレームの撮影タイミングを表している。信号読み出しスピード等の制約から、フレーム期間の最後に撮像素子１３からデータを読み出す場合は、図１７のようになり、静止画の撮影タイミングを、その前後の動画フレームの撮影タイミング間のちょうど中間に位置させることができない場合がある。

また、上記の加重加算合成は、画像データを構成する画素データの全てについて行っても良いし（即ち、画面全体で行っても良いし）、差分の大きい部分のみを対象として行っても良い。

差分の大きい部分のみを対象として加重加算合成を行う場合の動作を、図１５を参照して示した上記条件の下で説明する。例えば、図１８に示す如く、フレームＦＬ２２の撮影によって得られた原画像データを構成する、画素ｎ、（ｎ＋１）及び（ｎ＋２）に対応する画素データが、夫々「１０」、「１０」及び「１０」であり、且つ、フレームＦＬ２３及びＦＬ２４の撮影にて得られた原画像データ（即ち、上記静止画用データ）を構成する、画素ｎ、（ｎ＋１）及び（ｎ＋２）に対応する画素データが、夫々「７」、「１５」及び「４０」であったとする。そして、予め「８」の閾値が定められているとする。

動画処理部２３は、同一の画素についての画素データ同士の差分を上記閾値と比較し、閾値以上の差分を与える画素データのみを対象として、上記の加重加算合成を行うようにする。上記の例の場合、画素ｎ、（ｎ＋１）及び（ｎ＋２）に対応する画素データの内、画素（ｎ＋２）に対応する画素データのみが加重加算合成の対象となる。そうすると、フレームＦＬ２３に対応する動画フレームデータにおいて、画素（ｎ＋２）に対応する画素データは上記加重加算合成により「３０」となる。

加重加算合成の対象とならない画素の画素データには、例えば、静止画用データの画素データがそのまま流用される。作成される動画フレームデータに対応する撮影タイミングα₂₃は、撮影タイミングα₂₂よりも撮影タイミングβ₁に近いからである。但し、加重加算合成の対象とならない画素の画素データとして、フレームＦＬ２２に対応する原画像データの画素データをそのまま流用するようにしても構わない。

尚、上記の例では静止画撮影の露光時間が２フレーム期間となっているが、その露光時間が２フレーム期間より大きくなった場合も、同様の考え方を用いて静止画撮影中の動画フレームデータを作成することができる。但し、動画撮影中の静止画撮影の露光時間が長くなると、合成によって生成される動画フレームデータが増加するため、再生される動画に不自然さが生じうる。

そこで、動画撮影中に行われる静止画撮影の露光時間に上限値（例えば３フレーム期間）を設けるようにしてもよい。そして、静止画撮影の露光時間を上限値にまでのばしても露光が不足していると判断されるとき（即ち、露光量が定められた適正レベルに達しないとき）、信号処理においてゲインアップを施せばよい。即ち、増幅回路１５の増幅度を基準ゲインより増加させることによって露光不足を補った上で、静止画の撮影を行えばよい。

露光が不足しているか否かは増幅回路１５の出力信号の大きさから判断できる。増幅回路１５の増幅度を或る定められた値にした状態において、増幅回路１５の出力信号の大きさが所定の規定値に達すれば露光の不足はなく、その大きさが該規定値に達しなければ露光は不足している。

また、動画撮影中に行われる静止画撮影の露光時間に上限値を定める場合、ゲインアップで露光不足を補うのではなく、複数の静止画生成用の画像を連続して撮影し、それらの画像を加算合成（多重露光合成）することによって、最適露光の静止画を得るようにしてもよい。この手法を、第４動作例として後述する。

［第４動作例］
図１９は、第４動作例の制御概念を示す図であり、動画撮影中に静止画撮影を行った場合における、絞り１２の開口量と、撮像素子１３の電荷蓄積量と、露光時間と、増幅回路１５におけるゲインアップ量と、前処理部１４から読み出された原画像データと、動画処理部２３が出力する画像データ（動画フレームデータ）との関係を示す図である。尚、第４動作例においても、説明の簡略化上、画素数変換部２１の存在は無視する。即ち、前処理部１４からの原画像データが動画処理部２３に直接与えられるものとして説明を行う。

途中で静止画撮影がなかったならば動画撮影は、フレームＦＬ３１、ＦＬ３２、ＦＬ３３、ＦＬ３４、ＦＬ３５、ＦＬ３６、ＦＬ３７の順番で行われるものとする。そして、動画撮影中において、操作部４２に対する静止画撮影の操作に応じ、フレームＦＬ３３〜ＦＬ３６に相当する期間を用いて静止画の撮影を行う場合を想定する。このため、動画撮影のフレームＦＬ３３〜ＦＬ３６は実際には存在しないと考えることもできるが、便宜上、動画撮影のフレームＦＬ３３〜ＦＬ３６は存在すると考える。尚、図１９において、ｔ１は、フレームＦＬ３１、ＦＬ３２及びＦＬ３７の動画撮影の露光時間を表しており、ｔ１×２（即ち、ｔ１の２倍）は、フレームＦＬ３３及びＦＬ３４を用いた第１の静止画用撮影の露光時間と、フレームＦＬ３５及びＦＬ３６を用いた第２の静止画用撮影の露光時間を表している。

第４動作例は、動画撮影中に行われる静止画撮影の露光時間に上限値（例えば、２フレーム期間）が設けられており、且つ、静止画撮影の露光時間をその上限値にまでのばしても露光が不足していると判断される（即ち、露光量が定められた適正レベル６３に達しない）場合を想定している。動画撮影において、絞り１２の開口量を最大にし且つ１フレーム期間中露光しても露光量が適正レベル６３に達しないため、信号処理において４倍のゲインアップを行っている。即ち、フレームＦＬ３１、ＦＬ３２及びＦＬ３７の動画撮影において、増幅回路１５の増幅度は基準ゲインの４倍とされている。

動画撮影中の１つの静止画の撮影は、合計４つのフレームＦＬ３３〜ＦＬ３６を用いて行われる。この例の場合、露光時間を上記の上限値にまでのばしても露光量が適正レベル６３に達しない。このため、まず、フレームＦＬ３４及びＦＬ３４を用いて第１の静止画用撮影（第１の合成用撮影）を行い、更に続けてフレームＦＬ３５及びＦＬ３６を用いて第２の静止画用撮影（第２の合成用撮影）を行う。

第１及び第２の静止画用撮影は、夫々、ぼぼ２フレーム期間分の露光時間にて行われているものの、各露光量は適正レベル６３のほぼ半分となっている。また、第１及び第２の静止画用撮影では、信号処理においてゲインアップは行われていない（つまり、増幅回路１５の増幅度は基準ゲインの１倍とされている）。このため、第１及び第２の静止画用撮影から得られる画像データを用いて１つの静止画を生成するようにすれば、ノイズの少ない良好な静止画を得ることが可能となる。尚、フレームＦＬ３１〜ＦＬ３７における絞り１２の開口量は、一定（最大の開口量）に維持されている。

上記のような撮影によって得られた全ての原画像データは、信号処理部２０に送られる。フレームＦＬ３１、ＦＬ３２及びＦＬ３７については、各原画像データに基づいた各動画フレームデータが画像処理部２３によって得られ、それらの動画フレームデータは所定の処理を経て動画を表すデータとして外部メモリ４１に格納される。

静止画処理部２５は、第１の静止画用撮影によって得られた第１の静止画用データ（第１の原画像データ）と第２の静止画用撮影によって得られた第２の静止画用データ（原画像データ）とを加算合成（多重露光合成）して、１つの静止画を表す画像データを生成する。この加算合成によって得られた画像データは、所定の処理を経て静止画を表すデータとして外部メモリ４１に格納される。勿論、上記加算合成は、同一の画素に対応する画素データ同士の間で行われる。

フレームＦＬ３３、ＦＬ３４、ＦＬ３５及びＦＬ３６に対応する動画フレームデータは、それぞれ、第３動作例と同様の手法にて作成され、所定の処理を経て動画を表すデータとして外部メモリ４１に格納される。具体的には、フレームＦＬ３３に対応する動画フレームデータは、フレームＦＬ３２に対応する原画像データと第１の静止画用データとの加重加算合成によって作成され、フレームＦＬ３４及びＦＬ３５に対応する動画フレームデータは、それぞれ、第１の静止画用データと第２の静止画用データとの加重加算合成によって作成され、フレームＦＬ３６に対応する動画フレームデータは、第２の静止画用データとフレームＦＬ３７に対応する原画像データとの加重加算合成によって作成される。尚、第１の静止画用データと第２の静止画用データの露光量は適正レベル６３のほぼ半分となっているため、加重加算合成前に信号処理において２倍のゲインアップを行っておく。

図１９に示す内容とは若干異なるが、図２０に示す如く、第１及び第２の静止画用撮影の露光時間が動画撮影の２フレーム期間の長さと一致している場合を考えると、例えば、フレームＦＬ３４に対応する動画フレームデータは、ゲインアップを行った後の第１の静止画用データを構成する画素データの夫々に３／４を乗じたものに、ゲインアップを行った後の第２の静止画用データを構成する画素データの夫々に１／４を乗じたものを加算することによって作成される。勿論、この加算は、同一の画素に対応する画素データ同士の間で行われる。

第１及び第２の静止画用撮影における撮影タイミングをβ₂及びβ₃とし、静止画の撮影がなかったならばフレームＦＬ３４において撮影されていた動画の撮影タイミングをα₃₄とした場合、上記の重み付け係数としての「３／４」は、「撮影タイミングα₃₄とβ₃間の時間の長さ」を「撮影タイミングβ₂とβ₃間の時間の長さ」で割ることにより算出され、上記の重み付け係数としての「１／４」は、「撮影タイミングβ₂とα₃₄間の時間の長さ」を「撮影タイミングβ₂とβ₃間の時間の長さ」で割ることにより算出される。

＜＜第２実施形態＞＞
動画撮影中に静止画撮影を行うために絞り等の露光設定を変える場合、理想的には撮影された画像の明るさが一定に保たれるようにその露光設定を変更する。しかし、実際には機械的に動作する絞りの制御精度や、露光時間の設定精度、増幅度の設定精度の制約等に起因して、静止画用データによって表される静止画とその前後の動画の明るさが同じにならない場合がある。この場合、明るさに関する補正を何ら施すことなくその静止画用データを用いて動画フレームデータを作成すると、動画の明るさにちらつきが生じうる。以下に説明する第２実施形態は、この問題を解決するために第１実施形態を改良したものである。

図２１は、第２実施形態に係る撮像装置１ａの全体ブロック図である。撮像装置１ａは、図１の撮像装置１と同様のデジタルスチルカメラ等であり、撮像装置１と同様、動画と静止画の双方を（同時に）撮影可能なように構成されている。図２１において、図１と同一の部分には同一の符号を付し、同一の部分の重複する説明を省略する。撮像装置１ａは、図１の撮像装置１に明るさ検出部（輝度検出部）２７及び明るさ補正部（輝度補正部）２８を追加した構成となっている。明るさ検出部２７及び明るさ補正部２８を追加した点と、この追加に伴い信号処理部を表す符号が２０から２０ａに変更されている点を除き、撮像装置１と撮像装置１ａは一致している。図１の信号処理部２０に、明るさ検出部２７及び明るさ補正部２８を追加したものが図２１の信号処理部２０ａになっている。

明るさ補正部２８は、前処理部１４と画素数変換部２１の間に設けられている。第２実施形態において、前処理部１４が出力する原画像データは、明るさ検出部２７と明るさ補正部２８に与えられており、明るさ補正部２８の出力データは、画素数変換部２１、動き検出部２２及び静止画処理部２５に与えられている。このため、第２実施形態における画素数変換部２１、動き検出部２２及び静止画処理部２５は、明るさ補正部２８の出力データを入力データとして受け、第１実施形態と同じ動作を行う。

明るさ検出部２７は、前処理部１４から次々と送られてくる原画像データによって表される画像の平均輝度を、各原画像データに基づいて求める。そして、求めた各原画像データに対応する平均輝度を、明るさ補正部２８に伝達する。この平均輝度は、各原画像データによって表される画像の明るさを示している。

ここで、明るさ検出部２７によって検出され、明るさ補正部２８に伝達される平均輝度は、画像全体の平均輝度であってよいし、画像中央部の任意の大きさの領域の平均輝度であってもよい。また、画像内に設定された複数の領域の平均輝度であってもよい。また、画像内に複数の領域を定めると共に定めた各領域の平均輝度を求め、その各領域の平均輝度を加重加算したものを、明るさ補正部２８に伝達される最終的な平均輝度としてもよい。

上述したように、明るさ補正部２８に伝達する平均輝度として様々な種類の平均輝度を採用可能であるが、画像内のどの部分を対象として平均輝度を求めるかは、全ての撮影の中で同じにしておく必要がある。即ち、明るさ検出部２７は、画像（静止画及び動画）内の同じ位置に設定した単一または複数の領域の平均輝度を求めて明るさ補正部２８に伝達する。尚、「画像全体」は単一の領域と捉えることができる。

明るさ補正部２８は、与えられた平均輝度を参照しつつ、前処理部１４から次々と送られてくる原画像データに明るさ補正を施し、その明るさ補正後の画像データを画素数変換部２１、動き検出部２２及び静止画処理部２５に出力する。

説明の具体化のため図３に示した例に従いつつ、動画撮影中に静止画撮影を行う場合の動作を考える。静止画撮影の直前のフレーム、即ちフレームＦＬ３に対応する原画像データによって表される画像の平均輝度、及びフレームＦＬ４の撮影による原画像データ（静止画用データ）によって表される画像の平均輝度が、それぞれ「１１」及び「１０」であったとする。

この場合、明るさ補正部２８は、「１１」を目標平均輝度Ｌ１として取り扱うと共に「１０」を補正対象平均輝度Ｌ２として取り扱い、目標平均輝度を補正対象平均輝度で割った値を明るさ補正値Ｇ（今の場合、１．１）とする。そして、明るさ補正部２８は、明るさ補正後の静止画用データによって表される画像の平均輝度が、明るさ補正前の静止画用データによって表される画像の平均輝度のＧ倍（今の場合、１．１倍）になるように、与えられた静止画用データを補正（明るさ補正）する。例えば、静止画用データを構成する各画素データの数値が輝度に比例する数値である場合は、静止画用データを構成する各画素データの数値を均一に１．１倍すればよい。一方、明るさ補正部２８は、動画撮影に対応する原画像データに対しては明るさ補正を施さない。但し、動画及び静止画の全てに対応する原画像データの信号レベルを、一律に同じだけ増幅することは可能である。

明るさ補正部２８より後段の各部位（動画処理部２３等）は、この明るさ補正後の静止画用データを用い、第１実施形態の第１動作例〜第４動作例と同じ動作を経て、外部メモリ４１に格納すべき動画フレームデータ等を作成する。

これにより、静止画の明るさとその静止画の直前の動画の明るさとが同じ（略同じ）になるように静止画用データが補正（明るさ補正）される。動画撮影中の動画フレームデータはその補正（明るさ補正）後の静止画用データに基づいて作成されることになるため、絞りの制御精度の制約等に起因して起こりうる動画の明るさのちらつきは抑制される。

また、フレームメモリバッファ４０を利用しつつ、静止画撮影の直後のフレーム、即ちフレームＦＬ５に対応する原画像データによって表される画像の平均輝度を、目標平均輝度Ｌ１として取り扱うようにしても良い。この場合は、静止画の明るさとその静止画の直後の動画の明るさとが同じ（略同じ）になるように静止画用データが補正（明るさ補正）されることになる。

また、静止画撮影の直前のフレーム（即ちフレームＦＬ３）に対応する原画像データによって表される画像の平均輝度（例えば、「１１」）と、静止画撮影の直後のフレーム（即ちフレームＦＬ５）に対応する原画像データによって表される画像の平均輝度（例えば、「１３」）との平均輝度（例えば、（１１＋１３）／２＝１２）を、目標平均輝度Ｌ１として取り扱うようにしても良い。この場合は、静止画の明るさとその静止画の直後及び直後の動画の明るさの平均とが同じ（略同じ）になるように静止画用データが補正（明るさ補正）されることになる。

尚、明るさ補正部２８を、画素数変換部２１の後段に配置させるようにしても良い。即ち、明るさ補正部２８による明るさ補正を、画素数変換部２１による画素数変換後に行うようにしても良い。

＜＜第３実施形態＞＞
ここで、動画撮影中に静止画撮影する場合における周辺光量の低下の影響を考察する。図２２に示す如く、撮像素子１３の撮像面における対角線をｚ軸にとり、撮像面の中心をＣとする（中心Ｃはｚ軸上にある）。この場合において、均一輝度の光を光学系１１を構成するレンズに与えたとき、そのレンズが理想的なものである場合は撮像素子１３を構成する各画素の受光量は全て同じになる。しかしながら、図２３に示す如く、実際は、中心Ｃに位置する画素の受光量を最大として、撮像面の周辺部に位置する画素の受光量は中心Ｃにおけるそれよりも小さくなる。この周辺部における受光量の低下が「周辺光量の低下」である。

また、この周辺光量の低下の程度は絞り１２が開放に近いほど（絞り１２の開口量が大きいほど）大きくなる。従って、図３で示した例のように、動画撮影中に静止画撮影を行う際にだけ絞り１２の開口量を大きくすると、静止画撮影時とその前後の動画撮影との間で周辺光量の低下の程度が変化することになる。この周辺光量の低下の程度の変化を考慮せずに、静止画用データから静止画撮影中の動画フレームデータを生成すると、動画の画像周辺部が静止画撮影時点でちらつく可能性がある。

このような周辺光量の低下による影響をも除去する実施形態として、第３実施形態を説明する。図２４は、第３実施形態に係る撮像装置１ｂの全体ブロック図である。撮像装置１ｂは、図１の撮像装置１と同様のデジタルスチルカメラ等であり、撮像装置１と同様、動画と静止画の双方を（同時に）撮影可能なように構成されている。。図２４において、図１及び図２１と同一の部分には同一の符号を付し、同一の部分の重複する説明を省略する。撮像装置１ｂは、図２１の撮像装置１ａに周辺光量補正部２９を追加した構成となっている。周辺光量補正部２９を追加した点と、この追加に伴い信号処理部を表す符号が２０ａから２０ｂに変更されている点を除き、図２１の撮像装置１ａと図２４の撮像装置１ｂは一致している。図２１の信号処理部２０ａに、周辺光量補正部２９を追加したものが図２４の信号処理部２０ｂになっている。

周辺光量補正部２９は、前処理部１４と明るさ補正部２８の間に設けられている。第３実施形態において、前処理部１４が出力する原画像データは周辺光量補正部２９に与えられており、周辺光量補正部２９の出力データは、明るさ検出部２７と明るさ補正部２８に与えられている。明るさ補正部２８の出力データは、第２実施形態と同じく、画素数変換部２１、動き検出部２２及び静止画処理部２５に与えられている。このため、第３実施形態における画素数変換部２１、動き検出部２２及び静止画処理部２５は、第２実施形態と同じく、明るさ補正部２８の出力データを入力データとして受け、第１実施形態と同じ動作を行う。

周辺光量補正部２９は、主制御部１９からの絞り１２の開口量を特定する情報を参照しつつ、前処理部１４から次々と送られてくる原画像データに周辺光量補正を施し、その周辺光量補正後の画像データを明るさ検出部２７と明るさ補正部２８に出力する。この周辺光量補正は、動画撮影中に静止画撮影を行う場合において、動画と静止画の撮影間の絞り１２の開口量の変更に伴う周辺光量の低下の変動をキャンセルするように行われる。

周辺光量補正部２９は、例えば、静止画、動画を問わず全ての原画像データを対象として、周辺光量の低下の影響が周辺光量補正部２９の出力データ中に完全に存在しなくなるように、上記周辺光量補正を行う。即ち、全ての原画像データを対象として、周辺光量の低下に起因する撮像面の周辺部における受光量の低下を打ち消すように、周辺光量補正を行う。例えば、絞り１２の或る開口量に対して、周辺部の受光量が中心Ｃの０．８倍の受光量になることが分かっている場合、全ての原画像データを対象として、その周辺部に対応する画素データを１／０．８倍する。

また、例えば、周辺光量の低下が最も少なくなる状態（例えば、絞り１２の開口量が最小の状態）を基準状態とし、各撮影における周辺光量の低下の影響がその基準状態の周辺光量の低下の影響と同等になるように、周辺光量補正を行ってもよい。この場合における周辺光量補正も静止画、動画を問わず全ての原画像データを対象として行われる。尚、「周辺光量の低下の影響」とは、周辺光量の低下に起因して起こる再生画像周辺部の輝度の低下を意味する。

また、例えば、静止画撮影の周辺のタイミングの動画撮影（例えば、静止画撮影の直前又は直後の動画フレーム）の状態を基準状態とし、静止画撮影における周辺光量の低下の影響がその基準状態の周辺光量の低下の影響と同等になるように、周辺光量補正を行ってもよい。この場合、周辺光量補正は、静止画撮影に対応する原画像データ（即ち、静止画用データ）のみを対象として行われることになる。

周辺光量補正後の原画像データを入力データとして受けた明るさ検出部２７及び明るさ補正部２８の動作は、第２実施形態におけるものと同様である。即ち、第３実施形態における明るさ検出部２７及び明るさ補正部２８の動作は、第２実施形態における「原画像データ」、「静止画用データ」の記載を、「周辺光量補正後の原画像データ」、「周辺光量補正後の静止画用データ」と読み替えたものとなる。

上記のように周辺光量補正を行うことにより、動画と静止画の撮影間の絞り１２の開口量の変更に伴う周辺光量の低下の変動がキャンセルされ、動画撮影中に静止画撮影を行った場合に動画の画像周辺部がちらつくといったことが抑制される。

また、周辺光量補正部２９と明るさ補正部２８を、画素数変換部２１の後段に配置させるようにしても良い。即ち、周辺光量補正部２９による周辺光量補正と明るさ補正部２８による明るさ補正を、画素数変換部２１による画素数変換後に行うようにしても良い。また、絞り１２の開口量に対してどのような周辺光量補正を施すべきかは、絞り１２の特性等に基づいて予め設定されている。

尚、第１〜第３実施形態によれば、動画撮影中に静止画を撮影する場合であっても、静止画のシーンセレクト機能（撮影シーンに最適化されたプログラム自動露出機能）が使えるようになる。

本発明は、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置に好適である。また、本発明は、監視カメラにも好適である。また、デジタルスチルカメラやデジタルビデオカメラの機能を備えた携帯電話機やコンピュータ機器にも好適である。

本発明の第１実施形態に係る撮像装置の全体ブロック図である。 露光時間との関係における被写体ぶれを説明するための図である。 図１の撮像装置の第１動作例の制御概念を示す図である。 図１の動画処理部の内部構成の一例を示す図である。 図１の動画処理部による、静止画用データを用いた静止画撮影中の動画フレームデータの作成手法を説明するための図である。 図１の動画処理部による、静止画用データを用いた静止画撮影中の動画フレームデータの作成手法を説明するための図である。 図１の動画処理部による、静止画用データを用いた静止画撮影中の動画フレームデータの作成手法を説明するための図である。 図１の動画処理部による、静止画用データを用いた静止画撮影中の動画フレームデータの作成手法を説明するための図である。 図１の動画処理部による、静止画用データを用いた静止画撮影中の動画フレームデータの作成手法を説明するための図である。 図１の動画処理部による、静止画用データを用いた静止画撮影中の動画フレームデータの作成手法を説明するための図である。 図３の第１動作例に適用可能な、各撮影の撮影タイミングの一例を示す図である。 図３の第１動作例に適用可能な、各撮影の撮影タイミングの他の例を示す図である。 図１の撮像装置の第２動作例の制御概念を示す図である。 図１の撮像装置の第３動作例の制御概念を示す図である。 図１の動画処理部による加重加算合成の原理を説明するための図である。 図１４の第３動作例に適用可能な、各撮影の撮影タイミングの一例を示す図である。 図１４の第３動作例に適用可能な、各撮影の撮影タイミングの他の例を示す図である。 図１４の第３動作例に適用可能な加重加算合成の一手法を説明するための図である。 図１の撮像装置の第４動作例の制御概念を示す図である。 図１９の第４動作例に係る加重加算合成の原理を説明するための図である。 本発明の第２実施形態に係る撮像装置の全体ブロック図である。 図２１の撮像素子の撮像面とｚ軸方向との関係を示す図である。 周辺光量の低下を表す図である。 本発明の第３実施形態に係る撮像装置の全体ブロック図である。

符号の説明

１、１ａ、１ｂ 撮像装置
１１ 光学系
１２ 絞り
１３ 撮像素子
１４ 前処理部
１５ 増幅回路
１６ Ａ／Ｄ変換器
１７ ドライバ
１８ タイミングジェネレータ
１９ 主制御部
２０、２０ａ、２０ｂ 信号処理部
２１ 画素数変換部
２２ 動き検出部
２３ 動画処理部
２４ 動画圧縮部
２５ 静止画処理部
２６ 静止画圧縮部
２７ 明るさ検出部
２８ 明るさ補正部
２９ 周辺光量補正部
３１ 差分演算部
３２ 被写体ぶれ領域特定部
３３ ぼかし処理部
４０ フレームメモリバッファ
４１ 外部メモリ
４２ 操作部

Claims (11)

1. 入射した光学像を光電変換する撮像素子と、
   前記撮像素子からの信号を増幅して出力する増幅回路と、
   前記増幅回路の出力信号から得られる画像データを処理する信号処理部と、
   前記撮像素子の露光設定を制御するとともに前記光学像の撮影を制御する主制御部と、を備え、動画と静止画を撮影可能な撮像装置において、
   動画撮影中に静止画の撮影を行う場合、前記主制御部は前記露光設定を動画撮影用から静止画撮影用に変更した上で前記静止画の撮影を行い、前記信号処理部はその静止画の撮影によって得られた画像データである静止画用データを用いてその静止画撮影中の動画フレームデータを作成し、
   前記主制御部が制御する前記露光設定には、前記撮像素子の露光時間と、前記撮像素子への単位時間当たりの入射光量を特定する絞りの開口量及び／又は前記増幅回路の増幅度と、が含まれ、
   前記信号処理部は、前記静止画用データに含まれる被写体の動きによる被写体ぶれ量を前記動画撮影用の露光時間と前記静止画撮影用の露光時間との差異に応じて補正し、その補正後の静止画用データに基づいて静止画撮影中の前記動画フレームデータを作成する
   ことを特徴とする撮像装置。
2. 前記信号処理部は、前記静止画用データと前記静止画用データを得るための撮影の前後の撮影によって得られた画像データとの差分に基づいて、前記被写体の動きがある被写体ぶれ領域を求める被写体ぶれ領域特定部を備え、前記動画撮影用の露光時間と前記静止画撮影用の露光時間との差異に由来する被写体ぶれの変動分を前記静止画用データ中の前記被写体ぶれ領域に対応するデータに付与することにより、前記被写体ぶれ量の補正を行うことを特徴とする請求項１に記載の撮像装置。
3. 入射した光学像を光電変換する撮像素子と、
   前記撮像素子からの信号を増幅して出力する増幅回路と、
   前記増幅回路の出力信号から得られる画像データを処理する信号処理部と、
   前記撮像素子の露光設定を制御するとともに前記光学像の撮影を制御する主制御部と、を備え、動画と静止画を撮影可能な撮像装置において、
   動画撮影中に静止画の撮影を行う場合、前記主制御部は前記露光設定を動画撮影用から静止画撮影用に変更した上で前記静止画の撮影を行い、前記信号処理部はその静止画の撮影によって得られた画像データである静止画用データを用いてその静止画撮影中の動画フレームデータを作成し、
   前記主制御部が制御する前記露光設定には、前記撮像素子の露光時間と、前記撮像素子への単位時間当たりの入射光量を特定する絞りの開口量及び／又は前記増幅回路の増幅度と、が含まれ、
   前記絞りの開口量を静止画撮影用に変更するための時間が動画撮影の１フレーム期間以上必要となるとき、
   前記主制御部は複数のフレーム期間を用いて前記絞りの開口量を静止画撮影用に変更してから前記静止画の撮影を行い、前記信号処理部は前記複数のフレーム期間中に得られた各画像データに含まれる被写体の動きによる各被写体ぶれ量を前記動画撮影用の露光時間と前記複数のフレーム期間中に用いた各露光時間との差異に応じて補正し、これによって前記複数のフレーム期間中の各動画フレームデータを作成する
   ことを特徴とする撮像装置。
4. 入射した光学像を光電変換する撮像素子と、
   前記撮像素子からの信号を増幅して出力する増幅回路と、
   前記増幅回路の出力信号から得られる画像データを処理する信号処理部と、
   前記撮像素子の露光設定を制御するとともに前記光学像の撮影を制御する主制御部と、を備え、動画と静止画を撮影可能な撮像装置において、
   動画撮影中に静止画の撮影を行う場合、前記主制御部は前記露光設定を動画撮影用から静止画撮影用に変更した上で前記静止画の撮影を行い、前記信号処理部はその静止画の撮影によって得られた画像データである静止画用データを用いてその静止画撮影中の動画フレームデータを作成し、
   前記主制御部が制御する前記露光設定には、前記撮像素子の露光時間と、前記撮像素子への単位時間当たりの入射光量を特定する絞りの開口量及び／又は前記増幅回路の増幅度と、が含まれ、
   動画撮影中の前記静止画の撮影を動画撮影の１フレーム期間より長い期間をかけて行う場合、
   前記信号処理部は、前記静止画用データと前記静止画用データを得るための撮影の前または後の撮影によって得られた画像データとを加重加算合成することにより、静止画撮影中の前記動画フレームデータを作成し、
   その加重加算における重み付け係数は加重加算合成の対象となる前記画像データの撮影タイミングと前記静止画用データの撮影タイミングとによって決定される
   ことを特徴とする撮像装置。
5. 入射した光学像を光電変換する撮像素子と、
   前記撮像素子からの信号を増幅して出力する増幅回路と、
   前記増幅回路の出力信号から得られる画像データを処理する信号処理部と、
   前記撮像素子の露光設定を制御するとともに前記光学像の撮影を制御する主制御部と、を備え、動画と静止画を撮影可能な撮像装置において、
   動画撮影中に静止画の撮影を行う場合、前記主制御部は前記露光設定を動画撮影用から静止画撮影用に変更した上で前記静止画の撮影を行い、前記信号処理部はその静止画の撮影によって得られた画像データである静止画用データを用いてその静止画撮影中の動画フレームデータを作成し、前記主制御部が制御する前記露光設定には、前記撮像素子の露光時間と、前記撮像素子への単位時間当たりの入射光量を特定する絞りの開口量及び／又は前記増幅回路の増幅度と、が含まれ、
   前記信号処理部は、前記静止画用データに含まれる被写体の動きによる被写体ぶれ量を前記動画撮影用の露光時間と前記静止画撮影用の露光時間との差異に応じて補正し、その補正後の静止画用データに基づいて静止画撮影中の前記動画フレームデータを作成し、
   動画撮影中の前記静止画の撮影を動画撮影の１フレーム期間より長い期間をかけて行う場合、
   前記信号処理部は、前記静止画用データと前記静止画用データを得るための撮影の前または後の撮影によって得られた画像データとを加重加算合成することにより、静止画撮影中の前記動画フレームデータを作成し、
   その加重加算における重み付け係数は加重加算合成の対象となる前記画像データの撮影タイミングと前記静止画用データの撮影タイミングとによって決定される
   ことを特徴とする撮像装置。
6. 前記信号処理部は、加重加算合成の対象となる前記画像データと前記静止画用データとの差分が所定の閾値以上となる部分のみを対象として加重加算合成を行う
   ことを特徴とする請求項４又は５に記載の撮像装置。
7. 動画撮影中に前記静止画の撮影を行う場合に前記主制御部が制御する前記露光設定には、前記撮像素子の露光時間と前記増幅回路の増幅度が含まれ、
   動画撮影中に前記静止画の撮影を行う場合において、前記主制御部による前記露光設定の変更によって前記露光時間を定められた上限値に設定しても露光が不足していると判断されるとき、
   前記主制御部は前記増幅度を増加させることによって露光不足を補った上で前記静止画の撮影を行う
   ことを特徴とする請求項１〜請求項６の何れかに記載の撮像装置。
8. 動画画撮影中に前記静止画の撮影を行う場合において、前記主制御部による前記露光設定の変更によって前記露光時間を定められた上限値に設定しても露光が不足していると判断されるとき、
   前記主制御部は前記露光時間を前記上限値以下に設定した上で複数の画像の撮影を行い、前記信号処理部は前記複数の画像の撮影によって得られた複数の画像データを合成することにより動画撮影中に撮影されるべき前記静止画を表すデータを作成する
   ことを特徴とする請求項１〜請求項６の何れかに記載の撮像装置。
9. 前記信号処理部は、前記増幅回路の出力信号に基づいて、撮影した動画及び静止画の夫々の明るさを検出する明るさ検出部と、動画撮影中に前記静止画の撮影が行われる場合において、その静止画の明るさとその静止画の前又は後の動画の明るさとの差が小さくなるように前記静止画用データを補正する明るさ補正部と、を更に備え、その補正後の静止画用データを用いて静止画撮影中の前記動画フレームデータを作成する
   ことを特徴とする請求項１〜請求項８の何れかに記載の撮像装置。
10. 前記明るさ補正部は、動画撮影中に前記静止画の撮影が行われる場合、その静止画とその静止画の前又は後の動画内の同じ位置に設定した単一または複数の領域の平均輝度が、前記静止画と前記前又は後の動画との間で一致するように前記静止画用データを補正することにより、前記静止画の明るさと前記前又は後の動画の明るさとの差を小さくする
    ことを特徴とする請求項９に記載の撮像装置。
11. 動画撮影中に前記静止画の撮影を行う場合に前記主制御部が制御する前記露光設定には、前記露光時間と前記絞りの開口量が少なくとも含まれ、
    前記信号処理部は、動画と静止画の撮影間の前記絞りの開口量の変更に伴う周辺光量の低下の変動を補正する周辺光量補正部を、前記明るさ補正部の前段に備えている
    ことを特徴とする請求項９または請求項１０に記載の撮像装置。

Images