JP4785460B2 - 撮像装置及び撮像方法 - Google Patents

Description

本発明は、撮像された動画像データを符号化する技術に関する。

現在、アナログ画像信号をデジタル画像信号に変換して、磁気テープや光ディスクなどに記録し再生可能な、デジタルビデオカメラなどの撮像装置が普及している。これらの撮像装置のうち、特に、ＤＶＤ−Ｒなどのディスク媒体に画像信号（データ）を記録する装置では、画像データをＭＰＥＧ方式で符号化して記録することが一般的である。

ＭＰＥＧ方式による符号化では、フレーム間の動き補償予測符号化を用いることで、動画像データの情報量（データ量）を効率よく圧縮することができる。ＭＰＥＧ方式では、１フレームの静止画像をマクロブロックと呼ばれるブロックに分割し、各ブロックに対してＤＣＴ（離散コサイン変換）処理、量子化処理を施した後、可変長符号化を行う。そこに、前述のフレーム間の動き補償予測符号化を組み合わせることで、高い圧縮率を得ることができる。

符号化される動画像データの各フレームは、Ｉ、Ｐ、Ｂの三つのピクチャタイプに分類される。Ｉピクチャは、フレーム内符号化を行うフレームであり、他のフレームの情報を参照することなく単独で符号化及び復号化することができる。換言すれば、Ｉピクチャではフレーム間の動き補償予測符号化を使用しない。したがって、一般にＩピクチャは次に説明するＰ、Ｂピクチャに比較して符号量（データ量）を多く必要とする。

Ｐピクチャは、過去のＩ又はＰピクチャの画像信号を参照して予測した画像信号との差分を符号化（動き補償予測符号化）する、いわゆるフレーム間予測符号化を行う。したがって、ＰピクチャはＩピクチャに比べて符号量を削減することが可能である。

Ｂピクチャは、過去のＩ又はＰピクチャに加えて、未来のＩ又はＰピクチャの画像信号も参照して予測した画像信号との差分を符号化（動き補償予測符号化）する、いわゆる双方向フレーム間予測符号化を行う。したがって、ＢピクチャはＰピクチャよりさらに符号量を削減することが可能である。

このような符号化方式では、フレーム間の相関（差分）を利用して符号化するため、フレーム間の相関が低く、動き補償の困難な場合に、符号化した画像データの画質が劣化するという問題があった。

このような問題を解決する方法として、特許文献１は、撮像開始、停止、フェード、ズームなど、撮像装置の制御情報に基づいて、符号化特性を変化させて画像データの符号化を行う方法を開示する。また、特許文献２は、撮影開始、停止、レンズ駆動、露出、ホワイトバランス、手ぶれなど、撮像装置の制御情報をもとに撮像シーンの重要度、撮像環境を判断して、ビットレートを最適に設定する方法を開示する。
特開平７−１０７４６６号公報 特開２００２−３６９１４２号公報

しかしながら、上記従来の方法では、符号化特性やビットレートの調整はＩピクチャを挿入するなどして行うため、フレーム間の相関が低くなるとＩピクチャが増加し、符号化効率が低下するという問題があった。

本発明はこのような状況に鑑みてなされたものであり、符号化効率を低下させることなく、画質の劣化を抑制する、動画像データの符号化技術を提供することを目的とする。

レンズ、絞り、光電変換素子、及び、信号処理部を有し、光学像を撮像して動画像データを生成する撮像手段と、前記動画像データの各フレーム画像に対して、フレーム内符号化又はフレーム間予測符号化を行って、１枚のフレーム内符号化ピクチャと複数枚のフレーム間予測符号化ピクチャとからなる画像グループを繰り返し出力する符号化手段と、前記撮像手段の動作を制御するための撮像パラメータの変更を制御する制御手段と、を備え、前記制御手段は、前記符号化手段から情報を取得することによって、前記符号化手段によってフレーム内符号化されるフレーム画像の位置を判定し、当該位置に合わせて前記撮像パラメータを変更するよう制御するものであって、当該位置に合わないタイミングで前記撮像パラメータを変更する所定の指示を受けつけた場合には、前記所定の指示に応じた撮像パラメータの変更内容を一時的にメモリに記憶して、次にフレーム内符号化されるフレーム画像の位置に合わせて前記メモリに記憶された変更内容に従って前記撮像パラメータを変更することを特徴とする。

また、本発明の撮像方法は、レンズ、絞り、光電変換素子、及び、信号処理部を有し、光学像を撮像して動画像データを生成する撮像手段と、前記動画像データの各フレーム画像に対して、フレーム内符号化又はフレーム間予測符号化を行って、１枚のフレーム内符号化ピクチャと複数枚のフレーム間予測符号化ピクチャとからなる画像グループを繰り返し出力する符号化手段と、を備える撮像装置における撮像方法であって、前記撮像手段の動作を制御するための撮像パラメータの変更を制御する制御工程を備え、前記制御工程は、前記符号化手段から情報を取得することによって、前記符号化手段によってフレーム内符号化されるフレーム画像の位置を判定し、当該位置に合わせて前記撮像パラメータを変更するよう制御するものであって、当該位置に合わないタイミングで前記撮像パラメータを変更する所定の指示を受けつけた場合には、前記所定の指示に応じた撮像パラメータの変更内容を一時的にメモリに記憶して、次にフレーム内符号化されるフレーム画像の位置に合わせて前記メモリに記憶された変更内容に従って前記撮像パラメータを変更することを特徴とする。

なお、その他の本発明の特徴は、添付図面及び以下の発明を実施するための最良の形態の記載によっていっそう明らかになるものである。

以上の構成により、本発明によれば、符号化効率を低下させることなく、画質の劣化を抑制する、動画像データの符号化技術を提供することが可能となる。

以下、添付図面を参照して、本発明の好適な実施形態を説明する。

［第１の実施形態］
＜デジタルビデオカメラ１００の構成＞
図１は、本発明の撮像装置として使用可能なデジタルビデオカメラ１００の構成を示すブロック図である。

デジタルビデオカメラ１００は、レンズ１０１、絞り１０２、ＣＣＤ１０３を備える。レンズ１０１から入射した光学像は、絞り１０２で光量を調節され、ＣＣＤ１０３に結像する。

ビデオライト１０４は、動画撮像時に補助光を照射するために点灯することができるライトである。

ＣＣＤ１０３は、結像した光学像を光信号から電気信号に変換する光電変換を行い、得られた電気信号を信号処理部１０５に送る。

信号処理部１０５は、ＣＣＤ１０３から送られてきた電気信号に輝度補正やホワイトバランス処理、フェードなどのデジタルエフェクト処理などの信号処理を施し、符号化処理部１０６に送る。信号処理部１０５はまた、ディスプレイ１０７に画像データとして表示するのに適した形で電気信号に信号処理を施すこともできる。

ディスプレイ１０７は、信号処理部１０５から送られてきた電気信号から構成される画像データを表示することにより、電子ビューファインダとして機能する。また、画像再生時に画像データを表示することもできる。

符号化処理部１０６は、信号処理部１０５から送られてきた電気信号を、静止画像データの場合はＪＰＥＧ形式に、動画像データの場合はＭＰＥＧ形式に符号化し、磁気テープ１０８又はＤＶＤメディア１０９に記録する。

磁気テープ１０８は例えばＤＶカセットであり、ＤＶＤメディア１０９は例えばＤＶＤ−ＲやＤＶＤ−ＲＡＭなどである。これらはデジタル信号（データ）を記録可能であればいかなるものでもよく、例えばＨＤＤ（ハードディスクドライブ）に画像データを記録してもよい。

制御部１１０は、デジタルビデオカメラ１００全体を制御するマイクロコンピュータである。制御部１１０は制御プログラムを保持するＲＯＭ（不図示）、デジタルビデオカメラ１００の設定（制御情報）を記録するＳＲＡＭ（不図示）、制御プログラム実行時の一時作業領域として使用されるＤＲＡＭ（不図示）などを含む。制御部１１０は制御プログラムを実行することにより信号処理部１０５や符号化処理部１０６を制御したり、以下に説明するレンズ制御部１１２などを制御したりする。

操作部１１１は、ユーザがデジタルビデオカメラ１００に指示を与えるためのインタフェースであり、電源ボタン（不図示）や撮像開始ボタン（不図示）などを含む。

レンズ制御部１１２は、レンズ１０１のフォーカス、ズームなどの制御を行う。

絞り制御部１１３は、絞り１０２の制御を行い、併せてシャッタースピードの制御を行うことで、露出制御を行う。

ＣＣＤ制御部１１４は、ＣＣＤ１０３の電荷の蓄積、読み出しなどの制御を行う。

ビデオライト制御部１１５は、ビデオライト１０４の点灯、消灯及び発光量の制御を行う。

＜デジタルビデオカメラ１００の外観＞
図２は、デジタルビデオカメラ１００の外観を示す斜視図である。図１と同じ要素については同じ符号を付し、説明を省略する。

マイク２０１は、撮像時に音声を記録するためのものである。

ファインダ２０２は、ユーザがこれを覗き込むことにより、被写体に照準を合わせたり被写体を確認したりすることができる。ファインダ２０２は、光学ファインダでも電子ビューファインダでもよい。

動画用トリガースイッチ２０３はプッシュボタンであり、ユーザがこれを操作することにより、動画撮像開始及び終了をデジタルビデオカメラ１００に指示することができる。

静止画用トリガースイッチ２０４はプッシュボタンであり、ユーザがこれを操作することにより、静止画の撮像をデジタルビデオカメラ１００に指示することができる。

モードダイアル２０５は回転式のスイッチであり、例えば画像データを再生する「再生モード」、被写体の撮像を行う「カメラモード」、電源をＯＦＦにする「電源ＯＦＦモード」などを備える。ユーザはモードダイアル２０５を操作することにより、デジタルビデオカメラ１００にモードの変更を指示することができる。

操作パネル２０６は、上述した操作以外の操作、例えば画像データの選択や消去などをユーザがデジタルビデオカメラ１００に指示するためのボタンを集めたパネルである。

なお、動画用トリガースイッチ２０３乃至操作パネル２０６は、図１の操作部１１１に含まれるものである。

ディスプレイ１０７は図１を参照して説明した通りであるが、デジタルビデオカメラ１００に対して開閉可能であり、デジタルビデオカメラ１００から開いている状態で、さらに水平方向にも回転可能である。

スピーカ２０７は、画像データを再生するときに音声を出力するためのものである。

バッテリ２０８は、デジタルビデオカメラ１００に電力を供給するためのものであり、デジタルビデオカメラ１００に対して着脱可能である。

＜レンズ１０１等の制御のタイミング＞
本実施形態では、動画像データの画質劣化を抑制するために、制御部１１０がデジタルビデオカメラ１００のレンズ制御部１１２等を介してレンズ１０１等を制御するタイミングを調整する。制御部１１０は、レンズ１０１等を制御することにより、撮像時のズーム、フォーカス、露出、ホワイトバランスなどを変更する。以下、レンズ１０１等の制御により変更可能な、ズーム、フォーカス、露出、ホワイトバランス等をまとめて、「撮像パラメータ」と呼ぶ。

例えば、被写体が遠くに移動した場合などに、撮像パラメータ（この例ではフォーカス）を変化させると、符号化処理部１０６が符号化する対象となる画像データが大きく変化する可能性がある。したがって、前述のように、フレーム相関が低くなり、画質が劣化する可能性がある。

そこで、本実施形態では、制御部１１０が符号化処理部１０６から受け取る情報に基づき、撮像パラメータを変更するタイミング（レンズ１０１等を制御するタイミング）を調整する。

図３は、本実施形態において、撮像パラメータ変更処理のタイミングを概略的に説明する図である。図３において、Ｉ、Ｐ、Ｂの付された長方形は動画像データのＩピクチャ、Ｐピクチャ、Ｂピクチャの各フレームを示す。「ｔ」は時間軸を示し、右に行くほど新しいフレームである。「ＧＯＰ」はＧｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅｓの略であり、ＭＰＥＧ方式の符号化における基本単位を示す。「パラメータ変更」の文字とその上の矢印は、この矢印が示すタイミングで撮像パラメータを変更することを示す。

なお、ＧＯＰには、少なくとも１つのＩピクチャが含まれ、本実施形態では特に、ＧＯＰの先頭はＩピクチャとする。

図３に示すように、本実施形態では、Ｉピクチャの直前で撮像パラメータの変更を行う。これは、Ｉピクチャは符号化に際してフレーム間予測を行わないため、Ｉピクチャの直前で撮像パラメータ変更によるフレーム相関の低下が発生しても、画質の劣化につながらないためである。

なお、本実施形態ではＧＯＰの先頭以外にはＩピクチャは存在しないものとして説明するが、ＭＰＥＧ規格ではＧＯＰの途中にＩピクチャを使用してもよいことになっている。したがって、図３に示すようなＧＯＰの切れ目（最終フレーム）に限らず、ＧＯＰの途中であってもＩピクチャとその１つ前のピクチャの間であれば、撮像パラメータを変更してもよい。以下の説明において、「ＧＯＰの切れ目」と表現するものは、「Ｉピクチャとその１つ前のピクチャの間」と読み替えてもよい。

図４は、図３を参照して概説した撮像パラメータ変更処理の流れを詳細に示すフローチャートである。デジタルビデオカメラ１００の電源がＯＮの状態で動画用トリガースイッチ２０３が押されると、本フローチャートの処理が開始する。

ステップＳ４０１で、制御部１１０は不図示のＳＲＡＭから撮像パラメータの初期値を読み出す。次いで、制御部１１０は読み出した撮像パラメータを信号処理部１０５、レンズ制御部１１２乃至ビデオライト制御部１１５に設定する。これにより、ズーム、露出、ホワイトバランス、ビデオライト、デジタルエフェクトなどを制御する撮像パラメータの初期値が定まる。

ステップＳ４０２で、符号化処理部１０６は信号処理部１０５から送られてきた電気信号をＭＰＥＧ形式で符号化し、磁気テープ１０８又はＤＶＤメディア１０９に記録する。ここでの処理がすなわち動画撮像（記録）処理である。また、図示しないが、制御部１１０が操作部１１１から撮像終了指示を受けると、本フローチャートの処理は終了する。

ステップＳ４０３で、制御部１１０は符号化処理部１０６から、現在ＧＯＰにおけるどのフレームを符号化しているかを示す情報を取得し、現在符号化しているフレームがＧＯＰの切れ目であるかどうかを判定する。現在符号化しているフレームがＧＯＰの切れ目でない場合、撮像パラメータを変更することなくステップＳ４０２に戻る。ＧＯＰの途中で撮像パラメータを変更すると、それに伴うフレーム相関の低下により、画質が低下する可能性があるからである。換言すれば、制御部１１０はＧＯＰの途中で撮像パラメータを変更することを禁止し、例えばフォーカス追従などの必要が生じても、ＧＯＰの切れ目までは不変の撮像パラメータで撮像処理を行う。この場合、被写体のフォーカスがずれたままとなり、画質に悪影響を与える可能性も否定できない。しかし、ＧＯＰの途中で撮像パラメータを変更して再びフォーカスを合わせると、フレーム相関の低下による画質劣化という問題が発生する。本実施形態では、フレーム相関の低下による画質劣化をより重視し、制御部１１０はＧＯＰの途中では撮像パラメータを変更しない。

なお、制御部１１０が操作部１１１からズーム変更の指示を受けたり、被写体の明るさが変化することにより絞りを変更する必要が生じたりした場合は、対応する撮像パラメータの変更を不図示のＤＲＡＭに一時的に記憶する。

一方、現在符号化しているフレームがＧＯＰの切れ目である場合、撮像パラメータ変更に伴うフレーム相関の低下が画質劣化を引き起こす可能性が低いため、ステップＳ４０４に進み、以下のように撮像パラメータの変更を行う。

ステップＳ４０４で、制御部１１０はフォーカス変更やズーム変更のために撮像パラメータを変更してレンズ１０１を駆動する必要があるかどうかを判定する。ここでは、被写体の変化や操作部１１１からの指示による撮像パラメータ変更に加えて、前述のように不図示のＤＲＡＭに記憶されている撮像パラメータの変更が存在するかを判定する。以下、本フローチャートにおいて判定を行う各ステップにおいて、同様に、不図示のＤＲＡＭに記憶されている撮像パラメータの変更が存在するかを判定するものとする。撮像パラメータを変更する必要がある場合はステップＳ４０５に進み、必要がない場合はステップＳ４０６に進む。

ステップＳ４０５で、制御部１１０はレンズ制御部１１２に、レンズ１０１の制御に対応する撮像パラメータを設定（変更）し、レンズ制御部１１２はレンズ１０１のフォーカス変更やズーム変更などの制御を行う。

ステップＳ４０６で、制御部１１０は露出の変更のために撮像パラメータを変更する必要があるかどうかを判定する。撮像パラメータを変更する必要がある場合はステップＳ４０７に進み、必要がない場合はステップＳ４０８に進む。

ステップＳ４０７で、制御部１１０は絞り制御部１１３に、絞り１０２の制御に対応する撮像パラメータを設定（変更）し、絞り制御部１１３は絞り１０２を絞ったり開放したりする。

ステップＳ４０８で、制御部１１０は画像データのホワイトバランスの変更のために撮像パラメータを変更する必要があるかどうかを判定する。撮像パラメータを変更する必要がある場合はステップＳ４０９に進み、必要がない場合はステップＳ４１０に進む。

ステップＳ４０９で、制御部１１０は信号処理部１０５に、ホワイトバランス処理の制御に対応する撮像パラメータを設定（変更）する。これ以降は、信号処理部１０５は新たに設定されたパラメータに基づいてＣＣＤ１０３から送られてきた電気信号に対してホワイトバランス処理を行う。

ステップＳ４１０で、制御部１１０はビデオライト１０４の点灯、消灯、発光量変更などのために、撮像パラメータを変更する必要があるかどうかを判定する。撮像パラメータを変更する必要がある場合はステップＳ４１１に進み、必要がない場合はステップＳ４１２に進む。

ステップＳ４１１で、制御部１１０はビデオライト制御部１１５に、ビデオライト１０４の制御に対応する撮像パラメータを設定（変更）し、ビデオライト制御部１１５はビデオライト１０４の点灯、消灯、発光量変更などを行う。

ステップＳ４１２で、制御部１１０は画像データにフェードなどのデジタルエフェクトを施すために撮像パラメータを変更する必要があるかどうかを判定する。撮像パラメータを変更する必要がある場合はステップＳ４１３に進み、必要がない場合はステップＳ４０２に戻る。

ステップＳ４１３で、制御部１１０は信号処理部１０５に、デジタルエフェクトの制御に対応する撮像パラメータを設定（変更）する。これ以降は、信号処理部１０５は新たに設定されたパラメータに基づいてＣＣＤ１０３から送られてきた電気信号に対してデジタルエフェクトを施す。次いで、ステップＳ４０２に戻る。

このように、デジタルビデオカメラ１００は、撮像終了指示を受けるまで、以上の処理を繰り返す。

なお、ステップＳ４０４乃至ステップＳ４１３において変更される撮像パラメータの種類は一例に過ぎず、例えば手ぶれ補正に関する撮像パラメータなどについても変更の必要を判定してよい。すなわち、フレーム相関を低下させ、画質劣化を引き起こす可能性のある、あらゆる撮像パラメータを判定の対象としてよい。

また、制御部１１０はＧＯＰの切れ目という限られた時間で撮像パラメータを変更する必要があり、この時間内に変更が完了しなかった場合、Ｓ４０４乃至ステップＳ４１３のいずれのステップからでもステップＳ４０２に戻る。このとき、制御部１１０は完了しなかった変更の内容を不図示のＤＲＡＭに記憶し、次のＧＯＰの切れ目で変更を行う。

また、ステップＳ４０４乃至ステップＳ４１３の処理は、本実施形態では時系列に順を追って説明したが、実際には任意の順に実行してよく、並行して実行してもよい。

＜第１の実施形態のまとめ＞
以上説明したように、本実施形態によれば、デジタルビデオカメラ１００は現在符号化しているフレームがＧＯＰの切れ目である場合にのみ、撮像パラメータの変更を行う。また、ＧＯＰの切れ目以外で撮像パラメータを変更する必要が生じた場合は、変更の内容を不図示のＤＲＡＭに一時的に記憶し、ＧＯＰの切れ目で実際の変更を行う。

これにより、ＭＰＥＧ符号化においてＧＯＰ内でフレーム相関が低下することを抑制でき、画質の劣化を抑制することができる。また、Ｉピクチャの割合を増やさないため、符号化効率の低下を抑制し、符号量（データ量）の増大を抑制することができる。

［第２の実施形態］
第１の実施形態では、図１のデジタルビデオカメラ１００は現在符号化しているフレームがＧＯＰの切れ目である場合にのみ、撮像パラメータの変更を行うものとした。第２の実施形態では、撮像パラメータの変化量が所定の閾値よりも小さい場合は、デジタルビデオカメラ１００はＧＯＰの途中であっても撮像パラメータの変更を行う（許可する）形態を説明する。

本実施形態によれば、撮像パラメータの変化量が小さければＧＯＰの途中でも撮像パラメータを変更するため、撮像環境により適した撮像パラメータで撮像を行うことが可能となる。一方で、撮像パラメータの変化量が小さければフレーム相関の低下も相対的に小さくなり、画質劣化がそれほど問題とならない。

なお、本実施形態において、デジタルビデオカメラ１００の構成は第１の実施形態と同様でよいため、その説明を省略する。

図５は、第２の実施形態における、撮像パラメータ変更処理の流れを詳細に示すフローチャートである。本フローチャートにおいて、図４と同じ処理を行うステップには同じ符号を付し、説明を省略する。第１の実施形態と同様、デジタルビデオカメラ１００の電源がＯＮの状態で図２の動画用トリガースイッチ２０３が押されると、本フローチャートの処理が開始する。また、図示しないが、第１の実施形態と同様、制御部１１０が操作部１１１から撮像終了指示を受けると、本フローチャートの処理は終了する。

ステップＳ５０１で、制御部１１０は符号化処理部１０６から、現在ＧＯＰにおけるどのフレームを符号化しているかを示す情報を取得し、現在符号化しているフレームがＧＯＰの切れ目（最終フレーム）であるかどうかを判定する。現在符号化しているフレームがＧＯＰの切れ目でない場合、第１の実施形態と異なり、ステップＳ５０２に進む。

一方、現在符号化しているフレームがＧＯＰの切れ目である場合、撮像パラメータ変更に伴うフレーム相関の低下が画質劣化を引き起こす可能性が低いため、ステップＳ４０４に進み、第１の実施形態と同様に撮像パラメータの変更を行う。

ステップＳ５０２乃至ステップＳ５０７では、撮像パラメータ変更により画質劣化を引き起こす可能性があるため、撮像パラメータ変更の制御を短い周期で行う必要のある撮像パラメータに限り、一定条件の下、変更を行う。撮像パラメータ変更の制御を短い周期で行う必要のある撮像パラメータとは、例えばレンズ１０１及び絞り１０２の制御に関する撮像パラメータである。なぜなら、例えばフォーカスがずれると画質に悪影響を及ぼす可能性が高いため、ＧＯＰの途中であっても可能な限りフォーカスの調整を行うことが好ましいからである。

ステップＳ５０２で、制御部１１０はフォーカス変更やズーム変更のために撮像パラメータを変更してレンズ１０１を駆動する必要があるかどうかを判定する。ここでは、被写体の変化や操作部１１１からの指示による撮像パラメータ変更に加えて、前述のように制御部１１０の不図示のＤＲＡＭに記憶されている撮像パラメータの変更が存在するかを判定する。以下、本フローチャートにおいて判定を行う各ステップにおいて、同様に、不図示のＤＲＡＭに記憶されている撮像パラメータの変更が存在するかを判定するものとする。撮像パラメータを変更する必要がある場合はステップＳ５０３に進み、必要がない場合はステップＳ５０５に進む。

ステップＳ５０３で、制御部１１０は撮像パラメータの変化量が所定の閾値以下であるかどうかを判定する。所定の閾値は、デジタルビデオカメラ１００の製造時等に不図示のＳＲＡＭに記録しておく。また、ユーザが操作部１１１を介して閾値を変更できるようにしてもよい。撮像パラメータの変化量が所定の閾値以下でない場合、撮像パラメータを変更するとフレーム相関が大きく低下する可能性があるため、撮像パラメータを変更せずにステップＳ５０５に進む。この場合、対応する撮像パラメータの変更を制御部１１０の不図示のＤＲＡＭに一時的に記憶する。撮像パラメータの変化量が所定の閾値以下の場合、ステップＳ５０４に進む。

ステップＳ５０４で、制御部１１０はレンズ制御部１１２に、レンズ１０１の制御に対応する撮像パラメータを設定（変更）し、レンズ制御部１１２はレンズ１０１のフォーカス変更やズーム変更などの制御を行う。

ステップＳ５０５で、制御部１１０は露出の変更のために撮像パラメータを変更する必要があるかどうかを判定する。撮像パラメータを変更する必要がある場合はステップＳ５０６に進み、必要がない場合はステップＳ４０２に戻る。

ステップＳ５０６で、制御部１１０は撮像パラメータの変化量が所定の閾値以下であるかどうかを判定する。撮像パラメータの変化量が所定の閾値以下でない場合、撮像パラメータを変更するとフレーム相関が大きく低下する可能性があるため、撮像パラメータを変更せずにステップＳ４０２に戻る。この場合、対応する撮像パラメータの変更を制御部１１０の不図示のＤＲＡＭに一時的に記憶する。撮像パラメータの変化量が所定の閾値以下の場合、ステップＳ５０７に進む。

ステップＳ５０７で、制御部１１０は絞り制御部１１３に、絞り１０２の制御に対応する撮像パラメータを設定（変更）し、絞り制御部１１３は絞り１０２を絞ったり開放したりする。次いで、ステップＳ４０２に戻る。

このように、デジタルビデオカメラ１００は、撮像終了指示を受けるまで、以上の処理を繰り返す。

なお、ステップＳ５０２乃至ステップＳ５０７において変更される撮像パラメータの種類は一例に過ぎず、撮像パラメータ変更の制御を短い周期で行いたければ、ホワイトバランス処理等に関する撮像パラメータなどについても変更の必要を判定してもよい。すなわち、フレーム相関を低下させ、画質劣化を引き起こす可能性のある、あらゆる撮像パラメータを判定の対象としてよい。判定の対象としない撮像パラメータ、すなわち、ＧＯＰの途中では一切変更しない撮像パラメータは、例えば閾値を０とすることで設定することができる。

また、ステップＳ５０２乃至ステップＳ５０７の処理は、本実施形態では時系列に順を追って説明したが、実際には任意の順に実行してよく、並行して実行してもよい。

＜第２の実施形態のまとめ＞
以上説明したように、本実施形態によれば、撮像パラメータの変化量が所定の閾値よりも小さい場合は、デジタルビデオカメラ１００はＧＯＰの途中であっても撮像パラメータの変更を行う（許可する）。撮像パラメータの変化量が所定の閾値よりも大きい場合は、変更の内容を不図示のＤＲＡＭに一時的に記憶し、ＧＯＰの切れ目で実際の変更を行う。

これにより、第１の実施形態における利点に加えて、撮像パラメータの変化量が小さければＧＯＰの途中でも撮像パラメータを変更するため、撮像環境により適した撮像パラメータで撮像を行うことが可能となる。一方で、撮像パラメータの変化量が小さければフレーム相関の低下も相対的に小さくなり、画質劣化がそれほど問題とならない。

［第３の実施形態］
第１及び第２の実施形態では、動画像撮像時における撮像パラメータの変更について説明した。第３の実施形態では、動画像撮像時に静止画像を撮像する場合の撮像パラメータの変更について説明する。

静止画撮像はしばしばフラッシュの発光を伴い、これにより、撮像環境が変化してフレーム相関の低下を引き起こす可能性がある。したがって、本実施形態は、動画撮像時に静止画撮像が行われた場合の動画像データの画質劣化を抑制するという意義がある。

＜デジタルビデオカメラ１００の構成＞
図６は、本実施形態におけるデジタルビデオカメラ１００の構成を示すブロック図である。ストロボ６０１、メモリカード６０２、ストロボ制御部６０３が追加された以外は、第１の実施形態と同様であり（図１参照）、同じ構成要素には同じ符号を付し、説明を省略する。

ストロボ６０１は、静止画像撮像時にフラッシュとして使用するためのものである。

メモリカード６０２は、符号化処理部１０６が信号処理部１０５から送られてきた電気信号をＪＰＥＧ形式に符号化したものを、静止画像データとして記録するための記憶媒体である。なお、静止画像データは磁気テープ１０８やＤＶＤメディア１０９に記録しても構わない。

ストロボ制御部６０３は、ストロボ６０１の発光量および発光タイミングなどの制御を、制御部１１０の指示に従って行うものである。

＜レンズ１０１等の制御のタイミング＞
図７は、動画像撮像時に静止画像を撮像する場合の、撮像パラメータ変更処理の流れを詳細に示すフローチャートである。本フローチャートは第１の実施形態（図４）と異なり、デジタルビデオカメラ１００に電源が投入された時点で処理が開始する。

ステップＳ７０１で、制御部１１０は不図示のＳＲＡＭから撮像パラメータの初期値を読み出す。次いで、制御部１１０は読み出した撮像パラメータを信号処理部１０５、レンズ制御部１１２乃至ビデオライト制御部１１５に設定する。これにより、ズーム、露出、ホワイトバランス、ビデオライト、デジタルエフェクトなどを制御する撮像パラメータの初期値が定まる。

ステップＳ７０２で、制御部１１０は操作部１１１の静止画用トリガースイッチ２０４（図２）から静止画撮像指示を受信したかどうかを判定する。静止画撮像指示を受信すると、ステップＳ７０３に進む。静止画撮像指示を受信しなければ、受信するまでステップＳ７０２で待つ。

なお、図示しないが、制御部１１０が操作部１１１から電源ＯＦＦの指示を受けると、本フローチャートの処理は終了する。また、制御部１１０が操作部１１１の動画用トリガースイッチ２０３（図２）から動画撮像指示を受けると、デジタルビデオカメラ１００は動画撮像処理を開始する。動画像撮像中は、符号化処理部１０６は信号処理部１０５から送られてきた電気信号をＭＰＥＧ形式で符号化し、磁気テープ１０８又はＤＶＤメディア１０９に記録する。

ステップＳ７０３で、制御部１１０はストロボ６０１の発光が必要かどうかを判定する。ここでの判定は、例えば不図示の明るさセンサから被写体や撮像環境の明るさを受け取ることにより行う。ストロボ６０１の発光が必要でない場合は、静止画撮像により撮像環境が変化することはないので、ステップＳ７０７に進み、静止画撮像処理を行う。このとき、動画像撮像中であり、静止画像撮像以外の要因で撮像パラメータを変更する必要があれば、第１の実施形態と同様の方法で撮像パラメータ変更処理を行う。ストロボ６０１の発光が必要な場合は、ステップＳ７０４に進む。

ステップＳ７０４で、制御部１１０はデジタルビデオカメラ１００が動画像撮像中かどうかを判定する。動画像撮像中でなければ撮像パラメータの変更を考慮する必要がないため、ステップＳ７０６に進む。動画像撮像中の場合は、ステップＳ７０５に進む。

ステップＳ７０５で、制御部１１０は符号化処理部１０６から、現在ＧＯＰにおけるどのフレームを符号化しているかを示す情報を取得し、現在符号化しているフレームがＧＯＰの切れ目（最終フレーム）であるかどうかを判定する。現在符号化しているフレームがＧＯＰの切れ目でない場合、ステップＳ７０４に戻る。ＧＯＰの途中でストロボ６０１を発光すると、撮像環境（具体的には、被写体の輝度など）が変化し、それに伴うフレーム相関の低下により、画質が低下する可能性があるからである。したがって、現在符号化しているフレームがＧＯＰの切れ目になるまで静止画像撮像処理を遅らせる。現在符号化しているフレームがＧＯＰの切れ目であれば、ステップＳ７０６に進む。

ステップＳ７０６で、制御部１１０はストロボ制御部６０３を介してストロボ６０１を発光し、ステップＳ７０７に進む。

ステップＳ７０７で、符号化処理部１０６は信号処理部１０５から送られてきた電気信号をＪＰＥＧ形式で符号化し、メモリカード６０２に記録する。次いでステップＳ７０２に戻り、次の静止画像撮像指示を待つ。

＜第３の実施形態のまとめ＞
以上説明したように、本実施形態によれば、動画像撮像中にストロボ６０１の発光が必要な静止画撮像処理を行う場合、制御部１１０はＧＯＰの切れ目まで待って静止画撮像処理を行う。

これにより、動画撮像時に静止画撮像が行われた場合の動画像データの画質劣化を抑制することができる。

［その他の実施形態］
上述した各実施の形態の処理は、各機能を具現化したソフトウェアのプログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても実現することができる。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フロッピィ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれている。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書きこまれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含むものである。

本発明の撮像装置として使用可能なデジタルビデオカメラ１００の構成を示すブロック図である。 デジタルビデオカメラ１００の外観を示す斜視図である。 第１の実施形態における、撮像パラメータ変更処理のタイミングを概略的に説明する図である。 第１の実施形態における、撮像パラメータ変更処理の流れを詳細に示すフローチャートである。 第２の実施形態における、撮像パラメータ変更処理の流れを詳細に示すフローチャートである。 第３の実施形態におけるデジタルビデオカメラ１００の構成を示すブロック図である。 動画像撮像時に静止画像を撮像する場合の、撮像パラメータ変更処理の流れを詳細に示すフローチャートである。

符号の説明

１００ デジタルビデオカメラ
１１０ 制御部

Claims (8)

1. レンズ、絞り、光電変換素子、及び、信号処理部を有し、光学像を撮像して動画像データを生成する撮像手段と、
   前記動画像データの各フレーム画像に対して、フレーム内符号化又はフレーム間予測符号化を行って、１枚のフレーム内符号化ピクチャと複数枚のフレーム間予測符号化ピクチャとからなる画像グループを繰り返し出力する符号化手段と、
   前記撮像手段の動作を制御するための撮像パラメータの変更を制御する制御手段と、
   を備え、
   前記制御手段は、前記符号化手段から情報を取得することによって、前記符号化手段によってフレーム内符号化されるフレーム画像の位置を判定し、当該位置に合わせて前記撮像パラメータを変更するよう制御するものであって、当該位置に合わないタイミングで前記撮像パラメータを変更する所定の指示を受けつけた場合には、前記所定の指示に応じた撮像パラメータの変更内容を一時的にメモリに記憶して、次にフレーム内符号化されるフレーム画像の位置に合わせて前記メモリに記憶された変更内容に従って前記撮像パラメータを変更することを特徴とする撮像装置。
2. 前記制御手段は、前記符号化手段によってフレーム内符号化されるフレーム画像を撮像する直前に前記撮像パラメータを変更するよう制御し、当該フレーム画像の撮像中に前記撮像パラメータの変更が完了しなかった場合、完了しなかった撮像パラメータの変更内容を一時的に前記メモリに記憶して、次にフレーム内符号化されるフレーム画像の位置に合わせて前記メモリに記憶された完了しなかった撮像パラメータの変更内容に従って前記撮像パラメータを変更することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記符号化手段によってフレーム内符号化されるフレーム画像の直後のフレーム画像から次にフレーム内符号化されるフレーム画像の直前のフレーム画像までの各フレーム画像を撮像している間に前記所定の指示を受けつけた場合には、前記所定の指示に応じた撮像パラメータの変更内容を一時的に前記メモリに記憶することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記制御手段は、前記位置に合わないタイミングで前記撮像パラメータを変更する指示を受けつけた場合に、当該指示に応じた撮像パラメータの変化量が閾値以下であるか否かを判定する判定手段を有し、
   前記判定手段によって前記変化量が前記閾値以下でないと判定されたときは、前記指示は前記所定の指示であるとして、前記指示に応じた撮像パラメータの変更内容を一時的に前記メモリに記憶し、
   前記判定手段によって前記変化量が前記閾値以下であると判定されたときは、前記位置に関わらず、前記指示に従って前記撮像パラメータをすぐに変更することを特徴とする請求項１に記載の撮像装置。
5. 前記撮像パラメータは、ズーム、フォーカス、露出、ホワイトバランス、ビデオライト、デジタルエフェクトのうち少なくともいずれかの制御に関するパラメータであることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. レンズ、絞り、光電変換素子、及び、信号処理部を有し、光学像を撮像して動画像データを生成する撮像手段と、
   前記動画像データの各フレーム画像に対して、フレーム内符号化又はフレーム間予測符号化を行って、１枚のフレーム内符号化ピクチャと複数枚のフレーム間予測符号化ピクチャとからなる画像グループを繰り返し出力する符号化手段と、を備える撮像装置における撮像方法であって、
   前記撮像手段の動作を制御するための撮像パラメータの変更を制御する制御工程を備え、
   前記制御工程は、前記符号化手段から情報を取得することによって、前記符号化手段によってフレーム内符号化されるフレーム画像の位置を判定し、当該位置に合わせて前記撮像パラメータを変更するよう制御するものであって、当該位置に合わないタイミングで前記撮像パラメータを変更する所定の指示を受けつけた場合には、前記所定の指示に応じた撮像パラメータの変更内容を一時的にメモリに記憶して、次にフレーム内符号化されるフレーム画像の位置に合わせて前記メモリに記憶された変更内容に従って前記撮像パラメータを変更することを特徴とする撮像方法。
7. レンズ、絞り、光電変換素子、及び、信号処理部を有し、光学像を撮像して動画像データを生成する撮像手段と、
   前記動画像データの各フレーム画像に対して、フレーム内符号化又はフレーム間予測符号化を行って、１枚のフレーム内符号化ピクチャと複数枚のフレーム間予測符号化ピクチャとからなる画像グループを繰り返し出力する符号化手段と、を備える撮像装置のコンピュータに、
   前記撮像手段の動作を制御するための撮像パラメータの変更を制御する制御工程を実行させるプログラムであって
   前記制御工程は、前記符号化手段から情報を取得することによって、前記符号化手段によってフレーム内符号化されるフレーム画像の位置を判定し、当該位置に合わせて前記撮像パラメータを変更するよう制御するものであって、当該位置に合わないタイミングで前記撮像パラメータを変更する所定の指示を受けつけた場合には、前記所定の指示に応じた撮像パラメータの変更内容を一時的にメモリに記憶して、次にフレーム内符号化されるフレーム画像の位置に合わせて前記メモリに記憶された変更内容に従って前記撮像パラメータを変更することを特徴とするプログラム。
8. 請求項７に記載のプログラムを記録したコンピュータ可読記録媒体。

Images