JP4353253B2 - フレームレート制御装置とフレームレート制御方法および記録装置と撮像装置 - Google Patents

Description

この発明はフレームレート制御装置とフレームレート制御方法および記録装置と撮像装置に関する。詳しくは、ユーザ操作に応じて、フレームレートの時間的な複数の変化特性から変化特性を選択して、この選択された変化特性となるようにフレームレートを自動的に変化させるフレームレート制御信号を生成して、このフレームレート制御信号によって撮像装置で生成する動画像のフレームレートあるいは記録装置で記録する動画像のフレームレートを変化させるものである。

従来、映画制作やテレビジョン番組制作等では、特殊な映像効果を得ることができるように、フレームレートを可変する機能が撮像装置や記録装置等に設けられている。例えば、特許文献１の撮像装置を用いて、通常のフレームレートよりも高いフレームレートで撮像を行い、再生は通常のフレームレートで行うものとすると、再生画像はスロー再生画像となる。このため、水面に水滴が落下したときのような高速度動作を容易かつ詳細に観察できる。また、通常のフレームレートよりも低いフレームレートで撮像を行い、再生は通常のフレームレートで行うものとすると、高速再生画像となる。このため、格闘シーンやカーチェイスシーン等でのスピード感を高めて臨場感の高い画像提示を行うことができる。また、特許文献２では、３：２プルダウン処理によってフレームレートの変換を行うことが開示されている。

特開２０００−１２５２１０号公報 特開平９−１６８１４８号公報

ところで、従来のフレームレート切り替えでは、フレームレートを「Ｒst」から「Ｒed」に自動で変化させる場合、フレームレートが直線的に変化されている。しかし、フレームレートの変化特性が直線的な特性だけでは、多様な画像提示の要求に応えることができない。

そこで、この発明では、フレームレートを変化させる際に、多様な変化特性を容易に実現できるフレームレート制御装置とフレームレート制御方法および撮像装置と記録装置を提供するものである。

この発明の概念は、撮像装置で生成する動画像のフレームレートあるいは記録装置で記録する動画像のフレームレートを制御するとき、フレームレートの時間的な複数の変化特性から所望の変化特性を選択可能として、選択された変化特性となるようにフレームレートを自動的に変化させるフレームレート制御信号を生成することにある。

この発明のフレームレート制御装置は、記録装置で記録する動画像のフレームレートあるいは撮像装置で生成する動画像のフレームレートを時間に対して直線的に変化させる変化特性と、前記フレームレートを時間の経過とともに変化させるとき前記フレームレートの各値におけるフレーム数を一定とする変化特性とを少なくとも含む複数の変化特性から所望の変化特性を選択操作するための操作部と、前記選択操作によって選択された変化特性となるようにフレームレートを自動的に変化させるフレームレート制御信号を生成する制御部とを有するものである。

この発明のフレームレート制御方法は、ユーザ操作に応じて、記録装置で記録する動画像のフレームレートあるいは撮像装置で生成する動画像のフレームレートを時間に対して直線的に変化させる変化特性と、前記フレームレートを時間の経過とともに変化させるとき前記フレームレートの各値におけるフレーム数を一定とする変化特性とを少なくとも含む複数の変化特性から所望の変化特性を選択操作するためのステップと、前記選択された変化特性となるようにフレームレートを自動的に変化させるフレームレート制御信号を生成するステップとを有するものである。

この発明の記録装置は、動画像を記録媒体に記録する記録処理部と、フレームレートを時間に対して直線的に変化させる変化特性と、前記フレームレートを時間の経過とともに変化させるとき前記フレームレートの各値におけるフレーム数を一定とする変化特性とを少なくとも含む複数の変化特性から所望の変化特性を選択操作するための操作部と、前記フレームレートを前記選択操作によって選択された変化特性で自動的に変化させるフレームレート制御信号を生成するフレームレート制御部と、前記フレームレート制御信号に基づいて前記記録処理部の制御を行い、前記動画像を前記選択操作によって選択された変化特性のフレームレートに変換して前記記録媒体に記録させる記録制御部を有するものである。

また、この発明の撮像装置は、撮像信号を生成する撮像部と、前記撮像信号をフレーム単位で加算して画像信号を生成するフレーム加算部と、フレームレートを時間に対して直線的に変化させる変化特性と、前記フレームレートを時間の経過とともに変化させるとき前記フレームレートの各値におけるフレーム数を一定とする変化特性とを少なくとも含む複数の変化特性から所望の変化特性を選択操作するための操作部と、前記フレームレートを前記選択操作によって選択された変化特性で自動的に変化させるフレームレート制御信号を生成するフレームレート制御部と、前記フレームレート制御信号に基づいて、前記撮像部で生成する撮像信号のフレームレートおよび／または前記フレーム加算部でのフレーム加算数の制御を行い、前記画像信号を前記選択操作によって選択された変化特性のフレームレートとする撮像制御部とを有するものである。

この発明においては、フレームレートの時間的な複数の変化特性から変化特性の選択が可能とされる。この複数の変化特性としては、フレームレートを直線的に変化させる変化特性だけでなく、フレームレートの各値におけるフレーム数を一定とする変化特性や、フレームレート切替情報例えばフレームレートを変化させたときの通過点を示す情報に基づいてフレームレートを変化させる変化特性が設けられる。変化特性が選択されたときは、選択された変化特性となるようにフレームレートを自動的に変化させるフレームレート制御信号が生成されて、このフレームレート制御信号に基づき、生成する動画像や記録する動画像のフレームレートが可変させる。

この発明によれば、フレームレートの時間的な複数の変化特性から所望の変化特性の選択が可能とされて、変化特性が選択されたときは、選択された変化特性となるようにフレームレートを自動的に変化させるフレームレート制御信号の生成が行われる。このため、種々の変化特性を容易に実現することができるため、多様な画像提示の要求に応えられるようになる。

以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、フレームレート制御装置で撮像装置あるいは記録装置のフレームレートを制御する場合のシステム構成を例示している。

図１において、撮像装置１０は、フレームレートが固定された画像信号、あるいは所望のフレームレートの画像信号を生成する。記録装置２０は、フレームレートが固定された画像信号に対してフレームの間引きや加算、フレームの繰り返し等を行い、所望のフレームレートの信号として記録媒体に記録する。あるいは、フレームレートが可変された画像信号を記録媒体に記録する。さらに、撮像装置１０と記録装置２０を接続する伝送路４０で画像信号を伝送する際のフレームレートが所定のフレームレートに規定されている場合、撮像装置１０は、生成した所望のフレームレートである画像信号を、伝送路４０で規定されたフレームレートの画像信号として出力する。記録装置２０は、伝送路４０を介して供給された画像信号に対してフレームの間引きや繰り返しを行い、所望のフレームレートの信号として記録媒体に記録する。

フレームレート制御装置は、撮像装置１０で生成する画像信号のフレームレートや記録装置２０で画像信号を記録するときのフレームレートを設定するためのものである。

なお、図１では、撮像装置１０と記録装置２０を接続して、撮像装置１０で生成された画像信号を記録装置２０に記録する構成を示しているが、フレームレート制御装置と撮像装置１０でシステムを構成して、フレームレート制御装置によって指示されたフレームレートの画像信号を撮像装置から出力するものとしてもよい。また、フレームレート制御装置と記録装置２０でシステムを構成して、フレームレート制御装置によって指示されたフレームレートで画像信号を記録装置２０で記録するものとしてもよい。さらに、フレームレート制御装置は、撮像装置１０や記録装置２０と別個に設けるものとしてもよく、撮像装置１０や記録装置２０にフレームレート制御装置の機能を内蔵するものとしてもよい。

図２は撮像装置の構成を示している。撮像装置１０において、画像信号生成部１１の撮像部１１１を構成する撮像素子（図示せず）の撮像面上には、撮像レンズ（図示せず）を通して入射された光に基づいた被写体画像が結像される。撮像素子は、光電変換によって被写体画像の撮像電荷を生成し、駆動部１１２から供給された駆動制御信号ＲＣに基づいて撮像電荷を読み出して電圧信号に変換する。さらに、この電圧信号を撮像信号Ｓpaとして撮像信号処理部１１３に供給する。

駆動部１１２は、後述する撮像制御部１５から供給された撮像制御信号ＣＴaに基づいて駆動制御信号ＲＣを生成して撮像部１１１に供給する。また、撮像制御信号ＣＴaに基づいて駆動制御信号ＲＣのタイミング等を可変して、撮像信号Ｓpaのフレームレートの切り替えを行う。

撮像信号処理部１１３は、撮像信号Ｓpaを増幅したのちノイズ成分を除去する。またノイズ除去された画像信号をディジタル信号に変換したのち、フィードバッククランプ処理やフレアー補正、撮像素子の欠陥に対する補正処理、プロセス処理等を行い、画像信号ＤＶaを生成する。この画像信号ＤＶaは、フレーム加算処理部１２に供給される。

フレーム加算処理部１２は、画像信号ＤＶaに対してフレーム加算処理を行い、画像信号ＤＶaのフレームレートを可変する。このフレーム加算処理は、例えばＲＡＭ(Random Access Memory)を用いて行うことができる。

なお、撮像信号処理部１１３で行う信号処理動作や、フレーム加算処理部１２で行うフレーム加算処理の加算フレーム数も、撮像制御部１５からの撮像制御信号ＣＴaによって制御される。

送信部１３は、伝送路４０を介して記録装置２０の受信部２１と接続されており、画像信号ＤＶbと撮像制御部１５から供給された通信情報ＲＭpを記録装置２０に供給する。

受信部１４は、伝送路４０を介して記録装置２０の送信部２７と接続されており、記録装置２０側から供給された通信情報ＲＭqを撮像制御部１５に供給する。

撮像制御部１５には、ユーザインタフェース部１６が接続されている。このユーザインタフェース部１６を介して、ユーザ操作に応じた操作信号ＰＳaが供給されると、撮像制御部１５は、この操作信号ＰＳaに基づいて撮像制御信号ＣＴaを生成して各部の動作を制御することにより、撮像装置１０をユーザ操作に応じて動作させる。また、フレーム加算処理部１２から出力される画像信号ＤＶbのフレームレートを指示するフレームレート制御信号ＣＴfsが通信情報ＲＭqとして撮像制御部１５に供給されたとき、撮像制御部１５は、フレームレート制御信号ＣＴfsに基づき撮像制御信号ＣＴaを生成して画像信号ＤＶbのフレームレートを可変させる。

なお、図示せずも撮像装置１０には電子ビューファインダが設けられて、撮像中の画像または記録装置２０で再生された画像を確認できるようになされている。

図３は記録装置の構成を示している。受信部２１で得られた画像信号ＤＶbは記録信号生成部２２に供給される。また、受信部２１で得られた通信情報ＲＭpは記録信号生成部２２を介して記録再生制御部２８に供給される。

記録信号生成部２２は、供給された画像信号ＤＶbに対して圧縮処理や変調処理、誤り訂正符号の付加処理等を行い、記録信号ＷＳを生成してバッファメモリ２３に供給する。バッファメモリ２３には、記録再生部２４が接続されている。記録再生部２４は、バッファメモリ２３に保持されている記録信号ＷＳを順次記録媒体、例えば磁気テープや磁気ディスク、光ディスク、半導体メモリ等に記録する。ここで、記録媒体として磁気テープや磁気ディスクまたは光ディスクが用いられる場合、記録媒体を駆動するための記録媒体駆動部２５が設けられる。また、記録再生部２４で記録媒体に記録されている信号の読み出しを行って得られた読出信号ＲＳは再生信号処理部２６に供給される。

再生信号処理部２６は、誤り訂正処理や復調処理、伸長処理を行い、得られた画像信号ＤＶcを出力する。なお、記録媒体に記録されている画像を撮像装置１０でモニタするときには、画像信号ＤＶcを送信部２７に供給する。

送信部２７は、伝送路４０を介して撮像装置１０の受信部１４と接続されており、後述する記録再生制御部２８から供給された通信情報ＲＭqを撮像装置１０に供給する。また、画像信号ＤＶcが供給されたときは、画像信号ＤＶcを撮像装置１０に供給する。

記録再生制御部２８には、ユーザインタフェース部３０が接続されている。このユーザインタフェース部３０を介して、ユーザ操作に応じた操作信号ＰＳdが供給されると、記録再生制御部２８は、この操作信号ＰＳdに基づいて記録再生制御信号ＣＴdを生成して各部に供給することで、記録装置２０の動作がユーザ操作に応じた動作となるように制御する。

フレームレート制御装置は、撮像装置１０のユーザインタフェース部１６あるいは図１に示す記録装置２０のユーザインタフェース部３０を利用して構成することができる。以下、記録装置２０のユーザインタフェース部３０をフレームレート制御装置として利用する場合について説明する。

図４はユーザインタフェース部の構成を示している。ユーザインタフェース部３０は、操作部３１と表示部３２、外部インタフェース部３３および制御部３４で構成されている。図５は、ユーザインタフェース部３０の外観を例示したものである。

操作部３１は、操作キー群３１１，３１２，３１３を有している。操作キー群３１１は、記録装置２０で記録動作や再生動作等を行わせるときにユーザが操作するキー群である。操作キー群３１２は、種々の設定等を行う際に、システムに関する設定や画像に関する設定や音声に関する設定等のいずれを実行するか選択するときにユーザが操作するキー群である。操作キー群３１３は、設定項目等の切り替えや設定内容を反映させるときにユーザが操作するキー群であり、操作キー３１３a，３１３b等が設けられている。

表示部３２は、液晶パネル等の表示素子を用いて構成されており、表示部３２の画面３２１には、メニュー表示、種々の設定状態の表示、動作状態に関する表示等が行われる。

外部インタフェース部３３は、メモリカードや外部機器と通信を行うためのインタフェースである。この外部インタフェース部３３を介して、メモリカードに記憶されている情報や外部機器で生成された情報を制御部３４が取り込むことで、操作部３１を操作しなくとも種々の設定等を行うことが可能となる。

制御部３４は、操作部３１の種々のキー操作を検出して、この検出結果に基づき操作信号ＰＳdを生成して記録再生制御部２８に供給する。また、キー操作に応じて表示部３２の表示を切り替える。さらに、制御部３４は、操作部３１でフレームレートの時間的な複数の変化特性から所望の変化特性を選択するユーザ操作が行われたとき、選択された変化特性でフレームレートを自動的に変化させるためのフレームレート制御信号ＣＴfsを生成して出力する。

フレームレート制御信号ＣＴfsとしては、例えばフレームレート値を示す信号を用いる。この場合、フレームレートを切り替えるタイミングになったとき、順次新たなフレームレート値を示すフレームレート制御信号ＣＴfsを生成して出力する。このようにフレームレート値を示すものとすれば、撮像装置１０や記録装置２０ではフレームレート制御信号ＣＴfsによって示されたフレームレート値にフレームレートを設定するだけでよいことから、撮像装置１０や記録装置２０における処理が容易である。

また、フレームレート制御信号ＣＴfsとして、例えば経過時間毎にフレームレート値を示した情報を用いるものとしてもよい。この場合、フレームレート可変動作を行うとき、フレームレート制御信号ＣＴfsを生成して撮像装置１０や記録装置２０に供給し、撮像装置１０や記録装置２０では、フレームレート制御信号ＣＴfsで示された情報に基づき、経過時間に対応したフレームレート値にフレームレートを設定する。このように、経過時間毎にフレームレート値を示した情報を用いるものとすれば、フレームレート可変動作中にフレームレート制御信号ＣＴfsを生成して撮像装置１０や記録装置２０に供給する必要がないので、例えばフレームレート制御信号ＣＴfsを伝送する際に遅延時間のバラツキを生じするような場合が生じても、選択した変化特性でフレームレート可変制御を行うことができる。なお、フレームレート値を示す信号には、単にフレームレートの値を示す信号だけでなく、このフレームレート値となるようにフレームレート制御を行うための制御信号を含むものである。

次に、フレームレートを自動的に可変させる場合の設定操作とフレームレート制御信号ＣＴfsの生成動作について説明する。フレームレートを自動的に可変させる場合、例えば操作部３１の操作キー群３１２を操作して、表示部３２の画面に、メニュー画面を表示させる。

図６は、システムセットアップのメニュー画面ＧＡを例示している。メニュー画面ＧＡには複数の設定項目のタイトル表示がなされている。ここで、操作部３１の操作キー３１３aが操作されたときには、キー操作に応じてカーソルＧＳaの位置を切り替えて、このカーソルＧＳaによって示されたタイトル表示に関する設定画面を表示する。例えば図６に示すように、カーソルＧＳaによってタイトル表示「EDIT」が選択されたとき、フレームレートの時間的な変化特性を設定する設定画面ＧＢを表示する。

設定画面ＧＢでは、カーソルＧＳbによって示された設定項目の設定が行われる。設定項目「RAMP」は、フレームレートの時間的な複数の変化特性から変化特性を選択操作するための項目である。設定項目「RAMP」では、例えば「Linear」モード、「Inverse」モード、「Even」モード、「User」モード、「Manual」モードが設けられている。「Linear」モードは、フレームレートを直線的に変化させる変化特性で、フレームレートを自動的に変化させるモードである。「Inverse」モードは、フレームレートの逆数を直線的に変化させる変化特性で、フレームレートを自動的に変化させるモードである。「Even」モードは、各フレームレートの値で生成あるいは記録されるフレーム数を等しくする変化特性で、フレームレートを自動で変化させるモードである。「User」モードは、フレームレート切替情報に基づいた変化特性で、フレームレートを自動で変化させるモードである。「Manual」モードは、ユーザの設定した範囲内でフレームレートを手動で変化させるモードである。これらのモードは、操作部３１の操作キー３１３aによって切り替え可能とされており、所望のモードが選択されたときに、操作部３１の操作キー３１３bを操作することで、選択されたモードの動作が行われる。なお、他の設定項目についても、操作キー３１３aのユーザ操作によって設定内容の切り替えが行われて、操作キー３１３bのユーザ操作によって設定内容を反映させることが可能とされている。

図７は、「Linear」モードでフレームレートが高くなるように変化させた場合を示している。この場合、フレームレートは直線的に変化されることから、フレームレートの切替時間Ｔcは一定となる。ここで、フレームレートの可変動作開始時のフレームレートが「Ｒ1」であるときに生成あるいは記録されるフレーム数を「ＮＦ1」としたとき、フレームレートが「Ｒ1→Ｒ2(=2×Ｒ1)→Ｒ3(=3×Ｒ1)→Ｒ4(=4×Ｒ1)→Ｒ5(=5×Ｒ1)」まで順に切り替えられると、生成あるいは記録されるフレーム数が「ＮＦ2(=2×ＮＦ1)→ＮＦ3(=3×ＮＦ1)→ＮＦ4(=4×ＮＦ1)→ＮＦ5(=5×ＮＦ1)」の順に増加したものとなる。したがって、「Linear」モードでフレームレートを高くして画像信号の記録を行うと、記録した画像信号を所定のフレームレートで再生した場合、フレームレートを高くしたときの画像の再生されている時間が長いものとなる。

図８は、「EVEN」モードでフレームレートが高くなるように変化させた場合を示している。「EVEN」モードでは、生成あるいは記録されるフレーム数が等しくなるようにフレームレートが自動で変化される。したがって、フレームレートの可変動作開始時のフレームレートが「Ｒ1」、切替時間が「Ｔc1」、生成あるいは記録されるフレーム数が「ＮＦ」であるとき、フレームレートが「Ｒ1」から「Ｒ5」まで順に切り替えられると、切替時間が「Ｔc2（＝1/2×Ｔc1）→Ｔc3（＝1/3×Ｔc1）→Ｔc4（＝1/4×Ｔc1）→Ｔc5（＝1/5×Ｔc1）」の順に短いものとなる。したがって、「Even」モードでフレームレートを高くして画像信号の記録を行うと、記録した画像信号を所定のフレームレートで再生した場合、フレームレートを高く設定したときの画像の再生されている時間が長くなってしまうことがない。

また、図示せずも、フレームレートが低くなるように変化させた場合、「Linear」モードでは、フレームレートを低くしたときの画像の再生されている時間が短くなる。ここで、変化開始時のフレームレートが高いときは、フレームレートの高いとき画像の再生されている時間が長い状態となり、フレームレートを低くするに伴い、各フレームレートの画像の再生されている時間が順次短くなる。「Even」モードでは、フレームレートを低くしたときの画像の再生されている時間が短くなってしまうことがない。すなわち、「Even」モードでは「Linear」モードに比べて滑らかなトランジション効果を得ることができる。

制御部３４は、「Linear」モード、「Inverse」モード、「Even」モードのいずれかが選択されたとき、図６の設定画面ＧＢにおいて、設定項目「Auto Spd1」「Auto Spd2」「Duration」の設定をユーザが行えるようにする。設定項目「Auto Spd1」「Auto Spd2」は、フレームレートの変更開始時あるいは変更終了時フレームレートを設定するためのものである。設定項目「Duration」は、フレームレートを設定項目「Auto Spd1」で設定されたフレームレートから設定項目「Auto Spd2」で設定されたフレームレートに、または設定項目「Auto Spd2」で設定されたフレームレートから設定項目「Auto Spd1」で設定されたフレームレートに、自動で変化させるときに要する継続時間を設定するためのものである。

図９は、設定項目「Auto Spd1」を「１ＦＰＳ(フレーム／秒）」、「Auto Spd2」を「６０ＦＰＳ」、設定項目「Duration」を「３０秒」に設定したときのフレームレートの変化特性を示している。

図９において、○印で示す変化特性は「Linear」モードの変化特性を示しており、フレームレートが直線的に自動で変化される。□印で示す変化特性は「Inverse」モードの変化特性を示しており、フレームレートの逆数が直線的となるようにフレームレートが自動で変化される。△印で示す変化特性は「Even」モードの変化特性を示しており、各フレームレートで生成あるいは記録されるフレーム数が一定となるようにフレームレートが自動で変化される。

制御部３４は、「User」モードが選択されたとき、設定項目「Load Curve」の設定を可能とする。設定項目「Load Curve」は、フレームレート切替情報を読み込むためのものである。フレームレート切替情報の読み込みでは、例えば外部インタフェース部３３を介して、メモリカードに記憶されているフレームレート切替情報や外部機器で生成されたフレームレート切替情報を制御部３４が読み込む。

ここで、フレームレート切替情報が複数であるときには、制御部３４は、図１０に示すようにフレームレート切替情報の一覧表示画面ＧＣを表示する。また一覧表示されたフレームレート切替情報からいずれかのフレームレート切替情報が選択されたとき、制御部３４は、図１１に示すように選択されたフレームレート切替情報に基づいた変化特性表示画面ＧＤを表示する。

図１０に示す一覧表示画面ＧＣにおいて、表示領域ＧＣaには、フレームレート切替情報が記録されている記録媒体の情報が表示される。表示領域ＧＣbには、フレームレート切替情報のタイトルとデータ量が表示されており、カーソルＧＳcによって選択されているフレームレート切替情報の属性情報が表示領域ＧＣdに表示される。

図１１に示す変化特性表示画面ＧＤにおいて、表示領域ＧＤaには、フレームレート切替情報が記録されている記録媒体の情報が表示される。表示領域ＧＤbには、上述のカーソルＧＳcによって選択されているフレームレート切替情報に基づく変化特性が図示される。表示領域ＧＤcには、フレームレート切替情報を読み込むか否かをユーザに選択させるためのユーザ選択メニューＭＳが設けられており、ユーザ選択メニューＭＳの読み込み指示「ＯＫ」の選択操作が行われたとき、制御部３４は、表示されている特性のフレームレート切替情報を読み込み、読み込んだフレームレート切替情報に基づいたフレームレート可変制御を行う。

このように、フレームレート切替情報の一覧表示や選択されたフレームレート切替情報に基づいた変化特性を表示することで、所望の変化特性のフレームレート切替情報を容易に読み出してフレームレート可変制御を行うことができる。

次に、フレームレート切替情報について説明する。フレームレート切替情報は、例えばフレームレートを変化させたときの通過点を順番に示したものとする。図１２は、フレームレート切替情報とフレームレートの変化特性の関係を示している。図１２の（Ａ）は、フレームレート切替情報を例示したものであり、８つのフレームレートの通過点「Ｒa0」，「Ｒa1」，・・・，「Ｒa7」が順に示されている。ここで、図１２の（Ａ）に示すフレームレート切替情報を用いてフレームレートの可変制御を行ったとき、フレームレートの変化特性は、図１２の（Ｂ）に示すものとなる。なお、フレームレートの切替時間Ｔcあるいは、フレームレートの可変動作の継続時間Ｔdは、フレームレート切替情報で示すものとしてもよく、制御部３４で予め設定しておくものとしてもよい。

制御部３４は、図６に示す設定画面ＧＢの設定項目「RAMP」において、「Manual」モードが選択されたとき、設定項目「Manu Spd1」「Manu Spd2」の設定をユーザが行えるようにする。設定項目「Manu Spd1」「Manu Spd2」は、フレームレートの上限あるいは下限を設定するためのものである。

図１３は、「Manual」モードが選択されたときのフレームレートの変化特性を示している。「Manual」モードが選択されたとき、制御部３４は、操作キー３１３aのユーザ操作に応じてフレームレートを切り替える。「Manual」モードにおいて、制御部３４は、フレームレートの可変範囲を、設定項目「Manu Spd1」「Manu Spd2」で示された範囲に制限する。例えば制御部３４は、フレームレートを高くする操作が行われて、時点ｔ1でフレームレートが設定項目「Manu Spd2」で設定されたフレームレート「ＦＲmax」となったとき、さらにフレームレートを高くする操作が行われてもフレームレート「ＦＲmax」で制限する。また、制御部３４は、フレームレートを低くする操作が行われて、時点ｔ2でフレームレートが設定項目「Manu Spd1」で設定されたフレームレート「ＦＲmin」となったとき、さらにフレームレートを低くする操作が行われてもフレームレート「ＦＲmin」で制限する。

図１４は、フレームレート可変制御が行われるとき、表示部３２の画面で表示される表示画面ＧＥを例示している。

表示画面ＧＥにおいて、表示領域ＧＥaにはフレームレート可変制御に関する設定状態や動作状態が表示される。また、表示領域ＧＥbには、記録装置２０の動作等に関する情報が表示される。制御部３４は、表示領域ＧＥaに、設定項目「RAMP」で選択されたモードを示す表示と、「Linear」モード、「Inverse」モード、「Even」モードのいずれかが選択されたときは、設定項目「Auto Spd1」「Auto Spd2」「Duration」の設定状態を示す表示を行う。なお、図１４では「Even」モードが選択されて、設定項目「Auto Spd1」は「１Ｐ」、設定項目「Auto Spd2」は「２０Ｐ」、設定項目「Duration」は「２０秒」に設定された場合を示している。

「User」モードが選択されたとき、制御部３４は、設定項目「Auto Spd1」「Auto Spd2」「Duration」の設定状態に替えて、フレームレート切替情報を識別可能とする情報、例えばフレームレート切替情報のタイトルを表示する。また、「Manual」モードが選択されたときは、設定項目「Auto Spd1」「Auto Spd2」「Duration」の設定状態に替えて、設定項目「Manu Spd1」「Manu Spd2」の設定状態を表示する。

また、フレームレート可変制御が行われているときに、操作部３１のキー操作に応じてフレームレート可変制御の一時停止や、フレームレート可変制御の開始時と終了時のフレームレートを入れ替えて時間方向が逆となった変化特性でフレームレート可変制御を行う。

なお、設定項目「RAMP」で選択されたモードに応じて表示色を切り替えるものとしたり、フレームレート可変制御が行われているか否かに応じて表示色を切り替えるものとすれば、動作状態の識別が容易となる。また、表示画面ＧＥでは、現在のフレームレート（ＦＰＳ）と、フレームレート可変制御の開始からのフレーム数（ＦＲＭ）の表示も行われる。

次に、撮像装置の動作について説明する。撮像装置１０では、フレームレート制御信号ＣＴfsが供給されたとき、出力する画像信号ＤＶbがフレームレート制御信号ＣＴfsに基づいたフレームレート（以下「指示フレームレート」という）ＦＲsとなるように撮像制御信号ＣＴaを生成して、撮像部１１１やフレーム加算処理部１２の動作を制御する。

フレームレート制御信号ＣＴfsによって示された指示フレームレートＦＲsの画像信号を生成する際、生成する画像信号の指示フレームレートＦＲsが低いものとされても、撮像部１１１で生成する撮像信号Ｓpaのフレームレートである撮像フレームレートＦＲpが所定範囲内となるように、フレーム加算処理部１２での加算フレーム数ＦＡを切り替える。

図１５は、指示フレームレートＦＲsと加算フレーム数ＦＡと撮像フレームレートＦＲpの関係を示している。撮像制御部１５は、指示フレームレートＦＲsが「６０Ｐ≧ＦＲs＞３０Ｐ」の範囲内であるときは、加算フレーム数ＦＡを「１」として、撮像フレームレートＦＲpを指示フレームレートＦＲsと等しくする。指示フレームレートＦＲsが「３０Ｐ≧ＦＲs＞２０Ｐ」の範囲内であるときは、加算フレーム数ＦＡを「２」として、撮像フレームレートＦＲpを指示フレームレートＦＲsの２倍とする。指示フレームレートＦＲsが「２０Ｐ≧ＦＲs＞１５Ｐ」の範囲内であるときは、加算フレーム数ＦＡを「３」として、撮像フレームレートＦＲpを指示フレームレートＦＲsの３倍とする。以下同様にして、撮像フレームレートＦＲpと加算フレーム数ＦＡを切り替えることで、指示フレームレートＦＲsを連続して可変することが可能となり、フレームレート制御信号ＣＴfsで指示された指示フレームレートＦＲsの画像信号を生成できる。

なお、撮像信号Ｓpaのフレームレートである撮像フレームレートＦＲpを可変する場合、駆動部１１２から撮像部１１１に供給する駆動制御信号ＲＣによって、撮像素子での電荷蓄積期間や撮像電荷の読み出しタイミング等を制御することでフレームレートが可変された撮像信号Ｓpaを得ることができる。さらに、ＣＤＲ方式(Common Data Rate:共通サンプリング周波数方式)を用いるものとして、水平帰線期間あるいは垂直帰線期間の長さを調整して、撮像フレームレートＦＲpの可変処理を行うものとすれば、撮像フレームレートＦＲpを可変しても有効画面期間の画像サイズが変化しない撮像信号Ｓpaを生成できる。また、ＣＤＲ方式を用いることで、撮像フレームレートＦＲpを用いる各部の動作周波数を撮像フレームレートＦＲpに応じて可変する必要がなく、構成が簡単となる。

このＣＤＲ方式では、図１６の（Ａ）に示すように帰線期間と有効画面期間が設定された画像信号に対して、図１６の（Ｂ）に示すように水平帰線期間の長さを調整したり、図１６の（Ｃ）に示すように垂直帰線期間の長さを調整することで、有効画面期間の画像サイズを変化させることなく撮像フレームレートＦＲpを可変した画像信号を生成できる。

また、撮像装置１０は、伝送路４０を介し画像信号の通信を行うときのフレームレートが予め規定されている場合、フレームレート制御信号ＣＴfsによって示された指示フレームレートＦＲsの画像信号を、規定されたフレームレートの信号として送信する。例えば、フレーム画像を繰り返したり無効画像のフレームを挿入して、規定されたフレームレートの信号として送信する。この場合、繰り返されたフレームや無効画像のフレームを識別可能とするため、繰り返されたフレームや無効画像のフレームであるか否かを示すフラグを各フレームに設定する。

ここで、フレームレート制御信号ＣＴfsによって示された指示フレームレートＦＲsが例えば「１８Ｐ」であり、伝送路４０で伝送する画像信号のフレームレートが「６０Ｐ」に規定されている場合における画像信号ＤＶbと通信情報ＲＭpの生成動作について、図１７を用いて説明する。なお、フレーム画像の加算は、例えば３つのＲＡＭ-1〜ＲＡＭ-3を用いて行うものとする。

図１７の（Ａ）は画像信号ＤＶa、図１７の（Ｂ）はＲＡＭ-1の動作、図１７の（Ｃ）はＲＡＭ-2の動作、図１７の（Ｄ）はＲＡＭ-3の動作、図１７の（Ｅ）は、外部読み出し可能フラグＬＧ、図１７の（Ｆ）は画像信号ＤＶb、図１７の（Ｇ）は通信情報ＲＭpを示している。

指示フレームレートＦＲsが「１８Ｐ」である場合、図１５に基づいて加算フレーム数ＦＡは「３」、撮像フレームレートＦＲpは、指示フレームレートＦＲsの３倍である「５４Ｐ」となり、画像信号ＤＶaはフレームレートが「５４Ｐ」の信号となる。

画像信号ＤＶaのフレーム「０f」が開始する図１７の（Ａ）〜（Ｇ）の時点ｔ11において、ＲＡＭ-1を書き込みＲＡＭに指定して、フレーム「０f」の画像信号をＲＡＭ-1に記憶させる。

その後、時点ｔ12でフレーム「１f」の画像信号ＤＶaが開始されるときに、ＲＡＭ-2を書き込みＲＡＭに指定する。また、フレーム「１f」の画像信号とＲＡＭ-1から読み出したフレーム「０f」の画像信号を加算して加算された信号をＲＡＭ-2に記憶させる。

時点ｔ13でフレーム「２f」の画像信号ＤＶaが開始されるとき、ＲＡＭ-3を書き込みＲＡＭに指定する。また、フレーム「２f」の画像信号とＲＡＭ-2から読み出したフレーム「０f＋１ｆ」の画像信号を加算して加算された信号をＲＡＭ-3に記憶させる。

時点ｔ14でフレーム「３f」の画像信号ＤＶaが開始されるとき、ＲＡＭ-3に対して加算フレーム数分の加算信号の書き込みが完了していることから、図１７の（Ｅ）に示すように、外部読み出し可能フラグＬＧをオン状態とする。また、ＲＡＭ-3は、外部読み出しＲＡＭに指定する。また、ＲＡＭ-1を書き込みＲＡＭに指定して、フレーム「３f」の画像信号をＲＡＭ-1に記憶させる。

次に、加算フレーム数分の加算信号の書き込みが完了しているとき、すなわち外部読み出し可能フラグＬＧをオン状態であるとき画像信号ＤＶbのフレーム開始タイミングとなった場合、例えばＲＡＭ-3に対してフレーム「０f」〜フレーム「２f」の画像信号が加算された加算信号の書き込みが完了しているときに、時点ｔ15で画像信号ＤＶbのフレーム開始タイミングとなった場合、ＲＡＭ-3に記憶されている３フレーム分の加算信号を読み出して「１／３」倍して、画像信号ＤＶbとする。さらに、通信情報ＲＭpでは、図１７Ｇに示すように、フレームレート制御信号ＣＴfsに基づくフレームレートの画像であることを判別可能とするため、このフレームを「有効」とする。また、外部読み出し可能フラグＬＧがオン状態なっておらず、ＲＡＭから加算信号の読み出しが行われていないフレーム、例えば時点ｔ16からのフレームは「無効」とする。

以下同様に、ＲＡＭ-1〜ＲＡＭ-3を使用して画像信号ＤＶaを３フレーム加算して加算信号を生成するとともに、この加算信号を画像信号ＤＶbのフレーム開始タイミングで読み出すことで、撮像画像がフレームレート制御信号ＣＴfsで示されたフレームレートで含まれた規定のフレームレートである画像信号ＤＶbを生成できる。

ＲＡＭ-3からの信号の読み出しを行ったフレームが終了する時点ｔ16では、外部読み出し可能フラグＬＧをオフ状態とする。なお、外部読み出しＲＡＭから信号の読み出しが行われていない期間、例えば時点ｔ16〜ｔ17の期間を、画像のないブランクフレームとすると、画像信号ＤＶbに基づいて画像表示を行ったときに画像の明るさがちらついてしまうおそれがある。このため、「無効」とするフレーム期間中は、「有効」とされたフレームの画像「（０ｆ＋１ｆ＋２ｆ）／３」を繰り返し表示することにより明るさのちらつきを防止できる。

次に、記録装置の動作について説明する。記録装置の記録再生制御部２８はフレームレート制御信号ＣＴfsに基づき記録再生制御信号ＣＴdを生成して、記録信号生成部２２に供給する。記録信号生成部２２は、記録再生制御信号ＣＴdに基づき、記録信号ＷＳの生成に用いる画像信号ＤＶbのフレーム間引き、フレームの繰り返し、または動きベクトルを用いたフレーム補間等を行うことで、フレームレート制御信号ＣＴfsによって示されたフレームレートの記録信号ＷＳを生成して、バッファメモリ２３に記憶させる。このバッファメモリ２３に記憶された記録信号ＷＳを記録再生部２４によって記録媒体に順次記録することにより、フレームレート制御信号ＣＴfsによって示されたフレームレートで画像信号を記録することができる。ここで、撮像画像がフレームレート制御信号ＣＴfsで示されたフレームレートで含まれた規定のフレームレートである画像信号ＤＶbが記録装置２０に供給される場合、記録信号生成部２２は、通信情報ＲＭpによって「有効」とされているフレームの画像信号を抽出して、この抽出した画像信号を用いて記録信号ＷＳを生成する。記録再生制御部２８は、通信情報ＲＭpによって「有効」とされているフレームの画像信号に基づいて生成した記録信号ＷＳをバッファメモリ２３に蓄積させて、この記録信号ＷＳを記録再生部２４によって記録媒体に記録させる。このようにすれば、フレームレート制御信号ＣＴfsに基づくフレームレートで画像を記録することができる。

また、一定フレームレートの画像信号が記録装置２０に供給する場合、供給された画像信号に対してフレーム間引きまたはフレーム加算等を行って、フレームレート制御信号ＣＴfsに基づいたフレームレートで画像を記録する。

図１８は、画像信号ＤＶbに対してフレーム間引きを行って、フレームレート制御信号ＣＴfsに基づいたフレームレートで画像を記録する場合を示している。なお、画像信号ＤＶbは、一定フレームレートの信号とする。

図１８の（Ａ）に示すように、画像信号ＤＶbのフレームレートが例えば「６０Ｐ」であって、フレームレート制御信号ＣＴfsに基づいた指示フレームレートＦＲsが例えば「２０Ｐ」である場合、画像信号ＤＶbのフレームレートはフレームレート制御信号ＣＴfsに基づいたフレームレートの３倍である。したがって、図１８の（Ｂ）に示すように、画像信号ＤＶbの１フレームを用いたときには、次の２フレームを間引くものとする。このような間引きを行い、記録媒体には、図１８の（Ｃ）に示すように、フレームレートが「２０Ｐ」の画像の記録信号ＷＳを記録できる。なお、間引きするフレーム数を直線的に変化させた場合、このときの変化特性は、フレームレートの逆数を直線的に自動で変化させる場合と等しくなる。すなわち上述の「Inverse」モードの変化特性となる。

このように、「Linear」モードだけでなく、「Inverse」モードや「Even」モードを設けることで、多様な変化特性でフレームレートの可変動作を自動で行うことができる。また、「User」モードが設けられているので、ユーザが変化特性を自由に設定することが可能となるので、自由度が高く多様な変化特性でフレームレートの可変動作を自動で行うことができる。

システムの構成を示す図である。 撮像装置の構成を示す図である。 記録装置の構成を示す図である。 ユーザインタフェース部の構成を示す図である。 ユーザインタフェース部の外観を示す図である。 メニュー画面を示す図である。 「Liner」モードの動作を説明するための図である。 「Even」モードの動作を説明するための図である。 変化特性を示す図である。 フレームレート切替情報の一覧表示を示す図である。 フレームレート切替情報に基づいた変化特性表示を示す図である。 フレームレート切替情報と変化特性の関係を示す図である。 「Manual」モードが選択されたときの変化特性を示す図である。 フレームレート可変制御が行われるときの表示画面を示す図である。 指示フレームレートと加算フレーム数と撮像フレームレートの関係を示す図である。 ＣＤＲ方式を説明するための図である。 画像信号ＤＶbと通信情報ＲＭpの生成動作を示す図である。 フレーム間引きを用いた記録動作を示す図である。

符号の説明

１０・・・撮像装置、１１・・・画像信号生成部、１２・・・フレーム加算処理部、１３・・・送信部、１４・・・受信部、１５・・・撮像制御部、１６，３０・・・ユーザインタフェース部、２０・・・記録装置、２１・・・受信部、２２・・・記録信号生成部、２３・・・バッファメモリ、２４・・・記録再生部、２５・・・記録媒体駆動部、２６・・・ 再生信号処理部、２７・・・送信部、２８・・・記録再生制御部、３１・・・操作部、３２・・・表示部、３３・・・外部インタフェース部、３４・・・制御部、４０・・・伝送路、１１１・・・撮像部、１１２・・・駆動部、１１３・・・撮像信号処理部、３１１，３１２，３１３・・・操作キー群、３１３a，３１３b・・・操作キー

Claims (6)

1. 記録装置で記録する動画像のフレームレートあるいは撮像装置で生成する動画像のフレームレートを時間に対して直線的に変化させる変化特性と、前記フレームレートを時間の経過とともに変化させるとき前記フレームレートの各値におけるフレーム数を一定とする変化特性とを少なくとも含む複数の変化特性から所望の変化特性を選択操作するための操作部と、
   前記選択操作によって選択された変化特性となるようにフレームレートを自動的に変化させるフレームレート制御信号を生成する制御部とを有するフレームレート制御装置。
2. 前記複数の変化特性には、フレームレート切替情報に基づいてフレームレートを変化させる変化特性を設けた請求項１記載のフレームレート制御装置。
3. 前記フレームレート切替情報では、フレームレートを変化させたときの通過点を順に複数示すものとし、
   前記制御部は、前記フレームレート切替情報に基づいてフレームレートを変化させる変化特性が選択されたとき、前記フレームレート切替情報で示された順で通過点のフレームレートとなるよう前記フレームレートを自動的に切り替えるフレームレート制御信号を生成する請求項２記載のフレームレート制御装置。
4. ユーザ操作に応じて、記録装置で記録する動画像のフレームレートあるいは撮像装置で生成する動画像のフレームレートを時間に対して直線的に変化させる変化特性と、前記フレームレートを時間の経過とともに変化させるとき前記フレームレートの各値におけるフレーム数を一定とする変化特性とを少なくとも含む複数の変化特性から所望の変化特性を選択操作するためのステップと、
   前記選択された変化特性となるようにフレームレートを自動的に変化させるフレームレート制御信号を生成するステップとを有するフレームレート制御方法。
5. 動画像を記録媒体に記録する記録処理部と、
   フレームレートを時間に対して直線的に変化させる変化特性と、前記フレームレートを時間の経過とともに変化させるとき前記フレームレートの各値におけるフレーム数を一定とする変化特性とを少なくとも含む複数の変化特性から所望の変化特性を選択操作するための操作部と、
   前記フレームレートを前記選択操作によって選択された変化特性で自動的に変化させるフレームレート制御信号を生成するフレームレート制御部と、
   前記フレームレート制御信号に基づいて前記記録処理部の制御を行い、前記動画像を前記選択操作によって選択された変化特性のフレームレートに変換して前記記録媒体に記録させる記録制御部を有する記録装置。
6. 撮像信号を生成する撮像部と、
   前記撮像信号をフレーム単位で加算して画像信号を生成するフレーム加算部と、
   フレームレートを時間に対して直線的に変化させる変化特性と、前記フレームレートを時間の経過とともに変化させるとき前記フレームレートの各値におけるフレーム数を一定とする変化特性とを少なくとも含む複数の変化特性から所望の変化特性を選択操作するための操作部と、
   前記フレームレートを前記選択操作によって選択された変化特性で自動的に変化させるフレームレート制御信号を生成するフレームレート制御部と、
   前記フレームレート制御信号に基づいて、前記撮像部で生成する撮像信号のフレームレートおよび／または前記フレーム加算部でのフレーム加算数の制御を行い、前記画像信号を前記選択操作によって選択された変化特性のフレームレートとする撮像制御部とを有する撮像装置。